DeepSeek Solved AI’s Memory Problem

Et si la meilleure façon pour une IA de se souvenir d'un livre était d'arrêter de le lire ? Les mots lus par une IA deviennent des tokens, coûteux. Plus un livre est long, plus l'IA peine. Les humains, eux, oublient certains détails. Des chercheurs de Deep Seek ont imaginé une IA pratiquant l'oubli artificiel. Parler longtemps à une IA ou lui attacher de nombreux documents augmente les coûts de fonctionnement. Deep Seek OCR propose de transformer des informations textuelles en images compressées, à la manière de JPEG, mais de manière apprise et basée sur des tokens. Ces données deviennent ainsi beaucoup plus petites. À un niveau de compression 10x, près de 96% du texte est récupérable, économisant 90% d'espace. À une compression 20x, la précision OCR chute à 60%. Ce système transforme de petits tokens visuels compressés en un plus grand nombre de tokens textuels. Contrairement à JPEG qui compresse des pixels, cette technologie compresse des "souvenirs". L'astuce d'ingénierie réside dans un encodeur capable de gérer des documents haute résolution sans coût explosif, grâce à une attention locale, un compresseur convolutif et un traitement visuel global. Il ne regarde pas chaque pixel, mais parcourt, comprime, puis lit. Cette technologie permet non seulement de se souvenir de données anciennes, mais aussi de générer de nouvelles données. Elle peut créer plus de 200 000 pages de données d'entraînement par jour pour