The Billion Dollar AI Gap Is Collapsing

Voici une présentation du nouveau modèle d'IA Qwen 3.8 Flash Next, qui offre des performances impressionnantes et s'inscrit dans la tendance des systèmes d'IA ouverts et gratuits. Contrairement au modèle Qwen 3.8 Max plus grand, le modèle Flash Next, qui est un modèle "mélange d'experts", est plus efficace pour les systèmes disposant de beaucoup de mémoire, car il n'utilise qu'une petite partie du modèle par jeton. Ce nouveau modèle introduit trois innovations majeures : 1. **Qwen Sparse Attention (QSA)** : Il regroupe les jetons en petits blocs, rendant la gestion d'un contexte plus long plus économique que l'attention complète classique. 2. **Gated Residual** : Utilise quatre branches par couche pour préserver l'information tout en permettant des modifications, évitant ainsi les conflits. 3. **N-gram Embedding** : Crée une mémoire de recherche pour les combinaisons de jetons courtes, comme "hot dog", pour une récupération rapide et économique. Ces avancées permettent à Qwen 3.8 Flash Next de surpasser certains des meilleurs systèmes d'IA open-weight, et ce, peu de temps après sa sortie, le tout gratuitement.