We need to talk about this...

L'IA locale, telle qu'elle existe aujourd'hui, ne semble pas pertinente pour l'utilisateur moyen. La complexité de sa mise en place, son coût élevé et ses performances inférieures aux modèles de pointe rendent son adoption peu probable, même pour des utilisateurs avertis disposant de ressources informatiques importantes et d'une expertise technique. L'auteur, malgré son intérêt pour le contrôle des données et l'indépendance vis-à-vis des laboratoires d'IA, se retrouve toujours à utiliser des services comme ChatGPT ou Claude pour accomplir des tâches réelles. La discussion actuelle autour de l'IA locale semble se concentrer davantage sur la prouesse technique de faire fonctionner un modèle que sur les réalisations concrètes qu'elle permet. Il est crucial de distinguer l'IA locale de l'IA open-source. L'IA open-source, avec des modèles "open weights", signifie que la formule et les poids du modèle sont librement accessibles. Ces modèles peuvent ensuite être déployés dans de vastes centres de données par des fournisseurs de cloud. L'IA locale, quant à elle, implique l'exécution du modèle directement sur l'appareil de l'utilisateur, sans dépendance à une connexion internet. Bien qu'il existe des modèles open-source exceptionnels, les plus performants sont souvent trop volumineux pour le matériel grand public et nécessitent des infrastructures coûteuses, même pour un usage professionnel. Les avantages potentiels de l'IA locale, qui suscitent l'espoir de sa viabilité future, incluent la souveraineté des données et un accès illimité. La souveraineté des données, c'est-à-dire garder ses informations localement plutôt que de les envoyer à des entreprises tierces, est une préoccupation légitime, bien que l'auteur admette une certaine accoutumance à partager ses données avec les géants de la technologie. Un autre avantage est l'indépendance vis-à-vis des laboratoires d'IA, qui peuvent modifier leurs politiques ou restreindre l'accès, comme cela a été observé avec certains services. L'accès hors ligne est également cité comme un avantage, bien que l'auteur le considère comme un cas d'usage marginal pour lui personnellement. Enfin, l'idée de posséder son "intelligence" et de décentraliser le pouvoir est attractive, mais elle ne remplace pas la nécessité d'accomplir des tâches efficacement. Le problème fondamental de l'IA locale réside dans ses performances actuelles. Pour atteindre un niveau de qualité comparable aux modèles de pointe, il faut utiliser des modèles open-source massifs (trillions de paramètres) qui ne fonctionnent pas sur du matériel grand public. Même en utilisant des techniques de quantification pour réduire la taille des modèles, on sacrifie de la qualité et on est limité en termes de vitesse (tokens par seconde) et de parallélisation. Exécuter plusieurs agents simultanément, une fonctionnalité clé pour l'efficacité, devient pratiquement impossible. Pour obtenir des performances acceptables, il faudrait construire une véritable infrastructure de centre de données à domicile, ce qui est prohibitif en termes de coût et de complexité. La discussion autour de l'IA locale est souvent dominée par la présentation des modèles en cours d'exécution, mais rarement par leur vitesse d'exécution réelle. Une vitesse de 15 à 30 tokens par seconde est à peine utilisable, tandis que 70 à 100 tokens par seconde est plus performant mais limite l'utilisation à un seul agent. L'un des avantages potentiels est la possibilité de faire fonctionner l'IA locale 24h/24 et 7j/7, amortissant ainsi l'investissement initial en matériel. Cependant, même dans ce scénario, la qualité du modèle et la vitesse d'exécution restent les goulets d'étranglement. L'IA locale est aujourd'hui principalement destinée aux "hobbyistes" en raison de sa difficulté de mise en œuvre. Même pour des personnes techniques et expérimentées, la configuration et l'optimisation demandent un effort considérable. Des outils comme LM Studio tentent de simplifier le processus, mais la diversité du matériel et des modèles rend la tâche complexe. L'auteur a investi dans LM Studio, reconnaissant leurs efforts, mais souligne que le produit n'est pas encore "plug-and-play". L'analyse financière comparant l'IA locale aux services cloud révèle un désavantage économique pour l'IA locale. L'acquisition de matériel haut de gamme (cartes graphiques coûteuses comme la RTX 4090 ou la RTX 6000 Ada) ne garantit pas des performances suffisantes pour exécuter les modèles les plus avancés ou pour gérer plusieurs tâches en parallèle. Les coûts de possession du matériel sur plusieurs années, combinés à des vitesses d'exécution limitées, rendent l'abonnement à des services cloud comme ChatGPT ou Claude plus avantageux en termes de coût par token et de qualité globale. Les modèles cloud fermés, comme Claude Haiku, offrent des performances supérieures à des coûts nettement inférieurs. Plusieurs facteurs expliquent pourquoi les modèles locaux ne sont pas économiquement viables par rapport aux modèles cloud. Premièrement, les laboratoires d'IA consomment une grande partie des ressources GPU disponibles pour construire leurs propres centres de données, ce qui fait grimper le prix du matériel pour les consommateurs. Deuxièmement, le modèle économique des entreprises d'IA open-source est difficile à pérenniser, car elles créent des modèles qui sont ensuite exploités gratuitement par les fournisseurs de cloud. Nvidia joue un rôle important en soutenant les modèles open-source, mais cela ne résout pas le problème de la monétisation pour les entreprises qui développent ces modèles. Les modèles chinois, bien que performants, bénéficient souvent de subventions gouvernementales, ce qui fausse la concurrence. En l'état actuel, l'IA locale s'adresse à ceux qui apprécient le processus de configuration et d'optimisation, à l'instar de l'overclocking. Ces utilisateurs sont motivés par la maîtrise technique et la résolution de problèmes, plutôt que par les résultats directs et l'efficacité. Pour être un utilisateur d'IA locale aujourd'hui, il faut posséder des compétences techniques solides, un revenu disponible conséquent, beaucoup de temps à consacrer à l'apprentissage et à la maintenance, et un intérêt intrinsèque pour ce domaine. Pour que l'IA locale devienne une réalité pour le grand public, une approche hybride est nécessaire. Les systèmes d'exploitation (Microsoft, Apple, Google) ont le potentiel de faciliter cette transition en intégrant l'IA de manière transparente. L'utilisateur ne devrait pas avoir à se soucier de savoir si l'IA fonctionne localement ou dans le cloud. En cas de perte de connexion internet ou de problèmes avec le cloud, l'IA devrait basculer automatiquement vers des modèles locaux plus petits et plus efficaces. Cette approche garantit une expérience utilisateur fluide, sans nécessiter de connaissances techniques approfondies. À mesure que les modèles d'IA deviennent plus petits, plus rapides et plus performants, et que le matériel informatique s'améliore, l'IA locale gagnera en capacité. Une partie croissante de la charge de travail pourra être gérée localement. La vision d'une IA ambiante, intégrée nativement aux systèmes d'exploitation, qui gère les tâches de manière autonome et routée intelligemment (localement si possible, sinon vers le cloud), semble être la voie la plus prometteuse. Les tâches courantes pour lesquelles les gens utilisent l'IA d'assistance ne nécessitent pas toujours les modèles les plus performants. Il reste cependant des défis à relever, notamment en ce qui concerne la persistance des environnements d'exécution pour les agents IA, qui fonctionnent actuellement mieux dans le cloud. L'auteur réitère son désir de voir l'IA locale réussir, mais reconnaît son insatisfaction avec l'état actuel de la technologie.