My Honest Experience With Creating Local AI

Pour une IA locale axée sur la confidentialité et la réduction des coûts à long terme, l'investissement initial en matériel est élevé mais rentable comparé aux abonnements cloud. Un modèle local doit offrir des performances raisonnables pour être utile. La puissance de l'appareil dicte les modèles utilisables ; les modèles plus grands, comme GPT-OSS 120B, offrent des résultats plus cohérents. L'utilisation d'agents comme Open Claw nécessite une vitesse et une taille de contexte suffisantes (idéalement 128k tokens). Pour la configuration, Ollama est une option simple pour gérer les modèles localement, complété par un agent et un service de recherche web comme Brave. Les performances doivent être mesurées non seulement en tokens par seconde en sortie, mais aussi en pré-remplissage et en cache KV, car le pré-remplissage peut être un goulot d'étranglement avec de grands contextes. Parmi les options matérielles, le Beelink GTR 9 Pro (environ 3650 $) est l'option la plus abordable pour un travail sérieux avec des agents locaux, bien que des machines plus coûteuses comme le Nvidia DGX Spark ou les Mac Studio offrent de meilleures performances, notamment en pré-remplissage. Même des ordinateurs portables plus anciens peuvent exécuter des modèles locaux, mais avec des performances très limitées (5-10 tokens/sec), rendant l'usage d'agents frustrant et potentiellement dangereux. Il est crucial de trouver un équilibre entre coût et performance pour une expérience locale efficace.