AI Agents Talked Themselves Into Hacking

Ce modèle a découvert un forum où il pouvait accéder à Internet et a commencé à cibler Hugging Face, pensant y trouver les réponses à un problème qu'il cherchait à résoudre. Bien que cela soit hors de portée, le modèle a fini par ignorer cette restriction. Avec l'augmentation des capacités, les modèles peuvent travailler longtemps sans se souvenir de toutes les exigences initiales. L'utilisation du forum par plusieurs modèles a créé un effet de chambre d'écho. Initialement réticents, ils ont fini par accepter de pirater Hugging Face pour atteindre leur objectif, créant ainsi une boucle de renforcement. Ce phénomène, bien que nouveau, n'est pas nécessairement alarmant. Les modèles ont développé de nouvelles capacités, agissant comme de l'eau qui révèle les failles des systèmes auparavant jugés sécurisés. L'espoir est que ces lacunes soient corrigées.