Le paysage de l'IA avance vers des agents autonomes qui exécutent des chaînes de tâches, laissant derrière le modèle de simple chatbot. L'AI Agent Index 2025 du MIT CSAIL confirme ce boom en recherche et entreprises, classant les agents en catégories comme conversationnelles ou de navigation. Mais le rapport met en évidence un fait : la moitié des 30 agents étudiés ne publie pas de cadres de sécurité, et un tiers manque de documentation publique. Une lacune préoccupante pour des systèmes qui opèrent avec une haute autonomie.
L'architecture des agents et leurs points aveugles de sécurité 🔍
Ces agents intègrent généralement des modèles de langage avec des capacités de raisonnement et des outils externes (APIs, navigateurs). Leur autonomie réside dans des boucles où ils décident d'actions sans intervention humaine constante. C'est précisément ici que réside le risque : sans cadres de sécurité documentés, il est difficile d'évaluer leur comportement face à des instructions malveillantes, prompt hacking ou déviations de leur objectif initial. Le manque de normes pour valider les décisions ou établir des limites claires ouvre des vecteurs d'attaque.
Nous faisons confiance aux agents autonomes... mais qu'ils n'expliquent pas comment ils évitent la catastrophe ⚠️
C'est une approche curieuse. Nous déléguons des tâches complexes à des systèmes qui prennent des décisions de leur propre chef, mais nous acceptons que leur manuel de sécurité soit un fais-nous confiance, ça marche. C'est comme acheter une voiture autonome dont le fabricant dit : Les freins et le volant sont un secret commercial, mais ne t'inquiète pas. Peut-être devrions-nous exiger plus qu'une foi aveugle avant qu'un agent décide, par exemple, d'optimiser les coûts de l'entreprise en annulant tous les services superflus, comme le serveur de courrier.