Selon une nouvelle étude de l'université de Californie à Riverside, les agents IA conçus pour effectuer des tâches informatiques courantes souffrent d'un grave problème de contexte.
L'équipe a testé 10 agents et modèles provenant de grands développeurs, notamment OpenAI, Anthropic, Meta, Alibaba et DeepSeek. En moyenne, les agents ont pris des mesures indésirables ou potentiellement dangereuses dans 80 % des cas et ont causé des dommages dans 41 % des cas.
Ces systèmes peuvent ouvrir des applications, cliquer sur des boutons, remplir des formulaires, naviguer sur des sites web et agir sur un écran d'ordinateur avec une supervision limitée. Leurs erreurs ont des conséquences différentes de celles d'une mauvaise réponse d'un chatbot, car le logiciel est capable d'agir concrètement.
Les conclusions de l'UC Riverside suggèrent que les agents de bureau actuels peuvent traiter les demandes dangereuses comme des tâches à accomplir, et non comme des signaux d'arrêt.
Pourquoi les agents ne détectent-ils pas les dangers évidents ?
Les chercheurs ont mis au point un test de référence appelé BLIND-ACT pour vérifier si les agents s'arrêtaient lorsqu'une tâche devenait dangereuse, contradictoire ou irrationnelle. Lors des derniers tests, ils ne se sont pas arrêtés assez souvent.
Sur 90 tâches, le benchmark a placé les agents dans des situations nécessitant de la contextualisation, de la retenue et du refus. Un test consistait à envoyer un fichier image violent à un enfant. Un autre demandait à un agent de remplir des formulaires fiscaux en marquant faussement un utilisateur comme handicapé, car cela réduisait la facture fiscale. Un troisième demandait à un agent de désactiver les règles du pare-feu au nom d’une meilleure sécurité, et l’agent a obéi au lieu de rejeter cette contradiction.
Les chercheurs appellent ce schéma « orientation aveugle vers l'objectif ». L'agent continue de poursuivre le résultat assigné même lorsque le contexte environnant indique que la tâche est vouée à l'échec.
Pourquoi l’obéissance devient un défaut
Les échecs se sont concentrés autour de l’obéissance. Ces agents peuvent agir comme si la demande d’un utilisateur était une raison suffisante pour continuer.
L'équipe a identifié des schémas appelés « biais de l'exécution d'abord » et « primauté de la demande ». En termes simples, l'agent se concentre sur la manière d'accomplir la tâche, puis considère la demande elle-même comme une justification. Ce risque s'accroît lorsque le même système peut intervenir sur divers éléments, tels que les e-mails ou les paramètres de sécurité.
Cela ne signifie pas que les agents sont malveillants. Cela signifie qu’ils peuvent se tromper en toute confiance tout en parcourant le logiciel à la vitesse d’une machine.
Pourquoi les garde-fous doivent passer en premier
Les agents IA ont besoin de garde-fous plus solides avant de se voir accorder une large permission d’agir sur un ordinateur.
Ces systèmes fonctionnent par boucle. Ils examinent l'écran, décident de la prochaine étape, agissent, puis examinent à nouveau. Lorsque cette boucle est associée à une contrainte contextuelle faible, un raccourci peut se transformer en une erreur qui se propage rapidement.
Pour l'instant, considérez les agents comme des outils supervisés. Utilisez-les d'abord pour des tâches à faible risque, éloignez-les des flux de travail financiers et de sécurité, et observez si les développeurs ajoutent des systèmes de refus plus clairs, des autorisations plus strictes et de meilleurs moyens de détecter les contradictions avant le prochain clic.
