Vous avez sans doute déjà entendu ce conseil : demandez à l’IA de se comporter comme un expert dans un domaine donné, et vous obtiendrez de meilleures réponses. C’est un conseil courant, et cela fonctionne, parfois. Cependant, une nouvelle étude suggère que l’utilisation de « personas » pour l’IA n’est peut-être pas aussi efficace qu’on le pensait.
Des chercheurs de l'Université de Californie ont testé 12 personas différents sur six modèles linguistiques. Ces personas allaient d'experts en mathématiques et en programmation à des écrivains créatifs et des responsables de la sécurité. L'objectif était de déterminer les performances de l'IA lorsqu'on lui demande d'agir en tant qu'expert.
Les résultats sont mitigés. L'adoption d'un persona a rendu l'IA plus professionnelle et lui a permis de mieux respecter les règles. Mais cela a également nui à sa capacité à se souvenir des faits. Selon l'étude, l'utilisation d'un persona fait passer l'IA en mode « suivi d'instructions » plutôt qu'en mode « récupération de connaissances », et ce compromis se fait au détriment de la précision.
Quelle est la solution ?
Pour résoudre ce problème, les chercheurs ont développé PRISM, acronyme de « Persona Routing via Intent-based Self-Modeling ». Au lieu d'utiliser systématiquement un personnage ou de ne jamais en utiliser, PRISM apprend à l'IA à décider ce qui est le mieux pour elle-même.
Lorsque vous posez une question, PRISM génère deux réponses : l’une issue de son mode par défaut et l’autre de son personnage. Il compare ensuite les deux et fournit la réponse la plus performante pour une requête spécifique.
La réponse de l'expert n'est pas écartée, même lorsque la réponse par défaut l'emporte. Au contraire, le raisonnement est enregistré dans un composant léger appelé adaptateur LoRA, auquel l'IA peut se référer ultérieurement en cas de besoin. La solution semble simple, et pourtant, elle est efficace.
Quels ont été les résultats de PRISM ?
PRISM a augmenté le score global de l'IA d'un à deux points sur le MT-Bench, un test qui mesure la capacité d'une IA à suivre des instructions et à rester utile. Pour les tâches d'écriture et de sécurité, les personas ont été utiles. Pour les questions de connaissances brutes, il s'est avéré préférable de ne pas utiliser de persona.
Les chercheurs prévoient de tester PRISM avec davantage de personas et d'affiner sa capacité à fournir de meilleures réponses. Il est encore trop tôt pour se prononcer, mais cela pourrait bien changer pour de bon la façon dont nous interrogeons l'IA.
