Agents IA : le vrai risque est dans le brief

Anthropic vient de publier une expérience intéressante pour les entreprises qui envisagent de confier davantage de tâches à des agents IA. Avec Project Swap, 201 collaborateurs d’Anthropic ont expliqué brièvement leurs goûts de lecture à Claude, puis laissé des agents négocier entre eux afin d’échanger des livres. L’objectif n’était pas de tester un assistant commercial, mais d’observer ce qui se passe lorsqu’une IA doit représenter les préférences d’une personne et agir en son nom.

Faits observés — Après environ cinq minutes de conversation, le classement produit par Claude correspondait aux préférences déclarées des participants dans 61 % des comparaisons de livres effectuées. Une fois les agents placés sur leur « marché », Anthropic constate surtout que leur capacité à négocier n’était pas la principale source d’erreur.

Dans cette expérience contrôlée, 85 % de l’écart entre le résultat obtenu et l’optimum théorique provenait de la représentation imparfaite des préférences des participants. Le fonctionnement du marché et la négociation entre agents n’expliquaient que les 15 % restants. Anthropic observe également que le modèle utilisé influençait davantage les résultats que certaines variations apportées aux instructions.

Analyse — Pour une PME, le résultat mérite surtout d’être lu comme un problème de délégation. Un agent peut exécuter correctement une mission tout en travaillant à partir d’objectifs incomplets ou mal hiérarchisés.

Il serait en revanche abusif de conclure de cette étude que Claude est prêt à négocier seul des achats, des contrats ou des décisions commerciales réelles. L’expérience porte sur un marché artificiel d’échange de livres entre salariés d’Anthropic.

Le point opérationnel est ailleurs : avant de donner davantage d’autonomie à une IA, il faut expliciter les critères de décision, les limites, les arbitrages acceptables et les situations nécessitant une validation humaine.

Scénario fictif — Une PME demande à un agent de comparer trois logiciels de gestion. Au lieu de lui demander simplement « lequel choisir ? », elle précise : budget maximal, fonctions indispensables, hébergement des données, intégrations nécessaires, qualité du support et critères éliminatoires.

L’agent peut alors préparer une comparaison et une recommandation argumentée. Il ne signe rien et ne contacte aucun fournisseur sans validation.

Former une équipe aux agents IA revient donc aussi à apprendre ce qui peut être délégué, avec quelles informations et jusqu’où.