L’ère post-chatbots s’annonce, explique la journaliste Lila Shroff pour The Atlantic. L’IA ne fait plus que répondre aux questions. Elle programme, elle agit. Et le « tournant agentique » formalise ces progrès, explique Eryk Salvaggio pour Tech Policy Press. Le tournant agentique désigne des systèmes qui génèrent du code et s’adaptent de manière autonome. Les systèmes d’IA produisent désormais du code et vérifient l’efficacité de cette production en la corrigeant jusqu’à ce qu’elle fonctionne. Mais si ces évolutions améliorent l’expérience utilisateur des LLM, est-ce que cela suffit pour « justifier » du déploiement de l’IA, interroge pertinemment Salvaggio. Est-ce que le fait que leurs productions s’améliorent suffit pour justifier de l’utilité de cette technologie ?
Nous ne sommes plus exactement dans le cadre des perroquets stochastiques définis par l’article fondateur de 2021, d’Emily M. Bender, Timnit Gebru, Angelina McMillan-Major et Margaret Mitchell, même si ce cadre reste pertinent – voir notre article, « la gauche minimise-t-elle le pouvoir de l’IA ? ». « Les systèmes agentiques empilent ces perroquets » pour produire des formes « d’essaims stochastiques ». Des systèmes qui s’auto-alignent sur ce qu’ils doivent produire, tout en demeurant fondamentalement incapables de rendre des comptes. La question centrale de l’article de Bender et alii demeure toujours pertinente, estime Salvaggio : « Les modèles de langage peuvent-ils être trop volumineux ? »
La prolifération des modèles ne fait qu’amplifier les problèmes de biais, d’attribution erronée de la pensée et d’inefficacité. Distinguer la critique systémique de l’évaluation des modèles n’est pas céder à la surenchère : cela signifie se concentrer sur les avantages et les inconvénients collectifs plutôt que sur les usages individuels. On peut parler de ce que les modèles ne peuvent ou ne devraient pas faire sans pour autant nier leurs capacités, estime Salvaggio.
L’IA agentique s’apprête à débarquer et ses effets vont être nombreux, estime l’artiste-chercheur. D’abord, il promet la production de logiciels bâclés (slopware, contraction de slop qu’on peut traduire par soupe ou de bouillie et de ware qui désigne les composants – voir notre article sur le slop), produits plus rapidement, mais qu’il va être difficile à évaluer. Distribution accélérée qui risque de créer des situations comparables à un espace aérien non réglementé, où une multitude de décisions individuelles et déconnectées engendrent le chaos. Le code peut sembler fonctionner dans des circonstances particulières grâce à toutes sortes de bidouillages qui masquent des erreurs sous-jacentes. « Contrairement aux logiciels malveillants, le logiciel bâclé n’est pas intentionnellement perturbateur ; il perturbe par négligence : c’est la variable codée en dur qui permet à un homme célibataire de gérer correctement son budget, mais qui entraîne des frais de découvert lorsqu’il est utilisé par une mère célibataire. La conception de logiciels exige une grande finesse dans le choix des valeurs et priorités qu’ils intègrent, ainsi que dans la manière dont ils déforment, ignorent ou présentent de façon erronée les données qu’ils traitent. Le suivi de ce processus requiert des connaissances techniques. » C’est cela qui pourrait disparaître dans les logiciels de demain.
Ensuite, l’IA agentique promet l’accumulation des défaillances techniques. Malgré une perception accrue de fiabilité, les modèles de langage ne peuvent jamais être des machines à dire la vérité. Les soi-disant hallucinations sont mathématiquement impossibles à éliminer, et par conséquent, la perception d’une fiabilité accrue augmente le risque de surestimer la pertinence d’un modèle de langage pour une tâche donnée. Alors qu’un modèle de langage produit des textes ou autres médias persuasifs et potentiellement faux, un système agentiel produit un « code convaincant ». Ce code est produit de manière plus difficile à interrompre, à tracer ou à auditer qu’une simple sortie de modèle. « Il est impossible de documenter de manière fiable le processus de pensée d’un code créé sans réflexion » ; par conséquent, le code doit être considéré comme non fiable jusqu’à ce qu’il soit vérifié. On pourrait ajouter ici, le risque d’une sécurité infrastructurelle, comme l’évoquait Bruce Schneier.
Conséquence du risque précédent, un autre risque repose sur l’accumulation des défaillances de responsabilité. Les erreurs dans un système agentiel s’accumulent de manière invisible jusqu’à ce qu’un élément vienne briser la façade. Dans les systèmes sensibles, ce dysfonctionnement peut nuire aux personnes. On encourage le gouvernement à utiliser ces systèmes pour des tâches telles que l’automatisation des décisions relatives aux prestations sociales, l’analyse des contrats et le contrôle réglementaire – des domaines où des défaillances en cascade peuvent avoir de graves conséquences humaines. « L’objectif du gouvernement ne devrait pourtant pas être de gagner du temps en reportant la charge de travail sur un retraité qui se voit refuser indûment ses prestations ».
Enfin, l’empilement des systèmes agentiques pousse à la montée en puissance du solutionnisme. Salvaggio rappelle pourtant que tous les problèmes ne se résument pas à des problèmes de programmation. L’accès à la génération de code nous pousse à résoudre les défis politiques par de nouvelles lignes de code et à nous concentrer sur les problèmes compréhensibles par les machines, au risque d’exacerber des formes de déshumanisation. Les cas particuliers, parfois flous, ne sont plus les subtilités du tissu social, mais une nuisance technique. Aucune simulation d’une communauté capable de résoudre ses problèmes n’est possible : le désordre est une étape nécessaire à la construction du sens et au fonctionnement de la démocratie.
Enfin, ces systèmes risquent d’accroître l’extraction et le gaspillage des ressources à grande échelle. Les systèmes multi-agents fonctionnent en boucle, consommant bien plus de ressources que les logiciels conçus de manière plus ciblée. Lorsqu’un débutant réécrit une seule ligne de code avec un système multi-agents, « il n’utilise pas un seul modèle : il active l’ensemble du système ». Cette mise à l’échelle optimise la production individuelle : plus, plus vite, sans tenir compte de l’efficacité du code ni de ses effets. Il ne s’agit pas seulement d’un coût environnemental. « Cela dégrade le patrimoine informationnel commun et crée des problèmes pour tous ceux qui, en aval, dépendent de ce code. Les essaims multi-agents augmentent la puissance de calcul individuelle tout en comprimant de vastes réseaux de travail et d’extraction de ressources dans une seule fenêtre d’exécution. »
Pour Salvaggio, d’autres problèmes encore posent questions avec le passage à l’IA agentique, notamment le pouvoir politique que ces outils vont donner à l’industrie de l’IA, l’extension de la surveillance, le renforcement et l’invisibilisation des biais… Reste qu’énumérer les défaillances à venir ne suffit pas à contrer l’expansion des machines. Se moquer des piètres résultats de ces systèmes semble n’avoir aucun impact sur leur déploiement estime Salvaggio. Pour lui, il nous faut ouvrir un débat sur l’utilité et ses limites. « Que signifie l’utilité ? Pour qui et dans quelles conditions ? » Qui bénéficie des systèmes et qui en pâtit ? « Quelles décisions sont discrètement soustraites au débat public et confiées à des systèmes automatisés contrôlés par des entreprises, des gouvernements et d’autres institutions ? Le fait que l’on utilise des modèles de langage ne rend pas les critiques à leur égard superflues ; au contraire, elles les rendent urgentes. »
Connexion
