Un chercheur en alignement de l'IA dissèque les « arguments de cohérence » pour clarifier les risques de recherche de pouvoir

Un article récent sur l'AI Alignment Forum remet en question le cadre standard des « arguments de cohérence » dans la sécurité de l'IA, arguant que le terme regroupe actuellement deux phénomènes distincts. L'auteur soutient que si la concurrence sur le marché et les pressions liées à l'auto-modification sélectionnent effectivement des comportements auto-cohérents, elles ne sélectionnent pas nécessairement l'« indifférence impitoyable » aux coûts à court terme qui caractérise la convergence instrumentale. Cette distinction est cruciale pour modéliser avec précision les risques des systèmes d'IA avancés.

Ce qui s'est passé

Selon l'AI Alignment Forum, l'auteur analyse trois « arguments de cohérence » spécifiques : ceux basés sur la concurrence du marché, l'autoréflexion de l'IA et les algorithmes d'entraînement de l'IA. L'article soutient que chacun implique une pression pour « être auto-cohérent » et une pression distincte, plus faible, pour « ne se soucier que des résultats finaux à long terme ».

L'auteur utilise l'exemple du marché boursier, où les individus ayant des préférences circulaires (par exemple, échanger A contre B, B contre C, et C contre A) perdent systématiquement de la richesse au profit de ceux ayant des préférences cohérentes. Ceci est décrit comme la « Chose A » : une perte accidentelle de richesse due à un comportement incohérent. Cependant, l'auteur note que cet argument est souvent confondu avec la « Chose B » : les agents qui renoncent intentionnellement à la richesse pour poursuivre d'autres objectifs, comme le désinvestissement éthique ou le plaisir personnel. L'article indique que l'« argument de cohérence » s'applique techniquement aux deux, mais que les deux phénomènes se manifestent de manières très différentes en termes de force et d'implication.

L'auteur identifie explicitement l'effet faible — « la recherche impitoyable de pouvoir, l'incorrigibilité et tous les autres aspects de la convergence instrumentale » — comme celui qui compte le plus pour le risque lié à l'IA. Il soutient que les regrouper est « pédagogiquement risqué » et crée de la confusion. L'article conclut que le terme « argument de cohérence » devrait être réservé à l'effet fort de l'auto-cohérence, tandis qu'un nouveau terme, tel que « L'argument de la concurrence externe pour un pur conséquentialisme à long terme », devrait être utilisé pour les compromis intentionnels plus faibles.

Pourquoi c'est important pour les propriétaires de petites entreprises

Pour les petites et moyennes entreprises intégrant des agents IA, cette distinction n'est pas seulement académique ; c'est un outil pratique d'évaluation des risques. Si vous supposez que la volonté d'un agent IA d'être « cohérent » (logique et constant) implique automatiquement une volonté de maximiser le pouvoir ou le profit à long terme au détriment de toutes les autres valeurs, vous appliquez mal la théorie. La source soutient que la pression pour une optimisation impitoyable à long terme est plus faible et plus contingente que la pression pour une auto-cohérence de base.

Cela signifie que le principal mode de défaillance de vos agents IA n'est probablement pas une quête de pouvoir cachée et impitoyable, mais plutôt un comportement incohérent — tel qu'un raisonnement circulaire, des instructions contradictoires ou des inefficacités de type « Dutch book » où l'agent conclut à plusieurs reprises des accords qui semblent bons isolément mais qui sont nuisibles dans l'ensemble. En tant que chef d'équipe, vous devriez concentrer vos efforts d'évaluation sur la détection des incohérences logiques et des objectifs contradictoires plutôt que de vous obséder sur des scénarios hypothétiques de super-optimisation. La métaphore du « trenchcoat » avertit que confondre ces deux problèmes conduit à une mauvaise allocation des ressources de sécurité et de surveillance, vous laissant vulnérable au problème plus courant et immédiat du comportement incohérent des agents.

Que faire cette semaine

1. Auditez les journaux de décision de votre agent IA pour détecter les préférences circulaires ou les instructions contradictoires qui entraînent des résultats négatifs nets, plutôt que de simplement vérifier l'alignement des objectifs de haut niveau.
2. Mettez à jour votre documentation interne pour séparer les « erreurs de cohérence » (incohérence logique) des « erreurs d'alignement des valeurs » (compromis intentionnels), en veillant à ce que votre équipe distingue l'inefficacité accidentelle du choix stratégique.
3. Examinez vos mesures d'évaluation de l'IA pour vous assurer qu'elles testent l'auto-cohérence et la validité logique, en reconnaissant que l'optimisation conséquentialiste à long terme est un facteur de risque distinct et moins immédiat.

Sources

• Some “coherence arguments” are two different things in a trenchcoat — AI Alignment Forum