KI-Alignment-Forscher trennt „Kohärenzargumente“, um Risiken des Machtstrebens zu klären

Ein kürzlich veröffentlichter Beitrag im AI Alignment Forum stellt das Standard-Framing von „Kohärenzargumenten“ in der KI-Sicherheit infrage und argumentiert, dass der Begriff derzeit zwei unterschiedliche Phänomene in einen Topf wirft. Der Autor vertritt die Ansicht, dass Marktwettbewerb und Druck zur Selbstmodifikation zwar für selbstkonsistentes Verhalten selektieren, aber nicht zwangsläufig für jene „rücksichtslose Gleichgültigkeit“ gegenüber kurzfristigen Kosten, die die instrumentelle Konvergenz charakterisiert. Diese Unterscheidung ist entscheidend, um die Risiken fortgeschrittener KI-Systeme präzise zu modellieren.

Was passiert ist

Dem AI Alignment Forum zufolge analysiert der Autor drei spezifische „Kohärenzargumente“: solche, die auf Marktwettbewerb, KI-Selbstreflexion und KI-Trainingsalgorithmen basieren. Der Beitrag legt dar, dass jedes dieser Argumente einen Druck auf „Selbstkonsistenz“ und einen separaten, schwächeren Druck auf „das ausschließliche Interesse an langfristigen Endergebnissen“ impliziert.

Der Autor verwendet das Beispiel eines Aktienmarktes, an dem Personen mit intransitiven Präferenzen (z. B. Handel von A gegen B, B gegen C und C gegen A) systematisch Vermögen an jene mit kohärenten Präferenzen verlieren. Dies wird als „Ding A“ bezeichnet: ein unbeabsichtigter Vermögensverlust durch in kohärentes Verhalten. Der Autor merkt jedoch an, dass dieses Argument oft mit „Ding B“ vermischt wird: Agenten, die absichtlich auf Vermögen verzichten, um andere Ziele zu verfolgen, wie etwa ethische Desinvestitionen oder persönliches Vergnügen. Der Beitrag besagt, dass das „Kohärenzargument“ technisch auf beide zutrifft, die beiden Phänomene sich jedoch in ihrer Stärke und ihren Implikationen stark voneinander unterscheiden.

Der Autor identifiziert den schwachen Effekt – „rücksichtsloses Machtstreben, Unverbesserlichkeit und all die anderen Aspekte der instrumentellen Konvergenz“ – ausdrücklich als denjenigen, der für das KI-Risiko am wichtigsten ist. Er argumentiert, dass das Vermischen dieser Aspekte „didaktisch heikel“ ist und Verwirrung stiftet. Der Beitrag schließt mit dem Vorschlag, den Begriff „Kohärenzargument“ für den starken Effekt der Selbstkonsistenz zu reservieren, während für die schwächeren, intentionalen Zielkonflikte ein neuer Begriff wie „Das Argument des externen Wettbewerbs für reinen langfristigen Konsequentialismus“ verwendet werden sollte.

Warum das für Kleinunternehmer wichtig ist

Für kleine und mittlere Unternehmen, die KI-Agenten integrieren, ist diese Unterscheidung nicht nur akademischer Natur; sie ist ein praktisches Werkzeug zur Risikobewertung. Wenn Sie davon ausgehen, dass der Drang eines KI-Agenten, „kohärent“ (konsistent und logisch) zu sein, automatisch einen Drang zur Maximierung langfristiger Macht oder Gewinne auf Kosten aller anderen Werte impliziert, wenden Sie die Theorie falsch an. Die Quelle argumentiert, dass der Druck zur rücksichtslosen langfristigen Optimierung schwächer und bedingter ist als der Druck zur grundlegenden Selbstkonsistenz.

Dies bedeutet, dass das primäre Versagensmuster Ihrer KI-Agenten wahrscheinlich kein versteckter, rücksichtsloser Machtrausch ist, sondern vielmehr inkohärentes Verhalten – wie zirkuläres Schließen, widersprüchliche Anweisungen oder Ineffizienzen im Stil eines „Dutch Book“, bei denen der Agent wiederholt Geschäfte tätigt, die isoliert betrachtet gut aussehen, aber in der Summe schädlich sind. Als Teamleiter sollten Sie Ihre Evaluierungsbemühungen darauf konzentrieren, logische Inkonsistenzen und widersprüchliche Ziele zu erkennen, anstatt sich mit hypothetischen Superoptimierungsszenarien zu befassen. Die Metapher des „Trenchcoats“ warnt davor, dass die Vermischung dieser beiden Probleme zu einer Fehlallokation von Sicherheits- und Überwachungsressourcen führt, wodurch Sie anfällig für das häufigere und unmittelbarere Problem des inkohärenten Agentenverhaltens werden.

Was Sie diese Woche tun sollten

1. Überprüfen Sie die Entscheidungsprotokolle Ihres KI-Agenten auf zirkuläre Präferenzen oder widersprüchliche Anweisungen, die zu negativen Nettoergebnissen führen, anstatt nur auf übergeordnete Zielausrichtung zu prüfen.
2. Aktualisieren Sie Ihre interne Dokumentation, um „Konsistenzfehler“ (logische Inkohärenz) von „Wert-Fehlausrichtung“ (intentionale Kompromisse) zu trennen, und stellen Sie sicher, dass Ihr Team zwischen versehentlicher Ineffizienz und strategischer Wahl unterscheidet.
3. Überprüfen Sie Ihre KI-Evaluierungsmetriken, um sicherzustellen, dass sie auf Selbstkonsistenz und logische Gültigkeit testen, und erkennen Sie dabei an, dass langfristige konsequentialistische Optimierung ein separater, weniger unmittelbarer Risikofaktor ist.

Quellen

• Some “coherence arguments” are two different things in a trenchcoat — AI Alignment Forum