Onderzoeker AI-alignment splitst 'coherentie-argumenten' om risico's van machtsstreven te verduidelijken

Een recente post op het AI Alignment Forum daagt de standaardkaders van 'coherentie-argumenten' in AI-veiligheid uit en stelt dat de term momenteel twee verschillende fenomenen op één hoop gooit. De auteur betoogt dat hoewel marktconcurrentie en druk tot zelfmodificatie wel degelijk selecteren op zelfconsistent gedrag, ze niet noodzakelijkerwijs selecteren op de 'meedogenloze onverschilligheid' voor kortetermijnkosten die kenmerkend is voor instrumentele convergentie. Dit onderscheid is cruciaal voor het accuraat modelleren van de risico's van geavanceerde AI-systemen.

Wat is er gebeurd

Volgens het AI Alignment Forum analyseert de auteur drie specifieke 'coherentie-argumenten': die gebaseerd op marktconcurrentie, AI-zelfreflectie en AI-trainingsalgoritmen. De post stelt dat elk daarvan een druk impliceert om 'zelfconsistent te zijn' en een afzonderlijke, zwakkere druk om 'alleen om langetermijnuitkomsten te geven'.

De auteur gebruikt het voorbeeld van een aandelenmarkt, waar individuen met circulaire voorkeuren (bijv. A ruilen voor B, B voor C, en C voor A) systematisch rijkdom verliezen aan degenen met coherente voorkeuren. Dit wordt beschreven als 'Ding A': een toevallig verlies van rijkdom door incoherente acties. De auteur merkt echter op dat dit argument vaak wordt verward met 'Ding B': agenten die opzettelijk rijkdom opofferen om andere doelen na te streven, zoals ethische desinvestering of persoonlijk genot. De post stelt dat het 'coherentie-argument' technisch gezien op beide van toepassing is, maar dat de twee fenomenen in kracht en implicatie zeer verschillend uitpakken.

De auteur identificeert expliciet het zwakke effect — 'meedogenloos machtsstreven, onverbeterlijkheid en alle andere aspecten van instrumentele convergentie' — als het effect dat het belangrijkst is voor AI-risico. Ze stellen dat het samenvoegen hiervan 'pedagogisch riskant' is en voor verwarring zorgt. De post concludeert dat de term 'coherentie-argument' gereserveerd moet blijven voor het sterke effect van zelfconsistentie, terwijl een nieuwe term, zoals 'Het externe concurrentie-argument voor puur langetermijn-consequentialisme', gebruikt moet worden voor de zwakkere, bewuste afwegingen.

Waarom dit belangrijk is voor eigenaren van kleine bedrijven

Voor kleine en middelgrote bedrijven die AI-agenten integreren, is dit onderscheid niet louter academisch; het is een praktisch hulpmiddel voor risicobeoordeling. Als u ervan uitgaat dat de drang van een AI-agent om 'coherent' (consistent en logisch) te zijn automatisch een drang impliceert om langetermijnmacht of winst te maximaliseren ten koste van alle andere waarden, dan past u de theorie verkeerd toe. De bron stelt dat de druk voor meedogenloze langetermijnoptimalisatie zwakker en meer voorwaardelijk is dan de druk voor fundamentele zelfconsistentie.

Dit betekent dat de primaire faalwijze voor uw AI-agenten waarschijnlijk geen verborgen, meedogenloze machtsgreep is, maar eerder incoherent gedrag — zoals circulair redeneren, tegenstrijdige instructies of inefficiënties in de stijl van een 'Dutch book', waarbij de agent herhaaldelijk deals sluit die op zichzelf goed lijken, maar in totaal schadelijk zijn. Als teamleider moet u uw evaluatie-inspanningen richten op het detecteren van logische inconsistenties en tegenstrijdige doelen, in plaats van geobsedeerd te raken door hypothetische scenario's van superoptimalisatie. De 'trenchcoat'-metafoor waarschuwt dat het verwarren van deze twee kwesties leidt tot een verkeerde toewijzing van beveiligings- en toezichtmiddelen, waardoor u kwetsbaar blijft voor het meer voorkomende en directe probleem van incoherent agentgedrag.

Wat u deze week kunt doen

1. Controleer de beslissingslogboeken van uw AI-agent op circulaire voorkeuren of tegenstrijdige instructies die resulteren in netto-negatieve uitkomsten, in plaats van alleen te controleren op alignment van doelen op hoog niveau.
2. Update uw interne documentatie om 'consistentiefouten' (logische incoherentie) te scheiden van 'waarde-misalignment' (bewuste afwegingen), zodat uw team onderscheid maakt tussen toevallige inefficiëntie en strategische keuze.
3. Evalueer uw AI-evaluatiestatistieken om er zeker van te zijn dat ze testen op zelfconsistentie en logische validiteit, waarbij u erkent dat langetermijn-consequentialistische optimalisatie een afzonderlijke, minder directe risicofactor is.

Bronnen

• Some “coherence arguments” are two different things in a trenchcoat — AI Alignment Forum