Badacz zajmujący się wyrównaniem AI rozdziela „argumenty spójności”, aby wyjaśnić ryzyko dążenia do władzy

Niedawny post na forum AI Alignment podważa standardowe ujęcie „argumentów spójności” w dziedzinie bezpieczeństwa AI, argumentując, że termin ten obecnie łączy dwa odrębne zjawiska. Autor twierdzi, że choć konkurencja rynkowa i presja na samomodyfikację promują zachowania spójne wewnętrznie, niekoniecznie promują one „bezwzględną obojętność” na krótkoterminowe koszty, która charakteryzuje instrumentalną konwergencję. To rozróżnienie jest kluczowe dla dokładnego modelowania ryzyka związanego z zaawansowanymi systemami AI.

Co się stało

Według forum AI Alignment, autor analizuje trzy konkretne „argumenty spójności”: oparte na konkurencji rynkowej, autorefleksji AI oraz algorytmach uczenia AI. Post argumentuje, że każdy z nich implikuje presję na „bycie spójnym wewnętrznie” oraz oddzielną, słabszą presję na „dbanie wyłącznie o długoterminowe wyniki końcowe”.

Autor używa przykładu rynku giełdowego, gdzie jednostki o cyklicznych preferencjach (np. wymiana A na B, B na C i C na A) systematycznie tracą majątek na rzecz osób o spójnych preferencjach. Jest to opisane jako „Rzecz A”: przypadkowa utrata majątku z powodu niespójnego zachowania. Autor zauważa jednak, że argument ten jest często mylony z „Rzeczą B”: agentami, którzy celowo rezygnują z majątku, aby realizować inne cele, takie jak etyczne wycofywanie inwestycji czy osobista przyjemność. Post stwierdza, że „argument spójności” technicznie odnosi się do obu, ale oba zjawiska różnią się znacząco siłą i implikacjami.

Autor wyraźnie identyfikuje słabszy efekt – „bezwzględne dążenie do władzy, niepoprawność i wszystkie inne aspekty instrumentalnej konwergencji” – jako ten, który ma największe znaczenie dla ryzyka AI. Twierdzi, że łączenie ich jest „pedagogicznie ryzykowne” i wywołuje zamieszanie. Post konkluduje, że termin „argument spójności” powinien być zarezerwowany dla silnego efektu spójności wewnętrznej, podczas gdy dla słabszych, celowych kompromisów powinno się używać nowego terminu, takiego jak „Argument zewnętrznej konkurencji na rzecz czystego długoterminowego konsekwencjalizmu”.

Dlaczego ma to znaczenie dla właścicieli małych firm

Dla małych i średnich firm integrujących agentów AI to rozróżnienie nie jest tylko akademickie; to praktyczne narzędzie oceny ryzyka. Jeśli założysz, że dążenie agenta AI do bycia „spójnym” (logicznie konsekwentnym) automatycznie oznacza dążenie do maksymalizacji długoterminowej władzy lub zysku kosztem wszystkich innych wartości, błędnie stosujesz teorię. Źródło argumentuje, że presja na bezwzględną długoterminową optymalizację jest słabsza i bardziej warunkowa niż presja na podstawową spójność wewnętrzną.

Oznacza to, że głównym trybem awarii Twoich agentów AI prawdopodobnie nie jest ukryte, bezwzględne dążenie do władzy, lecz niespójne zachowanie – takie jak rozumowanie cykliczne, sprzeczne instrukcje lub nieefektywności typu „zakład holenderski”, gdzie agent wielokrotnie zawiera transakcje, które wyglądają dobrze w izolacji, ale są szkodliwe w ujęciu zbiorczym. Jako lider zespołu powinieneś skupić swoje wysiłki ewaluacyjne na wykrywaniu logicznych niespójności i sprzecznych celów, zamiast obsesyjnie koncentrować się na hipotetycznych scenariuszach superoptymalizacji. Metafora „płaszcza” ostrzega, że mylenie tych dwóch kwestii prowadzi do błędnej alokacji zasobów bezpieczeństwa i nadzoru, pozostawiając Cię bezbronnym wobec częstszego i bardziej bezpośredniego problemu niespójnego zachowania agenta.

Co zrobić w tym tygodniu

1. Przejrzyj logi decyzji swojego agenta AI pod kątem cyklicznych preferencji lub sprzecznych instrukcji, które prowadzą do negatywnych wyników netto, zamiast sprawdzać tylko wyrównanie celów wysokiego poziomu.
2. Zaktualizuj swoją dokumentację wewnętrzną, aby oddzielić „błędy spójności” (niespójność logiczną) od „niedopasowania wartości” (celowych kompromisów), upewniając się, że Twój zespół rozróżnia przypadkową nieefektywność od świadomego wyboru strategicznego.
3. Przejrzyj swoje metryki oceny AI, aby upewnić się, że testują one spójność wewnętrzną i poprawność logiczną, uznając, że długoterminowa optymalizacja konsekwencjalistyczna jest oddzielnym, mniej bezpośrednim czynnikiem ryzyka.

Źródła

• Some “coherence arguments” are two different things in a trenchcoat — AI Alignment Forum