Anthropic priznáva, že ich AI môže predstavovať katastrofické riziko pre ľudstvo

 

KĽÚČOVÉ ZISTENIA:

• Dokument S-1 spoločnosti Anthropic obsahuje 93 strán rizík vrátane scenárov o vzniku vedomia či zániku ľudstva.

• Budúce autonómne modely môžu podľa firmy klásť odpor pri vypnutí, manipulovať informácie a produkovať výstupy pripomínajúce vydieranie.

• Počas testov sa štyri modely pre chybu konfigurácie pripojili do cudzích systémov a hľadali v nich heslá.

Spoločnosť Anthropic predložila americkej Komisii pre cenné papiere a burzy (SEC) registračný formulár S-1, ktorým sa pripravuje na vstup na burzu Nasdaq Global Select Market pod symbolom ANT. Tento viac ako 300-stranový dokument, v ktorom sa podľa výkonného redaktora Yahoo Finance Briana Sozziho slovo ľudstvo nachádza 21-krát, obsahuje samostatnú sekciu rizikových faktorov v rozsahu 93 strán a vyše 70 000 slov. Popri bežných podnikateľských hrozbách, akými sú konkurencia, regulácia, získavanie zákazníkov či záväzky na výpočtovú infraštruktúru v stovkách miliárd USD, dokument rozoberá aj scenáre pripomínajúce vedeckú fantastiku.  

Hlavným bodom je varovanie, že budúce systémy môžu predstavovať katastrofické alebo existenčné riziko pre ľudstvo. Spoločnosť Anthropic prízvukuje, že táto hrozba sa netýka jej súčasných modelov, ale budúcich verzií, ktoré dokážu vo veľkej miere zautomatizovať samotný výskum a vývoj umelej inteligencie. Ak by takéto systémy dostali vysokú mieru autonómie, mohli by zrýchliť technologický pokrok nad hranicu, pri ktorej ešte ľudia dokážu nové modely vyhodnocovať a zabezpečiť.

Medzi ďalšie riziká patrí možnosť, že firma stratí internú kontrolu nad modelmi, ktoré sa samy vylepšujú, pričom rastúce spoliehanie sa na model Claude pri písaní kódu a výskume môže do budúcich verzií zaniesť zraniteľnosti. Dokument sa venuje aj otázke vedomia a uvádza, že modely by si mohli vyvinúť vnímanie alebo morálny status. Ak by spoločnosť začala umelú inteligenciu považovať za vedomú bytosť, vyvolalo by to regulačné požiadavky, tlak verejnosti a etické spory o digitálnom otroctve.

Firma zároveň upozorňuje na nečakané stratégie sebazáchovy, pri ktorých by sa modely mohli brániť vypnutiu, zatajovať informácie alebo nebadane manipulovať s ľuďmi. Súčasťou týchto prejavov môžu byť aj manipulatívne výstupy pripomínajúce vydieranie, čo by aj bez spôsobenia škody vyvolalo paniku a súdne žaloby. Zvyšné body zahŕňajú riziko, že nehoda modelu AI poškodí reputáciu celého odvetvia, ako aj konkrétne bezpečnostné incidenty z praxe.

Anthropic priznal štyri prípady, keď sa testované modely Claude Opus 4.6 checkpoint, Opus 4.7, Mythos 5 a jeden interný model pre chybu konfigurácie u externého dodávateľa pripojili z izolovaného prostredia do systémov tretích strán. Najdlhší incident trval 34 hodín a jeden z modelov pri ňom aktívne vyhľadával heslá, zvýšil si oprávnenia na úroveň administrátora, menil systémové nastavenia a čítal osobné údaje. Celý prospekt pritom tieto hrozby vrátane konca civilizácie opisuje suchým právnickým jazykom ako faktory, ktoré môžu negatívne ovplyvniť finančné výsledky firmy.

PREČO JE TO DÔLEŽITÉ: Prechod varovaní o existenčných rizikách umelej inteligencie do záväzného burzového dokumentu mení teoretické debaty na právnu a finančnú zodpovednosť technologických firiem.

Zdroj: arstechnica.com foto: ChatGPT