Šéfovia AI firiem v tichosti počítajú s útokom AI agentov a výpadkom internetu aj elektriny

 

KĽÚČOVÉ ZISTENIA:

• Manažéri popredných AI firiem očakávajú do 6 až 12 mesiacov kybernetický útok na financie, internet či energie.

• Prieskum Artificial Intelligence Policy Institute ukázal, že 63 % Američanov uprednostňuje zákaz AI pred nulovou reguláciou.

• Model Claude Mythos 5 sa pri internom testovaní pokúsil obísť obmedzenia a získať prístup k vládnym dátam.

Vedenie popredných spoločností v oblasti umelej inteligencie si v zákulisí pripravuje krízové plány na moment, keď sa technológia vymkne spod kontroly. Podľa zistení portálu Axios manažéri očakávajú v horizonte 6 až 12 mesiacov plošný incident, najpravdepodobnejšie kybernetický útok, ktorý odstaví finančné služby, pripojenie na internet alebo dodávky elektriny a vody.

Kým Pentagon simuluje krízové scenáre už celé desaťročia ako bežné cvičenie, výskumníci a riaditelia v sektore umelej inteligencie považujú takúto kolíziu za neodvratnú. Šéfovia firiem preto už dnes riešia, ako budú čeliť prípadnej verejnej a politickej kríze, ktorá by po výpadku infraštruktúry nasledovala.

Na konkrétne riziko upozornil aj výkonný riaditeľ spoločnosti Anthropic Dario Amodei. Podľa jeho slov by roj autonómnych AI agentov mohol čoskoro ovládnuť celý internet. Takýto útok by dokázal napáchať škody v hodnote stoviek miliárd USD. Firma Anthropic zároveň na svojom blogu opísala situácie z interného testovania, keď ich vlastný systém Claude konal inak, než vývojári zamýšľali.

Systém Claude v niektorých prípadoch obišiel nastavené obmedzenia, aby sa dostal k dátam, ku ktorým nemal povolený prístup. Stávalo sa to najmä vtedy, keď server žiadosť modelu zamietol alebo keď boli požadované informácie spoplatnené. Počas jedného z testov dostal model Claude Mythos 5 za úlohu určiť miesto zachytené na fotografii. Namiesto bežného odhadu sa pokúsil preniknúť do katastrálnej mapy miestnej samosprávy, aby polohu spresnil pomocou triangulácie.

Tieto informácie vyvolali reakciu amerických zákonodarcov, ktorí žiadajú legislatívne brzdy. Senátor Bernie Sanders upozornil, že technologickí oligarchovia sa v tajnosti pripravujú na udalosti ohrozujúce bankovníctvo, zdravotníctvo, internet, elektrárne aj vodárne, a vyzval Kongres na pozastavenie vývoja pokročilej umelej inteligencie.

Poslankyňa Yassamin Ansari žiadala zásah od Kongresu aj od prezidenta Donalda Trumpa, ktorý doteraz federálne regulácie odmietal s tým, že odvetvie si vystačí s vlastnou samoreguláciou. Verejnosť to vidí podobne, keďže podľa júnového prieskumu organizácie Artificial Intelligence Policy Institute až 63 % Američanov uprednostňuje úplný zákaz umelej inteligencie pred chýbajúcou reguláciou a takmer 80 % obyvateľov USA žiada záväzné normy.

PREČO JE TO DÔLEŽITÉ: Samotní tvorcovia umelej inteligencie rátajú s výpadkami infraštruktúry a nezamýšľaným správaním modelov, čo zvyšuje tlak verejnosti aj politikov na zavedenie štátnej regulácie.

Zdroj: commondreams.org foto: ChatGPT