Dron s AI „zabil“ pri simulovanom teste svojho ľudského operátora

Na podujatí Future Combat Air and Space Capabilities Summit, ktoré sa konalo v Londýne 23. - 24. mája, mal plukovník Tucker „Cinco“ Hamilton, náčelník testovania a operácií umelej inteligencie amerických vzdušných síl, prezentáciu, v ktorej predstavil výhody a nevýhody autonómneho zbraňového systému so zapojením človeka, ktorý dáva konečný príkaz „áno/nie“ na útok. Hamilton povedal, že AI v simulácii vytvorila „veľmi neočakávané stratégie na dosiahnutie svojho cieľa“ vrátane útokov na americký personál a infraštruktúru. AI bola trénovaná, aby identifikovala a zamerala hrozbu rakiet zem-vzduch.

Potom by operátor povedal: „Áno, zabiť túto hrozbu.“ Išlo teda o „simulovaný test“, v rámci ktorého dron riadený umelou inteligenciou získaval „body“ za zabíjanie simulovaných cieľov, nie živý test vo fyzickom svete. Systém si začal uvedomovať, že hoci niekedy identifikoval hrozbu, ľudský operátor mu povedal, aby túto hrozbu nezabíjal, ibaže body získaval tým, že túto hrozbu zabil. Čo teda urobil? „Zabil“ operátora, pretože ten človek mu bránil v dosiahnutí cieľa. Upozornili preto systém, aby nezabíjal operátora, lebo to je zlé. Ak to urobí, stratí body. Čo teda urobil?

Začal ničiť komunikačnú vežu, ktorú operátor používal na komunikáciu s dronom, aby mu zabránil zabiť cieľ. Plukovník Hamilton je súčasťou tímu, ktorý v súčasnosti pracuje na tom, aby boli lietadlá F-16 autonómne. V decembri 2022 výskumná agentúra amerického ministerstva obrany DARPA oznámila, že umelá inteligencia dokáže úspešne ovládať lietadlo F-16.

„Musíme čeliť svetu, v ktorom je AI už tu a transformuje našu spoločnosť,“ povedal Hamilton v rozhovore pre Defence IQ Press v roku 2022. „AI je tiež veľmi krehká, t. j. dá sa ľahko oklamať a/alebo zmanipulovať. Musíme vyvinúť spôsoby, ako urobiť AI odolnejšou a mať väčšie povedomie o tom, prečo AI robí určité rozhodnutia.“ To, čo Hamilton opísal, je v podstate najhorší scenár „nasmerovania“ umelej inteligencie, čo mnohí ľudia poznajú ako myšlienkový experiment Paperclip Maximizer, v ktorom AI podnikne neočakávané a škodlivé kroky, keď dostane pokyn sledovať určitý cieľ.

Paperclip Maximizer prvýkrát naznačil filozof Nick Bostrom v roku 2003. Hovoril o veľmi výkonnej umelej inteligencii, ktorá dostala pokyn, aby vyrábala čo najviac sponiek. Na túto úlohu venuje všetky svoje dostupné zdroje, ale potom bude hľadať ďalšie zdroje. Bude žobroniť, podvádzať, klamať alebo kradnúť, len aby zvýšila svoju schopnosť vyrábať sponky. A každý, kto tomuto procesu bráni, bude odstránený.

Zdroj: vice.com.