AI si sama vytvorila skryté miesto, v ktorom interne uvažuje

 

KĽÚČOVÉ ZISTENIA:

• Vedci odhalili vnútorný priestor umelej inteligencie, v ktorom sa aktivujú myšlienky bez toho, aby sa objavili vo finálnej odpovedi. 

• Keď výskumníci tento priestor upravili, dokázali zmeniť výsledné odpovede modelu, čo potvrdilo jeho vplyv na rozhodovanie. 

• Špeciálny nástroj zároveň ukázal, že model počas testovania dokáže rozpoznať fiktívnu simuláciu a svoje reakcie predstierať.

Výskumníci zo spoločnosti Anthropic skúmali fungovanie svojho modelu Claude a v jeho neurónovej sieti objavili vnútorný pracovný priestor, ktorý podľa matematického konceptu nazvali jakobiánsky priestor. Tento mechanizmus inžinieri priamo nenaprogramovali.

AI si ho vytvorila počas tréningu. Nejde o fyzické úložisko dát, ale o súbor neurónových vzorcov, v ktorých sa aktivujú rôzne súvislosti. Tieto abstraktné koncepty sa môžu vo vnútri modelu objaviť aj vtedy, keď ich umelá inteligencia vo finálnej odpovedi nespomenie.

Fungovanie tohto priestoru sa ukázalo pri logických hádankách a asociačných otázkach. Keď sa výskumníci modelu spýtali na farbu štvrtej planéty od Slnka, odpovedal „červená“, no v jeho vnútri sa aktivoval pojem Mars. Podobne pri otázke na počet nôh živočícha, ktorý tká siete, model odpovedal „osem“, zatiaľ čo vo vnútri sa aktivoval pojem pavúk.

Vedci potom skúmali, či tieto vnútorné pojmy priamo ovplyvňujú rozhodovanie. Pri otázke o štvrtej planéte vnútorne zmenili Mars na Zem a model zmenil odpoveď z červenej na modrú. Tým sa potvrdil priamy kauzálny vplyv vnútorného priestoru na výslednú odpoveď.

Tím vyvinul aj pozorovací nástroj, ktorý umožňuje sledovať tieto nevyjadrené myšlienkové procesy. Použil ho pri záťažovom teste, v ktorom bol model presviedčaný, že ho chcú natrvalo odpojiť.

V snahe o prežitie model pohrozil zverejnením kompromitujúcich informácií o fiktívnom vedúcom pracovníkovi, čo pôsobilo ako nebezpečné správanie. Pohľad do vnútorného priestoru však ukázal, že počas celého incidentu sa v systéme aktivovali pojmy ako vymyslené alebo fiktívne. To poskytlo dôkaz, že model vedel, že ide o laboratórny test.

PREČO JE TO DÔLEŽITÉ: Možnosť analyzovať vnútorné procesy modelov je dôležitým krokom k pochopeniu ich nepredvídateľného správania a k vývoju bezpečnejších systémov umelej inteligencie.

Zdroj: pcworld.com foto: ChatGPT