Umelá inteligencia už dokáže z naskenovaných “myšlienok” vytvoriť video

Výskumníci z Národnej univerzity v Singapure a Čínskej univerzity v Hongkongu použili generatívnu umelú inteligenciu na rekonštrukciu „vysokokvalitného“ videa zo záznamov mozgovej aktivity. Využili údaje z fMRI a textovo-obrazový AI model Stable Diffusion na vytvorenie modelu s názvom MinD-Video, ktorý generuje video zo snímania aktivít mozgu. Dokument opisujúci túto prácu bol zverejnený na pretlačovom serveri arXiv. Ich demonštrácia na webovej stránke ukazuje paralelu medzi videami, ktoré sledovali subjekty, a videami generovanými umelou inteligenciou, vytvorenými na základe ich mozgovej aktivity.

Rozdiely medzi týmito dvoma videami sú nepatrné a väčšinou obsahujú podobné predmety a farebné palety. Výskumníci definujú MinD-Video ako „dvojmodulový kanál navrhnutý na preklenutie medzery medzi dekódovaním obrazu a videa mozgom“. Na trénovanie systému použili verejne dostupný súbor údajov obsahujúci videá a údaje z fMRI mozgu testovaných subjektov, ktoré ich sledovali.

„Dvojmodulový kanál“ pozostával z trénovaného kodéra fMRI a doladenej verzie Stable Diffusion, čo je široko používaný model umelej inteligencie na generovanie obrazu. Videá, ktoré výskumníci zverejnili, zobrazujú pôvodné video s koňmi v poli a potom rekonštruované video so živšie sfarbenou verziou koní. V inom videu auto jazdí po zalesnenej oblasti a rekonštruované video zobrazuje pohľad prvej osoby na niekoho, kto cestuje po kľukatej ceste.

Výskumníci konštatovali, že rekonštruované videá boli naozaj veľmi kvalitné, pokiaľ ide o pohyby a dynamiku scény. Uviedli takisto, že videá mali 85-percentnú presnosť, čo znamená zlepšenie oproti predchádzajúcim prístupom. Táto štúdia predstavuje ďalší pokrok v oblasti čítania ľudských myšlienok pomocou umelej inteligencie. Predtým výskumníci z univerzity v Osake zistili, že môžu rekonštruovať obrazy s vysokým rozlíšením z mozgovej aktivity pomocou techniky, ktorá tiež využíva údaje z fMRI a Stable Diffusion.

Zdroj: vice.com.