Ochrnutá žena začala „hovoríť“ prostredníctvom digitálneho avatara

Vedci z univerzít v San Franciscu a Berkeley pod vedením doktora Edwarda Changa vytvorili prelomové rozhranie mozog – počítač (brain-computer interface – BCI), ktoré umožňuje ochrnutej žene komunikovať prostredníctvom digitálneho avatara. Ide o vôbec prvú syntézu reči alebo mimiky priamo zo signálov mozgu. Systém dokáže konvertovať tieto signály na text pôsobivou rýchlosťou takmer 80 slov za minútu, čím prekonáva existujúce technológie. Vyvinuté BCI dekóduje mozgové signály do syntetizovanej reči a výrazov tváre, čo umožňuje ochrnutým jedincom prirodzenejšiu komunikáciu.

Namiesto rozpoznávania celých slov systém identifikuje fonémy, čiastkové jednotky reči, čím sa zvyšuje rýchlosť a presnosť. Hlas digitálneho avatara bol prispôsobený tak, aby odrážal hlas používateľa pred úrazom, a animácie tváre boli riadené softvérom, ktorý interpretoval signály mozgu pre rôzne výrazy tváre. Changov tím už predtým preukázal, že možno dekódovať mozgové signály do textu u muža, ktorý pred mnohými rokmi prekonal mozgovú porážku.

Súčasná štúdia, publikovaná v časopise Nature, demonštruje niečo ambicióznejšie: dekódovanie mozgových signálov do reči spolu s pohybmi, ktoré oživujú tvár človeka počas rozhovoru. Chang implantoval na povrch mozgu ženy obdĺžnik tenký ako papier s 253 elektródami nad oblasťami, o ktorých jeho tím zistil, že sú kritické pre reč. Elektródy zachytávali mozgové signály, ktoré by, nebyť mozgovej príhody, smerovali do svalov jazyka, čeľuste a hrtana, ako aj do tváre. Kábel zapojený do portu pripevneného na jej hlave spájal elektródy so zostavou počítačov.

Účastníčka niekoľko týždňov spolupracovala s tímom na tréningu algoritmov umelej inteligencie systému, aby rozpoznali jej jedinečné mozgové signály pre reč. To zahŕňalo opakovanie rôznych fráz z konverzačného slovníka s 1024 slovami znova a znova, kým počítač nerozpoznal vzorce mozgovej aktivity spojené s týmito zvukmi. Namiesto toho, aby výskumníci trénovali umelú inteligenciu na rozpoznávanie celých slov, vytvorili systém, ktorý dekóduje slová z foném.

Pri použití tohto prístupu sa počítač musel naučiť iba 39 foném, aby rozlúštil akékoľvek slovo v angličtine. Tým sa zvýšila presnosť systému a zároveň bol trikrát rýchlejší. Na vytvorenie hlasu tím navrhol algoritmus na syntézu reči, ktorý prispôsobil tak, aby znel ako hlas pacientky pred zranením. Avatar bol animovaný pomocou softvéru, ktorý simuluje a animuje pohyby svalov tváre, od spoločnosti Speech Graphics, ktorá vyrába animácie tváre riadené umelou inteligenciou.

Výskumníci vytvorili prispôsobené procesy strojového učenia, ktoré umožnili softvéru spoločnosti zosieťovať signály vysielané z mozgu ženy, keď sa snažila hovoriť, a previesť ich na pohyby na tvári avatara, vďaka čomu sa čeľusť otvárala a zatvárala, pery vystierali a špúlili a jazyk sa dvíhal a klesal, ako aj na výrazy tváre vyjadrujúce šťastie, smútok a prekvapenie.

Zdroj: neurosciencenews.com