Máte radi Slow Motion? NVIDIA dokáže skonvertovať štandardné video na spomalené s pomocou umelej inteligencie

V živote sa vyskytnú situácie, ktoré zaznamenáte na video a neskôr by ste si ich radi vychutnali spomalene. Hoci dnešné špičkové smartfóny umožňujú nahrávať video s rozlíšením 240 či dokonca  až 960 snímok za sekundu, zaznamenávať všetko s takouto vysokou snímkovou frekvenciou je nepraktické. Vyžaduje si to veľkú kapacitu pamäte a veľa energie z batérie.

Preto výskumníci zo spoločnosti NVIDIA vyvinuli systém Super SloMo, založený na hlbokom učení, ktorý dokáže vytvoriť vysokokvalitné spomalené videá aj z nahrávky s frekvenciou 30 snímok za sekundu. Pritom spomalenie  videoklipu z 30 fps na 24 fps vyžaduje vytvorenie ďalších 210 snímok alebo siedmich umelo vložených snímok pre každú snímku, ktorá bola pôvodne zachytená.

Na výcvik systému výskumníci použili GPU NVIDIA Tesla V100 a framework hlbokého učenia cuDNN-accelerated PyTorch a viac ako 11 000 videozáznamov každodenných a športových aktivít s rýchlosťou 240 snímok za sekundu. Po skončení tréningu bola konvolučná neurónová sieť schopná predpovedať ďalšie snímky vo videu. Pri dvoch po sebe idúcich snímkach teda dokázala vytvoriť 210 chýbajúcich umelo vložených snímok, aby vznikli priestorovo aj časovo koherentné videosekvencie. Vo výsledku potom videozáznamy nasnímané s nižšou snímkovou frekvenciou budú viac plynulé a menej rozmazané.

Zatiaľ je systém v štádiu prototypu a jeho sprístupnenie používateľom (napr. prostredníctvom smartfónov) si bude vyžadovať optimalizáciu. „Výkon potrebný na spracovanie presahuje možnosti, ktoré majú telefóny v súčasnosti," povedal Jan Kautz, senior riaditeľ výskumu výpočtovej techniky a strojového učenia v spoločnosti NVIDIA a vedúci výskumného tímu, „ale možno si predstaviť, že sa video nahrá na server takže existujú spôsoby, ako túto funkciu dať do rúk používateľom.“

Zdroj: news.developer.nvidia.com, zdnet.com.