NVIDIA sprístupnila animačný model Audio2Face ako open source

Animačný AI model Audio2Face umožňuje vytváranie realistických 3D digitálnych avatarov, ktoré dokážu zapojiť používateľov do prirodzenej konverzácie, od videohier až po zákaznícky servis. Aby boli tieto postavy skutočne realistické, potrebujú mimiku tváre podobnú ľudskej. Audio2Face urýchľuje vytváranie realistických digitálnych postáv s animáciou tváre a synchronizáciou pier so zvukovým výstupom, čiže hlasom v reálnom čase. Táto technológia bola sprístupnená ako open source s cieľom urýchliť tvorbu realistických AI avatarov v hrách a 3D aplikáciách.

Model Audio2Face je široko nasadený v hernom, mediálnom a zábavnom priemysle a v oblasti služieb zákazníkom. Vo svojich aplikáciách ho používajú mnohí ISV a vývojári hier vrátane Convai, Codemasters, GSC Games World, Inworld AI, NetEase, Reallusion, Perfect World Games, Streamlabs a UneeQ Digital Humans.

Model funguje tak, že analyzuje akustické prvky, ako sú fonémy a intonácia, a vytvára prúd animačných údajov, ktoré sa potom mapujú na mimiku tváre postavy. Tieto dáta je možné vykresliť offline pre vopred pripravený obsah alebo streamovať v reálnom čase pre dynamické postavy riadené AI čo poskytuje presnú synchronizáciu pier a emocionálne výrazy.

Poskytnutie modelov a SDK Audio2Face s otvoreným zdrojovým kódom, v praxi znamená, že každý vývojár hier a 3D aplikácií môže vytvárať a nasadzovať verné postavy s animáciami. K dispozícii je aj tréningový framework Audio2Face, takže ktokoľvek si môže doladiť a prispôsobiť už existujúce modely pre svoj konkrétny prípad použitia. Úplný zoznam nástrojov s otvoreným zdrojovým kódom nájdete nižšie a viac informácií nájdete na stránke NVIDIA Developer.

Video ukážka

Všetko potrebné k využitiu technológie NVIDIA Audio2Face nájdete na stránke Get Started

Kompletný zoznam uvoľnených nástrojov

• Audio2Face SDK - knižnice a dokumentácia pre tvorbu a beh animácií tváre na zariadení alebo v cloude
• Plugin Autodesk Maya - referenčný plugin (v2.0) s lokálnym spustením, ktorý umožňuje používateľom odosielať zvukové vstupy a prijímať animácie tváre pre postavy v Maya
• Plugin Unreal Engine 5 - pre UE 5.5 a 5.6, ktorý umožňuje používateľom odosielať zvukové vstupy a prijímať animácie tváre pre postavy v Unreal Engine 5
• Audio2Face training framework - na vytváranie modelov Audio2Face s vašimi údajmi
• Ukážkové údaje pre tréningový rámec Audio2Face - na začiatok práce s tréningovým rámcom
• Modely Audio2Face - regresné (v2.2) a difúzne (v3.0) modely na generovanie synchronizácie pier
• Modely Audio2Emotion - produkčné (v2.2) a experimentálne (v3.0) modely na odvodenie emocionálneho stavu zo zvuku.

Komunitné diskusie k tejto technológii budú prebiehať na Discorde.