Meta ve spolupráci s Univerzitou Waterloo vyvinula MoCha, AI systém schopný generovat realistické animace postav s přirozenými pohyby a synchronizovanou řečí.
Inovace v přesnosti synchronizace řeči a pohybu
Nový systém MoCha od giganta Meta přináší zásadní zlepšení v oblasti animace postav. Na rozdíl od předchozích modelů, které se soustředily výhradně na animaci tváře, MoCha umožňuje generování animací celého těla z různých úhlů kamery. Zahrnuje synchronizaci pohybů rtů, gest a interakcí mezi více postavami.
Jednou z klíčových inovací je mechanismus „audio-vizuálního okna pozornosti“, který řeší dva významné problémy: zachování plného rozlišení zvuku během komprese videa a eliminaci nesouladu mezi pohyby rtů a zvukem při paralelní generaci videa.
Tento mechanismus omezuje přístup každého snímku ke specifickému zvukovému oknu, čímž napodobuje přirozený proces lidské řeči. Výzkumný tým doplnil markery před a po každém zvukovém okně, což vede k plynulejším přechodům a přesnější synchronizaci.
MoCha byla vyvinuta na základě 300 hodin pečlivě vybraného video obsahu, který byl kombinován s textově založenými sekvencemi. Tato kombinace umožňuje rozšířené možnosti projevu a interakce, přičemž systém exceluje zejména ve scénách s více postavami.
Uživatelé mohou definovat postavy jednou a jednoduše je označovat pomocí štítků jako „Postava 1″ nebo „Postava 2″, bez potřeby opakovaného popisu.
Aplikace a konkurence na trhu AI videotechnologií
Testy systému MoCha ve 150 různých scénářích ukázaly jeho výraznou převahu nad konkurenčními systémy v přesnosti synchronizace řeči a přirozenosti pohybů. Nezávislí hodnotitelé označili generovaná videa za mimořádně realistická, přičemž vyzdvihli jejich preciznost a přirozenost.
MoCha má široký potenciál využití v oblastech jako digitální asistenti, virtuální avatary, reklama či vzdělávací obsah.
Navzdory tomu, že Meta zatím neoznámila, zda bude systém zpřístupněn jako open-source nebo zůstane výzkumným prototypem, jeho uvedení představuje významný krok v oblasti AI generace videa.
Na poli AI video technologií se však konkurence neustále zvyšuje. Meta nedávno představila systém MovieGen, zatímco ByteDance (mateřská společnost TikToku) vyvíjí vlastní nástroje pro AI animaci včetně INFP, OmniHuman-1 a Goku.
