V pondělí 17.6. společnost Runway, která vyvíjí generativní AI nástroje pro tvůrce filmového a obrazového obsahu, představila Gen-3 Alpha. Tento nový model AI generuje videoklipy z textových popisů a statických obrázků. Společnost Runway tvrdí, že model nabízí výrazné zlepšení v rychlosti generování a věrnosti ve srovnání s předchozím vlajkovým modelem Gen-2 a umožňuje jemněji ovládat strukturu, styl a pohyb ve vytvářených videích. A co si budeme, ukázky, které nám Runway přinesla, jsou toho opravdu důkazem!
Gen-3 bude k dispozici v následujících dnech pro předplatitele Runway, včetně podnikových zákazníků a společností v programu kreativních partnerů Runway.
Filmová realistika, kreativní přechody a detailnost v každém záběru
„Gen-3 Alpha vyniká při generování expresivních lidských postav se širokou škálou akcí, gest a emocí,“ píše Runway na svém blogu. „Gen-3 byl navržen tak, aby interpretoval širokou škálu stylů a filmové terminologie. Kromě toho je kladen velký důraz na využití kreativních přechodů a přesné vyobrazování prvků ve scéně.“
Bohužel i Gen-3 Alpha má své omezení, nejvýraznějším z nich je maximální délka záběru 10 sekund. Spoluzakladatel Runway, Anastasis Germanidis, však slibuje, že Gen-3 je pouze prvním a nejmenším z několika modelů nové generace trénovaných na vylepšené infrastruktuře.
„Model může mít potíže s komplexními interakcemi postav a objektů a generace, která ne vždy přesně dodržuje fyzikální zákony,“ řekl Germanidis v rozhovoru pro magazín TechCrunch. „Tato první verze bude podporovat 5- a 10-sekundové generované záběry ve vysokém rozlišení. Velký pokrok byl i učiněn na rychlosti, s níž jsou záběry generovány. Vygenerování 5-sekundového klipu by mělo trvat 45 sekund, zatímco 10-sekundového klipu zhruba 90 sekund.“ Pro více videí vygenerovaných modelem Gen-3, doporučuji navštívit Runway blog.
Trénovací data jsou držena pod pokličkou
Gen-3 Alpha, stejně jako všechny modely pro generování videí, byl trénován na velkém množství videí a obrázků, aby se naučil datové vzory a mohl podle nich generovat nové klipy. Odkud pocházejí tréninková data? Runway neprozradil. Mnoho dodavatelů generativní AI dnes totiž považuje tréninková data za konkurenční výhodu a drží je v tajnosti.
„Máme interní výzkumný tým, který dohlíží na veškerý náš trénink, a používáme kurátorované interní datové sady k trénování našich modelů,“ řekl Germanidis.
Detaily o tréninkových datech mohou být také zdrojem žalob týkajících se duševního vlastnictví, pokud dodavatel trénoval na veřejně dostupných datech, včetně těch, která jsou chráněna autorskými právy. Několik případů probíhajících u soudů zpochybňuje obranu dodavatelů založenou na fair use tréninkových dat, podle nich nástroje generativní AI replikují styly umělců bez jejich povolení a umožňují uživatelům generovat nová díla podobná originálům, za která umělci nedostávají žádnou odměnu. Ačkoli to byla právě jejich díla, která k trénování modelů přispěla.
Runway se k otázce autorských práv částečně vyjádřil, když uvedl, že při vývoji modelu konzultoval s umělci. (Kterými umělci? To bohužel není jasné.) To odpovídá tomu, co Germanidis řekl během rozhovoru na TechCrunch’s Disrupt konferenci v roce 2023:
„Úzce spolupracujeme s umělci na nalezení nejlepších přístupů k řešení tohoto problému,“ řekl. „Zkoumáme různé datové partnerství, abychom mohli dále růst a vybudovat další generaci modelů.“
C2PA a další bezpečností opatření před zneužitím
Runway také uvedl, že plánuje vydat Gen-3 s novou sadou ochranných opatření, včetně systému moderování, který blokuje pokusy o generování videí z chráněných obrázků a obsahu, který není v souladu s podmínkami služby Runway. Také pracuje na systému prověřování, který je kompatibilní se standardem C2PA, podporovaným společnostmi Microsoft, Adobe, OpenAI a dalšími, aby bylo možné ověřit, že videa pocházejí z Gen-3.
„Náš nový a vylepšený interní systém vizuální a textové moderace používá automatický dohled k filtrování nevhodného nebo škodlivého obsahu,“ řekl Germanidis. „Autentizace C2PA ověřuje původ a autentičnost médií vytvořených všemi modely Gen-3. Jak se zlepšují schopnosti modelů a schopnost generovat vysoce věrný obsah, budeme i nadále významně investovat do našich úsilí o sladění a bezpečnost.“
Spolupráce s lídry v oboru a nedostatek konzistence
Runway také odhalil, že spolupracuje a spolupracoval s „předními zábavními a mediálními organizacemi“ na vytváření vlastních verzí Gen-3, které umožňují „stylisticky kontrolované“ a konzistentní postavy, zaměřené na „specifické umělecké a narativní požadavky“. Společnost dodává: „To znamená, že postavy, pozadí a prvky generované mohou udržovat koherentní vzhled a chování v různých scénách.“
Hlavní nevyřešený problém s modely pro generování videí je kontrola — tj. získání modelu, aby generoval konzistentní video odpovídající tvůrčím záměrům autora. Jak nedávno napsal Devin Coldewey, jednoduché záležitosti v tradičním filmování, jako je výběr barvy oděvu postavy, jsou v případě generativních modelů velmi obtížné. Jinými slovy to, že máte odstín zelené barvy v jednom záběru ještě neznamená, že ten stejný odstín bude i v záběru druhý. Důvodem je fakt, že každý záběr je vytvořen nezávisle na ostatních. Následkem toho nedostatek konzistence představuje velkou práci pro editory, kteří musí záběry ručně dolaďovat.
Runway získal více než 236,5 milionu dolarů od investorů, včetně společnosti Google a Nvidia, stejně jako od rizikových kapitálových společností jako Amplify Partners, Felicis a Coatue. Jak rostou její investice do technologie generativní AI, společnost se úzce spojuje s kreativním průmyslem. Runway provozuje Runway Studios, zábavní divizi, která slouží jako produkční partner pro podnikové klienty, a pořádá AI Film Festival, jednu z prvních akcí věnovaných předvádění filmů produkovaných zcela nebo částečně AI.
Konkurenční boj v AI video průmyslu jde na vrchol
Generativní AI startup Luma minulý týden oznámil Dream Machine, generátor videí, který se stal virálním díky své schopnosti animovat memy. A před pár měsíci Adobe oznámilo, že vyvíjí svůj vlastní model pro generování videí trénovaný na obsahu z Adobe Stock mediální knihovny.
Mezitím zde jsou zavedení hráči jako Sora od OpenAI, nicméně OpenAI model prozatím zpřístupňuje jen marketingovým agenturám a nezávislým i hollywoodským filmovým režisérům. Letošní Tribeca Festival — který také spolupracuje s Runway na kurátorství filmů vytvořených pomocí AI nástrojů — představil krátké filmy produkované modelem Sora režiséry, kteří měli k nástroji časný přístup.
Google také předal svůj model pro generování obrázků, Veo, do rukou vybraných tvůrců, včetně Donalda Glovera a jeho kreativní agentury Gilga. Glover v současnosti pracuje na zavedení Veo do produktů jako jsou YouTube Shorts.
Ať už se různé spolupráce vyvinou jakkoli, jedna věc je stále jasnější: nástroje generativní AI pro videa hrozí, že změní filmový a televizní průmysl, jak ho známe.
Filmař Tyler Perry nedávno prohlásil, že pozastavil plánované rozšíření svého produkčního studia za 800 milionů dolarů po zhlédnutí toho, co Sora dokáže. Joe Russo, režisér filmů Marvel jako „Avengers: Endgame“, předpovídá, že do roka bude AI schopna vytvořit plně vyvinutý film.
Prudký úbytek pracovních míst
Studie z roku 2024, kterou zadala Animation Guild, odborová organizace zastupující hollywoodské animátory a karikaturisty, zjistila, že 75 % filmových produkčních společností, které přijaly AI, snížilo, konsolidovalo nebo zrušilo pracovní místa po zavedení této technologie. Studie také odhaduje, že do roku 2026 bude více než 100 000 pracovních míst v americkém zábavním průmyslu ovlivněno generativní AI.
Je očividně zjevné, že bude zapotřebí vyvinout i globální systém pro vyrovnávání se s prudkým poklesem poptávky pro lidi zabývající se tvůrčí prací – jako je např. video. Koneckonců, proč by giganti jako Netflix nebo Disney platili celý štáb, když mohou zaplatit pár lidí, kteří skrze AI vygenerují stejné záběry za zlomek ceny a času.
Shrnutí:
- Gen-3 Alpha nabízí výrazné zlepšení ve generování videí z textů a obrázků.
- Model poskytuje lepší kontrolu nad strukturou, stylem a pohybem videí.
- Spolupráce s umělci a nová opatření proti porušování autorských práv.
- Generativní AI nástroje mohou zásadně ovlivnit filmový a televizní průmysl.
Zdroj:
- Wiggers, K. (2024b, June 17). Runway’s new video-generating AI, gen-3, offers improved controls. TechCrunch. https://techcrunch.com/2024/06/17/runways-new-video-generating-ai-gen-3-offers-improved-controls/
