Ve Star Treku: Nová Generace se kapitán Picard a posádka U.S.S. Enterprise často vydávali na Holodeck, prázdnou místnost schopnou generovat 3D prostředí, aby se připravovali na mise nebo se bavili simulacemi různých scén od bujné džungle po Londýn Sherlocka Holmese. Tato prostředí byla hluboce pohlcující a plně interaktivní, což umožňovalo nekonečné přizpůsobení pouze pomocí jazykových příkazů — stačilo počítači zadat, aby vygeneroval požadované prostředí, a to se následně objevilo přímo na Holodecku. Fanoušky ale v té době možná nenapadlo, že něco takového se o pár let stane skutečným.
Vytvoření digitálního prostředí není jen tak
Dnes jsou virtuální interaktivní prostředí využívána i pro trénink robotů před jejich skutečným nasazením v reálném světě, v procesu známém jako „Sim2Real“. Přesto existuje překvapivý nedostatek virtuálních prostředí. „Umělci tato prostředí vytvářejí ručně,“ vysvětluje Yue Yang, doktorand v laboratořích profesorů Marka Yatskara a Chrisa Callison-Burche z oboru informatiky a informačních věd. Yang poukazuje na to, že vytvoření jednoho prostředí může umělci zabrat až týden práce, což zahrnuje řadu rozhodnutí od rozvržení místnosti po umístění objektů a výběr barev.
Nedostatek virtuálních prostředí představuje problém, pokud chceme roboty trénovat na navigaci ve složitém reálném světě. Neuronové sítě, systémy pohánějící dnešní revoluční umělé inteligence, vyžadují pro efektivní trénink obrovské množství dat, což v tomto případě znamená simulace fyzického světa.
Obrázek 1 – DALL-E 3: Model digitálního prostředí
Využití LLM ve vývoji prostředí
Holodeck, systém pro generování interaktivních 3D prostředí, byl spoluvytvořený Callison-Burchem, Yatskarem, Yangem a Lingjie Liu z Allenova institutu pro umělou inteligenci spolu s dalšími spolupracovníky ze Stanfordu a University of Washington. Název je inspirován jeho předchůdcem ze Star Treku a Holodeck generuje téměř neomezené množství vnitřních prostředí pomocí AI k interpretaci požadavků uživatelů. „Můžeme použít jazyk k jejich ovládání,“ tvrdí Yang. „Můžete snadno popsat jakékoli prostředí, které chcete, a trénovat v něm AI agenty.“
Holodeck využívá znalosti uložené ve velkých jazykových modelech (LLM), systémech, na kterých jsou založeny ChatGPT a další chatboti. „Jazyk je velmi stručným vyjádřením celého světa,“ poznamenává Yang. LLM ukázaly, že mají překvapivě hluboké znalosti o designu prostorů díky obrovskému množství textu, který během tréninku přijímají.
Podobně jako by kapitán Picard mohl v seriálu Star Trek nařídit Holodecku simulovat podsvětí, mohou vědci na Pennské univerzitě použít jejich verzi Holodecku k vytvoření „jednopokojového bytu výzkumníka s kočkou“. Proces začíná generováním podlahy a stěn, následuje přidání dveří a oken. Poté systém vyhledá v knihovně ObjaVERSE potřebné objekty, jako jsou konferenční stůl nebo kočičí věž. Závěrečný krok zahrnuje použití modulu pro rozvržení, který zajistí logické umístění objektů, aby například toaleta správně vyčnívala ze zdi.
Porovnání s předchozími nástroji a závěrečné testování
Schopnosti Holodecku byly hodnoceny z hlediska realismu a přesnosti generováním 120 scén, přičemž studenti inženýrství vybírali svou preferovanou verzi bez toho, aniž by věděli, které scény byly vytvořeny kterým nástrojem. Za každé kritérium – výběr prvků, koherence rozvržení a celková preference – studenti konzistentně hodnotili prostředí generovaná Holodeckem jako lepší.
Vědci kromě toho testovali schopnost Holodecku generovat scény, které jsou méně typické v robotickém výzkumu a obtížnější na ruční vytvoření než interiéry bytů, jako jsou obchody, veřejná prostranství a kanceláře. V porovnání s výstupy ProcTHOR, které byly generovány pomocí pravidel vytvořených člověkem, výzkumníci opět zjistili, že lidští hodnotitelé preferovali scény vytvořené Holodeckem. Tato preference platila napříč širokou škálou vnitřních prostředí, od vědeckých laboratoří po umělecké ateliéry, šatny až po vinné sklípky.
V závěrečné fázi vědci použili scény vytvořené pomocí Holodecku k „jemnému doladění“ embodied AI agenta. Yatskar vysvětluje, že „nejvyšší zkouškou Holodecku je jeho schopnost připravit roboty na bezpečnou interakci s neznámým prostředím, tím, že je naučí působit v místech, kde dosud nebyli.“
Shrnutí
- Výzkumníci z Pennovy univerzity vytvořili systém Holodeck, který umožňuje generování interaktivních 3D prostředí pomocí umělé inteligence.
- Holodeck umožňuje snadné a přesné modelování různorodých vnitřních prostředí na základě jazykových popisů uživatelů.
- Ve srovnání s předchozími nástroji byl Holodeck hodnocen studenty jako přesnější a realističtější ve všech aspektech – výběru prvků, koherenci rozvržení a celkové preferenci.
- Použití Holodecku pro „jemné doladění“ AI agentů ukázalo zlepšení jejich schopnosti navigace v nových prostředích.
Zdroj:
- ScienceDaily. (2024, April 11). Star Trek’s holodeck recreated using chatgpt and video game assets. ScienceDaily. https://www.sciencedaily.com/releases/2024/04/240411130301.htm
