Generativní umělá inteligence (AI) již prokázala své značné možnosti nejenom v robotice, ale i v celé škále jiných oborů. Mezi její aplikace patří přirozená jazyková interakce, učení robotů, programování bez nutnosti psát kód, a dokonce i vytvářet design. Tento týden tým Google DeepMind Robotics předvádí další slibný bod na pomezí těchto dvou disciplín: pohyb v prostoru neboli navigaci.
V článku nazvaném „Mobility VLA: Multimodal Instruction Navigation with Long-Context VLMs and Topological Graphs“ tým ukazuje, jak lze využít Google Gemini 1.5 Pro jako součást robota, díky níž robot dokáže reagovat na uživatelovo příkazy a pohybovat po kanceláři. DeepMind použil některé z robotů z projektu Every Day Robots, který byl ukončen po rozsáhlých propouštěních ve společnosti Google minulý rok.
Gemini 1.5 Pro je pokročilý AI model, který kombinuje schopnosti hlubokého učení a zpracování přirozeného jazyka. Tento model umožňuje robotům rozpoznávat a interpretovat složité příkazy, což je klíčové pro efektivní navigaci a plnění úkolů v dynamickém prostředí. Jako například v kanceláři, skladu nebo restauraci.
V sérii videí přiložených k projektu zaměstnanci DeepMind začínají příkazem ve stylu chytrého asistenta „Hey, robot“, předtím, než systém požádají o provedení různých úkolů v kancelářských prostorech o rozloze 9 000 čtverečních stop.
Příklady z videí
V jednom příkladu zaměstnanec Google požádal robota, aby ho zavedl někam, kde může kreslit. „OK,“ odpoví robot s veselým žlutým motýlkem, „dejte mi chvíli. Přemýšlím s Gemini…“ Robot pak vede člověka k tabuli o velikosti zdi. V jiném videu další osoba říká robotovi, aby následoval pokyny na tabuli.
Jednoduchá mapa ukazuje robotovi, jak se dostat do „modré oblasti“. Robot opět chvíli přemýšlí, než se vydá dlouhou cestou do oblasti testování robotů. „Úspěšně jsem následoval pokyny na tabuli,“ oznámí robot s úrovní sebevědomí, o které se většině lidí může jen snít. Kdyby
Metoda výuky robotů
Před těmito videi byli roboti seznámeni s prostorem pomocí metody nazvané „Multimodal Instruction Navigation with Demonstration Tours (MINT).“ Tato metoda spočívá v tom, že robota provedou po kanceláři a ukazují mu různé orientační body s případným komentářem. Následně tým využívá hierarchickou Vision-Language-Action (VLA) metodu, která kombinuje porozumění prostředí a schopnost uvažovat na základě zdravého rozumu. Jakmile jsou tyto procesy kombinovány, robot může reagovat na psané a kreslené příkazy i na gesta.
Obrázek 1 – DALL-E 3: Domácí robot
Jak by to mohlo vypadat u „vás doma“?
Jak by ale tato inovace od Googlu mohla vypadat v praxi? Představte si, že jste si právě zakoupili nového, elegantního domácího robota s technologií Gemini AI. Tento robot je připraven stát se vaším každodenním pomocníkem, ale nejdříve ho musíte naučit, jak se orientovat ve vašem domově.
Proces ukázání orientačních bodů
- Přivítání robota: Přinesete robota domů, zapnete ho a slyšíte příjemný uvítací tón. Na jeho obrazovce se objeví usměvavý modrý smajlík a robot vás přivítá.
- Úvodní seznámení: Pomocí hlasového příkazu „OK, [jméno robota – např. Tom], začneme s prohlídkou,“ zahájíte proces ukázání orientačních bodů.
- Prohlídka domu: Pomalu projdete všechny místnosti v domě. V každé místnosti se zastavíte a vysvětlíte robotovi, co se tam nachází. Řeknete například: „Toto je obývací pokoj. Tady je gauč, tamhle je televize a tohle je knihovna.“
- Orientační body: Při ukazování různých místností a objektů používáte jednoduché příkazy, jako například „Toto je kuchyňský stůl“ nebo „Tady jsou schody do druhého patra.“ Robot zaznamenává tyto informace a vytváří si mentální mapu vašeho domu.
- Zadání úkolů: Po dokončení prohlídky můžete začít robotovi zadávat úkoly. Řeknete například: „Hej, Tome, přines mi knihu z knihovny v obývacím pokoji.“ Robot se na chvíli zamyslí a poté se vydá směrem k obývacímu pokoji.
Obrázek 2 – DALL-E 3: Robot starající se o domácího mazlíčka
No a jak byste mohli robota využít v každodenním životě? Možností je opravdu spoustu!
- Ranní rutina: Každé ráno robot přijede k vaší posteli a jemně vás probudí příjemným tónem. Řekne vám aktuální počasí, přečte hlavní zprávy a připomene denní úkoly.
- Pomoc v kuchyni: Při vaření vám robot podá ingredience, které potřebujete, nebo vám pomůže najít recepty. Pokud něco vylijete, robot rychle přiveze hadr a pomůže s úklidem.
- Úklid a organizace: Robot se postará o základní úklid, jako je vysávání nebo setření prachu. Může také monitorovat stav zásob v lednici a připomenout vám, kdy je čas jít nakupovat.
- Péče o domácí mazlíčky: Pokud máte domácí mazlíčky, robot je může nakrmit nebo jim doplnit vodu. Když nejste doma, můžete prostřednictvím aplikace kontrolovat, co se děje doma, a robot vám pošle živé video.
- Večerní relaxace: Když se vrátíte z práce, robot může přehrát vaši oblíbenou hudbu nebo připravit film. Na konci dne vám pomůže zhasnout světla a připraví vás na spánek.
Úspěšnost robotů
Google uvádí, že robot měl přibližně 90% úspěšnost při více než 50 interakcích se zaměstnanci. Za mě se jedná o velmi impresivní výsledek! Tak uvidíme, zdali se robot pro každodenní použití stane v následujících letech realitou.
Shrnutí
- Generativní AI Gemini v robotice: Google DeepMind používá AI Gemini 1.5 Pro k výuce robotů pro navigaci a plnění úkolů v kanceláři.
- Metoda výuky MINT a VLA: Roboti byli seznámeni s prostorem pomocí MINT, což zahrnuje vedení robotů po kanceláři a ukazování orientačních bodů, a metodou VLA, která kombinuje vizuální a jazykové pokyny.
- Videa s příklady úkolů: Ve videích roboti plní úkoly na základě verbálních příkazů, například vedou zaměstnance ke kreslící tabuli a následují pokyny na tabuli.
- Úspěšnost a budoucí aplikace: Roboti dosáhli 90% úspěšnosti při více než 50 interakcích. Technologie má široké potenciální aplikace v zdravotnictví, logistice a inteligentních domácnostech.
Zdroj:
- Heater, B. (2024, July 11). Watch a robot navigate the Google DeepMind offices using Gemini. TechCrunch. https://techcrunch.com/2024/07/11/watch-a-robot-navigate-the-google-deepmind-offices-using-gemini/?ref=futuretools.io
