HADAR: Nová technologie, která umožňuje AI vidět skrze tmu jako za bílého dne

Výzkumníci na Purdue University právě představili technologii, která by mohla znamenat průlom v oblasti robotiky a autonomních systémů. Zubin Jacob a Fanglin Bao, dva klíčoví hráči v oblasti elektrotechniky a počítačového inženýrství, představili světu HADAR – detekci a měření pomocí infračerveného záření s využitím strojového učení. Jejich práce byla nedávno uvedena na obálce prestižního časopisu Nature a dokonce inspirovala epizodu podcastu Nature.

Obrázek 1 – Midjourney

Do roku 2030 bychom se měli dočkat 20 miliónů robotických pomocníků

Jacob předpovídá, že do roku 2030 bude jedno z deseti vozidel automatizovaných a že bude existovat 20 milionů robotických pomocníků sloužících lidem. Každý z těchto „agentů“ bude muset sbírat informace o svém okolí pomocí pokročilých senzorů, aby mohl rozhodovat bez lidské intervence. Jak ale Jacob zdůrazňuje, současné agentovo vnímání okolního prostředí je pořád v plenkách.

Tradiční senzory, jako je LiDAR, radar a sonar, i přes své inovativní řešení mají pořád své nedostatky, včetně rušení signálu a rizik pro bezpečnost očí lidí. Možná se teď ptáte, jak by asi nějaké robotické senzory mohly poškodit Váš zrak. Důvodem jsou vlnové délky, na jejichž principu tyto senzory fungují.

Jak funguje senzorika na bázi vysílání a přijímání vlnových délek?

Senzory, které fungují na principu vysílání a přijímání vlnových délek, jsou základem mnoha technologií, které se dnes používají pro detekci a měření vzdáleností. Tyto senzory, které zahrnují technologie jako LiDAR, radar a sonar, fungují vysíláním signálu a následným měřením doby, kterou signál potřebuje k návratu zpět po odrazu od objektu.

LiDAR, což je zkratka pro Light Detection and Ranging, využívá pulsy laserového světla, které se odrážejí od objektů a vrací se zpět k senzoru. Měřením doby, kterou světlo stráví cestou tam a zpět, může LiDAR určit vzdálenost k objektu.

Nicméně, i když jsou tyto technologie velmi efektivní, mohou představovat určitá rizika. Laserové světlo používané v LiDARu může být škodlivé pro oči, pokud je přímo vystaveno lidské sítnici. To je důvod, proč se při práci s těmito technologiemi často používají bezpečnostní opatření, jako jsou ochranné brýle.

V případě HADARu, který využívá infračervené záření, se riziko poškození očí minimalizuje, což je jedna z jeho klíčových výhod. Nemusíte se ale bát, že při střetu s autonomním vozidlem, které by tento druh senzoriky využívalo, byste přišli o zrak. Nicméně v případě, kdy by se tyto senzory staly běžným standardem ve většinové autonomní technologii, by jejich nadměrné množství potenciálně mohlo působit poškození například sítnici (tenká vrstva buněk v zadní části oka), které se stará o interpretaci příchozích elektromagnetických vln v podobě fotonů a jejich konvertaci na elektrické impulzy, jež jsou následně posílány do mozku.

„Duchovní“ efekt

Jedním z dalších praktických problémů se stává tzv. „ghosting effect“. Objekty a jejich okolí neustále vyzařují a rozptylují tepelné záření, což vede k obrazům bez textury, známým jako ‚efekt duchů‘,“ řekl Bao. „Tepelné snímky obličeje člověka ukazují pouze obrysy a určitý teplotní kontrast; nejsou na nich žádné rysy, takže to vypadá, jako byste viděli ducha. Tato ztráta informací, textury a rysů je překážkou pro strojové vnímání pomocí tepelného záření. 

Termovize

Možná už jste někdy měli k dispozici termovizi, které pomocí různých barev zobrazuje teplotu daného prostředí a objektů v něm umístěných. Termovize je technologie, která umožňuje detekci tepla – neboli infračerveného záření – které vysílají objekty v našem okolí. Tato technologie se často používá v noci nebo v situacích, kdy normální vidění selhává, například v mlze nebo kouři. Termovize se běžně využívá v mnoha oblastech, včetně vojenských operací, bezpečnostních systémů, stavebnictví, a dokonce i v lékařství.

Obrázek 2 – Midjourney

Absence textury a detailů

Asi jste si ale všimli, že i když dokážete rozeznat jednotlivé obrysy – víte, co je člověk, a co lasička – nedokážete říct, jaké oblečení na sobě osoba má. Můžete sice udělat predikce o tom, že když osoba vypadá zakulaceně a je vyobrazena spíše v červeném spektru světla, zřejmě na sobě bude mít bundu. Už ale nebudete schopni přesně určit o jakou bundu se jedná, jaký typ bundy to je, jaký má materiál nebo grafický vzor.

Světelné senzory

Člověk by řekl, že když se nemůžeme spolehnout na tvoření vlastních vln, vystačíme si s těmi, co již existují, sluneční záření (fotony). Je pravda, že videokamery pracující na základě slunečního světla nebo jiných zdrojů osvětlení jsou výhodné, ale nízké světelné podmínky, jako je noc, mlha nebo déšť, představují vážnou překážku. Tak to máme my lidé, orientujeme se na základě příchozích fotonů, ale dojde-li k jejich absenci (nastane noc), stáváme se de facto slepí.

Vidění ve dne i v noci?

HADAR se snaží překonat tyto výzvy kombinací termální fyziky, infračerveného zobrazování a strojového učení. Jak Jacob říká, jejich práce ukazuje, že „naprostá tmu nese stejné množství informací jako bílý den.“

Bao dodává, že HADAR „živě obnovuje texturu z nepřehledného tepelného signálu a přesně rozlišuje teplotu, emisivitu a texturu neboli TeX, všech objektů na scéně.“ To znamená, že HADAR může vidět texturu a hloubku skrze tmu, jako by byl den, a také vnímat fyzické vlastnosti mimo běžné viditelné zobrazování nebo konvenční tepelné snímání.

Obrázek 3 – Midjourney

Uspokojivé výsledky

Tým testoval HADAR TeX vision pomocí noční scény mimo silnici a výsledky byly vcelku povzbudivé. Bao uvedl, že HADAR „obnovil jemné textury, jako jsou vodní kruhy, vrásky na kůře a svodidla, vyjímky byly akorát detaily na travnaté zemi.“

Senzor je zatím příliš velký a těžký

Nicméně, jak Bao připouští, stále existují výzvy, které je třeba překonat. Aktuální senzor je velký a těžký, protože algoritmy HADAR vyžadují mnoho barev neviditelného infračerveného záření. „Abychom ho mohli aplikovat na samořídící auta nebo roboty, musíme snížit velikost a cenu a zároveň udělat kamery rychlejšími. Současnému snímači trvá vytvoření jednoho snímku přibližně jednu sekundu, ale pro autonomní vozidla potřebujeme snímkovou frekvenci kolem 30 až 60 hertzů, tedy snímků za sekundu.“

Potenciál HADARu v mnoha odvětvích

HADAR TeX vision má obrovský potenciál v oblasti autonomních vozidel a robotů, kteří interagují s lidmi v komplexních prostředích, jako jsou například záchranné mise v neobývaných končinách. Zatím to je ale jen začátek – technologie by mohla být dále vyvíjena pro aplikace v zemědělství, obraně, geovědách, zdravotnictví a monitoringu divoké přírody.

Možná si ale říkáte, jak by se HADAR mohl v těchto odvětvích aplikovat? Jak jsem se zmínil, hlavní výhodu může HADAR přinést do autonomních technologií, které budou moci analyzovat své okolí bez ohledu na tom, jestli je noc nebo den – a to s detailní přesností.

V zemědělství by HADAR mohl pomoci detekovat a analyzovat zdraví rostlin pomocí jejich tepelných signatur. Další na řadě je obrana, kde by HADAR mohl zlepšit schopnosti nočního vidění a dálkového zbraňového cílení. Nejspíše se teď někteří z Vás děsí a pomyslí si: „Další technologie, která povede k válce a ničení, copak toho není už dost?“ Chápu Vaše obavy, i já bych byl rád, aby nemuselo docházet ke zbytečnému krveprolití a destrukci. Nežijeme však v utopii, a proto čím vyspělejší technologie a armádu budeme mít, tím je větší pravděpodobnost, že se válčit nebude. Oponenti a teroristické skupiny si spíše rozmyslí, jestli by jim útok, zato stál. 

Ale nyní pryč od armády, v geovědách by HADAR mohl pomoci při mapování a analýze geologických struktur. Do sektoru geověd můžeme zařadit například:

• vulkanologii – detekce vulkanické činnosti
• seismologii – detekce pohybu geologických struktur (například tektonických desek) a předpovídání zemětřesení
• hydrogeologii – sledování podzemních vodních toků a jejich změn v průběhu času
• klimatologii – analýza teplot povrchu země a následné předpovídání změny klimatu
• planetologii – sledování mimozemských těles a možných známek života 

Obrázek 4 – Midjourney

Obrázek 5 – Midjourney

V zdravotnictví by HADAR mohl být použit pro detekci a monitorování tepelných signatur těla, což by mohlo pomoci při diagnostice a léčení řady onemocnění. Mnohá onemocnění se totiž projevují zvýšením teplot v určitých tělesných partií, tzn. že na základě aktivní analýzy pacientovy teploty by se daly vyhodnotit jeho zdravotní stav či případná nadcházející rizika. Do těchto onemocnění lze zahrnout například: rakovinu, diabetes nebo různé infekce.

Závěr: Světlá budoucnost pro AI a robotiku

HADAR představuje významný průlom v oblasti AI a robotiky. Jeho schopnost „vidět“ skrze tmu a analyzovat fyzické vlastnosti objektů může pomoci značně vylepšit schopnosti autonomních systémů navigovat a interagovat s jejich okolím. To by mohlo vést k rychlejšímu rozvoji a širšímu nasazení autonomních vozidel a robotů, což by mohlo mít hluboký dopad na řadu odvětví, včetně dopravy, zemědělství, obrany a zdravotnictví.

Nicméně, jako každá nová technologie, i HADAR přináší své výzvy. Vývojáři budou muset překonat technické překážky, jako je snížení velikosti a ceny senzoru, a zároveň zajistit, že technologie je bezpečná a etická.

Jak Jacob a Bao zdůrazňují, HADAR je jen začátek. Technologie by mohla být dále vyvíjena a vylepšována, což by mohlo vést k ještě větším průlomům v budoucnosti. Nakonec po nějaké době by mohlo dojít k jejich začlenění do většiny autonomních technologií. Ať už to bude jakkoli, inovace a nové nápady jsou základním kamenem úspěchu, a i kdyby technologie nakonec opadla, poslouží jako odrazový můstek jiným vývojářům, kterým se díky tomu podaří dotáhnout jejich projekt do konce. Jak se říká, správný vědec by se měl radovat z neúspěchu stejně tak jako z úspěchu.