Kde je strop současného výkonu počítačů?

S rostoucím pokrokem v oblasti umělé inteligence a počítačového výpočetního zpracování se objevuje klíčová otázka: Máme dostatečně vybavený hardware pro zvládání pracovní zátěže, kterou přinášejí nové technologické průlomy v oblasti AI? Erica Carlson, renomovaná profesorka fyziky a astronomie na Purdue University a současně i výroční profesorka, upozorňuje na skutečnost, že mnohé „řádky kódů“ vytvořené lidskýma rukama, které tvoří jádro AI revoluce, jsou stále provozovány na tradičních silikonových počítačových architekturách. Problémem však je, že tyto „tradiční silikonové“ počítačové architektury pro umělou inteligenci vůbec nebyly vytvořeny.

Vědecký tým sestávající z odborníků z Purdue University, University of California San Diego a École Supérieure de Physique et de Chimie Industrielles v Paříži, se proto domnívá, že možná našel řešení spočívající v přepracování hardwaru tak, aby lépe napodoboval synapse lidského mozku. Jejich poznatky, zveřejněné ve studii nazvané „Spatially Distributed Ramp Reversal Memory in VO2“ v časopise Advanced Electronic Materials, přinášejí nový pohled na možné přístupy k vývoji hardware.

Nižší spotřeba energie a důležitost chlazení

S narůstající složitostí budoucích výpočetních pokroků se stávají nezbytnými nová paradigmata v hardwarové technologii. Podle Carlson, která vede teoretickou část tohoto výzkumu, neuromorfní architektury nabízejí procesory s nižší spotřebou energie, vylepšenými výpočetními schopnostmi, zcela odlišnými výpočetními režimy, nativním učením a zdokonaleným rozpoznáváním vzorů. Právě úspora je jedním z klíčových předmětů debat o výpočetních technologiích. Teplo jako vedlejší produkt je řešeno již po mnoha desetiletí. 

Veškerá datová centra, serverovny, komplexnější technologie apod. musí být vybaveny velmi efektivním chlazením. Jinak by v lepších případech mohlo dojít ke ztrátě výkonu v řádech desítek procent¸ v těch horších by ale mohlo dojít ke zkratům, přetavením či požárům. Tyto škody by se nejenom mohly ostře podepsat na vzniklých nákladech, ale hlavně na přerušení uživatelských služeb. 

Jednalo-li by se o méně významnou stránku s pár desítkami návštěvníků během hodiny, nebylo by to tak tragické. Jak byste se ale tvářili, kdyby najednou spadl Facebook, Instagram, Youtube nebo Netflix? Asi nic moc, a i přestože věřím, že jste lidé, kteří se bez sociálních sítí chvíli obejít dokážete, je zde mnoho závislých lidí, kterým by tento výpadek mohl způsobit zdravotní psychické potíže. 

Právě proto se chlazení v oblasti výpočetních technologií stává tématem číslo 1.

Obrázek 1 – DALL-E 3: výpočetní obvody

Jak neuromorfní systémy fungují

To je ale jen jeden z možných dopadů neuromorfních systémů. Nyní se vraťme zase zpátky a vysvětleme si, jak tyto systémy fungují. Neuromorfní architektura v podstatě spočívá v čipech, které imitují funkce mozku. Neurony, buňky v mozku přenášející informace, jsou propojeny prostřednictvím synapsí, malých mezer umožňujících přenos signálů mezi neurony. Tyto synapse v biologickém mozku kódují paměť. To v praxi znamená, že podle toho, jak synapse aktivujete nebo neaktivujete, dochází k jejich posílení nebo degeneraci. Výzkumný tým tak došel k závěru, že oxidy vanadu mají významný potenciál pro využití v neuromorfní výpočetní technice, jelikož umožňují vytváření umělých neuronů a synapsí.

Extrémní energetické náklady a SpiNNaker

Carlson dodává, že nesoulad mezi hardwarem a softwarem vede k vysokým energetickým nákladům, například při trénování rozsáhlých jazykových modelů, jako je ChatGPT nebo Claude 2. Neuromorfní architektury by mohly nabídnout řešení v podobě nižší spotřeby energie díky efektivnímu napodobení základních komponent mozku – neuronů a synapsí. Přestože je silikon v mnoha případech dostačující pro ukládání paměti, nevyniká v chování podobném neuronům. Pro vývoj efektivních neuromorfních hardwarových řešení je tak nutný výzkum materiálů, které by se svými vlastnostmi blížily chování synapsí a neuronů. Carlsonová upozorňuje, že většina materiálů vynikajících v jedné z těchto rolí selhává v druhé. Pouze několik kvantových materiálů prokázalo schopnost zastávat obě role efektivně.

Někoho z vás by ale mohlo napadnout: „Proč se neustále snažíme napodobit lidský mozek v kontextu výpočetních technologií!?“ Odpověď je prostá, lidský mozek je jedna z doposud nejzáhadnějších věcích, se kterými jsem měly tu čest. Nejenomže jsme schopní přemýšlet, uvažovat, racionálně se rozhodovat, být kreativní, uvědomovat si sama sebe a ptát se na původ našeho vzniku (což šimpanzi úplně neřeší). Zároveň i přesto všechno je mozek extrémně energeticky efektivní. Pro představu roku 2018 byl vytvořen jeden z nejsilnějších superpočítačů s názvem SpiNNaker, který svými schopnosti dokázal mimikovat schopnosti myšího mozku. SpiNNaker obsahoval kolem 1 000 000 výpočetních jader spolu s 1 200 propojenými obvodovými deskami. Průměrná spotřeba jednoho jádra je kolem 5–25 wattů v závislosti na využití. Kdybych tedy počítali s 20 watty na jedno jádro, dostali bychom se na 20 000 000 wattů, tedy 20 Megawattů. V praxi bychom tak mohli pohánět touto energií menší město.

Obrázek 2 – DALL-E 3: Výpočetní obvody

Závěr: Oxid vanadu jako klíč k budoucímu úspěchu?

Alexandre Zimmers, vedoucí experimentální vědec z Sorbonne University a ESPCI v Paříži, vysvětluje, že pouze několik kvantových materiálů, jako je oxid vanadu, je vhodným kandidátem pro budoucí neuromorfní zařízení. Poprvé bylo možné opticky pozorovat v oxidu vanadu, co se v něm mění, když fungoval jako umělá synapse. Díky tomu tým zjistil, že se paměť akumuluje v celém vzorku materiálu namísto jednotlivých míst, což otevírá nové možnosti pro lepší kontrolu nad pamětí.

Shrnutí

• Vědci z Purdue University, USCD a ESPCI v Paříži zkoumají neuromorfní výpočetní techniku jako potenciální řešení pro náročnost AI na současný hardware.
• Neuromorfní architektura, napodobující mozkové funkce, používá inovativní materiály, jako jsou oxidy vanadu, pro tvorbu umělých neuronů a synapsí.
• Tento přístup slibuje nižší spotřebu energie a zlepšené výpočetní schopnosti.
• Výzkum odhalil, že paměť v oxidu vanadu se rozšiřuje po celém vzorku materiálu, což přináší nové možnosti pro její využití a regulaci.