Odhalení nové éry
Tento týden byl světu představen Falcon 180B – nový kolos v doméně velkých jazykových modelů (LLM). Vytvořený společností TII a dostupný na platformě HuggingFace, tento model disponuje až 180 miliardami parametrů.
Porovnání s rivaly
V kontextu technologického pokroku je Falcon 180B charakterizován odborníky jako jedním z nejvýraznějších jazykových modelů (LLM) současné doby. Přestože dominuje nad modely jako Llama 2, který disponuje 70 miliardami parametrů, a OpenAI GPT-3.5, jeho výkon se dokáže v některých metrikách postavit vedle modelu Google PaLM 2-Large. Pro objektivní posouzení jeho schopností byly využity benchmarky – standardizované testy v oboru, například HellaSwag či LAMBADA, mezi dalšími.
Podpora jazyků a větší otevřenost
Jedním z velkých plusů modelu Falcon je jeho styl psaní, který se odklání od typického výstupu z ChatGPT a dokáže poskytnout relevantnější výstup. To se týká například marketingových příspěvků, příspěvků na sociální sítě a dalších. Kromě toho data, která byla použita ke trénování pocházela z větší části z Evropy. Zatímco ČR zde měla 3 %, země jako Španělsko nebo Německo měly obě kolem 25 % procent. Z toho vyplývá, že model by měl mít dobré porozumění evropských jazyků, včetně češtiny.
Další zajímavou vlastností je menší omezení modelu. Zatímco modely jako GPT-4 nebo Llama získali velké množství restriktivních regulí, které jim zabraňují poskytnout odpověď na téměř cokoli, co by mohlo někoho poškozovat, Falcon model se zdá být více otevřený k odpovědím.
Obrázek 1 – Midjourney: Phoenix
Natrénování zabralo až 7 milionů GPU hodin
Trénink moderních umělých inteligencí, zejména velkých jazykových modelů, často vyžaduje značné výpočetní zdroje. Případ Falcon 180B je v tomto ohledu exemplární. Tento model byl vyškolen na objemu dat čítajícím 3,5 bilionu tokenů a pro tento proces bylo zapotřebí až 4096 grafických procesorových jednotek (GPU) běžících synchronně na platformě Amazon SageMaker. Když se podíváme na časový aspekt tohoto tréninku, dosahuje neuvěřitelných 7 milionů GPU hodin.
Chápu, že vám nejspíše tyto hodnoty nebudou nic moc říkat. Pokusím se je proto rozebrat V kontextu technologie umělé inteligence se tokeny obvykle odkazují na jednotlivé kusy dat, které mohou být tak malé jako jedno písmeno nebo tak velké jako jedno slovo. K tréninku AI modelů je zapotřebí obrovského množství těchto tokenů. GPU, neboli grafické procesorové jednotky, jsou klíčovými komponentami, které urychlují proces trénování těchto modelů tím, že paralelně tyto data zpracovávají.
Odhaduje se, že Falcon 180B je v historii umělé inteligence jedním z nejnáročnějších modelů k předtrénování, což by mělo vést k hlubšímu porozumění témat a efektivitě v oblasti zpracování přirozeného jazyka. Je nicméně důležité zmínit, že objem dat automaticky ještě neudává kvalitu výsledného modelu. Samotná data musí být kvalitní, a stejně jako ze shnilé zeleniny neuděláte dobrý salát, ani AI model nebude stát za to, když k jeho tréninku použijete nekvalitní, zkreslená, dezinformační data.
Obrázek 2 – Midjourney: Phoenix
Zdroje tréninkových dat a diversifikace Falcon 180B
Hlavní část tréninkových dat, kterou můžeme specifikovat na impozantních 85%, je čerpána z databáze RefinedWeb. Pro ty, kteří nejsou obeznámeni s tímto názvem, RefinedWeb je specializovaná databáze, která prochází pečlivým filtrováním a deduplikací velkých datových setů, poskytujíc tak vysoce kvalitní a relevantní informace pro trénink AI modelů.
Zbylých 15% dat představuje pestrý mix obsahující záznamy konverzací, odborné články ze širokého spektra disciplín a dokonce i programovací kód. Tato diverzifikace dat dává Falcon 180B výjimečnou schopnost adaptovat se a rozumět široké škále lingvistických struktur a kontextů, čímž zvyšuje jeho efektivitu a univerzálnost v oblasti zpracování přirozeného jazyka. Tato kombinace zdrojů dat umožňuje modelu Falcon 180B poskytnout hluboké a široké porozumění různým formám lidské komunikace.
Skok ze 40 na 180 miliard parametrů
S falcon modelem jsme se mohli setkat již na konci května tohoto roku, model obsahoval 40 miliard parametrů a už tenkrát se o něm psalo jako o potenciálním rivalovi k modelům typu GPT nebo Bard. Falcon 180B není ale jen prostým následovníkem či „nabušenou“ verzí Falcon 40B. Přestože sdílí své kořeny s předchozím modelem, přináší řadu inovativních technologií, které posunují jeho kapacity na nové úrovně.
Klíčovým příkladem takové inovace je implementace funkce zvané „multiquery attention“. V podstatě se jedná o metodu, která umožňuje modelu efektivněji a hlouběji analyzovat a reagovat na různé druhy dotazů v konverzačním kontextu. Výsledkem je lepší škálovatelnost modelu a zvýšená efektivita, zejména při komplexních konverzačních úlohách.
Demo k vyzkoušení
Pro ty, kteří mají zájem otestovat schopnosti Falcon 180B, je platforma Hugging Face Hub ideálním místem pro začátek. Konkrétně si můžete vyzkoušet model v praxi prostřednictvím sekce „Falcon Chat Demo Space“.
Stačí jen rozkliknout odkaz, sjet dolů a kliknout na „demo“: Spread Your Wings: Falcon 180B is here (huggingface.co)
Je nicméně důležité si uvědomit, že ačkoliv je tento model dostupný pro veřejné užití, jeho komerční využití naráží na striktní omezení. Komerční aplikace modelu Falcon 180B jsou vázány na striktní licenční podmínky, kvůli čemuž ho zatím nelze použít pro komerční účely. Myslím si, že tato problematika by měla být rychle vyřešena, a to i z toho důvodu, že konkrétně na tento aspekt byly vzneseny četné kritické ohlasy.
Shrnutí
- Falcon 180B je novým jazykovým modelem se 180 miliardami parametry, vyvinutým firmou TII.
- Trénink modelu vyžadoval 3,5 bilionu tokenů a 7 milionů GPU hodin na Amazon SageMaker.
- Většina tréninkových dat pochází z RefinedWeb, zbytek kombinuje konverzace, články a kód.
- Model je více otevřený v odpovídání na různé otázky a dokáže poskytovat kvalitnější odpovědi vzhledem k marketingovým a sociálním příspěvkům.
- Falcon 180B je dostupný na Hugging Face Hub s omezením pro komerční využití.
