Co když se AI modely jako GPT-4 nezlepšují automaticky s časem?

Úvod: Předpoklady umělé inteligence

Jedním ze základních předpokladů současného boomu umělé inteligence je, že modely AI se učí a zlepšují se s časem. Co když se to ale ve skutečnosti neděje? Toto je otázka, kterou si v poslední době kladou uživatelé GPT-4 od OpenAI, nejvýkonnějšího modelu AI na světě. Na Twitteru a na vývojářském fóru OpenAI se objevují stížnosti na řadu výkonnostních problémů.

Výzkum: AI zhloupne?

Společnost OpenAI se nicméně po těchto stížnostech nechala slyšet, že GPT-4 v žádném případě „hloupější“ neudělali. Je tomu opravdu tak? Přece je nelogické, aby se společnost sama střílela do nohy. Stížnosti tak mohou vyvěrat ze stagnace případně z nárůstu konkurenčních modelů, které v některých případech mohou působit schopněji. Na poli technologií obzvláště platí pravidlo, že když se zastavíte, velmi rychle ztratíte svou vůdčí pozici. K prosperitě společnosti jsou tak zapotřebí neustálé inovace, vývoj a kroky dopředu. Není-li tomu tak, společnost je rychle dohnána a smetena konkurencí. Pojďme nyní stagnaci odsunou stranou a podívat se jestli na tvrzení o zhoršování generativních AI modelů je něco pravdy.

Výzkumníci AI se proto rozhodli tuto debatu jednou provždy vyřešit provedením studie. Výsledky byly zveřejněné v úterý, a jak se z nich ukazuje, nespokojení uživatelé možná nebyli až tak daleko od pravdy.

Obrázek 1 – Midjourney

Zjištění: Výkonnost modelů se zhoršuje

„Zjistili jsme, že výkonnost a chování jak GPT-3.5, tak GPT-4 se výrazně vzájemně od sebe liší a že jejich výkonnost v některých úlohách se s časem výrazně zhoršila,“ napsali autoři studie. Možná byste si mohli říct, to si zase nějací samozvaní techničtí specialisté beztak vycucali z prstu. Ačkoli na internetu můžeme narazit na řadu křivých a podlých obvinění či urážek, v tomto případě tomu tak není.

Výzkumníci stojící za studií jsou vážení odborníci na poli umělé inteligence, hlavním z nich je Matei Zaharia, CTO společnosti Databricks, jedné z nejlepších datových AI společností na trhu, která byla naposledy oceněna na 38 miliard dolarů. 

Bude se GPT-4 do budoucna opravdu zlepšovat?

Nicméně, co mě fascinuje nejvíce, jsou nové otázky, které tato zjištění otevírají. Jedna z nich, kterou Zaharia a jeho kolegové ve své studii položili, zní: ‚Je možné, že se služba jako GPT-4, která je typem LLM (velké jazykové modely), s časem konzistentně zlepšuje? Osobně si myslím, že ano – k tomu je však zapotřebí neustálý vývoj a aktivní zásah ze strany společnosti.

Jedním z možných důvodu, proč se GPT-4 zdá horší, je fakt, že technologie neustále postupuje a vyvíjí se. Za předpokladu, že GPT-4 není schopná držet krok, z pohledu nově vyvinutých technologií, softwaru, jazykových modelů, nástrojů apod. bude v porovnání s těmito moderními technologiemi působit zastarale.

Nezapomeňte, že se zde bavíme o výkonnosti samostatného modelu, tj. nepočítám zde Code Interpreter ani jiné pluginy, které bezpochyby z GPT-4 stále dělají velmi užitečný a všestranný nástroj.

Microsoft a jeho investice do AI

Microsoft investoval těžce do OpenAI, tvůrce GPT-4. Microsoft také integruje tuto technologii do svého softwaru a uživatelům účtuje nemalé peníze za nové schopnosti, které jazykový model nabízí. Ve stejný den, kdy Zaharia a spol. zveřejnili svou studii, Microsoft odhalil ceník pro Microsoft Copilot, nové verze oblíbeného cloudového softwaru s podporou AI, jako je Office 365. To stojí o 30 dolarů měsíčně více než to, co uživatelé již platí. Pro převod se jedná v současnosti o příplatek zhruba 640 korun – to není zrovna malá částka (alespoň pro mě ne).

Skepticismus: AI není všemocná

Tento nedávný výzkumný článek o GPT-4 přináší zdravou dávku skepticismu k předpokladům, které řídí tyto divoké výkyvy hodnot. Gary Marcus, kognitivní vědec, výzkumník na poli AI neurovědy a kognitivní psychologie, po přečtení studie Zaharia zdůraznil, jak nestabilní LLMs mohou být. Podle Marcuse jsou tak nestabilní, že se spoléhat se na ně v oblasti high-end obchodních produktech (prémiové a vysoce kvalitní služby) nemusí být dobrý nápad.

Obrázek 2 – Midjourney

Závěr

„Jaký smysl má spoléhat se na systém, který v březnu dosahuje správnosti 97,6 % na dané úloze, ale v červnu klesá na pouhých 24 %?“ tweetoval Marcus, odkazujíc na jedno z klíčových zjištění studie. „Je důležité si uvědomit, že kdokoli, kdo plánuje spoléhat se na LLMs, by měl být obezřetný: Tato nestabilita by se mohla stát jeho pádem,“ upozornil. „Nikdy nebudou tak obchodně úspěšné, jak si představuje komunita rizikových kapitalistů, a očekávám, že nějaká architektonická inovace, která poskytne větší stabilitu, výrazně nahradí LLMs v příštím desetiletí.“ 

Co tím Marcus ale chtěl opravdu říct? Buďte opatrní, nevkládejte veškeré své naděje do jedné technologie, jak jsem se zmiňoval, technologie se neustále vyvíjí a postupuje. Je proto zcela možné, že v následující dekádě se vyvinou úplně jiné modely, které svými schopnostmi zcela přesáhnou modely dosavadní. Možná byste si teď mohli položit otázku: „Takže to znamená, že bych současné technologie neměl používat nebo je neměl začleňovat do své práce, podnikání či studia?“ Odpověď zní NE. Snažím se tím jen říct, abychom byli otevřeni novým možnostem a nástrojům, které bezpochyby budou přicházet. Je třeba být připraveni na přehodnocení, inovace a neustálé hledání nových příležitostí a možností.

Zdroj:

• Barr, A. (n.d.). What if AI models like GPT-4 don’t automatically improve over time? Business Insider. https://www.businessinsider.com/gpt4-openai-ai-models-dont-improve-over-time-dumber-2023-7?fbclid=IwAR2T-wRT15mKfkSsQhZyz-L9I0rRd7qDe1FxyiULJ3GBfq1XINohMn5NaoU