OpenAI představuje nové textové funkce: Více muziky za méně peněz

Konkurenceschopnost v oblasti generativní inteligence neustále narůstá, zatímco zpočátku tomuto odvětví dominovala společnost OpenAI, nyní ačkoli si stále drží své dominantní postavení jí pomalu začíná téct do bot. OpenAI reaguje na tuto situaci vylepšením svých modelů pro generování textu a zároveň snížením cen. 13. června společnost OpenAI oznámila vydání nových verzí GPT-3.5-turbo a GPT-4, přičemž oba dva modely dostávají do vínku novou funkci, díky níž jsou schopní vytvořit programátorské funkce potažmo instrukce pro jiné systémy či aplikace na vyžádání.

Co je to JSON a v čem tkví jeho výhody?

Pro doplnění článku se zde ještě před tím, než budeme pokračovat dál, dovolím zmínit o souborovém formátu JSON. Jelikož se o něm bude v následující sekci článku hovořit, myslím si, že je pro pochopení obsahu důležité, abyste věděli, co to JSON formát je a k čemu slouží. JSON neboli souborový formát pro zápis dat, se Vám zde pokusím uvést na jednoduché analogii. 

Představte si, že jste na návštěvě v cizí zemi a potřebujete se domluvit, ale neznáte místní jazyk. Jak byste se cítili, kdyby Vám někdo dal univerzální překladač, který by Vám umožnil bezproblémovou komunikaci? Nejspíš byste nabyli pocitu, že jste vyhráli loterii – přesně tak se cítili i programátoři a datoví analytici poté, co byl zaveden souborový formát JSON. JSON je zkratka pro JavaScript Object Notation, jedná se o univerzální jazyk pro výměnu dat mezi různými systémy a programy. 

Jeho hlavní výhodou je jeho jednoduchost a snadná čitelnost jak pro lidi, tak i pro stroje. JSON je strukturovaný tak, že data jsou organizována do párů klíč-hodnota (například pes: Hovawart), což je intuitivní a snadno pochopitelné pro většinu uživatelů. Kromě toho, jak jsem se zmínil, je JSON kompatibilní s mnoha programovacími jazyky jako je JavaScript (programovací jazyk pro weby), Python, C++, C#, PHP atd. Tato všestrannost z něj dělá ideální nástroj pro dorozumívání se mezi programy v digitálním světě. 

JSON je určen převážně pro vývojáře, kteří usilují o flexibilitu, efektivitu a hladkou komunikaci mezi svými aplikacemi a ostatními systémy. Ve zkratce lze tedy říct, že JSON je univerzální jazyk, kterému rozumí většina obyvatel digitálního světa.

V čem Vám tato nová funkce může pomoci

Volání funkcí může například pomoci vytvářet chatboty, kteří odpovídají na otázky voláním externích programů, které převádějí přirozený jazyk do JSON formátu, a následně ho ukládají do databáze. Ostatní programy pak mohou strukturována data z databáze extrahovat a nadále s nimi pracovat, případně, vyžádá-li si to uživatel, jsou modelem uživateli data poskytnuty. OpenAI uvádí, že tyto modely byly vylepšeny o schopnost rozpoznání momentu, kdy je potřeba aktivovat určitou funkci.

Navíc, když tak učiní, odpovídají pomocí formátu JSON, který je v souladu se specifickým formátem dané funkce.

Tento přístup pak umožňuje vývojářům využívat modely OpenAI pro vytváření pokročilých aplikací, jako jsou chatboti, kteří mohou odpovídat na otázky voláním externích nástrojů, převádět přirozený jazyk na databázové dotazy a extrahovat strukturovaná data z textu.

Příklad využití nové funkce

Představte si, že jste na nákupní výpravě v digitálním světě, konkrétně na e-shopu specializovaném na počítačové komponenty. Vaším cílem je najít tu nejlepší grafickou kartu, kterou můžete získat za 10 000 korun. Ale jak to udělat? Nejspíše se nebudete chtít zdlouhavě probírat vyhledávací lištou porovnávat jednu grafickou kartu vedle druhé a snažit se vyhodnotit, který je teda lepší. Pro tento případ zde přichází na scénu chatbot, Váš digitální průvodce.

Nejprve zadáte svůj požadavek chatbotovi, ten ho poté předá svému inteligentnímu partnerovi, modelu ChatGPT od společnosti OpenAI. ChatGPT zpracuje Váš požadavek a vytvoří odpověď, která sestává ze sady instrukcí pro chatbota, jak vyhledat požadované informace v databázi e-shopu. Jinými slovy vytvoří funkci pro chatbota, jak vstoupit do databáze a extrahovat požadovaná data. Je to jako byste někomu dali klíč ke dveřím, které mu před tím byli uzamčené.

Chatbot pak následuje tyto instrukce, prozkoumá databázi a získá informace o grafických kartách, které odpovídají Vašim kritériím. Tyto informace pak převede do formátu JSON, univerzálního jazyka pro výměnu dat v digitálním světě.

Nakonec chatbot představí výsledky Vám, uživateli, ve formě, která je snadno srozumitelná a přehledná. Může to být textová zpráva, tabulka nebo seznam, vše záleží na tom, co je pro daný kontext nejvhodnější.

Rozšířené kontextové okno

Kromě volání funkcí představuje OpenAI variantu GPT-3.5-turbo, která disponuje výrazně rozšířeným kontextovým oknem. Kontextové okno, měřené v tokenech, odkazuje na text, který model bere na vědomí před generováním jakéhokoli dalšího textu. Modely s malým kontextovým oknem mají tendenci „zapomenout“ obsah i velmi nedávných konverzací, následkem čehož chatbota zapomene, co bylo zprvu jeho úkolem nebo o čem jste se bavili.

Nový GPT-3.5-turbo nabízí čtyřikrát delší kontextovou délku (16 000 tokenů) než předchozí GPT-3.5-turbo za dvojnásobnou cenu – $0,003 za 1 000 vstupních tokenů (tj. tokenů vložených do modelu) a $0,004 za 1 000 výstupních tokenů (tokenů, které model generuje). OpenAI uvádí, že dokáže zpracovat až zhruba 20 stránek najednou – což je sice méně než stovky stránek, které dokáže zpracovat vlajkový model Claude startupu Anthropic, ale stále se jedná o pozoruhodný výsledek, v němž lze vidět snahu společnosti OpenAI neupadnout do pozadí a nestagnovat. (OpenAI jinak testuje verzi GPT-4 s kontextovým oknem o 32 000 tokenech, ale pouze v omezeném vydání.)

Snižování cen

Dobrá zpráva je, že společnost OpenAI uvádí snižování ceny pro původní (nikoli nový) model GPT-3.5-turbo o 25 %. Vývojáři nyní mohou model používat za $0,0015 za 1 000 vstupních tokenů a $0,002 za 1 000 výstupních tokenů, což se rovná zhruba 700 stránkám na jeden dolar.

Ceny se kromě toho snižují i pro text-embedding-ada-002, jednoho z nejpopulárnějších modelů pro vkládání textu od OpenAI. Textové vkládání měří souvislost textových řetězců a běžně se používá pro vyhledávání v prohlížečích (kde jsou výsledky řazeny podle relevance k dotazu) a doporučení (kde jsou doporučovány nejrelevantnější položky vzhledem k Vašemu dotazu). Napíšete-li do vyhledávače textový řetězec „Granule pro 1roční kočku“, model zaregistruje Váš řetězec slov a vyhledá Vám výsledky, které s Vaším dotazem nejvíce souvisí a mají největší míru doporučení – díky tomu se Vám jako první webová stránka zobrazí ta nejlépe hodnocená a s produkty, které vyhledáváte – v tomto případě granule pro 1roční kočku.

Text-embedding-ada-002 nyní stojí $0,0001 za 1 000 tokenů, jedná se tedy o 75% úbytek z předchozí ceny. OpenAI se nechala slyšet, že snížení ceny bylo umožněno zvýšenou efektivitou v jejich systémech – výrok náš však nemusí tolik překvapovat, vzhledem k velmi rozsáhlým investicím v řádech miliardách dolarů (hlavně ze strany Microsoftu) si společnost může dovolit utrácet stovky milionů dolarů za výzkum, vývoj a infrastrukturu.

OpenAI naznačila, že postupné aktualizace stávajících modelů – nikoli zavedení nových masivních modelů typu GPT-5 – jsou její MO (mondus operandi je latinský výraz pro popis charakteristického způsobu, jakým jednotlivec nebo organizace obvykle jedná nebo provádí určité činnosti) po vydání GPT-4 na začátku března. Na nedávné konferenci pořádané Economic Times CEO společnosti Sam Altman potvrdil, že OpenAI nezačala trénovat nástupce GPT-4, a ani to v dohledné době nemá v plánu.