Bard z dílny Googlu se slušně zlepšil v matematice a kódování

Bard, chatbot od Google, který je poháněn umělou inteligencí a který se v minulosti potýkal s několika problémy, se pomalu zlepšuje v úlohách spojených s logikou a uvažováním. Alespoň to tvrdí Google v novém blogovém příspěvku. Díky technice nazvané „implicitní provádění kódu“ se Bard nyní zvláště zlepšil v matematice a kódování.

Jak vlastně fungují velké jazykové modely

Velké jazykové modely (LLM), jako je Bard, jsou v podstatě predikční systémy. Když dostanou příkaz, generují odpověď tím, že předpovídají, jaká slova pravděpodobně budou následovat za sebou v kontextu předchozího textu. To z nich dělá vynikající autory e-mailů a esejí, bohužel co se týče vývoje softwaru, Bard už si tak dobře nevede.

Co je tak specifického na generování kódu?

Možná se ptáte, co na to říkají modely generující kód, jako je Copilot od GitHubu a CodeWhisperer od Amazonu? No, ty nejsou univerzální. Na rozdíl od Barda a jeho konkurentů, kteří byli trénováni na širokém spektru textových vzorků z webu, e-knih a dalších zdrojů. AI modely Copilot, CodeWhisperer a jiné modely generující kód byly trénovány a laděny převážně na programátorských datech, což z nich činí velmi schopného pomocníka v psaní kódu, ale už ne pomocníka v psaní například e-mailu či textové zprávy.

Jak Google řeší nedostatky v kódování a matematice

Google se rozhodl řešit nedostatky v kódování a matematice u obecných LLM a vyvinul implicitní provádění kódu. To umožňuje Bardovi psát a ihned provádět svůj vlastní kód. Nejnovější verze Barda je schopná psát kód tak zvaně „pod pokličkou“, kde ho nejdříve otestuje, vyzkouší a případně upraví. Korektní výsledek pak prezentuje uživateli.

Jak se Bard tedy zlepšil?

Podle interního benchmarkingu Google tvrdí, že nové odpovědi Barda na „výpočetní“ slovní a matematické problémy se zlepšily o 30 % ve srovnání s předchozí verzí Barda. Samozřejmě se ještě uvidí, zda tyto tvrzení obstojí v nezávislých testech.

„Navzdory těmto zlepšením Bard ne vždy odpoví správně – například Bard nemusí generovat kód, který přímo odpovídá na zadaný příkaz, generovaný kód může být chybný nebo Bard vůbec kód nemusí zahrnout do své odpovědi. Přesto by tento pokrok  v strukturovaných, logicky řízených schopnostech měl být důležitým krokem k eliminaci chyb a navýšení schopnosti AI modelu.“

Vedoucí produktu Bard, Jack Krawczyk a VP inženýrství Amarnag Subramanya v blogovém příspěvku

Bardova (trnitá) cesta k dokonalosti

Když Google spustil Barda na začátku tohoto roku, nevykázal tak dobré výsledky jako Bing Chat a ChatGPT. Skutečně, uvedení na trh bylo trochu katastrofou, když reklama Google s nesprávnou odpovědí od Barda krátce snížila akcie společnosti o 8 %.

Podle zpráv několik zaměstnanců Google, kteří testovali Barda před jeho uvedením na trh, vyjádřilo vážné obavy vůči vyhledávacímu gigantu, přičemž jedna osoba ho nazvala „patologickým lhářem“ a další ho označila za velmi nevhodný model pro používání.

Google se snaží otočit situaci

S implicitním generováním kódu a dalšími vylepšeními, jako je podpora nových jazyků, multimodální dotazy a generování obrázků, se Google snaží reagovat na kritiku a zvrátit situaci.

Zda to bude dostatečné na to, aby se udržel v kroku s předními generativními AI chatboty na trhu, zůstává otázkou. Nedávno představila společnost Anthropic AI model chatbotu s výrazně rozšířeným kontextovým oknem, které umožňuje modelu vést relativně souvislou konverzaci po dobu několika hodin nebo dokonce i dní. V nedávné době společnost OpenAI, vývojář za ChatGPT, začala podporovat pluginy, které ChatGPT umožňují rozšířit své dovednosti prostřednictvím externích aplikací – díky nim může ChatGPT prozkoumávat web nebo počítat komplexní matematické příklady.