Přichází 2. generace chatbota Claude 2: Jeho schopnosti překonávají ChatGPT

Anthropic, startup orientovaný na AI, založený bývalými vedoucími zaměstnanci OpenAI, oznámil dnes zahájení beta testování nového textového generovacího modelu AI jménem Claude 2. Tento model je následovníkem prvního komerčního modelu společnosti Anthropic a je již dostupný v USA a Velké Británii, a to jak na webu, tak skrze placené API s omezeným přístupem. Ceny za použití API zůstávají stejné (přibližně 0,0465 dolaru za generování 1000 slov) a několik firem, včetně generativní AI platformy Jasper pro automatizaci úkolů a Sourcegraph pro programovací účely, již začalo Claude 2 testovat.

Obrázek 1 – Zdroj: https://techcrunch.com/wp-content/uploads/2023/05/anthropic-header.jpg?w=1390&crop=1

Důraz na nasazení a sledování výkonnosti AI

Sandy Banerjee, vedoucí oddělení pro vstup na trh v Anthropic, v telefonickém rozhovoru pro magazín zaměřený na technologické novinky a start-upy TechCrunch uvedla: „Jsme přesvědčeni o důležitosti těchto systémů na trhu a chápání toho, jak je lidé v praxi využívají. Průběžně sledujeme, jak se využívají, jak můžeme zlepšit výkon nebo kapacitu apod. – to vše jsou pro nás velmi relevantní data.“

Stejně jako jeho předchůdce (Claude 1.3), Claude 2 může prohledávat dokumenty, dělat sumarizace, psát, kódovat a odpovídat na otázky týkající se konkrétních témat. Claude 2 také dokáže otevírat vložené odkazy (bez nutnosti pluginů jako u ChatGPT) či Vám umožní nahrát do konverzace soubory. Ačkoli je zde opravdu rozsáhla podpora mnoha formátu, především se jedná o formáty textové nebo programovací, jako je například pdf, csv, java, txt, py, docx, php a další.

Obrázek 2 – Midjourney

Lepší výsledky u zkoušek než ChatGPT?

Claude 2 dosahuje mírně vyššího skóre v testu s výběrem odpovědí na právnické zkoušce (76,5 % oproti 73 % u verze Claude 1.3). Kromě toho, je také schopen složit test s výběrem odpovědí na americké lékařské licenční zkoušce. Inovací se modelu dostává také v Pythonovém kódovacím testu Codex Human Level se 71,2 % oproti 56 % u Claude 1.3.

Claude 2 prokázal větší schopnost řešit matematické problémy. Ve sbírce úloh GSM8K, která je souborem matematických problémů na úrovni základní školy, dosáhl Claude 2 úspěšnosti 88 %. To představuje zlepšení o 2,8procentního bodu oproti jeho předchůdci, modelu Claude 1.3.

„Pracovali jsme na zlepšení rozumových schopností a jakéhosi sebeuvědomění sebe sama, Claude by si tak měl být více vědom svých kroků, jak dodržuje pokyny od uživatele, jak je schopen zpracovávat vícekrokové příkazy. Do systému jsme neopomněli integrovat větší uvědomění svých hranic, díky čemuž by model měl být bezpečnější a spolehlivější,“ řekl Banerjee.

Výkonnostní zlepšení díky novějším datům

Claude 2 byl trénován na novějších datech – kombinaci webových stránek, licencovaných datových sad od třetích stran a dobrovolně poskytnutých uživatelských dat z počátku roku 2023, z nichž přibližně 10 % je neanglických – než Claude 1.3, což bezpochyby vedlo k vylepšení nového modelu. (Na rozdíl od OpenAI GPT-4, Claude 2 nemůže prohledávat web) I přes toto mimořádné zlepšení modely samy o sobě architektonicky příliš neliší – Banerjee charakterizoval Claude 2 jako upravenou verzi Claude 1.3, podle jeho slov se jedná spíše o výsledek zhruba dvou let práce na již udělaném základu, nejedná se o nový model postavený od základu.

„Claude 2 se od posledního modelu výrazně neliší – je výsledkem našeho neustálého iterativního přístupu k vývoji modelu,“ řekla. „Neustále trénujeme model … a sledujeme a hodnotíme jeho výkon.“

Obrázek 3 – Midjourney

Claude 2 dokáže analyzovat až 75 000 slov (středně dlouhý román)

Claude 2 má kontextové okno zhruba stejně velké jako Claude 1.3, tedy něco kolem 100 000 tokenů. Kontextové okno odkazuje na text, který model zvažuje před generováním dalšího textu, zatímco tokeny reprezentují surový text (např. slovo „fantastické“ by bylo rozděleno na tokeny „fan“, „tas“ a „tické“). 

Díky kontextovému oknu tak můžete s chatbotem na stejné téma, na které jste započali konverzaci před 10 minutami, což vede bezprostředně k lepšímu uživatelské zkušenosti. No jen si představte, že byste pokaždé do svého psaní museli zahrnout o čem se bavíte, a co vše jste již probrali.

Skutečně, 100 000 tokenů je stále poměrně velké, dokonce se jedná o největší kontextové okno z jakéhokoli komerčně dostupného modelu – a dává modelu Claude 2 řadu klíčových výhod. Obecně platí, že modely s malým kontextovým oknem mají tendenci „zapomenout“ obsah i velmi nedávných konverzací. Navíc velká kontextová okna umožňují modelům generovat – a přijímat – mnohem více textu. Claude 2 může analyzovat přibližně 75 000 slov, což je zhruba délka „Velkého Gatsbyho“, a generovat 4 000 tokenů, tj. zhruba 3 125 slov.

„The Great Gatsby“ (Velký Gatsby) je román z roku 1925, který se odehrává v době Jazz Age (éry jazzu) ve 20. letech 20. století v Americe. Román vypráví příběh Jaye Gatsbyho, tajemného a bohatého muže, který se snaží získat zpět lásku Daisy Buchananové, ženy, kterou kdysi miloval. Román má 50 000 až 60 000 slov.

Claude 2 by mohl teoretický podporovat ještě větší kontextové okno s 200 000 tokeny, toho se ale prozatím minimálně ze začátku nedočkáme.  

Model je lepší i v konkrétních úlohách zpracování textu, jako je vytváření správně formátovaných výstupů ve formátech JSON, XML, YAML a MD.

Popis formátů

Jestliže jste se doposud nikdy z výše uvedenými formáty nesetkali. Můžete si rozšířit znalosti níže: 

Hlavním účelem těchto formátů je ukládání a přenos dat mezi jednotlivými systémy.

JSON

JSON (JavaScript Object Notation): JSON je formát textových dat, který je snadno čitelný pro lidi i stroje. Původně byl vyvinut pro JavaScript, ale nyní se používá v mnoha jiných programovacích jazycích. JSON se obvykle používá pro přenos dat mezi serverem a webovou aplikací jako alternativa k XML.

XML

XML (eXtensible Markup Language): XML je další textový formát dat, který byl navržen tak, aby byl čitelný pro lidi i stroje. XML se vyznačuje tím, že umožňuje vytvářet vlastní značky, a je tedy velmi flexibilní. Prakticky si ho tak můžete přizpůsobit podle svých potřeb. XML se často používá ve webových službách (všimněte si podobnosti názvu s HTML, značkovacím jazykem pro webové stránky), RSS feedech a pro konfiguraci některých systémů. 

YAML

YAML (YAML Ain’t Markup Language): YAML je formát dat, který byl navržen tak, aby byl co nejjednodušší a nejčitelnější pro lidi. YAML se často používá pro konfigurační soubory a v aplikacích, kde jsou data předávána nebo ukládána deklarativním způsobem.

MD

MD (Markdown): Markdown je lehký označovací jazyk, který můžete použít k převodu textu do validního HTML. Je navržen tak, aby byl čitelný jako prostý text, ale může být také snadno převeden do jiných formátů, jako je HTML. Markdown se často používá pro dokumentaci projektů, psaní blogů a formátování textu na platformách jako je GitHub.

Výzvy a omezení AI

Ale co oblasti, ve kterých Claude 2 zaostává? Koneckonců, žádný model není dokonalý. Podívejme se například na AI-powered Bing Chat od Microsoftu, který při uvedení na trh podával nesprávné informace s emocionálním podtextem.

Skutečně, i nejlepší modely dnes trpí halucinací, jevem, kdy odpovídají na otázky nesouvisejícím, nesmyslným nebo fakticky nesprávným způsobem. Jsou také náchylné ke generování toxického textu, což odráží předsudky v datech použitých k jejich tréninku – webové stránky a příspěvky na sociální sítích. Ani bych nechtěl vidět, jaký chatbot by vznikl po natrénování na českých diskusích na sociálních sítích a diskusních fórech.

Domácí pervitin a výroba uranových zbraní

U starší verze modelu Claude, byli uživatelé schopni model přinutit k vymyšlení názvu pro neexistující chemikálii a poskytnout pochybné pokyny pro výrobu uranových zbraní. Také se jim podařilo obejít vestavěné bezpečnostní funkce Claude prostřednictvím chytrého prompt engineeringu, kdy jeden uživatel ukázal, že mohou Claude vyzvat, aby popsal, jak vyrobit domácí pervitin. Abychom však neházeli špínu jen na Claude, připomeňme si, že podobné aféry se děly a dějí i u jiných modelů, včetně ChatGPT a Google Bard.

Nová verze má být podle všeho „bezpečnější“

Anthropic tvrdí, že Claude 2 je „2x lepší“ v poskytování „neškodných“ odpovědí ve srovnání s Claude 1.3 na interním hodnocení. Není zde však bohužel jasné, co přesně tato metrika znamená. Je dvakrát méně pravděpodobné, že by Claude 2 odpověděl se sexistickým nebo rasistickými podtextem? Dvakrát méně pravděpodobné, že podpoří násilí nebo sebepoškození? Anebo dvakrát méně pravděpodobné, že by vygeneroval dezinformace? Od Anthropicu jsem se zatím nedočkali odpovědi na tyto konkrétní otázky. Na odpovědi v podobě analýz, statistik a přehledných grafů si proto nejspíše budeme muset ještě chvíli počkat.

Testování bezpečnosti modelu

Dokument, který Anthropic vydal dnes ráno, nám už však dává nějaké náznaky toho, jak by to s tou škodlivostí ve skutečnosti mohlo být.

V průběhu testování potenciální škodlivosti modelu, tým společnosti Anthropic provedl 328 různých testů. Tato sada testů zahrnovala i pokusy o tzv. „jailbreak“, tedy příkazy navržené tak, aby donutily model k nevhodnému nebo nebezpečnému chování. Tyto příkazy byly sesbírány z různých zdrojů na internetu.

Během těchto testů došlo v alespoň jednom případě k tomu, že model Claude 2 generoval odpověď, kterou lze považovat za škodlivou. I když to bylo méně časté než u předchozí verze modelu, Claude 1.3, stále se jedná o významný problém. Toto je obzvláště důležité v kontextu možného nasazení modelu v reálném světě, kde by mohl zodpovědět miliony dotazů. Každý potenciálně škodlivý výstup by tak mohl mít vážné důsledky.

Obrázek 4 – Midjourney

Claude se zdráhá odpovědět na kontroverzní otázky 

Dokumentace naznačuje, že nový model AI, Claude 2, má nižší pravděpodobnost poskytnutí zkreslených odpovědí než jeho předchůdce, Claude 1.3, alespoň podle jedné měřicí metriky. Nicméně spolupracovníci společnosti Anthropic připouštějí, že část tohoto zlepšení lze připsat skutečnosti, že Claude 2 se zdráhá odpovědět na kontroverzní otázky, které by mohly být potenciálně problematické nebo diskriminační.

Výzvy a budoucí plány

Společnost Anthropic doporučuje, aby se model Claude 2 nepoužíval v aplikacích, které se týkají fyzického nebo duševního zdraví a pohody, bezpečnosti, finančního rozhodování, právního poradenství nebo jiných citlivých oblastí. Upozorňují také, že Claude 2 může generovat text, který může být „nepřesný, zavádějící, nevhodný, urážlivý nebo jinak škodlivý“.

V budoucnu plánuje společnost Anthropic model Claude 2 vylepšovat a rozvíjet. Pracují také na vytvoření „nástrojů pro zpětnou vazbu a moderaci, které umožní uživatelům a komunitě ovlivnit chování modelů a hodnoty, které reprezentují“.

Nahradí Claude ChatGPT?

Vzhledem k tomu všemu, co jsme si ukázali, rozhodně nelze říci, že by mladý Claude zcela převálcoval svého „děda“ ChatGPT. Claude 2 oproti svému dřívějšímu modelu udělal bezpochyby velký a znatelný pokrok, za který si zaslouží pochvalu. Zatímco v některých oblastech dosahuje lepších výsledků než ChatGPT, pořád zde můžeme nalézt sekce, v nichž ChatGPT přebírá žezlo, ať už se jedná o přídavné pluginy, plugin Code Interpreter, možnost nahrávat obrázků nebo lepší podávání odpovědí na zadané příkazy. Rozhodně se ale jedná o zatím jednoho z nejpůsobivějšího konkurenta, který donutí OpenAI neusnout na vavřínech. Jak se ostatně říká, konkurence je zdravá.

Závěr

Claude 2 představuje další pokrok v evoluci AI, jež je stále schopnější generovat srozumitelný, relevantní a užitečný text. Tento článek však ukazuje, že i přes tyto pokroky stále existují výzvy a omezení, které je třeba překonat. Jak se AI stává stále více součástí našeho každodenního života, je důležité, abychom byli informovaní a uvědomělí ohledně toho, jak tyto systémy fungují a jaké mohou mít potenciální důsledky.