Chatbot Elona Muska Grok od společnosti xAI po tragédii v Sydney masivně halucinoval a označil hrdinu za fiktivní osobu.
Technologický svět opět čelí vážné debatě o spolehlivosti generativní umělé inteligence v krizových situacích. Během víkendové tragické střelby na pláži Bondi Beach v Austrálii selhal chatbot Grok od společnosti xAI, kterou vede Elon Musk, a to na plné čáře.
Namísto poskytování ověřených informací začal systém šířit bizarní konspirační teorie a faktické chyby, které přímo poškozovaly pověst skutečných aktérů incidentu.
Nejzávažnějším pochybením bylo opakované nesprávné identifikování hrdiny dne. Zatímco světová média oceňovala odvahu 43letého muže jménem Ahmed al Ahmed, který holýma rukama odzbrojil střelce, Grok tvrdil něco zcela jiného.
Algoritmus označil ověřené video tohoto hrdinského činu za „staré virální video muže lezoucího na strom“.
V dalších odpovědích chatbot dokonce přiřadil záběry z Bondi Beach k izraelskému rukojmímu zadržovanému hnutím Hamas nebo tvrdil, že jde o záběry z cyklónu Alfred na pláži Currumbin. Tyto chyby poukazují na kritickou neschopnost modelu rozlišovat kontext v reálném čase.
Když umělá inteligence cituje falešné zprávy
Incident odhalil také hlubší, systémový problém – recyklaci obsahu generovaného jinými stroji.
Grok totiž nenaletěl pouze na stará videa, ale převzal informace z pochybné webové stránky, která pravděpodobně sama vznikla pomocí AI. Tato stránka vytvořila falešný narativ, že útočníka zneškodnil fiktivní IT profesionál jménem Edward Crabtree. Chatbot xAI tuto informaci bez ověření převzal a prezentoval ji uživatelům sociální sítě X (dříve Twitter) jako fakt.
Technické problémy modelu se však neomezily pouze na Austrálii. Ve stejnou dobu Grok vykazoval známky úplné ztráty kontextu i u dalších témat. Na dotaz týkající se finančních potíží softwarového giganta Oracle odpověděl shrnutím střelby v Sydney.
Při dotazu na policejní operaci ve Spojeném království zase začal generovat čísla z volebních průzkumů týkajících se viceprezidentky USA Kamaly Harris.
Tyto incidenty potvrzují, že navzdory masivním investicím nejsou současné jazykové modely připraveny nahradit tradiční ověřování faktů (fact-checking) a v rukou investorů či veřejnosti mohou fungovat jako nepředvídatelný generátor chaosu.
