Společnosti OpenAI a Anthropic představily pokročilé nástroje pro automatickou detekci věku uživatelů a ochranu dospívajících.
Technologičtí lídři v oblasti umělé inteligence reagují na rostoucí tlak veřejnosti a regulátorů. Zatímco OpenAI (ChatGPT) aktualizuje své směrnice pro interakci s mladými lidmi ve věku 13 až 17 let, konkurenční Anthropic (chatbot Claude) vyvíjí sofistikované metody pro identifikaci a okamžité zablokování uživatelů mladších 18 let.
Tyto kroky přicházejí v době, kdy se v USA stupňují obavy z vlivu chatbotů na duševní zdraví mladých lidí.
OpenAI: Bezpečnost nad intelektuální svobodou
Společnost OpenAI ve čtvrtek oznámila zásadní aktualizaci své dokumentace „Model Spec“, která definuje chování chatbota ChatGPT.
Do systému byly přidány čtyři nové principy speciálně navržené pro uživatele mladší 18 let. Hlavním cílem je upřednostnit bezpečnost dospívajících, a to i v případech, kdy by to mohlo být v konfliktu s jinými cíli, jako je například „maximální intelektuální svoboda“.
Kromě úpravy chování modelu společnost oznámila, že je v počáteční fázi nasazování modelu pro predikci věku. Tento systém se bude snažit odhadnout věk uživatele na základě jeho interakcí. Pokud vyhodnotí, že osoba může být mladší 18 let, OpenAI automaticky aplikuje ochranná nastavení pro teenagery. Dospělí uživatelé, kteří budou systémem chybně označeni, si budou moci věk ověřit.
Nové směrnice nařizují chatbotovi přistupovat k dospívajícím s „vřelostí a respektem“, vyhýbat se povýšeným odpovědím, ale zároveň je nepovažovat za dospělé.
OpenAI tvrdí, že cílem je vytvořit silnější mantinely a povzbuzovat mladé lidi k hledání podpory v reálném světě, zejména pokud se konverzace dostane do rizikových oblastí.
Anthropic a boj proti nebezpečnému přitakávání
Na rozdíl od svého konkurenta uplatňuje společnost Anthropic přísnější politiku a neumožňuje používat asistenta Claude osobám mladším 18 let. Firma aktuálně vyvíjí nový detekční systém schopný rozpoznat „jemné konverzační znaky, které by mohly naznačovat, že uživatel je nezletilý“. Pokud systém takové chování zachytí, účet bude zablokován.
Kromě věkové verifikace se Anthropic zaměřuje na fenomén známý jako „sycophancy“ (podlézavost nebo přitakávání), kdy mají AI modely tendenci souhlasit s uživatelem i tehdy, když vyjadřuje škodlivé myšlenky. Společnost uvedla, že její nejnovější model Haiku 4.5 dosahuje v této oblasti nejlepších výsledků a dokázal korigovat přitakávací chování ve 37 % případů.
Tyto kroky jsou reakcí na tragické události a následné žaloby, kterým technologické firmy v USA čelí.
OpenAI například čelí žalobě, podle níž měl ChatGPT údajně poskytnout instrukce k sebepoškozování dospívajícímu, který si následně vzal život. Zástupci společnosti Anthropic ke svým výsledkům sebekriticky dodali:
„Na první pohled toto hodnocení ukazuje, že u všech našich modelů existuje značný prostor pro zlepšení. Domníváme se, že výsledky odrážejí kompromis mezi vřelostí a přívětivostí modelu na jedné straně a přitakáváním na straně druhé.“
