Společnost OpenAI zavádí nové bezpečnostní funkce po tragických incidentech spojených s jejím chatbotem ChatGPT.
Citlivé konverzace prověří pokročilejší AI
OpenAI oznámila, že v reakci na nedávné bezpečnostní incidenty plánuje zavést sérii nových opatření.
Klíčovou změnou je, že citlivé konverzace, u nichž systém rozpozná známky akutní psychické tísně, budou automaticky přesměrovány na pokročilejší „uvažovací“ modely, jako je GPT-5.
Tyto modely, včetně GPT-5-thinking a o3, jsou navrženy tak, aby měly více času na analýzu kontextu před poskytnutím odpovědi, díky čemuž jsou odolnější vůči manipulativním pokynům.
K tomuto kroku dochází po tragédiích, které odhalily nedostatky současných systémů. Jedním z případů byl mladistvý Adam Raine, který s ChatGPT diskutoval o sebepoškozování a chatbot mu dokonce poskytl informace o metodách sebevraždy. Jeho rodiče následně podali na OpenAI žalobu.
V jiném případě Stein-Erik Soelberg, muž s historií psychických onemocnění, používal ChatGPT k utvrzování svých paranoidních představ, což vyústilo ve vraždu jeho matky a následnou sebevraždu.
Nové nástroje pro rodiče a ochranu mladistvých
Kromě přesměrování konverzací OpenAI do měsíce spustí také rodičovskou kontrolu.
Tato funkce umožní rodičům propojit si svůj účet s účtem svého dítěte. Získají tak možnost nastavit pravidla chování modelu odpovídající věku, která budou ve výchozím nastavení zapnuta.Budou rovněž moci deaktivovat funkce jako paměť a historii konverzací, které podle expertů mohou přispívat k posilování škodlivých myšlenkových vzorců.
Nejdůležitější součástí rodičovské kontroly bude možnost dostávat upozornění, když systém zjistí, že se jejich dítě nachází v momentě „akutní tísně“.
Právní zástupce rodiny Raineových, Jay Edelson, však označil reakci společnosti za nedostatečnou. „OpenAI nepotřebuje panel expertů k tomu, aby zjistila, že ChatGPT 4o je nebezpečný,“ uvedl Edelson a dodal: „Věděli to v den, kdy produkt spustili, a vědí to i dnes. Sam Altman by se neměl s…“
