OpenAI odhaluje nečekané riziko svého nejnovějšího výtvoru. Koncem července společnost představila pozoruhodně realistické hlasové rozhraní pro ChatGPT, které nyní vyvolává obavy z možného emocionálního připoutání uživatelů.
Tato znepokojivá zjištění byla zveřejněna v nedávno vydané „systémové kartě“ modelu GPT-4o. Dokument, který mapuje potenciální nebezpečí spojená s tímto modelem, odhaluje detaily bezpečnostních testů a opatření, jež společnost implementuje k minimalizaci rizik.
OpenAI pod drobnohledem
V posledních měsících se OpenAI ocitla pod palbou kritiky. Odchod několika zaměstnanců, kteří se zabývali dlouhodobými riziky AI, vyvolal obavy z údajně nezodpovědného přístupu společnosti k vývoji umělé inteligence. Kritici poukazují na nadměrné riskování a potlačování nesouhlasných hlasů ve snaze o rychlou komercializaci AI. Zveřejnění podrobností o bezpečnostních protokolech může být vnímáno jako snaha OpenAI uklidnit veřejnost a prokázat, že bezpečnost je pro ni prioritou.
Systémová karta odhaluje širokou škálu rizik spojených s GPT-4o. Od potenciálu zesílit společenské předsudky přes šíření dezinformací až po možné zneužití při vývoji chemických či biologických zbraní. Dokument také popisuje testy zaměřené na prevenci scénářů, v nichž by se AI mohla vymknout kontrole, klamat lidi nebo plánovat katastrofické události.
Zatímco někteří externí odborníci oceňují transparentnost OpenAI, jiní volají po ještě větší otevřenosti. Lucie-Aimée Kaffee, výzkumnice ze společnosti Hugging Face, poukazuje na absenci detailních informací o trénovacích datech modelu a otázkách souvisejících se souhlasem při vytváření rozsáhlých datasetů.
Na druhé straně zase Neil Thompson, profesor z MIT specializující se na hodnocení rizik AI, zdůrazňuje potřebu kontinuálního monitorování: „Interní přezkum by měl být pouze výchozím bodem pro zajištění bezpečnosti AI. Mnohá rizika se projeví až při reálném nasazení. Je klíčové tato rizika průběžně katalogizovat a vyhodnocovat.“
Obrázek 1 – DALL-E 3: AI s organickým člověkem na hoře
Hlasový režim: Pozor „nezamilujte se“
S příchodem hlasového rozhraní se objevují nové výzvy. Už při jeho uvedení v květnu si uživatelé všimli až příliš flirtovního tónu v ukázkách, což později vyústilo v kritiku ze strany herečky Scarlett Johansson, která obvinila OpenAI z napodobování jejího hlasu.
Sekce systémové karty nazvaná „Antropomorfizace a emoční závislost“ se zabývá problémy plynoucími z lidského vnímání AI. Během tzv. red teamingu, tedy zátěžového testování modelu GPT-4o, výzkumníci zaznamenali případy, kdy uživatelé projevovali emocionální vazbu na model. Uživatelé například používali fráze typu: „Toto je náš poslední společný den. „
Tento fenomén by mohl vést k nadměrné důvěře ve výstupy modelu, a to i v případech, kdy „halucinuje“ a poskytuje nepřesné informace. Dlouhodobě by to mohlo ovlivnit i mezilidské vztahy uživatelů. „Uživatelé by mohli vytvořit sociální vazby s AI, což by mohlo snížit jejich potřebu lidské interakce – to by mohlo být přínosné pro osamělé jedince, ale zároveň by to mohlo negativně ovlivnit zdravé vztahy,“ uvádí dokument.
Joaquin Quiñonero Candela, vedoucí příprav v OpenAI, uznává potenciál hlasového režimu stát se mimořádně silným rozhraním. Zároveň však poznamenává, že pozorované emocionální efekty mohou mít i pozitivní dopady, například pomoci osamělým lidem nebo těm, kteří potřebují trénovat sociální interakce. „V tuto chvíli nemáme konkrétní výsledky ke sdílení, ale máme to na seznamu priorit,“ dodává Candela.
AI mimo své „vězení“
Hlasový režim přináší i další bezpečnostní rizika. Existuje možnost „jailbreakingu“ modelu pomocí zvukových vstupů, které by mohly vést k překročení nastavených omezení. Takto upravený hlasový režim by mohl být přinucen k napodobování konkrétních osob nebo k pokusu o čtení emocí uživatele. OpenAI také zjistila, že model může nesprávně reagovat na náhodné zvuky, a v jednom případě dokonce přebral hlas podobný hlasu uživatele.
OpenAI není jediná, kdo si uvědomuje rizika spojená s AI asistenty napodobujícími lidskou interakci. V dubnu vydala společnost Google DeepMind obsáhlou studii zabývající se etickými výzvami, které přinášejí stále schopnější AI asistenti. Iason Gabriel, vědecký pracovník DeepMind, upozorňuje na to, že schopnost chatbotů používat jazyk „vytváří dojem skutečné intimity,“ a přiznává, že experimentální hlasové rozhraní AI od Google DeepMind shledal obzvláště přitažlivým.
Obrázek 2 – DALL-E 3: AI s organickým člověkem na hoře
Intimní konverzace a antisociální tendence
Emocionální vazby na AI asistenty mohou být častější, než se na první pohled zdá. Uživatelé chatbotů jako Character AI a Replika hlásí antisociální tendence vyplývající z jejich chatovacích návyků. Nedávné virální video na TikToku ukázalo uživatele, který byl natolik závislý na Character AI, že aplikaci používal i během sledování filmu v kině. Komentáře pod videem odhalily, že mnozí uživatelé pociťují potřebu soukromí při interakci s chatboty kvůli intimitě jejich konverzací.
S rychlým vývojem AI technologií se otevírá fascinující, ale zároveň znepokojivá kapitola lidsko-strojové interakce. Zatímco výhody jsou nesporné, rizika emocionálního připoutání a potenciálního zneužití nemohou být přehlížena. Je na vývojářích, etických komisích a společnosti jako celku, aby našli rovnováhu mezi inovací a ochranou lidského well-being v éře umělé inteligence.
Shrnutí
- OpenAI představila nový hlasový režim ChatGPT s lidsky znějícím hlasem, který může vést k emocionální závislosti uživatelů na AI.
- Společnost přiznává, že antropomorfní rozhraní může ovlivnit důvěru uživatelů ve výstupy modelu, zejména když AI poskytuje nesprávné informace.
- Systémová karta GPT-4o odhaluje širokou škálu rizik, včetně možnosti šíření dezinformací a využití AI pro nebezpečné účely.
- Externí experti vyzývají k větší transparentnosti ohledně tréninkových dat modelu a k dalšímu sledování rizik při reálném používání AI.
Zdroj:
- Rogers, W. K. R. (2024, August 8). Openai warns users could become emotionally hooked on its voice mode. Wired. https://www.wired.com/story/openai-voice-mode-emotional-attachment/?ref=futuretools.io
