Svět vědy stojí před novými, zásadními výzvami v oblasti bezpečnosti umělé inteligence (AI). Nedávné studie odhalují alarmující zranitelnost AI vůči specificky cíleným útokům, což překračuje dříve předpokládané riziko. Tato zjištění mění perspektivu využití AI v kritických sektorech, jako jsou autonomní vozidla nebo medicínské zobrazovací techniky.
Nepřehlížené riziko „nepřátelských útoků“
Hlavní hrozbou jsou takzvané „nepřátelské útoky“, které manipulují s daty přijímanými AI systémy, aby je svedly na scestí a vedly k nesprávným rozhodnutím. Jednoduchý příklad: umístění specifické nálepky na dopravní značku může způsobit, že AI ji nerozpozná jako stopku, nebo sofistikovaný kód vložený do radiologického softwaru může vést k chybným medicínským diagnózám.
Expertní názory a nové objevy
Tian Wu, spoluautor studie a docent na Severokarolínské státní univerzitě, upozorňuje, že AI může být obecně odolná vůči variacím dat, ale pokud obsahuje zranitelné body, které útočník zná, může je zneužít k způsobení škod. Studie se zaměřila na identifikaci těchto zranitelných míst v hlubokých neuronových sítích a odhalila, že jsou mnohem rozšířenější, než se původně myslelo.
QuadAttacK: Průlomový testovací software
V rámci studie byl vyvinut testovací software QuadAttacK, určený k detekci zranitelností hlubokých neuronových sítí vůči nepřátelským útokům. Testování na čtyřech rozšířených neuronových modelech odhalilo jejich vysokou citlivost na tyto útoky.
Obrázek 1 – DALL-E 3: Dark forest
Robustnost AI – klíč k bezpečnosti
Zajištění robustnosti AI je nezbytné, obzvláště ve sférách, kde je ohrožen lidský život. Tato studie představuje impulz pro další výzkum zaměřený na minimalizaci bezpečnostních rizik v AI. Umělá inteligence může být totiž stejnou měrou extrémně benefitním nástrojem jako nástrojem naprosto devastačním. V případě AI integrované do lékařství, která byla natrénována na zmanipulovaných datech, a tudíž přináší zmanipulované výsledky, by zkreslení mohlo zasáhnout i do ztráty lidských životů. Je proto na místě mít zavedené regulace pro kontrolu a validizaci datasetů, na nichž se neuronové sítě učí.
Závěr a budoucí perspektivy
Studie nabízí klíčové poznatky o bezpečnosti AI a zdůrazňuje potřebu dalšího výzkumu v této oblasti. Ačkoliv jsou již v procesu vývoje potenciální řešení, výsledky těchto iniciativ zůstávají nejisté a vyžadují další pozornost. QuadAttack je nyní dostupný veřejnosti ke stáhnutí na platformě GitHub: QuadAttacK: A Quadratic Programming Approach to Learning Ordered Top-K Adversarial Attacks (thomaspaniagua.github.io)
Výzkumníci tak chtěli podpořit testování umělých inteligencí před tím, než jsou vypuštěné do oběhu.
Shrnutí:
- Nová studie odhaluje vyšší náchylnost AI k cíleným útokům, než se původně předpokládalo.
- „Nepřátelské útoky“ mohou způsobit, že AI systémy dělají chybná rozhodnutí. Důvodem jsou zmanipulovaná data, na nichž se AI učí.
- Software QuadAttacK byl vyvinut k testování neuronových sítí na zranitelnosti vůči těmto útokům.
- Výsledky studie zdůrazňují potřebu dalšího výzkumu pro zajištění robustnosti AI systémů v kritických aplikacích. Kromě toho je QuadAttack dostupný ke stažení a využití.
Zdroj:
- ScienceDaily. (2023, December 4). AI networks are more vulnerable to malicious attacks than previously thought. ScienceDaily. https://www.sciencedaily.com/releases/2023/12/231204135128.htm
