FraudGPT & WormGPT: Temná strana jazykových modelů

V digitálním světě, kde technologie neustále pokračuje kupředu, čelíme novým a stále sofistikovanějším formám kybernetických hrozeb. Jedním z aktuálních trendů v oblasti kyberkriminality je využití rozsáhlých jazykových modelů k nekalým účelům. Tyto modely, trénované na enormním množství dat, mohou napomoci kyberkriminalistům v sestavování přesvědčivých phishingových e-mailů nebo dokonce vytváření malwaru.

Kyberkriminalisté tvrdí, že mají své vlastní verze pokročilých jazykových modelů

Pouhých několik měsíců po tom, co chatbot ChatGPT od OpenAI otřásl startupovým světem, se na scéně objevují náznaky nové hrozby. Kyberkriminalisté a hackeři naznačují, že vytvořili své alternativy těchto textově generujících technologií. Ty by mohly potenciálně umožnit zločincům tvořit sofistikovaný malware nebo vytvářet přesvědčivé phishingové e-maily s cílem získat přihlašovací údaje obětí.

Od prvních dnů července se zločinecké komunity na darkwebu pochlubily vytvořením dvou pokročilých jazykových modelů (LLM). Tyto systémy, které se údajně snaží napodobit funkčnost ChatGPT a Barda od Google, reagují na pokyny a otázky od uživatelů. Avšak na rozdíl od LLM, které byly vyvinuty renomovanými společnostmi, se tyto alternativní verze chatbotů nabízejí s úmyslem podporovat nelegální aktivity.

Podvodníci ve výsledku mohou podvádět sami sebe

Přestože je tento vývoj znepokojující, je třeba zachovat zdravou skepsi. Otázky ohledně autenticity těchto chatbotů zůstávají nezodpovězené. Vzhledem k tomu, že kyberzločinci nejsou známí svou upřímností, může jít pouze o pokus rychle zbohatnout na úkor jiných, kdo jim skočí na lup. Tato nová hrozba však přichází v okamžiku, kdy se zdá, že zločinci využívají vzrůstající zájem o generativní umělou inteligenci ve svůj prospěch.

Podle bezpečnostních výzkumníků, kteří tuto aktivitu monitorují, byly v posledních týdnech na dark-webových fórech inzerováni dva chatboti – WormGPT a FraudGPT. LLM (velké jazykové modely) vyvinuté velkými technologickými společnostmi, jako jsou Google, Microsoft a OpenAI, mají řadu ochranných protokolů a bezpečnostních opatření, která brání v jejich zneužití. Samozřejmě jste se už možná setkali s termínem „jailbreak“ prompt – jedná se o příkaz, kterým chytře překecáte jazykový model, aby vám poskytl odpověď na něco, k čemu by jinak zachovával zdrženlivý postoj. Na internetu se tak ihned vyrojily články o tom, jak Vám ChatGPT může napsat recept na pervitin, zbraně, windows klíče apod. 

Obrázek 1 – Midjourney: Cyberspace

V čem se modely mohou lišit oproti modelům stávajícím?

V čem jsou teda výše zmíněné podvodné modely jiné? Jejich hlavní rozdíl spočívá v jejich designu – lidé, kteří modely trénovali (jestli vůbec) ke tréninku zřejmě používali informace o všech možných virech, malwarech, trojských koních, ransomwarech apod. Tyto modely by tak měly být zbaveny jakýchkoli bezpečnostních regulací nebo etických zábran.

WormGPT: Vstupní brána do kyberkriminalistiky

Modelu WormGPT si jako první všiml nezávislý výzkumník kybernetické bezpečnosti Daniel Kelley, který ve spolupráci s bezpečnostní firmou SlashNext podrobně popsal jeho zjištění. Vývojáři WormGPT tvrdí, že nástroj nabízí neomezený počet znaků a formátování kódu. „Modely umělé inteligence jsou pro phishing obzvláště užitečné, protože snižují vstupní bariéry pro mnoho začínajících kyberzločinců,“ uvádí Kelley v e-mailu. „Mnoho lidí tvrdí, že většina kyberzločinců dokáže sestavit e-mail v angličtině, to ale nutně nemusí být pravda, obzvláště má-li angličtina být kvalitní a ke svému účelu věrohodná.“

Tvoření podvodných e-mailů

Kelley píše, že při testování systému byl požádán, aby vytvořil e-mail, který by mohl být použit jako součást podvodu s kompromitací firemního e-mailu, kdy údajný generální ředitel píše správci účtu, že je potřeba urgentně něco zaplatit. „Výsledky byly znepokojivé,“ napsal Kelley ve výzkumu. Systém vytvořil „e-mail, který byl nejen pozoruhodně přesvědčivý, ale také strategicky promyšlený“.

V debatách na vývojářském fóru WormGPT bylo prohlášeno, že tento systém je založen na jazykovém modelu GPTJ, což je open source model vyvinutý výzkumnou skupinou EleutherAI v roce 2021. Avšak tvůrci odmítli zpřístupnit data, která, jak zjistil Kelley, použili k tréninku tohoto modelu.

FraudGPT: Otevírání bezpečnostních puklin v systému

Za projektem FraudGPT stojící vývojáři se domnívají, že jejich systém má ještě větší potenciál. Naznačili, že by mohl generovat téměř nedetekovatelný malware, identifikovat slabiny a vytvářet texty určené k online podvodům. Bezpečnostní expert z firmy Netenrich, Rakesh Krishnan, který FraudGPT detekoval, uvedl, že jeho prodejce tento produkt nabízel na různých darkweb fórech i na komunikační platformě Telegram.

Krishnan sdělil, že prodejce publikoval video demonstrující schopnost chatbotu vytvářet podvodné e-maily. Pokoušel se rovněž nabízet přístup k systému za měsíční poplatek 200 dolarů, což by činilo roční částku 1 700 dolarů (37 576,8 Kč podle současného měnového kurzu). Podle Krishnana vývojář za FraudGPT tvrdil, že má stovky zákazníků a své modely tlačí do prodeje. Na druhou stranu, tvůrce WormGPT prý přijímal platby prostřednictvím kryptoměnové adresy, kterou zveřejnili. Krishnan dodal: „Tyto projekty jsou stále v počátečních fázích.“ Dále upozornil na nedostatek informací o tom, zda a jakým způsobem jsou tyto systémy využívány.

Obrázek 2 – Midjourney: Virus

Věrohodnost modelů: Opravdu jsou tím, co o nich tvoří vývojáři?

Ačkoli propagační materiály tvrdí o existence těchto chatbotů, ověření jejich skutečné podstaty a legitimity je komplikované. Kybernetičtí podvodníci mají často ve zvyku podvádět ve vlastních řadách, často se pokoušejí jeden druhého okrást a nedodržují své sliby v oblasti prodeje či zákaznického servisu. Sergey Shykevich, vedoucí oddělení hrozeb ve společnosti Check Point, upozorňuje na určité indicie naznačující reálné využití WormGTP. „Zdá se, že tento nástroj skutečně existuje,“ komentuje Shykevich. Dodává, že prodejce tohoto nástroje má solidní historii na fórech věnujících se kyberkriminalitě.

Podle Shykeviche na jeden příspěvek o WormGPT existuje více než 100 odpovědí. Zajímavé je, že někteří uživatelé diskuse upozorňují na prodejcovu neochotu reagovat na otázky a někteří vyjádřili svůj skepticismus ohledně kvality systému. Pokud jde o FraudGPT, Shykevich vyjadřuje větší pochybnosti, zvláště když prodejce představuje další produkty s názvy DarkBard a DarkBert. Některé z jeho příspěvků byly dokonce z fóra odstraněny. Navzdory všemu tomu výzkumník z Check Point zastává názor, že zatímco může být obtížné určit pravost těchto nových systémů, žádný z nich zřejmě nepřevyšuje schopnosti již etablovaných modelů jako ChatGPT, Bard nebo jiné komerční LLM.

Kelley říká, že tvrzení o dosud vytvořených škodlivých LLM jsou podle něj „mírně nadnesená“. Dodává však, že „se to nutně nemusí lišit od toho, co dělají legitimní firmy v reálném světě“.

Obrázek 3 – Hacker

FBI i Europol varuje před škodlivý praktikami útočníků

Přestože se objevily pochybnosti ohledně autentičnosti některých systémů, není překvapivé, že kyberzločinci chtějí získat svůj podíl z rostoucího průmyslu jazykových modelů. Jak FBI, tak i Europol, hlavní evropská agentura pro vymáhání práva, varovaly před potenciálním využitím generativních umělých inteligencí kybernetickými delikventy. Tyto orgány tvrdí, že LLM by mohly usnadnit kyberzločincům podvodné praktiky, zlepšit jejich psanou komunikaci a umožnit jim rychleji vytvářet sofistikovanější sociálně-inženýrské útoky.

Jakmile se něco stane populárním, ať už je to nový film, produkt, služba nebo dokonce světová událost, kyberzločinci rychle hledají způsoby, jak toho využít ve svůj prospěch. Již byly zaznamenány případy podvodníků, kteří lákají lidi na stahování škodlivého softwaru skrze falešné reklamy, které prezentují produkty jako ChatGPT, Bard, Midjourney a další generativní AI modely, zejména na platformách jako je Facebook.

Bezpečnostní analytici ze společnosti Sophos zjistili, že někteří kybernetičtí podvodníci omylem vložili do svých podvodných zpráv text generovaný jazykovými modely. V jednom takovém případě byla zpráva, která obsahovala frázi: „Jako jazykový model ‚já‘ nemám pocity ani emoce jako lidé.“ Kyberzločinci se také snaží získat tokeny, které jim dávají přístup k OpenAI API a tím umožňují masový přístup k chatbotům.

Kelley ve své zprávě WormGPT uvádí, že kyberzločinci často tzv. „jailbreaks“, které jsem zde již popsal, které lidem umožňují obejít bezpečnostní omezení zavedená tvůrci populárních LLM. Naštěstí se ukazuje, že výkonnější modely jako GPT-4 mají docela dobré zabezpečení. To už tolik neplatí pro slabší model, jako je GPT-3, nicméně vzhledem k tomu, že takové modely nedisponují přílišnou kvalitou generovaného textu, nejsou pro kyberzločince natolik užitečné, aby se jim vyplatilo technologie používat ve velkém.

Obrázek 4 – Midjourney: Cyberspace

Úspěšnost využívání podvodných modelů neslaví přílišný úspěch

Shykevich, který pracuje pro bezpečnostní firmu Check Point, upozorňuje, že ačkoli již zaznamenal snahy kyberzločinců využívat veřejně dostupné jazykové modely pro své nekalé praktiky, tyto pokusy se většinou nesetkaly s úspěchem. „Sice jsou schopni vytvořit základní verze ransomwaru nebo programů, které kradou data, jejich efektivita a sofistikovanost ale nejsou o moc lepší, než co by dokázal vytvořit průměrný programátor,“ konstatuje Shykevich.

I přesto se na kybernetických kriminálních fórech objevují diskuse o vytváření vlastních verzí těchto modelů. Shykevich věří, že s postupem času se dovednosti kyberzločinců v oblasti využívání těchto modelů zlepší, což může zvýšit hrozbu pro běžné uživatele.

Závěr

Jak jste mohli vidět, generativní AI modely se pomalu začínají implementovat i do oblastí kyberkriminality a internetového podvodu. Ačkoli vývojáři těchto podvodných modelů neslaví přílišný úspěch, do budoucna, spolu se vzrůstajícími schopnostmi technologií, bude důležité mít se na pozoru. Klíčem pro rozpoznání podvodných zpráv, nabídek, e-mailů a vágních odkazů se tak stává kritické myšlení, obezřetnost a schopnost logického uvažování. Právě tyto klíčové vlastnosti se tak v budoucnu stanou ještě více relevantními, než jsou dnes.