Chatboti jako je ChatGPT, Google Bard či jiní jsou dobrými sluhy, ale zároveň mohou pro společnost představovat velké riziko. Jsou totiž zranitelní vůči útokům založených na nepřímé, okamžité injektáži. Jinými slovy je lze snadno přinutit k tomu, aby dělali to, co by neměli.
Málokdo si uvědomuje, že systémy, které využívají umělé neuronové sítě a prvky umělé inteligence pomocí technologie velkých jazykových modelů (LLM) lze pomocí speciálních instrukčních sad flexibilně modulovat. Tyto sady je činí náchylnými k cílenému útoku, tzv. nepřímé injektáži, kterou mohou útočníci přepsat původní funkce systému.
Při injektáži do generativní umělé inteligence útočník vloží na vstup LLM škodlivý kód (případně celou sadu) nebo data, čímž odstartuje sled událostí, které mohou vést k četným škodám. Mezi ně patří např. krádež dat, neoprávněná transakce, poškození systému či kybernetický útok.
To je IT odborníky považováno za jeden z nejvíce znepokojivých způsobů, jak mohou hackeři velké jazykové modely zneužít. Velké korporace a menší start-upy totiž často spouštějí nebo využívají veřejné generativní systémy umělé inteligence, aniž by si uvědomovaly případná rizika. Proto se odborníci na kybernetické zabezpečení všeobecně snaží o potenciálních nebezpečích zvýšit povědomí. „Vzhledem k tomu, že stále více společností LLM využívá, a ve velkém do nich vkládají osobní či podniková data, jde o velké riziko. Právě proto se útočníci zaměřili na krádeže AI Chatbot účtů – viz. např. Malware Raccoon, díky kterému bylo ukradeno a na Dark Webu vystaveno již cca 80 tisíc ChatGPT účtů. Pokud podobné služby ve firemním prostředí využíváte, doporučujeme vám v první řadě u těchto nástrojů nastavit MFA, nevkládat do chatu citlivá data a ideálně pak neukládat historii konverzací,“ vysvětluje Petr Kocmich, Global Cyber Security Delivery Manager společnosti Soitron.
Existuje několik různých způsobů, jak může útočník injektáž do LLM provést. Jedním z nejběžnějších způsobů je vložení škodlivého kódu nebo dat do vstupu, který je LLM předán. Tento vstup může být čímkoliv, od textu až po obrázek.
Útočník může například vložit škodlivý kód na vstup chatbota. Kdyby uživatel následně chatbotovi položil otázku, mohl by tento škodlivý kód spustit zamýšlený útok. Dalším způsobem je zneužití chyby v aplikaci, která LLM využívá. Zjednodušeně řečeno, pokud někdo dokáže vložit data do LLM, pak může potenciálně manipulovat s tím, co se objeví na výstupu.
Odborníci na bezpečnost pravidelně ukazují, jak lze nepřímou okamžitou injektáž použít k manipulaci či krádeži dat, v horším případě i ke vzdálenému spuštění kódu.
Existuje několik opatření, která mohou vývojáři a správci systémů podniknout, aby systémy před injektáží do LLM ochránili. Jedním z nejdůležitějších, avšak ne zcela banálních, je použít správné ošetření vstupu, které pomáhá zabránit vložení škodlivého kódu nebo dat.
„Přestože vývojáři chatbotů disponují týmy, které pracují na zabezpečení LLM systémů, identifikaci a filtraci injektovaného kódu pro manipulaci či exfiltraci dat a vzdáleného spuštění kódu, není v jejich silách předem všechny potenciálně nebezpečné vstupy identifikovat, ošetřit a zabránit jim. V kyberbezpečnosti jsme si již zvykli, že útočníci využívají tzv. obfuskace (maskování) kódu. Nyní se bavíme prakticky o obfuskaci na úrovni zpracování přirozeného jazyka (NLP), kdy kýžené funkcionality dokážeme dosáhnout různorodě psaným textem,“upozorňuje Petr Kocmich.
I z tohoto důvodů společnosti přistupují k tomu, že používání veřejně dostupných chatbotů stále více omezují. Případně se zamýšlejí, jak generativní umělou inteligenci integrovat, respektive implementovat do aplikací a služeb. Je zapotřebí si totiž uvědomit, že ve chvíli, kdy dochází k přijmutí informací od třetích stran (např. z internetu), nelze LLM nadále důvěřovat. K LLM je proto nutné vždy přistupovat obezřetně.
V tomto případě dostávají přednost specializované generativní systémy, které jsou přímo navržené k firemnímu použití, a do kterých je možné vkládat podniková data, která nikdy neopustí toto prostředí – používají pouze interní data, která jsou zpracovávána lokálně. „Takovým je například i naše služba Millada, která ačkoliv je postavena na modelu ChatGPT, pracuje s daty lokálně.Oproti jiným informačním technologiím a systémům je její implementace navíc mnohem jednodušší, neboť funguje nezávisle na úrovni zpracovatele dat,“ prozrazuje Kocmich a dodává, že LLM je nápomocná technologie, ale rozhodně vyžaduje pečlivé a zodpovědné používání.
We are in the process of finalizing. If you want to be redirected to our old version of web site, please click here.
