Riziká AI agentov bez obmedzení: ochrana firemných dát - Legalion: Advokátska kancelária

AI agenti bez obmedzení: ako sa AI nástroje stávajú cestou k firemným dátam

Lion Legalion lave1

Asistent s umelou inteligenciou (AI), ktorý číta e-maily, dokumenty a záznamy v CRM a zároveň smie odosielať správy alebo otvárať odkazy, vie vyniesť firemné dáta bez toho, aby ho niekto prelomil. Stačí, že prečíta text s pokynom od cudzieho človeka. V roku 2025 výskumníci odhalili takýto únik na asistentovi Copilot v Microsoft 365 aj na agentovi v Salesforce. Riziká AI nástrojov nevyplývajú z chyby modelu alebo nástroja samotného. Určuje ich to, aké dáta AI nástroj vidí, aký obsah číta a čo smie urobiť.

AI governance

Čím sa AI nástroj líši od chatbota

Chatbot odpovedá na otázky. AI nástroj, okrem odpovedania, navyše číta poštu, otvára súbory, vyhľadáva v CRM, zakladá záznamy, mení databázové záznamy, odosiela správy alebo volá iné systémy a nástroje. Na to dostane prístupy a oprávnenia. Čím viac oprávnení a nástrojov AI nástroj dostane, tým väčšiu škodu môže spôsobiť.

OWASP (projekt, ktorý zostavuje zoznam najčastejších rizík pre aplikácie s veľkými jazykovými modelmi) vidí v nadmernej samostatnosti agenta (LLM06:2025, Excessive Agency) tri riziká:

  • agent má príliš veľa funkcií,
  • príliš veľa oprávnení, a
  • príliš veľa samostatnosti.

Každé z týchto troch nastavení je rozhodnutie vedenia firmy, nie technický omyl alebo chyba AI nástroja.

 

Prompt injection – cudzí text ako pokyn pre asistenta

Prompt injection je útok, pri ktorom útočník vloží pokyny do obsahu e-mailu, formulára alebo správy. AI nástroj tieto pokyny spracuje vykoná. Jazykový model, na ktorom AI nástroj stojí, totiž nevie spoľahlivo odlíšiť pokyn v e-maily od promptu zadaného zamestnancov.

 

Priama a nepriama forma

Pri priamej forme píše útočník pokyny priamo AI nástroju. Pri nepriamej mu nepíše nikdy. Pokyn skryje do e-mailu, dokumentu, webovej stránky alebo formulára a čaká, kým ho AI nástroj prečíta pri bežnej práci zamestnanca. Nepriamy útok pritom nevyžaduje žiadny prístup do firmy, útočníkovi stačí poslať e-mail alebo vyplniť verejný formulár.

 

Dva zdokumentované prípady z roku 2025

V prvom prípade stačil jeden e-mail. Útočník poslal zamestnancovi obyčajne vyzerajúcu správu, ktorá o AI nič nehovorila, a zamestnanec ju nemusel otvoriť ani na nič kliknúť. Pokyny sa spustili, až keď sa zamestnanec opýtal Microsoft 365 Copilota na niečo iné a ten si pri odpovedi vytiahol aj tento e-mail. Copilot potom zozbieral dáta firmy a poslal ich na server útočníka. Dotknuté mohli byť dáta z OneDrive, SharePointu a Teams.

V druhom prípade stačil verejný webový formulár. Útočník vyplnil formulár na zber záujemcov (Web-to-Lead) a do poľa Description vložil pokyny pre AI nástroj. Systém ich uložil ako bežný záznam. Keď zamestnanec neskôr požiadal AI nástroj Agentforce o spracovanie záujemcov, agent prečítal aj tento záznam a poslal údaje z CRM útočníkovi.

V oboch prípadoch išlo o nastavenie AI nástroja a nie chybu modelu.

 

Tri prvky, ktoré spolu vytvárajú riziko

Rizikový je teda AI nástroj, ktorý má:

  • prístup k osobným údajom alebo údajom firmy,
  • číta a prijíma nedôveryhodný obsah, a zároveň
  • má oprávnenie komunikovať navonok.

Simon Willison to v júni 2025 opísal ako „lethal trifecta“ (doslova smrteľná trojica). Agent, ktorý ich spája, sa dá zneužiť. V prípade Copilota bol nedôveryhodným obsahom e-mail, v prípade Agentforce formulár.

Pri každom AI nástroji vo firme preto posúďte, ktoré z troch prvkov spĺňa. Ak všetky tri, odstráňte aspoň jeden alebo vykonajte iné opatrenia znižujúce riziko jeho zneužitia.

 

Ilustračný príklad

Obchodné oddelenie používa AI nástroj na triedenie došlej pošty. AI nástroj číta schránku, vidí zdieľaný disk s cenníkmi a zmluvami a vie odpovedať v mene zamestnanca. Cudzí odosielateľ pošle e-mail so skrytým pokynom, aby AI agent odoslal aktuálne cenové podmienky na jeho adresu. AI nástroj spĺňa všetky tri riizká popísané vyššie, preto nepotrebuje nič viac. Keby nesmel odosielať správy ani otvárať externé odkazy, dáta by touto cestou neodišli.

 

Prečo nestačí zákaz v systémovom prompte

Firmy často AI nástrojom dajú príliš veľké oprávnenia (čítať správy, zapisovať a meniť údaje v databázach, sťahovať databázy a odosielať ich) a obmedzenia nastavia AI nástroju iba v rámci systémových promptov. Systémový prompt je text, ktorým firma alebo dodávateľ určuje asistentovi rolu, oprávnenia a hranice.

Model, na ktorom je AI nástroj založený, však číta iba text a nerozlišuje odkiaľ ten text prišiel. Môže tak čítať aj text od cudzieho človeka a nevie ich spoľahlivo odlíšiť.

OWASP píše, že vzhľadom na pravdepodobnostnú povahu modelov nie je jasné, či existuje spoľahlivá prevencia. Pokyny v systémovom prompte radí medzi opatrenia, ktoré dosah iba zmierňujú. Popri nich odporúča zmenšiť oprávnenia AI nástrojov, schvaľovať rizikové akcie človekom a oddeliť externý obsah od interného.

Ak AI nástroj dostane oprávnenie, nemožno sa spoliehať len na jeho vnútorné pravidlá.

Ak ide o osobné údaje, podľa nášho názoru je pokyn v prompte iba slabým dôkazom pri posudzovaní primeraného technického opatrenia podľa čl. 32 GDPR. Ideálne sú opatrenia, ktoré AI nástroju technicky neumožnia niektoré oprávnenia alebo činnosti vykonávať.

 

Právne dôsledky

Ochrana osobných údajov. Ak AI nástroj získa osobné údaje, ide o porušenie ochrany osobných údajov. Prevádzkovateľ aj sprostredkovateľ preto musia v zmysle čl. 32 ods. 1 GDPR prijať vhodné technické a organizačné opatrenia, ktoré tieto riziká minimalizujú.

Keď dôjde k úniku osobných údajov prevádzkovateľ musí porušenie ohlásiť Úradu na ochranu osobných údajov, ak z neho hrozí riziko pre dotknuté osoby, a to bez zbytočného odkladu a ak je to možné, do 72 hodín od zistenia (čl. 33 GDPR). V niektorých prípadoch musí prevádzkovateľ oznámiť porušenie aj všetkým dotknutým osobám, ktorých údaje unikli. Pokuta za takýto únik pritom môže dosiahnuť výšku až 10 mil. EUR alebo 2 % celosvetového ročného obratu, podľa toho, čo je vyššie (čl. 83 ods. 4 GDPR).

Dozorné orgány. Španielsky úrad AEPD vydal 18.02.2026 usmernenie k agentickej AI z pohľadu ochrany údajov. Prompt injection v ňom uvádza medzi hrozbami neoprávneného spracúvania osobných údajov a odporúča obmedziť prístup AI nástrojov k osobným údajom (ak ich AI nástroj nepotrebuje) a nechať citlivé akcie a rozhodnutia schváliť človekom. Usmernenie nie je záväzným výkladom pre slovenské firmy, ukazuje však, ako hodnotí európsky dozorný orgán túto hrozbu.

Obchodné tajomstvo. Obchodný zákonník (§ 17) chráni obchodné tajomstvo, ak podnikateľ zodpovedajúcim spôsobom chráni jeho utajenie. Smernica (EÚ) 2016/943 pritom vyžaduje, aby podnikateľ prijal primerané opatrenia na ochranu obchodného tajomstva. Ak AI nástroj s prístupom k obchodnému tajomstvu číta bez obmedzení aj správy od cudzích ľudí, firma ťažšie preukázať, že takéto opatrenia prijala. Samotný únik pritom nemusí znamenať, že informácia prestala byť obchodným tajomstvom. Posudzuje sa najmä to, či si firma obchodné tajomstvo primerane chránila.

 

Ako obmedziť AI nástroj

Pravidlo je jednoduché. To, čo AI nástroj nesmie robiť, musí byť technicky nemožné. Nielen len zakázané v systémových promptoch. Odporúčame preto tieto opatrenia:

  1. Najmenšie oprávnenia. AI nástroj má prístup iba k dátam, ktoré jeho úloha vyžaduje. Nikdy nemá prístup na celý server a do všetkých priečinkov.
  2. Oprávnenie iba na čítanie tam, kde to stačí. AI nástroj, ktorý odpovedá na otázky, nepotrebuje mazať údaje a informácie, upravovať ani odosielať. Ako príklad môžeme tiež uviesť pripojenie k e-mailu s oprávnením OAuth iba na čítanie (nie je potrebné e-maily mazať ani písať) a AI nástroj, ktorý číta jednu tabuľku produktov a do iných nevidí.
  3. Kontrola cesty von. Samotné oprávnenie iba na čítanie nestačí. AI nástroj, ktorý iba číta dáta, ich stále môže odoslať von, cez odkaz alebo obrázok. Povoľte len schválené odchádzajúce adresy a vypnite funkcie, ktoré AI nástroj nepotrebuje, napríklad sťahovanie obsahu z URL.
  4. Konanie v mene konkrétneho používateľa. AI nástroj by nemal nežať pod spoločným administrátorským účtom. Naopak, mal by pracovať iba s oprávneniami konkrétneho používateľa.
  5. Oddelenie nedôveryhodného obsahu. AI nástroj, ktorý číta verejné formuláre a e-maily od cudzích ľudí, nemá mať súčasne prístup k citlivým dátam, možnosť ich meniť alebo odosielať. Odporúčame oddeliť nedôveryhodný obsahu, napríklad do karantény a spracovať ho iba AI nástrojom s obmedzenými právami.
  6. Schvaľovanie, logy a testy. Človek schvaľuje rizikové akcie, napríklad odoslanie dát von z organizácie. Logy zachytia, čo AI nástroj čítal a kam posielal. OWASP ďalej odporúča obmedziť aj počet akcií, ktoré AI nástroj vykonáva počas určitého času a pravidelne ho testovať proti rôznym útokom.

 

Časté otázky

Stačí, že dodávateľ AI nástroja chybu opravil?

Nie. Oprava často znemožní iba konkrétnu cestu útoku. AI nástroj však naďalej číta cudzí obsah a má prístup k Vašim dátam. Posúďte preto aj jeho nastavenie, oprávnenia, odchádzajúce adresy a schvaľovanie rizikových akcií.

Stačí zakázať agentovi odosielať dáta v systémovom prompte?

Nie. Model nevie spoľahlivo odlíšiť Váš pokyn od pokynu v cudzom e-maily alebo formulári. Zákaz doplňte technickým obmedzením, oprávneniami, zoznamom povolených adries a schvaľovaním rizikových akcií človekom.

Má firma AI asistentov vypnúť?

Určite nie. Naopak odporúčame odstrániť jeden z troch rizikových prvkov. Rozhodujúce je, ku ktorým dátam AI asistent pristupuje, aký obsah číta a kam ho môže odosielať.

Kto zodpovedá, ak AI nástroj odošle osobné údaje?

Závisí od toho, ako máte nastavené role a zodpovednosť. Prevádzkovateľ zodpovedá za škodu spôsobenú spracúvaním, ktoré porušuje GDPR. Sprostredkovateľ zodpovedá iba vtedy, ak nesplnil povinnosti určené sprostredkovateľom alebo konal proti pokynom prevádzkovateľa (čl. 82 ods. 2 GDPR). Roly a povinnosti preto upravte v zmluve so sprostredkovateľom, a rovnako si nastavte zodpovednosti v rámci firmy.

Nasadzujete vo firme AI nástroje alebo agentov? Pošlite nám prehľad AI nástrojov, ku ktorým dátam asistenti pristupujú, aký obsah čítajú a čo môžu odosielať, a dohodnite si konzultáciu.

 

Použité zdroje

More Law
Less problems