7 krokov ako nasadiť umelú inteligenciu (AI) do firmy

Nasadenie umelej inteligencie (AI) dnes nie je len trend – je to konkurenčná výhoda. Ale pozor – nesprávne alebo unáhlené zavedenie AI môže firme spôsobiť právne problémy, poškodiť jej reputáciu alebo viesť k pokutám.

Preto sme pre Vás pripravili praktický 7-krokový postup, ako implementovať AI do firmy tak, aby Vám priniesla výsledky a zároveň ste sa vyhli potenciálnym rizikám.

 

1. Krok – určiť účel AI a ciele, ktoré má plniť

Každý úspešný AI projekt začína jasným cieľom. Čo má systém AI riešiť vo Vašej firme? Zlepšenie zákazníckej skúsenosti? Automatizáciu? Marketing?

Presne stanovený účel Vám pomôže vybrať správny systém AI a zároveň bude základom pre jeho právnu a technickú kategorizáciu.

 

2. Krok – zatriediť systém AI do príslušnej kategórie

Nariadenie AI rozdeľuje systémy AI podľa rizikovosti na

• zakázané
• vysokorizikové
• limitované riziko
• minimálne riziko.

Podľa toho, do akej kategórie systém AI patrí, sa odvíjajú aj povinnosti spojené s týmto systémom.

 

Zakázané systémy AI nie je možné do firmy nasadiť a ich používanie je výslovne zakázané. Ktoré systémy AI sú zakázané?

• systém AI, ktorý využíva podprahové techniky, účelovo manipulatívne alebo klamlivé techniky s cieľom podstatne narušiť správanie osoby alebo skupiny osôb,
• systém AI na sociálne skórovanie občanov alebo zamestnancov založené na ich správaní, názore alebo spoločenskom postavení,
• systém AI na biometrickú kategorizáciu osôb na základe citlivých údajov (napr. rasa, politické názory, náboženstvo),
• systém AI na posúdenie alebo predvídanie rizika, že fyzická osoba spácha trestný čin,
• systém AI, ktorý vytvára a rozširuje databázy na rozpoznávanie tváre prostredníctvom necielenej extrakcie obrázkov z internetu,
• systém AI na odvodzovanie emócií v oblasti zamestnania a školstva,
• systém AI na diaľkovú biometrickú identifikáciu v reálnom čase na verejne prístupných miestach.

 

Zakázané systémy AI nie je možné používať od 02.02.2025. Tieto ustanovenia Nariadenia AI sú už plne účinné a za používanie zakázaného systému AI hrozia firmám pokuty.

 

 

Zakázané systémy AI sú definované viacerými podmienkami, ktoré musia byť splnené všetky súčasne, aby bol systém AI zakázaný. Preto platí, že pokiaľ nie je splnená čo i len jedna podmienka systému AI, ktorý je zakázaný, je možné ho používať. S najväčšou pravdepodobnosťou však bude patriť do vysokorizikovej kategórie.

 

Príklad: Nariadenie o AI zakazuje systém AI na (i) diaľkovú biometrickú identifikáciu (ii) v reálnom čase (iii) na verejne prístupných miestach. Pokiaľ firma zavedie systém AI na diaľkovú biometrickú identifikáciu v reálnom čase len vo svojich priestoroch, ktoré nie sú verejne prístupné, tento zákaz sa neuplatní.

 

Vysokorizikové systémy AI sú síce povolené, ale podliehajú prísnym pravidlám. Okrem iného, musia byť tieto systémy AI auditovateľné, transparentné a robustné. Navyše, v určitých prípadoch musí byť do procesu zapojený človek („human-in-the-loop“).

 

Príklady:

• systém AI na diaľkovú biometrickú identifikáciu,
• systém AI na biometrickú kategorizáciu podľa citlivých údajov alebo odvodených údajov,
• systém AI na rozpoznávanie emócií,
• systém AI použitý v kritickej infraštruktúre,
• systém AI použitý na rozhodovanie o prijatí do vzdelávacej inštitúcie,
• systém AI na hodnotenie vzdelávacích výstupov,
• systém AI na monitorovanie a vyhodnocovanie zakázaného správania študentov,
• systém AI použitý na nábor alebo výber fyzických osôb na účely zamestnania,
• systém AI na rozhodovanie o pracovnoprávnych podmienkach, kariérnom postupe, ukončení zamestnania,
• systém AI na hodnotenie úverovej bonity fyzických osôb, stanovenie ich bodového hodnotenia kreditného rizika,
• systém AI na hodnotenie rizika a stanovenie cien životného a zdravotného poistenia.

 

Systémy AI s limitovaným rizikom sú najmä systémy AI:

• určené na priamu interakciu s fyzickými osobami,
• na všeobecné účely, ktoré generujú syntetický zvukový, obrazový, video alebo textový obsah,
• na rozpoznávanie emócií alebo systému biometrickej kategorizácie,
• ktoré generujú alebo manipulujú obrazový, zvukový alebo video obsah, ktorý predstavuje deep fake, alebo
• ktoré generujú alebo manipulujú text uverejnený s cieľom informovať verejnosť o záležitostiach verejného záujmu.

 

Systémy AI s minimálnym rizikom nie sú Nariadením AI nijako regulované. Ide o systémy AI fungujúce ako spamové filtre alebo ako hry využívajúce AI. Tieto systémy AI totiž predstavujú minimálne alebo žiadne riziko pre základné práva osôb alebo pre ich osobné údaje.

 

Podľa štatistických údajov dostupných k roku 2021 bola väčšina systémov AI s minimálnym rizikom. To sa samozrejme zmenilo s prudkým nárastom používania systémov AI na všeobecné účely.

 

Správna kategorizácia pritom rozhoduje o tom, aké požiadavky budete musieť splniť.

 

3. Krok – identifikujte postavenie Vašej firmy podľa Nariadenia AI

 

Okrem kategorizácie systému AI je ďalším krokom aj určenie, aké postavenie má Vaša firma podľa Nariadenia AI. Firma totiž môže byť poskytovateľ, nasadzujúci subjekt, dovozca, distribútor.

 

Poskytovateľ systému AI – je fyzická alebo právnická osoba, vrátane orgánu verejnej moci, ktorá vyvíja systém AI alebo osoba, ktorá si tento systém AI nechá vyrobiť a uvádza ho na trh alebo do prevádzky pod svojím menom alebo ochrannou známkou.

 

Nasadzujúci subjekt systému AI – je fyzická alebo právnická osoba, vrátane orgánu verejnej moci, ktorá používa systém AI v rámci svojej (podnikateľskej) činnosti. To neplatí, ak táto osoba používa systém AI len v rámci svojej osobnej neprofesionálnej činnosti.

 

Dovozca systému AI – je fyzická alebo právnická osoba, ktorá uvádza na trh systém AI, ktorý je označený menom alebo ochrannou známkou fyzickej alebo právnickej osoby, ktorá nie je usadená v EÚ.

 

Distribútor systému AI – je fyzická alebo právnická osoba zapojená v dodávateľskom reťazci systému AI a sprístupňuje systém AI na trh EÚ, pričom nejde o poskytovateľa alebo dovozcu.

 

Prevádzkovateľ systému AI – je spoločné označenie pre poskytovateľa, nasadzujúci subjekt, dovozcu a distribútora.

 

Od toho, v akom postavení sa firma nachádza, sa následne odvíjajú aj jej povinnosti podľa Nariadenia AI.

 

4. Krok – pripraviť sa na povinnosti spojené s Vaším systémom AI

 

Nariadenie AI spája s jednotlivými kategóriami systémov AI rôzne povinnosti, a to podľa postavenia firmy v dodávateľskom reťazci.

 

Zakázané systémy AI – ako už názov tejto kategórie napovedá, ide o systémy AI, ktoré sú zakázané. Je preto úplne vylúčené, aby tieto systémy AI firma používala alebo sa podieľala na ich distribúcii, uvádzaní alebo sprístupňovaní na trh.

 

Vysokorizikové systémy AI – s vysokorizikovými systémami AI spája Nariadenie AI najviac regulačných požiadaviek. Ide o prísne podmienky ich používania a kontroly. Medzi tieto podmienky môžeme zaradiť napríklad:

• systém riadenia rizík – firma je povinná zaviesť a udržiavať systém riadenia rizík. Ten pozostáva z identifikácie a analýzy známych a predvídateľných rizík pre zdravie, bezpečnosť alebo základné práva, hodnotenia rizík, ak sa systém AI používa nesprávne a prijatia vhodných a cielených opatrení na riadenie rizík.
• technická dokumentácia – pred uvedením do prevádzky firma vypracuje technickú dokumentáciu, ktorú je povinná udržiavať aktualizovanú. V technickej dokumentácií sa preukazuje, že systém AI spĺňa požiadavky Nariadenia o AI.
• zaznamenávanie udalostí počas životného cyklu systému AI. Firma je povinná zaznamenávať podstatné a rizikové udalosti systému AI, a to počas celého jeho životného cyklu.
• dostatočne transparentná prevádzka – znamená, že systém AI umožní firme interpretovať výstupy zo systému a vhodne ich požívať,
• návod na použitie – ktorý musí obsahovať stručné, úplné, správne a jasné informácie,
• ľudský dohľad – systém AI musí umožniť človeku vykonávať nad ním dohľad. Ľudský dohľad sa zameriava na prevenciu alebo minimalizáciu rizík pre zdravie, bezpečnosť alebo základné práva.
• primeraná úroveň presnosti, spoľahlivosti a kybernetickej bezpečnosti.

 

Na vysokorizikové systémy AI sa vzťahujú aj iné osobitné povinnosti uvedené v Nariadení AI, pričom tu sme vybrali tie najzásadnejšie.

 

S vysokorizikovým systémom AI sa ďalej spája aj podmienka vykonať posudzovanie zhody, a to buď prostredníctvom vnútornej kontroly, alebo cez notifikovanú osobu. Pri posudzovaní zhody sa rieši otázka, či vysokorizikový systém AI spĺňa požiadavky Nariadenia AI.

 

Pre každý vysokorizikový systém AI je poskytovateľ povinný vyhotoviť EÚ vyhlásenie o zhode a označiť ho značkou CE.

 

 

Systémy AI s limitovaným rizikom – so systémami AI s limitovaným rizikom sú tiež spojené niektoré povinnosti z Nariadenia AI, avšak ide o oveľa miernejšie podmienky týkajúce sa najmä transparentnosti:

• systémy AI určené na priamu interakciu s fyzickými osobami musia informovať dotknuté fyzické osoby o tom, že interagujú so systémom AI,
• systémy AI, ktoré generujú syntetický zvukový, obrazový, video alebo textový obsah, musia svoje výstupy označiť ako umelo vygenerované alebo zmanipulované,
• systémy AI na rozpoznávanie emócií alebo systémy biometrickej kategorizácie musia informovať o prevádzke fyzické osoby, ktoré sú mu vystavené, a spracúvať osobné údaje v súlade s Nariadením GDPR,
• subjekty nasadzujúce systém AI, ktorý generuje alebo manipuluje obrazový, zvukový alebo video obsah, ktorý predstavuje deep fake, zverejnia, že obsah bol umelo vytvorený alebo manipulovaný,
• subjekty nasadzujúce systém AI, ktorý generuje alebo manipuluje text uverejnený s cieľom informovať verejnosť o záležitostiach verejného záujmu, zverejnia, že text bol umelo vygenerovaný alebo manipulovaný.

 

Všetky tieto informácie musíte fyzickým osobám poskytnúť jasným a určitým spôsobom, a to už v čase ich prvej interakcie so systémom AI.

 

Nesprávna kategorizácia systému AI a Vášho postavenia môže viesť k nesplneniu niektorých požiadaviek a neskôr aj k prípadnej pokute.

 

5. Krok – vyberte si správneho dodávateľa modelu AI a systému AI

 

Keď už viete, aký systém AI nasadiť a aké postavenie má Vaša firma, ďalším krokom je výber konkrétneho systému AI a jeho dodávateľa.

 

V praxi to býva fáza, kde sa často robia zásadné chyby – napríklad uprednostnenie ceny pred kvalitným dodávateľom, výber „rýchleho“ riešenia bez ohľadu na bezpečnosť alebo licenčné podmienky.

 

Kľúčové kritériá výberu dodávateľa systému AI

 

Z pohľadu Nariadenia AI, všeobecných princípov právnej zodpovednosti a zodpovednosti za škodu je vhodné vybrať si systém AI a jeho dodávateľa, ktorí spĺňajú aspoň základné regulačné podmienky.

 

Medzi tieto základné podmienky patrí najmä:

 

• zodpovednosť a auditovateľnosť – dodávateľ systému AI alebo modelu AI:
  • vie vysvetliť, ako systém AI funguje,
  • poskytuje technickú dokumentáciu, vrátane návodu na použitie,
  • poskytuje nástroje na audit výstupov, logovanie činností alebo spätné dohľadanie rozhodnutí,
  • umožňuje kontrolu a zásah človeka do rozhodovania systému AI,

 

• súlad s právnymi predpismi ako je Nariadenie AI, Nariadenie GDPR, súlad s autorským právom a ochrana iných práv duševného vlastníctva:
  • splnenie regulačných podmienok podľa Nariadenia o AI – teda nepoužívať systémy AI na zakázané účely, mať splnené povinnosti vo vzťahu k vysokorizikovému systému AI,
  • zodpovedné spracúvanie osobných údajov – najmä pri systéme AI, ktorý analyzuje texty, nahrávky alebo biometrické dáta – teda ich vôbec nespracúvať, ak to nie je potrebné, alebo mať spracúvanie osobných údajov v súlade s Nariadením GDPR,
  • dodržiavanie GDPR – zabudované mechanizmy na vymazanie údajov, opravu výstupov, transparentné informovanie,
  • etické trénovanie modelu –model by nemal byť trénovaný na autorsky chránenom alebo citlivom obsahu bez povolenia,

 

• kybernetická bezpečnosť systému AI – dodávateľ systému AI musí zabezpečiť (do miery, do ktorej to je možné) kybernetickú bezpečnosť systému AI,

 

• správne nastavené licenčné podmienky, pri ktorých sa zamerajte na to:
  • kto je vlastníkom vstupných údajov a súborov? Môže sa stať, že dodávateľ systému AI automaticky dostane licenciu na neobmedzené použitie vstupov, ktoré zadáte do systému AI, alebo jeho výstupov,
  • ako môže dodávateľ systému AI nakladať so vstupnými údajmi a súbormi,
  • kto je vlastníkom výstupu, ktorý poskytne systém AI? Pre firmu je najlepšie, ak je vlastníkom výstupu iba ona. Štandardné licenčné podmienky však oprávňujú dodávateľa systému AI na neobmedzené použitie výstupov zo systému AI.
  • ako môže firma používať výstupy zo systému AI? Je ich použitie neobmedzené alebo obmedzené na konkrétny účel?
  • kto zodpovedá za škodu spôsobenú systémom AI?
  • či dodávateľ systému AI poskytuje aj podporu, údržbu a aktualizácie systému AI.

 

Výber dodávateľa nie je len o cene, viac je o výbere zodpovedného dodávateľa, ktorý spĺňa regulačné požiadavky. V opačnom prípade sa nedostatok na strane dodávateľa môže prejaviť aj pokutou Vašej firme.

 

6. Krok – kybernetická bezpečnosť vo Vašej firme

 

S niektorými systémami AI je spojená aj povinnosť mať primeranú úroveň kybernetickej bezpečnosti. Aktuálne to platí najmä pre vysokorizikové systémy AI a systémy AI na všeobecné účely so systémovým rizikom.

 

Systémy AI prinášajú pre firmy nové bezpečnostné hrozby – napr. manipulácia vstupov (prompt injection), neoprávnený prístup k modelom, otrávenie trénovacích dát alebo únik dát, na ktorých sa systém AI učí alebo ktoré spracúva.

 

Keďže systém AI je vo svojej podstate softvér, vo firme sa stáva súčasťou IKT (informačno-komunikačných technológií).

 

Už samotné Nariadenie AI vyžaduje od vysokorizikových systémov AI primeranú úroveň kybernetickej bezpečnosti. Vo svojej podstate ide o cyber security-by-design.

 

Okrem Nariadenia AI upravuje kybernetickú bezpečnosť aj:

 

• Smernica NIS2 – premietnutá do nášho Zákona o kybernetickej bezpečnosti. Smernica NIS2 podstatne rozšírila okruh prevádzkovateľov základnej služby ale aj prevádzkovateľov kritickej základnej služby.Akákoľvek firma, ktorá je prevádzkovateľom základnej služby alebo prevádzkovateľom kritickej základnej služby je povinná mať primeranú úroveň kybernetickej bezpečnosti. Ak takáto firma má aj systém AI, tieto pravidlá sa vzťahujú aj na tento systém.

 

• Nariadenie o kybernetickej odolnosti – sa uplatňuje na produkty s digitálnymi prvkami sprístupnenými na trhu, ktorých zamýšľaný účel alebo odôvodnene predvídateľné použitie zahŕňa priame alebo nepriame logické alebo fyzické dátové pripojenie k zariadeniu alebo sieti.Produkt s digitálnymi prvkami je softvérový alebo hardvérový produkt a jeho riešenia spracovania údajov na diaľku vrátane softvérových alebo hardvérových komponentov, ktoré sa uvádzajú na trh samostatne.Nariadenie o kybernetickej odolnosti vyžaduje, aby každý produkt s digitálnymi prvkami mal primeranú úroveň kybernetickej bezpečnosti. Do tohto rozsahu bude pritom spadať značné množstvo systémov AI.Nariadenie pritom začne platiť už od 11.12.2027.

 

7. Krok – implementácia systému AI do fungovania firmy

 

Podľa našich skúseností sa systémy AI používajú vo firmách najčastejšie:

 

• na HR oddelení – posudzovanie uchádzačov o zamestnanie, automatické vyhodnocovanie hodnotiacich formulárov, automatické vyhodnocovanie vhodných/nevhodných kandidátov, plánovanie školení podľa dát o výkonnosti, kontrola výkonnosti/kvality práce zamestnancov, vyhodnocovanie nadbytočnosti zamestnancov alebo návrhy na ukončenie pracovného pomeru.Pozor: systém AI používaný pri nábore zamestnancov môže byť vysokorizikový systém AI.

• v marketingu na generovanie obsahu (texty, vizuály, zvučky, videá), analýza správania zákazníkov, predikcia trendov, personalizácia kampaní, vyhodnocovanie kampaní, konverzií a dát,

• na zákazníckej podpore ako chatboty, hlasoví asistenti, triedenie požiadaviek, automatizovaná odpoveď podľa kategórie problému, pomoc s výberom produktu/služby, pomoc pri procese nákupného rozhodovania.Pozor: Pomoc pri procese nákupného rozhodovania nemôže používať podprahové techniky ani manipulatívne techniky s ľudským vedomím a podvedomím. Súčasne je zakázané využívať tieseň a iné ťažké životné situácie, prípadne zdravotný stav.

• na IT oddelení na monitorovanie incidentov, predikciu výpadkov, ako systém AI na podporu kybernetickej bezpečnosti alebo systém AI na tvorbu kódu a úpravu kódu.

 

S nasadením systému AI ide ruka v ruke aj interná politika firmy, najmä smernica o používaní systémov AI. Smernica o používaní AI je základným dokumentom, v ktorom by mali byť popísané jednotlivé účely, na ktoré sa systém AI používa, zakázané spôsoby použitia a je vhodné, aby jej časť bola aj verejne dostupná. Najmä, pokiaľ systém AI priamo rozhoduje alebo pomáha rozhodovať o fyzických osobách.

 

Smernica o používaní AI ukladá záväzné pravidlá o používaní systému AI. Takáto smernica bežne obsahuje najmä pravidlá o tom:

 

• kto smie systém AI používať (oddelenia, role),
• na aký účel môže byť systém AI použitý,
• aké vstupné údaje a v akom formáte môžu byť použité (štandardizované formuláre, návrhy promptov a pod.),
• kde a ako sa budú uchovávať výstupy zo systému AI,
• kto má prístup k modelom AI, systémom AI, nastaveniam a dátam,
• kto je zodpovedný za správne používanie systémov AI, modelov AI a prípadne za kontrolu dodržiavania týchto pravidiel.

 

Príklad interného pravidla:

„AI nástroje na generovanie textu je možné používať len na marketingové účely a výhradne bez spracúvania osobných údajov. Výstupy AI musia byť vždy pred publikáciou skontrolované projekt manažérom, prípadne ním poverenou osobou.“

 

 

Nasadenie systému AI do firmy si ďalejvyžaduje jasne rozdelené role, povinnosti a taktiež zodpovednosti. Odporúčame zvážiť zavedenie alebo vytvorenie novej pozície – AI Officer.

 

AI Officer je štandardne zodpovedný za celkovú správu systémov AI vo firme, sleduje súlad systémov AI s regulačnými požiadavkami, kontroluje využívanie systému AI a dodržiavanie interných predpisov o jeho používaní.

 

Pri niektorých systémoch AI, najmä pri vysokorizikových, sa vyžaduje aj human-in-the-loop. Ide o zapojenie človeka do rozhodovacích procesov, ktoré systém AI navrhuje alebo pripravuje.

 

Kedy je human-in-the-loop nevyhnutný?

• pri vysokorizikovej AI (napr. rozhodovanie o zamestnancoch),
• ak AI generuje právne relevantné výstupy (zmluvy, odporúčania),
• v oblastiach, kde ide o reputáciu, bezpečnosť alebo etiku.

 

Human-in-the-loop môže fungovať napríklad takto:

• systém AI pripraví výber vhodných kandidátov na určitú pozíciu, ale konečné slovo má človek – zamestnanec HR alebo vedúci HR oddelenia, ktorý rozhodne,
• systém AI navrhne odpoveď zákazníkovi, ale túto odpoveď skontroluje človek, ktorý ju odošle,
• systém AI navrhne zmluvnú klauzulu, prípadne zmluvu alebo iný právny dokument (v praxi sa stretávame napríklad s výpoveďami zo zamestnania) a právnik alebo advokát ju skontroluje.

 

Týchto 7 krokov sme pripravili na základe reálnych skúseností so zavádzaním AI vo firmách.

 

Ak sa ich budete držať, vyhnete sa chybám, pokutám aj zbytočným rizikám.

 

Používate alebo plánujete používať AI vo Vašej firme? Chcete si byť istí, že ju nasadíte správne a bezpečne? Kontaktujte nás a pripravíme Vám bezplatný úvodný audit AI systémov vo Vašej firme.