Nařízení (EU) 2024/1689 (AI Act) · Přílohy
Příloha III · Vysoce rizikové systémy AI uvedené v čl. 6 odst. 2
Znění
Vysoce rizikovými systémy AI podle čl. 6 odst. 2 se rozumí systémy AI uvedené v kterékoli z těchto oblastí:
- Biometrika, pokud je její použití povoleno podle příslušného práva Unie nebo vnitrostátního práva:
a) systémy biometrické identifikace na dálku.
Nejsou zahrnuty systémy AI určené k použití za účelem biometrického ověřování, jejichž jediným účelem je potvrdit, že konkrétní fyzická osoba je skutečně osobou, za niž se prohlašuje;
b) systémy AI určené k použití za účelem biometrické kategorizace podle citlivých nebo chráněných atributů nebo charakteristik na základě odvozování těchto atributů nebo charakteristik;
c) systémy AI určené k použití za účelem rozpoznávání emocí.
-
Kritická infrastruktura: systémy AI určené k použití jako bezpečnostní komponenty v rámci řízení a provozu kritické digitální infrastruktury, silniční dopravy nebo dodávek vody, plynu, topení či elektřiny.
-
Vzdělávání a odborná příprava:
a) systémy AI určené k použití za účelem určování přístupu fyzických osob ke vzdělávacím institucím nebo institucím odborné přípravy na všech úrovních nebo jejich přijetí či zařazení do těchto institucí;
b) systémy AI určené k použití za účelem hodnocení výsledků učení, včetně případů, kdy jsou tyto výsledky používány k usměrňování procesu učení fyzických osob v rámci vzdělávacích institucí nebo institucí odborné přípravy na všech úrovních;
c) systémy AI určené k použití za účelem posuzování vhodné úrovně vzdělání, kterou jednotlivec v rámci vzdělávacích institucí a institucí odborné přípravy získá nebo k níž bude mít přístup na všech úrovních;
d) systémy AI určené k použití za účelem sledování a odhalování zakázaného chování studentů během testů v rámci nebo uvnitř vzdělávacích institucí a institucí odborné přípravy na všech úrovních.
- Zaměstnávání, řízení pracovníků a přístup k samostatné výdělečné činnosti:
a) systémy AI určené k použití za účelem náboru nebo výběru fyzických osob, zejména pokud jde o zveřejňování cílených nabídek zaměstnání, k analýze a třídění žádostí o zaměstnání a k hodnocení uchazečů;
b) systémy AI určené k použití za účelem rozhodování s dopadem na podmínky pracovněprávních vztahů, postup v zaměstnání nebo ukončení smluvních pracovněprávních vztahů, za účelem přidělování úkolů na základě individuálního chování, osobnostních rysů nebo charakteristik nebo za účelem sledování a hodnocení výkonnosti a chování osob v rámci těchto vztahů.
- Přístup k základním soukromým a základním veřejným službám a dávkám a jejich využívání:
a) systémy AI určené k použití veřejnými orgány nebo jejich jménem za účelem hodnocení nároků fyzických osob na základní dávky a služby veřejné podpory, včetně služeb v oblasti zdravotní péče, a za účelem udělení, snížení, zrušení nebo opětovného získání těchto dávek a služeb;
b) systémy AI určené k použití za účelem hodnocení úvěruschopnosti fyzických osob nebo jejich úvěrového bodování, s výjimkou systémů AI používaných za účelem odhalování finančních podvodů;
c) systémy AI určené k použití za účelem posuzování rizik a stanovování cen ve vztahu k fyzickým osobám v případě životního a zdravotního pojištění;
d) systémy AI určené k použití za účelem hodnocení a klasifikace tísňových volání fyzických osob nebo za účelem vysílání nebo stanovení priority při vyslání zásahových služeb první reakce, a to i policií, hasiči a lékařskou pomocí, a systémů třídění pacientů v krizových situacích.
- Vymáhání práva, pokud je jejich použití povoleno podle příslušných právních předpisů Unie nebo vnitrostátních právních předpisů:
a) systémy AI určené pro použití donucovacími orgány nebo jejich jménem či pro použití orgány, institucemi nebo jinými subjekty Unie na podporu donucovacích orgánů nebo jejich jménem při posuzování rizika, že se určitá fyzická osoba stane obětí trestných činů;
b) systémy AI určené pro použití donucovacími orgány nebo jejich jménem či pro použití orgány, institucemi nebo jinými subjekty Unie na podporu donucovacích orgánů jako polygrafy nebo obdobné nástroje;
c) systémy AI určené pro použití donucovacími orgány nebo jejich jménem či pro použití orgány, institucemi nebo jinými subjekty Unie na podporu donucovacích orgánů za účelem hodnocení spolehlivosti důkazů v průběhu vyšetřování nebo stíhání trestných činů;
d) systémy AI určené pro použití donucovacími orgány nebo jejich jménem či pro použití orgány, institucemi nebo jinými subjekty Unie na podporu donucovacích orgánů za účelem posuzování rizika, že se určitá fyzická osoba jednou nebo opakovaně dopustí protiprávního jednání, a to nikoli výlučně na základě profilování fyzických osob podle čl. 3 bodu 4 směrnice (EU) 2016/680, nebo za účelem posuzování povahových vlastností a osobnostních rysů nebo dřívější trestné činnosti fyzických osob nebo skupin;
e) systémy AI určené pro použití donucovacími orgány nebo jejich jménem či pro použití orgány, institucemi nebo jinými subjekty Unie na podporu donucovacích orgánů za účelem profilování fyzických osob podle čl. 3 bodu 4 směrnice (EU) 2016/680 v průběhu odhalování, vyšetřování nebo stíhání trestných činů.
- Migrace, azyl a řízení ochrany hranic, pokud je jejich použití povoleno podle příslušného práva Unie nebo vnitrostátního práva:
a) systémy AI určené pro použití příslušnými orgány veřejné moci nebo jejich jménem či pro použití orgány, institucemi nebo jinými subjekty Unie jako polygrafy nebo obdobné nástroje;
b) systémy AI určené pro použití příslušnými orgány veřejné moci nebo jejich jménem či pro použití orgány, institucemi nebo jinými subjekty Unie za účelem posuzování určitého rizika, včetně bezpečnostního rizika, rizika nelegální migrace nebo zdravotního rizika, jež představuje fyzická osoba, která má v úmyslu vstoupit nebo již vstoupila na území některého členského státu;
c) systémy AI určené pro použití příslušnými orgány veřejné moci nebo jejich jménem či pro použití orgány, institucemi nebo jinými subjekty Unie s cílem pomoci příslušným veřejným orgánům při posuzování žádostí o azyl, vízum a povolení k pobytu a souvisejících stížností, pokud jde o způsobilost fyzických osob žádajících o určitý status, včetně souvisejících posouzení spolehlivosti důkazů;
d) systémy AI určené pro použití příslušnými orgány veřejné moci nebo jejich jménem, nebo pro použití orgány, institucemi nebo jinými subjekty Unie, v souvislosti s problematikou migrace, azylu nebo řízení ochrany hranic za účelem odhalování, rozpoznávání nebo identifikace fyzických osob, s výjimkou ověřování cestovních dokladů.
- Správa soudnictví a demokratické procesy:
a) systémy AI určené pro použití soudním orgánem nebo jeho jménem na pomoc soudnímu orgánu při zkoumání a výkladu fakt a práva a při uplatňování práva na konkrétní soubor skutečností nebo pro použití obdobným způsobem při alternativním řešení sporů;
b) systémy AI určené pro použití za účelem ovlivnění výsledku voleb nebo referenda nebo volebního chování fyzických osob při výkonu jejich hlasování ve volbách nebo referendech. To nezahrnuje systémy AI, jejichž výstupům nejsou fyzické osoby přímo vystaveny, jako jsou nástroje používané k organizaci, optimalizaci nebo strukturování politických kampaní z administrativního nebo logistického hlediska.
Znění: Úřední věstník EU z 12. 7. 2024. Konsolidované znění po novele nařízením (EU) 2026/1744 zatím vydané není.
Komentář
Seznam vysoce rizikových použití podle čl. 6 odst. 2 v osmi oblastech, od biometriky přes zaměstnávání a základní služby po justici. Fakticky nejdůležitější část nařízení, Komise ji může měnit podle čl. 7. Bod 8 pokrývá jen výkon spravedlnosti a obdobné užití v mimosoudním řešení sporů. Soukromé právní poradenství tu nefiguruje; vysoce rizikovým se může stát jinou cestou, když jeho výstup zasáhne do zaměstnávání, úvěrů, migrace, veřejných dávek nebo vymáhání práva.
Příloha vymezuje osm oblastí; níže je vykládáme s důrazem na hranice jednotlivých kategorií. Proč jsou tyto oblasti citlivé, osvětluje bod 48 odůvodnění: pro klasifikaci je zvláště relevantní míra nepříznivého dopadu systému na základní práva chráněná Listinou, mezi něž patří i zvláštní práva dětí.
1 Biometrika (bod 1). Vysoce rizikové jsou systémy biometrické identifikace na dálku, systémy biometrické kategorizace podle citlivých nebo chráněných atributů a systémy rozpoznávání emocí. Klíčové jsou dvě hranice. Zaprvé se výslovně vylučuje biometrické ověřování, jehož jediným účelem je potvrdit, že osoba je tím, za koho se prohlašuje (režim „one-to-one” podle čl. 3 bodu 36); ověření totožnosti u vstupu tedy vysoce rizikové není. Zadruhé je celá oblast podmíněna slovy „pokud je použití povoleno podle práva Unie nebo vnitrostátního práva”, což připomíná, že vysoké riziko nastupuje až tam, kde je použití vůbec dovolené (mimo zákazy podle čl. 5). K tomu bod 54 odůvodnění. Klasifikaci opírá o riziko zkreslených a diskriminačních výsledků biometrické identifikace, zejména ve vztahu k věku, etnické příslušnosti, rase, pohlaví nebo zdravotnímu postižení. Nad rámec textu přílohy pak z vysokého rizika vyjímá biometrické systémy určené výhradně k podpoře opatření v oblasti kybernetické bezpečnosti a ochrany osobních údajů. Tato výjimka ve znění bodu 1 přílohy III uvedena není, jde tedy o výkladové vodítko z odůvodnění, přičemž přednost má text.
2 Kritická infrastruktura (bod 2). Vysoce rizikové jsou systémy určené jako bezpečnostní komponenty řízení a provozu kritické digitální infrastruktury, silniční dopravy nebo dodávek vody, plynu, tepla a elektřiny. Rozhodující je funkce bezpečnostní komponenty. Administrativní systémy provozovatele infrastruktury sem nespadají. Bod 55 odůvodnění to potvrzuje: rozhodná je ochrana fyzické integrity infrastruktury a zdraví a bezpečnosti osob, přičemž komponenty určené výhradně ke kybernetické bezpečnosti se za bezpečnostní komponenty nepovažují. Jako příklad uvádí systémy monitorování tlaku vody nebo řízení požárního poplachu ve střediscích cloud computingu.
3 Vzdělávání (bod 3). Vysoce rizikové jsou systémy pro rozhodování o přístupu a přijetí, pro hodnocení výsledků učení, pro posuzování vhodné úrovně vzdělání a pro sledování a odhalování zakázaného chování během testů. Kategorie dopadá na celou vzdělávací dráhu a míří na systémy s přímým vlivem na přístup ke vzdělání a na jeho hodnocení. Bod 56 odůvodnění kategorii odůvodňuje dvojím dopadem. Takové systémy mohou určovat vzdělávací a profesní dráhu člověka, a tím i jeho schopnost zajistit si živobytí. A při nesprávném návrhu nebo použití mohou porušovat právo na vzdělání i zákaz diskriminace a fixovat historické vzorce diskriminace.
4 Zaměstnávání (bod 4). Vysoce rizikové jsou dvě skupiny. První je nábor a výběr, tedy cílené inzeráty, třídění žádostí a hodnocení uchazečů. Druhá je rozhodování o podmínkách, postupu a ukončení pracovněprávních vztahů, přidělování úkolů podle individuálních rysů a sledování a hodnocení výkonnosti. Kategorie pokrývá celý životní cyklus zaměstnání a je prakticky nejširší z hlediska počtu dotčených provozovatelů. Bod 57 odůvodnění řadí do dotčených smluvních pracovněprávních vztahů výslovně i osoby poskytující služby prostřednictvím platforem a upozorňuje, že systémy monitorování výkonnosti a chování mohou ohrožovat též právo na ochranu údajů a soukromí.
5 Přístup k základním službám (bod 5). Vysoce rizikové jsou systémy pro hodnocení nároku na veřejnou podporu, včetně zdravotní péče. Dále systémy pro hodnocení úvěruschopnosti a úvěrové bodování a systémy pro posuzování rizik a stanovování cen v životním a zdravotním pojištění. A konečně systémy pro klasifikaci a odbavování tísňových volání a pro třídění pacientů. Zdůrazňuji dvě zvláštnosti zabudované do textu: úvěrové bodování je vysoce rizikové s výjimkou systémů pro odhalování finančních podvodů, a hodnocení tísňových volání zahrnuje i triage v krizových situacích. Bod 58 odůvodnění obojí potvrzuje a k finančním podvodům doplňuje další vynětí: mimo vysoké riziko stojí i systémy sloužící k obezřetnostnímu výpočtu kapitálových požadavků úvěrových institucí a pojišťoven. Hlavním důvodem klasifikace je zranitelné postavení žadatelů závislých na dávkách a službách.
6 Vymáhání práva (bod 6). Vysoce rizikové jsou (pokud je použití povoleno) systémy pro posuzování rizika viktimizace, polygrafy a obdobné nástroje, hodnocení spolehlivosti důkazů, posuzování rizika recidivy (nikoli výlučně na základě profilování podle čl. 3 bodu 4 směrnice (EU) 2016/680) a profilování v průběhu odhalování, vyšetřování nebo stíhání. Kategorie navazuje na zákazy podle čl. 5 a doplňuje je: co není zakázáno, může být vysoce rizikové. Bod 59 odůvodnění hranici kategorie dál upřesňuje. Za vysoce rizikové systémy vymáhání práva se nepovažují systémy výslovně určené daňovým a celním orgánům při správním řízení. Ani systémy pro finanční zpravodajské jednotky při analýze informací podle práva Unie proti praní peněz. Důvodem přísného režimu je značná nerovnováha sil a možný zásah do práva na obhajobu a presumpce neviny.
7 Migrace, azyl a ochrana hranic (bod 7). Vysoce rizikové jsou, je-li jejich použití vůbec povolené, polygrafy a systémy posuzování rizik u osob vstupujících na území. Dále systémy na podporu posuzování žádostí o azyl, vízum a pobyt a systémy odhalování a identifikace osob. Výjimkou je pouhé ověřování cestovních dokladů. Bod 60 odůvodnění zdůrazňuje, že tyto systémy se nesmějí stát prostředkem k obcházení mezinárodních závazků, zejména Ženevské úmluvy o právním postavení uprchlíků, zásady nenavracení a práva na mezinárodní ochranu.
8 Správa soudnictví a demokratické procesy (bod 8). Vysoce rizikové jsou systémy na pomoc soudnímu orgánu při zkoumání a výkladu faktů a práva a při jeho uplatňování, a to i v mimosoudním řešení sporů. Vedle nich systémy určené k ovlivnění výsledku voleb či referenda nebo volebního chování. Poslední kategorie nezahrnuje systémy, jejichž výstupům nejsou osoby přímo vystaveny (administrativní a logistické nástroje kampaní). Poznamenávám, že u soudních systémů jde o podporu soudce, nikoli o náhradu rozhodovací role. Závěr má vždy učinit člověk. Bod 61 odůvodnění tento závěr potvrzuje. Z vysokého rizika vyjímá čistě pomocné správní činnosti, například anonymizaci či pseudonymizaci soudních rozhodnutí a dokumentů. U subjektů mimosoudního řešení sporů se vysoké riziko uplatní tehdy, mají-li jejich výsledky pro strany právní účinky. Vynětí administrativních a logistických nástrojů kampaní z volební kategorie odpovídá bodu 62 odůvodnění, který je omezuje na systémy, jejichž výstupu nejsou fyzické osoby přímo vystaveny.
9 Napříč všemi oblastmi platí obecné vodítko z bodu 63 odůvodnění. Zařazení systému mezi vysoce rizikové neříká nic o tom, že by jeho používání bylo zákonné podle jiných předpisů Unie nebo českého práva. Typicky podle úpravy ochrany osobních údajů nebo podle pravidel pro nástroje ke zjišťování emočního stavu. Vysoké riziko a přípustnost použití jsou dvě různé otázky. Splnění požadavků kapitoly III samo o sobě právní základ pro takové použití nezakládá.
Příklady
Případy jsou konstruované, ne rozhodnuté věci.
1. Přidání případu užití. Objeví se praxe, kdy se systémy AI používají k rozhodování o přidělování obecních bytů. Komise může takové použití aktem v přenesené pravomoci doplnit do bodu 5 přílohy III, protože jde o přístup k základní službě a kritéria odstavce 2 (závislost dotčených osob, obtížnost zvrácení výsledku) sedí.
2. Odebrání případu užití. Ukáže se, že určité použití, dnes uvedené v příloze III, je v praxi vždy kryté účinnými nápravnými mechanismy jiného práva Unie. Podle odstavce 3 je Komise oprávněna je z přílohy vypustit, sníží-li se tím ochrana pod úroveň nařízení jen nevýznamně.
Co z toho plyne v praxi
Příloha III není pevný seznam. Je to živý dokument, který Komise mění akty v přenesené pravomoci. Kdo staví soulad na tom, že jeho použití v příloze dnes není, musí přílohu sledovat, ne ji přečíst jednou.
Kritéria z odstavce 2 jsou i vaše argumentace. Když s doplněním do přílohy nesouhlasíte, jsou to právě ta kritéria, kterými se argumentuje: existence nápravných opatření v jiném právu, možnost výsledek zvrátit, míra samostatnosti systému.
Z judikatury
Zatím žádná. Čl. 7 upravuje pravomoc Komise měnit přílohu III a rozhodnutí, která by jeho výkon přezkoumávala, neexistují.
Otevřené otázky
1. Jak se posuzuje „nevýznamné snížení” ochrany (odst. 3). Je to podmínka pro vypuštění případu z přílohy III a nařízení k ní nedává měřítko.
2. Kdy nabývá změna přílohy účinnosti pro už uvedené systémy. Nařízení neurčuje přechodný režim pro systémy uvedené na trh před doplněním jejich použití do přílohy III.
3. Přezkoumatelnost aktu v přenesené pravomoci. Kritéria odstavce 2 jsou otevřená a poskytují Komisi široký prostor. Jak intenzivně bude Soudní dvůr přezkoumávat, jestli je Komise dodržela, ukáže až praxe.