Čl. 9 · Systém řízení rizik

Vzhledem k rozsahu se úplné znění nereprodukuje. Klíčové pasáže jsou citovány u příslušných bodů výkladu.

Související ustanovení: čl. 8 (zohlednění řízení rizik při souladu), čl. 72 (monitorování po uvedení na trh, na jehož data navazuje odst. 2 písm. c), čl. 60 (testování v reálných podmínkách, na něž odkazuje odst. 7), čl. 13 (informace pro zavádějící subjekty podle odst. 5 písm. c), čl. 14 (lidský dohled jako opatření pro zbytkové riziko), příloha IV bod 5 (dokumentace systému řízení rizik)

I. Řízení rizik jako nepřetržitý proces (odst. 1, 2)

1 Čl. 9 odst. 1 ukládá, aby ve vztahu k vysoce rizikovým systémům AI byl zaveden, uplatňován, zdokumentován a udržován systém řízení rizik. Čtyři slovesa nejsou nahodilá; vymezují povinnost, která se nevyčerpává jednorázovým zavedením, nýbrž trvá po celou dobu existence systému. Řízení rizik tedy není dokument, který se jednou sepíše a založí, ale funkce, kterou je nutné udržovat v chodu.

2 Tuto povahu potvrzuje odstavec 2, podle něhož je systém řízení rizik chápán jako nepřetržitý opakující se proces plánovaný a prováděný v rámci celého životního cyklu vysoce rizikového systému AI, který vyžaduje pravidelný systematický přezkum a aktualizaci. Zdůrazňuji, že jde o jedno z výkladově nejnosnějších míst celého oddílu 2. Řízení rizik podle AI Actu vědomě odmítá model statického snímku shody k okamžiku uvedení na trh. Riziko se u systému AI v čase mění (učením, změnou dat, změnou prostředí nasazení), a proto se posouzení rizika musí opakovat po celý životní cyklus, nikoli jen před uvedením na trh. Shodně bod 65 odůvodnění vymezuje systém řízení rizik jako nepřetržitý opakující se proces, který se plánuje a běží po celý životní cyklus. Pravidelně se přezkoumává a aktualizuje, aby zůstal účinný. A veškerá významná rozhodnutí i opatření se v jeho rámci odůvodňují a dokumentují. Tím se potvrzuje, že řízení rizik je průběžnou funkcí, nikoli jednorázovým úkonem.

3 Mám za to, že z této konstrukce plyne praktický důsledek pro poskytovatele: řízení rizik je nutné navázat na monitorování po uvedení na trh (čl. 72) a na mechanismus změn systému, protože každá podstatná změna (čl. 3 bod 23) i každý nový poznatek z provozu může vyvolat potřebu přehodnotit rizika a upravit opatření. Statická dokumentace pořízená jednorázově, bez živého procesu přezkumu, požadavku čl. 9 nedostojí.

II. Čtyři kroky procesu řízení rizik (odst. 2 písm. a až d)

4 Odstavec 2 rozkládá proces do čtyř kroků. Písmeno a) žádá identifikaci a analýzu známých a rozumně předvídatelných rizik, která systém používaný v souladu se zamýšleným účelem představuje pro zdraví, bezpečnost nebo základní práva. Písmeno b) rozšiřuje pohled o odhad a vyhodnocení rizik, která mohou vzniknout nejen při použití v souladu se zamýšleným účelem, ale i za podmínek rozumně předvídatelného nesprávného použití (čl. 3 bod 13). Poskytovatel tedy nesmí posuzovat jen ideální scénář. Musí počítat i s předvídatelnými odchylkami od zamýšleného účelu. Bod 65 odůvodnění rozumně předvídatelné nesprávné použití dál přibližuje. Poskytovatel má zahrnout způsoby použití, které zamýšlený účel nepokrývá a návod je neuvádí, ale dají se důvodně očekávat. Plynou totiž ze snadno předvídatelného lidského chování ve vztahu ke konkrétnímu systému.

5 Písmeno c) doplňuje hodnocení dalších rizik, a to na základě analýzy shromážděných údajů ze systému monitorování po uvedení na trh ve smyslu článku 72. Tento krok uzavírá zpětnou vazbu mezi provozem a návrhem: poznatky z reálného nasazení se vracejí do řízení rizik. Písmeno d) konečně žádá přijetí vhodných a cílených opatření k řízení rizik navržených tak, aby řešila rizika zjištěná podle písmene a).

6 Zdůrazňuji, že tyto čtyři kroky nejsou lineární posloupností s koncem, nýbrž cyklem, který se ve světle odstavce 2 opakuje po celý životní cyklus. Výčet chráněných zájmů (zdraví, bezpečnost, základní práva) je přitom nutné číst ve světle čl. 1: mezi rizika, jimž se řízení věnuje, patří výslovně i rizika pro základní práva, nejen rizika klasicky bezpečnostní.

III. Rozsah relevantních rizik a hierarchie opatření (odst. 3 až 5)

7 Odstavec 3 obsahuje důležitou omezující zásadu: rizika podle čl. 9 zahrnují pouze rizika, která lze přiměřeně zmírnit nebo vyloučit vývojem nebo návrhem systému nebo poskytnutím odpovídajících technických informací. Systém řízení rizik tedy necílí na veškerá myslitelná společenská rizika AI, nýbrž na ta, na která má poskytovatel vývojem, návrhem nebo informováním reálný vliv. Mám za to, že jde o vymezení odpovědnosti poskytovatele, nikoli o bagatelizaci rizik: rizika, jež poskytovatel technicky ovlivnit nemůže, se řeší jinými nástroji nařízení (typicky lidským dohledem u zavádějícího subjektu a povinnostmi podle oddílu 3).

8 Odstavec 4 přikazuje zohlednit účinky a možnou interakci vyplývající z kombinovaného uplatňování požadavků oddílu 2. Opatření k jednotlivým požadavkům (data, dohled, přesnost) se totiž mohou vzájemně ovlivňovat, a proto se posuzují ve vzájemné souvislosti, nikoli izolovaně.

9 Odstavec 5 zavádí měřítko zbytkového rizika: opatření musí být taková, aby bylo příslušné zbytkové riziko spojené s každým nebezpečím a rovněž celkové zbytkové riziko vysoce rizikových systémů AI považováno za přijatelné. Nařízení tedy nevyžaduje nulové riziko (to by bylo nedosažitelné), nýbrž riziko snížené na přijatelnou úroveň. Pojem „přijatelné” je přitom neurčitý a jeho naplnění bude předmětem výkladové a dozorové praxe; poměřovacím vodítkem je účel systému a stav techniky podle čl. 8.

10 Druhý pododstavec odstavce 5 zakotvuje hierarchii (pořadí) opatření. Nejprve se rizika mají vyloučit nebo snížit, pokud možno prostřednictvím technicky proveditelného návrhu a vývoje (písm. a); teprve rizika, která takto vyloučit nelze, se řeší zavedením odpovídajících zmírňujících a kontrolních opatření (písm. b); a doplňkově přichází na řadu poskytování informací požadovaných podle článku 13 a v případě potřeby školení pro zavádějící subjekty (písm. c). Toto pořadí je normativně významné: informování zavádějícího subjektu je až posledním článkem řetězce a nesmí nahrazovat bezpečný návrh. Poskytovatel se nemůže zprostit odpovědnosti pouhým varováním v návodu tam, kde riziko šlo odstranit již v návrhu. Poslední věta odstavce navíc velí zvážit očekávané znalosti a kontext zavádějícího subjektu, čímž se řízení rizik propojuje s gramotností v oblasti AI podle čl. 4. K poslednímu článku hierarchie, tedy ke školení zavádějících subjektů, bod 65 odůvodnění upřesňuje jednu věc. Poskytovatel není povinen zavádět zvláštní dodatečná školení jen kvůli předvídatelnému nesprávnému použití. Vyzývá ho ale, aby taková opatření zvážil, je-li to k omezení takového použití nezbytné a vhodné. Školení je tedy vodítkem doplňkové povahy, nikoli tvrdou povinností srovnatelnou s bezpečným návrhem.

IV. Testování jako nástroj řízení rizik (odst. 6 až 8)

11 Odstavce 6 až 8 upravují testování. Podle odstavce 6 se vysoce rizikové systémy testují ze dvou důvodů. Aby se našla nejvhodnější opatření k řízení rizik. A aby se ověřilo, že systém podává výkony konzistentní se zamýšleným účelem a splňuje požadavky oddílu 2. Testování zde tedy neslouží samoúčelně. Je nástrojem, jímž se ověřuje účinnost přijatých opatření.

12 Podle odstavce 7 mohou testovací postupy zahrnovat testování v reálných podmínkách v souladu s článkem 60. Jde o odkaz na zvláštní režim testování mimo laboratoř, který je podrobně upraven jinde v nařízení; zde postačí, že čl. 9 jej připouští jako jednu z možností, nikoli jako povinnost.

13 Odstavec 8 stanoví časové ukotvení: testování se provádí kdykoli v průběhu celého procesu vývoje a v každém případě před uvedením na trh nebo do provozu, a to na základě předem definovaných metrik a pravděpodobnostních prahových hodnot vhodných pro zamýšlený účel. Zdůrazňuji dvojí. Testování před uvedením na trh je tvrdou (nepodkročitelnou) povinností. A metriky i prahové hodnoty musí být stanoveny předem, aby testování bylo objektivní a přezkoumatelné, nikoli dodatečně přizpůsobené výsledku.

V. Zranitelné osoby a souběh s jinými režimy (odst. 9, 10)

14 Odstavec 9 ukládá poskytovatelům při zavádění řízení rizik zvážit, zda je pravděpodobné, že systém bude mít nepříznivý dopad na osoby mladší 18 let a případně na jiné zranitelné skupiny. Ustanovení navazuje na hodnotové zaměření nařízení na ochranu zranitelných osob, které se projevuje i v zákazu podle čl. 5 (zneužití zranitelnosti). U systémů z oblastí vzdělávání či zaměstnávání podle přílohy III má tento ohled zvláštní praktickou váhu, protože se často týkají právě mladistvých nebo jinak zranitelných osob.

15 Odstavec 10 řeší souběh s jinými režimy práva Unie: pokud se na poskytovatele vztahují požadavky na vnitřní řízení rizik podle jiných ustanovení práva Unie (typicky ve finančním sektoru), mohou být aspekty čl. 9 součástí těchto postupů nebo s nimi být kombinovány. Cílem je i zde zamezit zdvojení. Mám za to, že jde o integraci, nikoli o výjimku: obsahové požadavky čl. 9 musí být naplněny, byť v rámci existujícího sektorového procesu řízení rizik.

Příklady

Případy jsou konstruované, ne rozhodnuté věci.

1. Jednorázový audit versus proces (odst. 2). Firma si před uvedením systému objedná analýzu rizik, založí ji a dál se k ní nevrátí. Požadavek nesplnila, protože odstavec 2 žádá nepřetržitý opakující se proces po celý životní cyklus. Firma, která analýzu aktualizuje po každé významné změně modelu i po každém incidentu z monitorování podle čl. 72, požadavek plní.

2. Předvídatelné nesprávné použití (odst. 2 písm. b). Nástroj pro třídění životopisů je určen k předvýběru. Personalisté ho ale začnou používat jako konečné rozhodnutí, protože je to rychlejší. Jde o rozumně předvídatelné nesprávné použití, které poskytovatel musí do řízení rizik zahrnout, i když je návod výslovně zakazuje.

3. Hierarchie opatření (odst. 5). Riziko chybného výstupu nelze odstranit návrhem. Poskytovatel proto sáhne po druhém stupni, tedy po zmírnění a kontrolních opatřeních, a teprve pak po třetím, tedy po informaci a školení zavádějícího subjektu. Postup naopak, tedy nejdřív varování v návodu a teprve pak úvaha o návrhu, hierarchii obrací a požadavek neplní.

Co z toho plyne v praxi

Řízení rizik je řídicí požadavek, ne jeden z osmi. Určuje, jaká opatření k datům, dokumentaci, dohledu a bezpečnosti jsou u vašeho systému potřebná a v jaké míře. Kdo ho odbyde, nemá čím odůvodnit rozsah zbylých požadavků.

Dokumentujte rozhodnutí, ne jen výsledek. Bod 65 odůvodnění výslovně žádá, aby se veškerá významná rozhodnutí a opatření odůvodňovala a dokumentovala. Rozhodnutí, u kterého není zaznamenané proč, se při kontrole obhajuje mimořádně špatně.

Testování má tvrdý termín. Podle odstavce 8 kdykoli v průběhu vývoje a v každém případě před uvedením na trh nebo do provozu, na základě předem definovaných metrik a pravděpodobnostních prahů.

Z judikatury

Zatím žádná. Požadavky kapitoly III se ještě nestaly použitelnými.

Otevřené otázky

1. Co je „přijatelné zbytkové riziko” (odst. 5). Nařízení práh neurčuje a posouzení nechává na poskytovateli. U systému s malou pravděpodobností velmi vážné újmy není zřejmé, kdy je zbytkové riziko ještě přijatelné.

2. Jak daleko sahá „rozumně předvídatelné” nesprávné použití. Bod 65 odůvodnění odkazuje na snadno předvídatelné lidské chování, ale hranice mezi předvídatelným a spekulativním chybí.

3. Vztah k řízení rizik podle jiných předpisů. U zdravotnických prostředků nebo u finančních institucí už systém řízení rizik existuje. Jestli jeho rozšíření stačí, nebo je nutný samostatný systém podle čl. 9, text neřeší; čl. 8 odst. 2 jen dovoluje integraci.