Čl. 14 · Lidský dohled

klíčové odstavce jsou citovány u příslušných bodů výkladu.

Související ustanovení: čl. 13 (informace umožňující dohled, návod k použití), čl. 26 (provedení opatření dohledu zavádějícím subjektem), čl. 12 (protokoly, včetně odst. 3 písm. d), čl. 9 odst. 5 (zbytkové riziko, jemuž dohled čelí), příloha III bod 1 písm. a) (systémy biometrické identifikace na dálku podle odst. 5)

I. Účel a povaha lidského dohledu (odst. 1, 2)

1 Čl. 14 odst. 1 ukládá, aby byly vysoce rizikové systémy AI navrženy a vyvinuty tak, a to i pomocí vhodných nástrojů rozhraní člověk-stroj, aby na ně mohly během období, kdy jsou používány, účinně dohlížet fyzické osoby. Lidský dohled tedy není jen organizačním opatřením zavádějícího subjektu. Začíná už v návrhu systému u poskytovatele, který musí systém uzpůsobit tak, aby dohled byl vůbec možný a účinný. Dohled bez technické podpory v návrhu by byl iluzorní. Bod 73 odůvodnění tento důraz na návrh potvrzuje. Poskytovatel má před uvedením na trh stanovit vhodná opatření dohledu, případně do systému zabudovat provozní omezení, která systém sám nedokáže překonat. A má zajistit, aby pověřené osoby měly odbornou způsobilost, přípravu i pravomoci nezbytné k výkonu dohledu.

2 Odstavec 2 vymezuje účel dohledu: prevenci nebo minimalizaci rizik pro zdraví, bezpečnost nebo základní práva, která mohou vzniknout při používání systému v souladu se zamýšleným účelem nebo za podmínek rozumně předvídatelného nesprávného použití, zejména pokud tato rizika přetrvávají navzdory uplatňování dalších požadavků oddílu 2. Zdůrazňuji poslední část věty: lidský dohled je koncipován jako záchytná síť pro zbytkové riziko. Tam, kde technická opatření (data, přesnost, robustnost) riziko zcela neodstraní, má je zachytit člověk. Tím se čl. 14 přímo pojí na zbytkové riziko podle čl. 9 odst. 5.

3 Mám za to, že z účelového ukotvení plyne důležitý výkladový závěr: lidský dohled není formalitou (přítomnost člověka „u tlačítka”), nýbrž funkcí, jejíž dostatečnost se poměřuje schopností reálně předejít riziku nebo je zmírnit. Dohled, který tuto funkci neplní, požadavku čl. 14 nedostojí, byť by formálně existoval.

II. Kdo navrhuje opatření: poskytovatel a zavádějící subjekt (odst. 3)

4 Odstavec 3 žádá, aby opatření dohledu byla úměrná rizikům, úrovni autonomie a kontextu používání systému. Míra dohledu tedy roste s rizikovostí a s mírou samostatnosti systému. Vysoce autonomní systém v citlivém kontextu vyžaduje intenzivnější dohled než systém s okrajovým dopadem.

5 Týž odstavec rozděluje původ opatření mezi dva aktéry. Opatření buď identifikuje poskytovatel a (je-li to technicky proveditelné) je zabuduje do systému před uvedením na trh nebo do provozu (písm. a), nebo je poskytovatel identifikuje jako opatření, u nichž je vhodné, aby je provedl zavádějící subjekt (písm. b). Zdůrazňuji dělbu odpovědnosti: poskytovatel nese primární tíhu (zabudovat dohled do systému), a teprve kde to není proveditelné nebo vhodné, přechází provedení na zavádějící subjekt, který opatření uvede v život podle čl. 26. Poskytovatel se nemůže odpovědnosti zbavit prostým přenesením veškerého dohledu na zavádějící subjekt tam, kde bylo opatření možné zabudovat do systému.

III. Schopnosti osoby vykonávající dohled a zkreslení způsobené automatizací (odst. 4)

6 Odstavec 4 je jádrem článku. Systém musí být zavádějícímu subjektu poskytnut tak, aby osoby pověřené dohledem mohly (je-li to vhodné a přiměřené): řádně porozumět kapacitám a omezením systému a monitorovat jeho fungování včetně odhalování anomálií (písm. a); správně interpretovat výstup (písm. c); rozhodnout se systém nepoužít nebo jeho výstup nezohlednit, zrušit či zvrátit (písm. d); a zasáhnout do fungování nebo je přerušit (písm. e). Jde o katalog schopností, jimiž musí být lidský dohled reálně vybaven, aby nebyl jen na papíře.

7 Zvláštní pozornost si zaslouží písmeno b), které ukládá, aby si osoby pověřené dohledem nadále uvědomovaly možnou tendenci automatického nebo nadměrného spoléhání na výstup vysoce rizikového systému AI (dále jen „zkreslení způsobené automatizací“, v angličtině „automation bias“), zejména u systémů poskytujících informace nebo doporučení pro rozhodování člověka. Zdůrazňuji, že nařízení zde výslovně pojmenovává psychologické selhání, které činí dohled neúčinným: člověk, který mechanicky přejímá výstup stroje, nevykonává dohled, nýbrž jej pouze předstírá. Mám za to, že právě proto je uvědomění si tohoto zkreslení samostatnou zákonnou náležitostí dohledu, a nikoli pouhým doporučením.

8 Praktickým důsledkem písmene b) je, že opatření lidského dohledu musí být navržena tak, aby aktivně bránila automatickému spoléhání: informací o omezeních systému (kanálem čl. 13), školením a organizačním nastavením rozhodovacího procesu, v němž má člověk prostor a povinnost výstup kriticky posoudit. Samotná existence lidského článku v rozhodování bez opatření proti automatickému spoléhání nestačí.

IV. Schopnost zásahu, zrušení a zastavení (odst. 4 písm. d, e)

9 Písmena d) a e) zakotvují schopnost zásahu, tedy jádro toho, co odlišuje skutečný dohled od pasivního sledování. Podle písmene d) se osoba může v jakékoli konkrétní situaci rozhodnout systém nepoužít nebo jeho výstup nezohlednit, zrušit či zvrátit. Podle písmene e) může zasáhnout do fungování systému nebo jej přerušit tlačítkem „stop“ nebo podobným postupem, který umožní systém zastavit v bezpečném módu. Zdůrazňuji, že tato oprávnění musí být reálná a technicky dostupná. Systém, který nelze bezpečně zastavit nebo jehož výstup nelze zvrátit, není v souladu s čl. 14. Bod 73 odůvodnění k tomu žádá mechanismy, které pověřenou osobu vedou a informují tak, aby mohla činit informovaná rozhodnutí, zda, kdy a jak zasáhnout, nebo systém zastavit, pokud nefunguje tak, jak má.

10 Mám za to, že schopnost výstup nezohlednit, zrušit nebo zvrátit je normativně stejně významná jako tlačítko „stop”. Chrání totiž před situací, kdy člověk sice systém nezastaví, ale jeho chybný výstup bez dalšího převezme do svého rozhodnutí. Účinný dohled proto vyžaduje nejen možnost systém vypnout, ale i pravomoc a prostor jeho výstup odmítnout.

V. Pravidlo čtyř očí u biometrické identifikace na dálku (odst. 5)

11 Odstavec 5 zavádí zpřísněný režim pro systémy uvedené v bodě 1 písm. a) přílohy III, tedy pro systémy biometrické identifikace na dálku (ověřeno čtením přílohy III). U nich musí opatření navíc zajistit, aby na základě identifikace vyplývající z tohoto systému zavádějící subjekt neprovedl žádné kroky ani rozhodnutí, pokud nebude tato identifikace samostatně ověřena a potvrzena alespoň dvěma fyzickými osobami s nezbytnou odbornou způsobilostí, odbornou přípravou a pravomocí. Jde o takzvané pravidlo čtyř očí (dvojí kontroly): u nejcitlivější kategorie nestačí dohled jediné osoby. Bod 73 odůvodnění tento posílený dohled odůvodňuje závažnými důsledky nesprávné shody u některých biometrických systémů. Upřesňuje k tomu dvě věci. Oněmi dvěma osobami mohou být zástupci jednoho i více subjektů, včetně toho, kdo systém provozuje nebo používá. A k naplnění požadavku může stačit automatický záznam samostatných ověření v protokolech, které systém sám generuje.

12 Zdůrazňuji, že jde o kvalifikované zpřísnění obecného dohledu z odstavců 1 až 4, nikoli o jeho nahrazení. Riziko chybné biometrické identifikace (záměny osob) je natolik závažné, že zákonodárce vyžaduje nezávislé potvrzení druhou způsobilou osobou dříve, než se na základě identifikace cokoli podnikne.

13 Druhý pododstavec odstavce 5 obsahuje výjimku: požadavek samostatného ověření nejméně dvěma osobami se nevztahuje na vysoce rizikové systémy AI používané pro účely vymáhání práva, migrace, ochrany hranic nebo azylu, pokud unijní nebo vnitrostátní právo považuje jeho uplatňování za nepřiměřené. Mám za to, že tuto výjimku je nutné vykládat úzce: jde o výjimku ze zesílené záruky, nikoli o vyloučení lidského dohledu jako takového; obecný dohled podle odstavců 1 až 4 platí i zde. Podmínka „považuje-li právo za nepřiměřené” navíc není blanketním zmocněním, nýbrž odkazem na výslovnou úpravu, jejíž přiměřenost je sama přezkoumatelná. Tuto výjimku předjímá i bod 73 odůvodnění, který ji váže na zvláštnosti oblastí vymáhání práva, migrace, ochrany hranic a azylu a na případy, kdy unijní nebo vnitrostátní právo považuje uplatnění požadavku za nepřiměřené.

Příklady

Případy jsou konstruované, ne rozhodnuté věci.

1. Dohled naoko. Systém vyhodnotí 400 žádostí za směnu a pracovník je odklikne. Formálně dohled je, fakticky ne: pracovník nemá čas výstup posoudit. Odstavec 4 žádá schopnost výstup správně vyložit a v případě potřeby ho nepoužít, což je při takové kadenci nedosažitelné.

2. Zkreslení způsobené automatizací (odst. 4 písm. b). Lékař, který doporučení systému dlouhodobě potvrzuje, si na jeho správnost zvykne a přestane ho ověřovat. Právě proti tomu míří povinnost, aby si osoba pověřená dohledem tuto tendenci nadále uvědomovala. Splní se školením a průběžnou připomínkou, ne jednorázovou informací.

3. Čtyři oči u biometriky (odst. 5). Identifikace z biometrického systému musí být před jakýmkoli krokem samostatně ověřena nejméně dvěma osobami. Bod 73 odůvodnění připouští, že jimi mohou být zástupci více subjektů a že postačí automatický záznam obou ověření v protokolech. Nepřipouští ale, aby ověřovala jedna osoba dvakrát.

Co z toho plyne v praxi

Dohled se navrhuje, nedeklaruje. Odstavec 3 klade důraz na opatření zabudovaná poskytovatelem do systému. Věta v návodu, že „výstup má posoudit člověk”, není opatření lidského dohledu.

Zajistěte, aby dohled šel skutečně vykonat. Pověřená osoba potřebuje způsobilost, přípravu, pravomoc a čas. První tři žádá bod 73 odůvodnění výslovně, čtvrtý plyne z povahy věci.

U biometrické identifikace na dálku počítejte se čtyřma očima, ledaže jde o vymáhání práva, migraci, ochranu hranic nebo azyl a právo považuje uplatnění požadavku za nepřiměřené (odst. 5 druhý pododstavec).

Z judikatury

Zatím žádná.

Otevřené otázky

1. Kdy je dohled „účinný” (odst. 1). Nařízení neurčuje ani poměr počtu případů na pracovníka, ani čas na posouzení. Dohled naoko je tedy zatím obtížně napadnutelný jinak než dokazováním v konkrétní věci.

2. Jak se prokazuje uvědomování si zkreslení (odst. 4 písm. b). Povinnost směřuje ke stavu mysli. Doložit ji lze jen nepřímo, přes školení a přes záznamy o přezkumu, a text k tomu nedává vodítko.

3. Rozsah výjimky u odst. 5. Podmínka „považuje-li právo uplatňování za nepřiměřené” odkazuje na unijní i vnitrostátní právo, ale žádné takové pravidlo dnes v Česku neexistuje. Do adaptačního zákona je rozsah výjimky nejasný.