Čl. 55 · Povinnosti poskytovatelů obecných modelů AI se systémovým rizikem

[Znění odst. 1] Kromě povinností uvedených v článcích 53 a 54 poskytovatelé obecných modelů AI se systémovým rizikem:

a) provádějí hodnocení modelu v souladu se standardizovanými protokoly a nástroji odrážejícími nejmodernější stav technologií, včetně provádění a dokumentace kontradiktorního testování modelu s cílem určit a zmírnit systémové riziko;

b) posuzují a zmírňují možná systémová rizika na úrovni Unie, včetně jejich zdrojů, která mohou vyplývat z vývoje, uvádění na trh nebo používání obecných modelů AI se systémovým rizikem;

c) sledují, dokumentují a bez zbytečného odkladu hlásí úřadu pro AI a případně příslušným vnitrostátním orgánům relevantní informace o závažných incidentech a možná nápravná opatření k jejich řešení;

d) zajišťují odpovídající úroveň ochrany kybernetické bezpečnosti pro obecný model AI se systémovým rizikem a fyzickou infrastrukturu modelu.

Související ustanovení: čl. 3 body 64, 65 a 49 (schopnosti s velkým dopadem, systémové riziko, závažný incident), čl. 51 (klasifikace), čl. 53 a čl. 54 (základní povinnosti, na něž čl. 55 navazuje), čl. 56 (kodexy správné praxe), čl. 73 (oznamování závažných incidentů u vysoce rizikových systémů, souběžný režim), čl. 78 (důvěrnost)

I. Odstupňování: nadstavba nad čl. 53 a 54

1 Čl. 55 uzavírá logiku odstupňování povinností podle rizika, kterou kapitola V provádí. Návětí odstavce 1 je v tomto ohledu klíčové: povinnosti podle čl. 55 platí kromě povinností podle čl. 53 a 54. Nejde tedy o samostatný, alternativní režim, nýbrž o nadstavbu. Poskytovatel modelu se systémovým rizikem plní vše, co plní poskytovatel běžného modelu, a k tomu navíc čtyři zesílené povinnosti. Zdůrazňuji, že tím se u nejrizikovější vrstvy neuplatní ani úlevy pro otevřené licence (čl. 53 odst. 2, čl. 54 odst. 6), které systémové modely výslovně vylučují. Bod 114 odůvodnění tuto nadstavbu potvrzuje. Poskytovatelé modelů se systémovým rizikem podléhají vedle povinností pro obecné modely i povinnostem zaměřeným na identifikaci a zmírnění těchto rizik a na kybernetickou bezpečnost. Nezáleží přitom na tom, jestli je model poskytován samostatně, nebo je začleněný do systému či produktu AI.

2 Odstupňování odpovídá rizikové logice celého nařízení, přenesené z úrovně použití na úroveň modelu. Zatímco pyramida systémů stupňuje povinnosti podle rizikovosti použití (minimální, transparentnost, vysoké riziko, zákaz), kapitola V stupňuje povinnosti podle rizikovosti modelu (bez systémového rizika, se systémovým rizikem). V obou případech platí táž zásada: čím vyšší riziko, tím těžší povinnosti, a to kumulativně.

3 Věcně jsou čtyři povinnosti odstavce 1 orientovány jinak než povinnosti čl. 53. Čl. 53 je dokumentační a informační; čl. 55 je preventivní a bezpečnostní. Neptá se jen, co poskytovatel o modelu ví a komu to sděluje, nýbrž co dělá pro to, aby model systémové riziko nezakládal nebo je snižoval. To odpovídá povaze systémového rizika jako rizika s celounijním dosahem, u něhož nestačí transparentnost a je namístě aktivní správa.

II. Hodnocení modelu a zmírňování systémových rizik (odst. 1 písm. a, b)

4 Písmeno a) ukládá provádět hodnocení modelu v souladu se standardizovanými protokoly a nástroji odrážejícími nejmodernější stav technologií, včetně provádění a dokumentace kontradiktorního testování modelu s cílem určit a zmírnit systémové riziko. Kontradiktorním testováním se rozumí cílené prověřování modelu útočnými scénáři, směřující k odhalení jeho slabin a nebezpečných schopností (v mezinárodní praxi red-teaming). Povinnost je dvojí: model hodnotit a hodnocení dokumentovat. Zdůrazňuji, že měřítkem je „nejmodernější stav technologií”, tedy pohyblivá laťka, která poroste s vývojem metodik hodnocení. Bod 114 odůvodnění hodnocení časově ukotvuje a zpřesňuje: má se provádět zejména před prvním uvedením modelu na trh a zahrnovat provádění a dokumentaci kontradiktorního testování, případně i prostřednictvím interního nebo nezávislého externího testování.

5 Písmeno b) ukládá posuzovat a zmírňovat možná systémová rizika na úrovni Unie, včetně jejich zdrojů, která mohou vyplývat z vývoje, uvádění na trh nebo používání modelu. Toto ustanovení je nosné, neboť zakládá hmotnou povinnost zmírňování, nikoli jen povinnost hodnotit. Poskytovatel nesmí u zjištěného rizika zůstat; musí je snižovat. Mám za to, že vazba na „úroveň Unie” a na „dosah” modelu potvrzuje, že se posuzuje riziko plynoucí z rozšíření modelu napříč hodnotovým řetězcem, nikoli riziko jednotlivého nasazení. Způsoby zmírňování rozvádí příkladmo bod 114 odůvodnění: - zavedení politik řízení rizik včetně procesů odpovědnosti a správy; - monitorování po uvedení na trh; - přijímání vhodných opatření po celý životní cyklus modelu; - spolupráce s příslušnými subjekty v celém hodnotovém řetězci AI.

6 Písmena a) a b) tvoří dvojici hodnocení a zmírnění, obdobnou systému řízení rizik, jaký pro vysoce rizikové systémy zavádí kapitola III. Rozdíl je v předmětu: zde se posuzuje model a jeho celounijní dopad, tam konkrétní vysoce rizikový systém. Poznamenávám, že povinnosti jsou formulovány obecně a jejich konkretizaci má přinést kodex správné praxe podle čl. 56 (viz čl. 56 odst. 2 písm. c, d) a posléze harmonizované normy; do té doby nese poskytovatel odpovědnost za volbu přiměřených opatření sám.

III. Hlášení incidentů a kybernetická bezpečnost (odst. 1 písm. c, d)

7 Písmeno c) zakládá oznamovací povinnost k závažným incidentům. Poskytovatel sleduje, dokumentuje a bez zbytečného odkladu hlásí úřadu pro AI a případně příslušným vnitrostátním orgánům relevantní informace o závažných incidentech a možná nápravná opatření. Pojem závažného incidentu vymezuje čl. 3 bod 49 (následky jako smrt nebo závažné poškození zdraví, narušení kritické infrastruktury, porušení povinností chránících základní práva, závažné poškození majetku nebo životního prostředí). Zdůrazňuji, že adresátem hlášení je zde úřad pro AI, což odpovídá centralizovanému dozoru nad kapitolou V podle čl. 88; jde o režim souběžný, nikoli totožný s oznamováním incidentů u vysoce rizikových systémů podle čl. 73. Bod 115 odůvodnění tuto povinnost popisuje slovy, že poskytovatel má incident sledovat a oznámit relevantní informace a případná nápravná opatření „Komisi a příslušným vnitrostátním orgánům”. Text článku určuje jako adresáta úřad pro AI; o rozpor nejde, neboť úřad pro AI vykonává pravomoci Komise (čl. 3 bod 47, čl. 64), takže hlášení Komisi se děje právě jeho prostřednictvím. Přednost má v každém případě znění článku.

8 Písmeno d) ukládá zajišťovat odpovídající úroveň ochrany kybernetické bezpečnosti pro obecný model AI se systémovým rizikem a fyzickou infrastrukturu modelu. Povinnost cílí na dvě roviny: na samotný model (ochrana vah a parametrů před odcizením nebo neoprávněnou manipulací) a na fyzickou infrastrukturu, na níž model běží. Mám za to, že zahrnutí fyzické infrastruktury je významné. Zákonodárce uznává, že u modelů se systémovým rizikem je bezpečnostním aktivem nejen software, ale i výpočetní zázemí, jehož kompromitace by mohla mít celounijní dopad. Obsah této ochrany konkretizuje bod 115 odůvodnění. Má zohlednit nahodilý únik modelu, neoprávněné zpřístupnění, obcházení bezpečnostních opatření a obranu před krádeží modelu. Usnadnit ji lze zajištěním modelových vah, algoritmů, serverů a datových souborů, a to provozními bezpečnostními opatřeními a kontrolami kybernetického i fyzického přístupu.

9 Čtyři povinnosti odstavce 1 čteme jako provázaný celek. Hodnocení (písm. a) odhalí rizika, zmírňování (písm. b) je snižuje, hlášení incidentů (písm. c) reaguje na jejich projevy a kybernetická bezpečnost (písm. d) chrání model před vnějším zneužitím. Dohromady vytvářejí režim průběžné, aktivní správy modelu po celou dobu jeho přítomnosti na trhu, odpovídající povaze systémového rizika.

IV. Prokazování shody a důvěrnost (odst. 2, 3)

10 Odstavec 2 přebírá mechaniku prokazování shody z čl. 53 odst. 4. Do zveřejnění harmonizované normy mohou poskytovatelé vycházet z kodexů správné praxe podle čl. 56; soulad s harmonizovanou normou zakládá domněnku souladu v rozsahu, v jakém norma dané povinnosti pokrývá. Kdo se kodexem ani normou neřídí, prokazuje Komisi alternativní vhodné způsoby prokazování shody. Kodexy podle čl. 56 tak mají u modelů se systémovým rizikem zvláštní význam, protože překlenují období, než vzniknou technické normy pro tak nové a rychle se vyvíjející povinnosti.

11 Odstavec 3 uzavírá článek zárukou důvěrnosti shodnou s čl. 53 odst. 7: s informacemi a dokumentací získanými orgány dozoru nad trhem, včetně obchodních tajemství, se nakládá podle povinností zachování důvěrnosti stanovených v čl. 78. Záruka je i zde protiváhou k rozsahu odkrývaných údajů, který je u modelů se systémovým rizikem ještě širší než u modelů běžných.

Příklady

Případy jsou konstruované, ne rozhodnuté věci.

1. Kontradiktorní testování (písm. a). Poskytovatel model otestuje na běžných vstupech a výsledek zdokumentuje. Nestačí: písmeno a) žádá výslovně kontradiktorní testování, tedy pokusy model záměrně přimět k nežádoucímu chování, a jeho dokumentaci.

2. Hlášení incidentu (písm. c). Model začne generovat návody k výrobě nebezpečné látky. Poskytovatel to zjistí v pondělí a nahlásí to úřadu pro AI za měsíc s odůvodněním, že chtěl mít úplnou analýzu. Písmeno c) žádá hlášení bez zbytečného odkladu; kompletnost analýzy prodlení neomlouvá.

3. Kybernetická bezpečnost modelu (písm. d). Ochrana serverů firemním firewallem sama o sobě nestačí. Bod 115 odůvodnění míří i na zajištění modelových vah, na obranu před krádeží modelu a na obcházení bezpečnostních opatření.

Co z toho plyne v praxi

Tyhle povinnosti se přičítají, nenahrazují. Platí vedle čl. 53 a 54, ne místo nich.

Kodex správné praxe podle čl. 56 se vyplatí. Podle čl. 101 odst. 1 se dodržování kodexu zohledňuje ve prospěch poskytovatele při stanovení pokuty.

Vykonavatelem je Komise, ne český orgán. Podle čl. 88 má na kapitolu V výlučnou pravomoc, což mění i to, kam směřuje opravný prostředek.

Z judikatury

Zatím žádná.

Otevřené otázky

1. Co je „standardizovaný protokol” hodnocení (písm. a). Odkaz na nejmodernější stav technologií je pohyblivý a v době psaní tohoto komentáře žádná harmonizovaná norma neexistuje.

2. Kdy je incident „závažný” u modelu. Definice v čl. 3 bodu 49 míří na systémy AI. Jak se přenáší na model bez konkrétního použití, není vyřešené.

3. Rozsah zmírňovacích opatření. Písmeno b) žádá posoudit a zmírnit systémová rizika na úrovni Unie. Kde končí odpovědnost poskytovatele modelu a začíná odpovědnost navazujícího poskytovatele, text neřeší.