Čl. 15 · Přesnost, spolehlivost a kybernetická bezpečnost

klíčové odstavce jsou citovány u příslušných bodů výkladu.

Související ustanovení: čl. 13 odst. 3 (metriky přesnosti uváděné v návodu), čl. 9 (řízení rizik), čl. 10 (jakost dat a zkreslení navazující na smyčky zpětné vazby), čl. 72 (monitorování po uvedení na trh), příloha IV (dokumentace metrik a opatření kybernetické bezpečnosti)

I. Trojice požadavků a konzistentnost v životním cyklu (odst. 1 až 3)

1 Odstavec 1 stanoví, aby vysoce rizikové systémy AI byly navrženy a vyvinuty tak, aby dosahovaly náležité úrovně přesnosti, spolehlivosti a kybernetické bezpečnosti a aby v tomto ohledu dosahovaly konzistentních výsledků během celého svého životního cyklu. Zdůrazňuji dvě roviny. Zaprvé jde o tři odlišné vlastnosti (přesnost, spolehlivost čili robustnost, kybernetická bezpečnost), z nichž každá míří na jiný typ selhání. Zadruhé se požaduje konzistentnost během celého životního cyklu, nikoli jen v okamžiku uvedení na trh; tím se čl. 15 pojí na nepřetržité řízení rizik podle čl. 9 a na monitorování po uvedení na trh. Bod 74 odůvodnění tuto trvalou povinnost formuluje výslovně. Systémy mají po celou dobu životního cyklu fungovat konzistentně a splňovat příslušnou úroveň přesnosti, spolehlivosti a kybernetické bezpečnosti. Měřítkem je zamýšlený účel a obecně uznávaný nejnovější vývoj.

2 Měřítkem je náležitá úroveň, tedy standard relativní k účelu systému a stavu techniky (čl. 8), nikoli absolutní dokonalost. Nařízení nepředpokládá neomylný systém; požaduje úroveň přiměřenou účelu a doložitelnou.

3 Odstavec 2 reaguje na to, že měření přesnosti není samozřejmé: Komise ve spolupráci s příslušnými zúčastněnými stranami a organizacemi (například metrologickými a srovnávacími orgány) případně podpoří vypracování referenčních hodnot a metodik měření. Mám za to, že toto ustanovení nepřímo přiznává metodickou mezeru: bez shody na tom, jak přesnost či robustnost měřit, zůstává požadavek odstavce 1 obtížně objektivizovatelný, a proto se počítá s postupným rozvojem referenčních hodnot. Bod 74 odůvodnění tento směr potvrzuje, když počítá s tím, že Komise ve spolupráci s metrologickými a srovnávacími orgány případně podpoří vývoj referenčních hodnot a metodik měření pro systémy AI.

4 Odstavec 3 uzavírá první okruh procesně: úrovně přesnosti a příslušné metriky se podle něj oznamují v přiloženém návodu k použití. Tím se čl. 15 propojuje s čl. 13: poznatek o přesnosti není interní informací poskytovatele, ale údajem, který se sděluje zavádějícímu subjektu, aby jej mohl vzít v úvahu při používání a dohledu.

II. Robustnost, redundance a smyčky zpětné vazby (odst. 4)

5 Odstavec 4 rozvádí spolehlivost čili robustnost. Systémy musí být v nejvyšší možné míře odolné vůči chybám, poruchám nebo nesrovnalostem, které se mohou vyskytnout v systému nebo v jeho prostředí, zejména v důsledku interakce s fyzickými osobami nebo jinými systémy; za tím účelem se přijmou technická a organizační opatření. Robustnost tedy není jen vlastností kódu, ale i otázkou organizačního zajištění provozu.

6 Druhý pododstavec připouští dosáhnout spolehlivosti technicky redundantními řešeními, například plány zálohování nebo zajištěním proti selhání. Nařízení zde nepředepisuje konkrétní techniku, nýbrž uvádí příkladmo prostředky, jimiž lze robustnosti dosáhnout. Bod 75 odůvodnění mezi tyto prostředky řadí mechanismy umožňující systému bezpečně přerušit provoz (plány zajištění proti selhání) v přítomnosti anomálií nebo při provozu mimo předem stanovené hranice, a to na základě technických i organizačních opatření.

7 Třetí pododstavec cílí na systémy, které se po uvedení na trh nebo do provozu dále učí. Ty se vyvíjejí tak, aby se vyloučilo nebo minimalizovalo riziko zkreslených výstupů ovlivňujících vstup pro budoucí operace, tedy takzvané smyčky zpětné vazby, a aby byly takové smyčky řádně řešeny zmírňujícími opatřeními. Zdůrazňuji věcnou návaznost na čl. 10: zatímco čl. 10 řeší zkreslení v datech předem, čl. 15 odst. 4 řeší jeho dynamickou obdobu, tedy sebeposilující zkreslení vznikající za provozu učícího se systému. Obě ustanovení je nutné číst společně.

III. Kybernetická bezpečnost a útoky specifické pro AI (odst. 5)

8 Odstavec 5 zakotvuje kybernetickou bezpečnost: systémy jsou odolné proti pokusům neoprávněných třetích stran změnit jejich použití, vstupy nebo výkonnost zneužitím zranitelných míst. Technická řešení mají odpovídat příslušným okolnostem a rizikům. Nejde tedy o jednotný standard, nýbrž o řešení přiměřené konkrétní hrozbě.

9 Podstatné je, že třetí pododstavec pojmenovává hrozby specifické pro AI, které klasická bezpečnost informačních technologií nepokrývá. Uvádí opatření proti pěti druhům útoků: - manipulace trénovacích dat (data poisoning); - napadení předtrénovaných komponent (model poisoning); - vstupy cíleně matoucí model, tedy matoucí vzory nebo vyhýbání se modelu; - útoky na důvěrnost; - zneužití chyb modelů. Součástí jsou i opatření k reakci na takový útok. Zdůrazňuji, že kybernetická bezpečnost podle čl. 15 je tím širší než obecná bezpečnost systémů: chrání nejen infrastrukturu, ale i integritu samotného modelu a jeho dat. Tytéž hrozby pojmenovává bod 76 odůvodnění. Mezi útoky, které využívají aspekty specifické pro AI, řadí napadení trénovacích dat (data poisoning) i trénovaných modelů, tedy nepřátelské útoky nebo odvozování členství. Vedle nich stojí zneužití slabých míst digitálních aktiv systému a infrastruktury informačních a komunikačních technologií.

10 Mám za to, že z odstavce 5 plyne povinnost poskytovatele posuzovat bezpečnostní hrozby optikou vlastní strojovému učení, a nikoli jen optikou obecné informační bezpečnosti. Útok otrávením dat či modelu totiž nezasahuje běžný software, ale právě systémy AI, a proto jej obecná bezpečnostní opatření nemusí zachytit. Opatření kybernetické bezpečnosti se navíc dokumentují v technické dokumentaci (příloha IV), čímž se stávají doložitelným a přezkoumatelným prvkem shody.

11 Souhrnně čl. 15 uzavírá katalog požadavků oddílu 2 trojicí technických vlastností, jejichž společným jmenovatelem je spolehlivé a bezpečné fungování systému po celý životní cyklus. Ve spojení s řízením rizik (čl. 9), jakostí dat (čl. 10) a lidským dohledem (čl. 14) tvoří čl. 15 poslední vrstvu ochrany: i technicky kvalitní a datově čistý systém musí zůstat přesný, robustní a odolný vůči útokům, jinak požadavkům na vysoce rizikové systémy nedostojí.

Příklady

Případy jsou konstruované, ne rozhodnuté věci.

1. Přesnost, která se zhoršuje. Model splňuje deklarovanou úroveň přesnosti při uvedení na trh, po roce provozu ale klesne, protože se změnila skladba vstupů. Odstavec 1 žádá konzistentní výsledky během celého životního cyklu, takže samotné splnění při uvedení nestačí.

2. Odolnost vůči nesrovnalostem (odst. 4). Systém dostane vstup v neočekávaném formátu a místo chyby vrátí nesmyslný, ale zdánlivě platný výstup. To je selhání odolnosti, ne uživatelská chyba.

3. Otrava trénovacích dat (odst. 5). Útočník vloží do veřejného zdroje, ze kterého poskytovatel čerpá, data cíleně měnící chování modelu. Opatření proti tomu odstavec 5 výslovně vyžaduje, stejně jako opatření proti napadení předtrénovaných komponent.

Co z toho plyne v praxi

Deklarovanou přesnost uveďte v návodu a umějte ji doložit. Bez ní nelze ověřit, jestli systém dělá to, co slibuje.

Kybernetická bezpečnost tu má vlastní obsah. Nejde jen o běžnou ochranu infrastruktury. Odstavec 5 míří na útoky specifické pro AI, tedy na data, na model a na jeho výstupy.

Vztah k řízení rizik. Čl. 15 je poslední článek řetězu: i systém s dobrou dokumentací a čistými daty musí zůstat přesný, odolný a bezpečný, jinak požadavkům nedostojí.

Z judikatury

Zatím žádná.

Otevřené otázky

1. Co je „náležitá” úroveň přesnosti (odst. 1). Měřítko určuje poskytovatel podle zamýšleného účelu. Chybí vodítko, kdy je deklarovaná úroveň příliš nízká.

2. Jak se prokazuje odolnost. Odstavec 4 žádá odolnost v nejvyšší možné míře, ale neurčuje testovací metodu ani rozsah. Harmonizované normy podle čl. 40 to mají doplnit; do jejich vydání nese riziko poskytovatel.

3. Kdy zhoršení výkonu zakládá porušení. Model, jehož přesnost v čase klesá, může porušit odstavec 1 dřív, než si toho poskytovatel všimne. Jak často se má výkon měřit, nařízení neříká.