Nařízení (EU) 2024/1689 (AI Act) · Kapitola VI · Opatření na podporu inovací

Čl. 60 · Testování vysoce rizikových systémů AI v reálných podmínkách mimo regulační sandboxy pro AI

Znění

Poskytovatelé nebo potenciální poskytovatelé vysoce rizikových systémů AI uvedených v příloze III mohou provádět testování vysoce rizikových systémů AI v reálných podmínkách mimo regulační sandboxy pro AI v souladu s tímto článkem a plánem testování v reálných podmínkách provozu uvedeným v tomto článku, aniž jsou dotčeny zákazy podle článku 5.

Komise v prováděcích aktech upřesní podrobné prvky plánu testování v reálných podmínkách. Tyti prováděcí akty budou přijaty přezkumným postupem podle čl. 98 odst. 2.

Tímto odstavcem není dotčeno právo Unie ani vnitrostátní právo týkající se testování vysoce rizikových systémů AI v reálných podmínkách v souvislosti s produkty, na něž se vztahují harmonizační právní předpisy uvedené v příloze I.

Poskytovatelé nebo potenciální poskytovatelé mohou provádět testování vysoce rizikových systémů AI uvedených v příloze III v reálných podmínkách kdykoli před uvedením systému AI na trh nebo do provozu, a to samostatně nebo v partnerství s jedním nebo více zavádějícími subjekty nebo potenciálními zavádějícími subjekty.
Testováním vysoce rizikových systémů AI v reálných podmínkách podle tohoto článku není dotčen žádný etický přezkum, který je vyžadován právem Unie nebo vnitrostátním právem.
Poskytovatelé nebo potenciální poskytovatelé mohou provádět testování v reálných podmínkách pouze v případě, že jsou splněny všechny tyto podmínky:

a) poskytovatel nebo potenciální poskytovatel vypracoval plán testování v reálných podmínkách a předložil jej orgánu dozoru nad trhem v členském státě, v němž má být testování v reálných podmínkách provedeno;

b) vnitrostátní orgán dozoru nad trhem v členském státě, v němž se testování v reálných podmínkách má provést, testování v reálných podmínkách a plán testování v reálných podmínkách schválil; pokud orgán dozoru nad trhem neposkytne odpověď do 30 dnů, testování v reálných podmínkách a plán zkoušek v reálných podmínkách se považují za schválené; nestanoví-li vnitrostátní právo implicitní schválení, testování v reálných podmínkách nadále podléhá povolení;

c) poskytovatel nebo potenciální poskytovatel, s výjimkou poskytovatelů nebo potenciálních poskytovatelů vysoce rizikových systémů AI uvedených v bodech 1, 6 a 7 přílohy III v oblasti vymáhání práva, migrace, azylu a řízení ochrany hranic a vysoce rizikových systémů AI uvedených v bodě 2 přílohy III, zaregistroval testování v reálných podmínkách v souladu s čl. 71 odst. 4 s uvedením celounijního jedinečného identifikačního čísla a informací stanovených v příloze IX; poskytovatel nebo potenciální poskytovatel vysoce rizikových systémů AI uvedených v bodech 1, 6 a 7 přílohy III v oblasti vymáhání práva, migrace, azylu a řízení ochrany hranic zaregistroval testování v reálných podmínkách v zabezpečené, neveřejné části databáze EU podle čl. 49 odst. 4 písm. d) s celounijním jedinečným identifikačním číslem a informacemi v tomto článku uvedenými; poskytovatel nebo potenciální poskytovatel vysoce rizikových systémů AI uvedený v bodě 2 přílohy III zaregistroval testování v reálných podmínkách v souladu s čl. 49 odst. 5;

d) poskytovatel nebo potenciální poskytovatel provádějící testování v reálných podmínkách je usazen v Unii nebo jmenoval právního zástupce, který je usazen v Unii;

e) údaje shromážděné a zpracované pro účely testování v reálných podmínkách se předávají třetím zemím pouze za předpokladu, že jsou uplatňovány vhodné a použitelné záruky podle práva Unie;

f) testování v reálných podmínkách netrvá déle, než je nezbytné k dosažení jeho cílů, a v žádném případě ne déle než šest měsíců, přičemž tato doba může být prodloužena o dalších šest měsíců, pokud poskytovatel nebo potenciální poskytovatel toto prodloužení předem oznámí orgánu dozoru nad trhem spolu s vysvětlením, proč je ho zapotřebí;

g) subjekty testování v reálných podmínkách, které vzhledem ke svému věku nebo postižení spadají do zranitelných skupin, jsou náležitě chráněny;

h) pokud poskytovatel nebo potenciální poskytovatel uspořádá testování v reálných podmínkách ve spolupráci s jedním nebo více zavádějícími subjekty či potenciálními zavádějícími subjekty, tyto subjekty byly informovány o všech aspektech testování, které jsou relevantní pro jejich rozhodnutí účastnit se, a obdrželi příslušné pokyny pro použití systému AI uvedeného v článku 13; poskytovatel nebo potenciální poskytovatel a zavádějící subjekt nebo potenciální zavádějící subjekt uzavřou dohodu, v níž upřesní své úlohy a povinnosti s cílem zajistit soulad s ustanoveními týkajícími se testování v reálných podmínkách podle tohoto nařízení a jiným platným právem Unie a vnitrostátním právem;

i) subjekty testování v reálných podmínkách udělily informovaný souhlas v souladu s článkem 61, nebo pokud by v případě vymáhání práva získání informovaného souhlasu testování systému AI bránilo, samotné testování a výsledek testování v reálných podmínkách nemají na subjekty hodnocení žádný negativní dopad a osobní údaje těchto subjektů jsou po provedení testu vymazány;

j) na testování v reálných podmínkách účinně dohlíží poskytovatel nebo potenciální poskytovatel, jakož i zavádějící subjekty nebo potenciální zavádějící subjekty prostřednictvím osob, které mají jak odpovídající kvalifikaci v příslušné oblasti, tak nezbytnou kapacitu, odbornou přípravu a pravomoc k plnění svých úkolů;

k) predikce, doporučení nebo rozhodnutí systému AI lze účinně zvrátit a nezohlednit.

Kterékoli subjekty testování v reálných podmínkách nebo případně jejich zákonně ustanovený zástupce může odvoláním svého informovaného souhlasu od testování kdykoli odstoupit, aniž by tím došel jakékoliv újmy a aniž by byl povinen poskytnout jakékoliv odůvodnění, a může požádat o okamžité a trvalé vymazání svých osobních údajů. Odvoláním informovaného souhlasu nejsou dotčeny již provedené činnosti.
V souladu s článkem 75 svěří členské státy svým orgánům dozoru nad trhem pravomoci požadovat od poskytovatelů a potenciálních poskytovatelů informace, provádět neohlášené kontroly na dálku nebo kontroly na místě a provádět kontroly postupu testování v reálných podmínkách a souvisejících vysoce rizikových systémů AI. Orgány dozoru nad trhem využijí těchto pravomocí k zajištění bezpečného vývoje testování v reálných podmínkách.
Veškeré závažné incidenty zjištěné v průběhu testování v reálných podmínkách se oznámí vnitrostátnímu orgánu dozoru nad trhem v souladu s článkem 73. Poskytovatel nebo potenciální poskytovatel přijme okamžitá zmírňující opatření nebo, pokud to není možné, testování v reálných podmínkách pozastaví, dokud k tomuto zmírnění nedojde, nebo testování jiným způsobem ukončí. Po takovém ukončení testování v reálných podmínkách stanoví poskytovatel nebo potenciální poskytovatel postup pro okamžité stažení systému AI z oběhu.
Poskytovatelé nebo potenciální poskytovatelé oznámí vnitrostátnímu orgánu dozoru nad trhem v členském státě, v němž se testování v reálných podmínkách provádí, že testování v reálných podmínkách bylo pozastaveno nebo ukončeno, a jaké jsou konečné výsledky.
Podle platného práva Unie a vnitrostátního práva upravujícího odpovědnost nesou poskytovatel nebo potenciální poskytovatel odpovědnost za veškeré škody, jež byly v průběhu jejich testování v reálných podmínkách způsobeny.

Znění: Úřední věstník EU z 12. 7. 2024. Konsolidované znění po novele nařízením (EU) 2026/1744 zatím vydané není.

Změněno nařízením (EU) 2026/1744 Testování v reálných podmínkách nově výslovně i u systémů podle přílohy I oddílu A.

Komentář

Vysoce rizikové systémy z přílohy III lze testovat mimo sandbox před uvedením na trh, s plánem testování, registrací, informovaným souhlasem subjektů a stropem šesti měsíců s možností jednoho prodloužení o dalších šest.

Znění čl. 60 (odst. 1 až 9, s rozsáhlým katalogem podmínek v odst. 4) se pro rozsah nereprodukuje v úplnosti. Nosné pasáže jsou citovány u příslušných bodů výkladu.

Související ustanovení: čl. 2 odst. 8 (výjimka pro výzkum, testování a vývoj, která nezahrnuje testování v reálných podmínkách), čl. 3 bod 57 (definice testování v reálných podmínkách), čl. 3 bod 53 (plán testování v reálných podmínkách), čl. 3 bod 58 (subjekt), čl. 5 (zákazy, jimiž není testování dotčeno), čl. 57 odst. 5 a čl. 58 odst. 4 (testování v reálných podmínkách v sandboxu), čl. 61 (informovaný souhlas), čl. 13 (informace zavádějícím subjektům a návod k použití), čl. 49 a čl. 71 (registrace v databázi EU), čl. 73 (oznamování závažných incidentů), čl. 75 (pravomoci dozoru nad trhem), čl. 98 odst. 2 (přezkumný postup), příloha III (vysoce rizikové systémy), příloha IX (informace k registraci)

Obsah výkladu

I.Předmět a systematické zařazení, vztah k čl. 2 odst. 81 II.Rozsah: vysoce rizikové systémy přílohy III a mez čl. 55 III.Kumulativní podmínky testování (odst. 4)7 IV.Práva subjektů a zvratnost výstupu (odst. 4, 5)11 V.Dozor, incidenty a odpovědnost (odst. 6 až 9)13

I. Předmět a systematické zařazení, vztah k čl. 2 odst. 8

1 Čl. 60 upravuje druhý věcný nástroj: testování v reálných podmínkách mimo sandbox. Klíč k jeho systematickému zařazení leží v čl. 2 odst. 8. Ten z působnosti nařízení vyjímá žádné činnosti výzkumu, testování či vývoje v oblasti systémů AI nebo modelů AI před jejich uvedením na trh nebo do provozu, avšak vzápětí stanoví: Uvedená výjimka nezahrnuje testování v reálných podmínkách. Testování v reálných podmínkách proto pod nařízení spadá a řídí se buď čl. 57 (v sandboxu), nebo čl. 60 (mimo sandbox). Bod 141 odůvodnění k tomu vysvětluje, že v zájmu urychlení vývoje a uvádění vysoce rizikových systémů na trh je důležité, aby poskytovatelé mohli využít zvláštního režimu testování v reálných podmínkách i bez účasti v sandboxu.

2 Definiční základ leží v čl. 3 bodě 57. Testováním v reálných podmínkách je dočasné testování systému AI pro jeho zamýšlený účel v reálných podmínkách mimo laboratoř nebo jinak simulované prostředí za účelem shromažďování spolehlivých a hodnověrných údajů, u něhož nejsou naplněny podmínky uvedení na trh nebo do provozu, jsou-li splněny všechny podmínky stanovené v článcích 57 nebo 60. Definice sama odkazuje na čl. 57 a 60 jako na dva režimy téhož jevu.

3 Rozhraní vůči dovolenému předtržnímu testování je prakticky významné. Laboratorní nebo jinak simulované testování zůstává mimo nařízení (čl. 2 odst. 8), kdežto testování v reálném prostředí pod ně spadá. Mám za to, že dělicí čárou je expozice skutečných osob a prostředí. Jakmile testování opustí simulaci a působí na reálné subjekty, uplatní se záruky čl. 60 a 61.

4 Plán testování v reálných podmínkách je podle čl. 3 bodu 53 dokument, který popisuje cíle, metodiku, zeměpisnou oblast, populaci a časový rozsah, monitorování, organizaci a provádění testování v reálných podmínkách. Podrobné prvky plánu upřesní Komise prováděcími akty přijímanými přezkumným postupem podle čl. 98 odst. 2 (odstavec 1). Zdůrazňuji, že zvláštní režim je odůvodněn právě tím, že reálné podmínky vystavují riziku skutečné osoby ještě před posouzením shody. Testování se proto dovoluje jen za hmotných a procesních záruk. Tuto úvahu nese bod 141 odůvodnění: s ohledem na možné důsledky testování pro jednotlivce má nařízení zavést vhodné a dostatečné záruky a podmínky.

II. Rozsah: vysoce rizikové systémy přílohy III a mez čl. 5

5 Podle odstavců 1 a 2 lze testovat vysoce rizikové systémy AI uvedené v příloze III, a to kdykoli před uvedením na trh nebo do provozu, samostatně nebo v partnerství se zavádějícími subjekty. Testování podle tohoto článku se tedy váže na systémy přílohy III; pro produktově vázané systémy přílohy I zůstává nedotčeno zvláštní právo Unie a vnitrostátní právo (odstavec 1 třetí pododstavec). Časové vazby na použitelnost vysoce rizikových systémů podle přílohy III posunulo nařízení (EU) 2026/1744 na 2. 12. 2027.

6 Odstavec 1 výslovně zachovává zákazy podle článku 5. Zdůrazňuji, že testování v reálných podmínkách nelze použít k obcházení zákazů. Zakázaný postup zůstává zakázán i v testovacím režimu. Nedotčen zůstává rovněž etický přezkum vyžadovaný právem Unie nebo vnitrostátním právem (odstavec 3). Testovací režim tedy neposkytuje žádnou úlevu z hranice nepřijatelného rizika.

III. Kumulativní podmínky testování (odst. 4)

7 Odstavec 4 podmiňuje testování splněním souboru podmínek, jež musí být naplněny současně (písmena a až k). Nosnými jsou vypracování plánu testování a jeho předložení orgánu dozoru nad trhem (písm. a) a schválení testování i plánu tímto orgánem (písm. b).

8 U schválení nařízení zavádí podmíněnou fikci souhlasu. Podle písmene b) platí, že pokud orgán dozoru nad trhem neposkytne odpověď do 30 dnů, testování v reálných podmínkách a plán zkoušek v reálných podmínkách se považují za schválené. Nestanoví-li vnitrostátní právo implicitní schválení, testování v reálných podmínkách nadále podléhá povolení. Máme za to, že mlčení orgánu znamená schválení jen tam, kde vnitrostátní právo implicitní schválení připouští; jinak se uplatní režim výslovného povolení. Sporné bude, které členské státy fikci souhlasu zavedou, a poskytovatel proto musí vnitrostátní úpravu ověřit předem.

9 Další podmínky zajišťují dohledatelnost a odpovědnostní ukotvení: registrace testování v databázi EU podle čl. 71 odst. 4 a čl. 49 s celounijním jedinečným identifikačním číslem, s výjimkami a zvláštním režimem pro citlivé oblasti vymáhání práva, migrace, azylu, ochrany hranic a biometriky (písm. c); usazení poskytovatele v Unii nebo jmenování právního zástupce v Unii (písm. d); a vhodné záruky při předávání údajů do třetích zemí (písm. e). K předávání do třetích zemí bod 141 odůvodnění dodává, že údaje shromážděné a zpracované pro testování v reálných podmínkách se do třetích zemí předávají jen tehdy, jsou-li zavedeny vhodné a použitelné záruky podle práva Unie.

10 Doba testování je podle písmene f) omezena. Testování netrvá déle, než je nezbytné k dosažení jeho cílů, a v žádném případě ne déle než šest měsíců, přičemž tato doba může být prodloužena o dalších šest měsíců po předchozím oznámení orgánu dozoru nad trhem. Doplňují ji ochrana zranitelných skupin (písm. g), povinné informování zavádějícího subjektu a dohoda o úlohách včetně předání návodu podle čl. 13 (písm. h) a účinný dohled osob s odpovídající kvalifikací a pravomocí (písm. j).

IV. Práva subjektů a zvratnost výstupu (odst. 4, 5)

11 Ochrana dotčených osob stojí na informovaném souhlasu. Podle písmene i) udělují subjekty testování informovaný souhlas v souladu s čl. 61. Jediná úleva platí ve vymáhání práva, a to tehdy, kdy by získání informovaného souhlasu testování systému AI bránilo, avšak jen za podmínky, že testování nemá na subjekty žádný negativní dopad a jejich osobní údaje jsou po testu vymazány. Tato výjimka je úzká a je nutné ji vykládat restriktivně. Nejde o obecné oslabení standardu souhlasu, nýbrž o situačně vymezenou úlevu. Bod 141 odůvodnění tuto konstrukci potvrzuje: mezi zárukami uvádí požadavek informovaného souhlasu fyzických osob, s výjimkou vymáhání práva v případech, kdy by získání souhlasu bránilo testování systému AI.

12 Dvě záruky tvoří jádro ochrany osob. Podle písmene k) musí platit, že predikce, doporučení nebo rozhodnutí systému AI lze účinně zvrátit a nezohlednit. Podle odstavce 5 může kterýkoli subjekt kdykoli odstoupit odvoláním svého informovaného souhlasu, aniž by tím došel jakékoliv újmy a aniž by byl povinen poskytnout jakékoliv odůvodnění, a může požádat o okamžitý a trvalý výmaz svých osobních údajů. Odvolání souhlasu se přitom nedotýká již provedených činností. Výstup testovaného systému tedy nesmí být nezvratný a účast musí být kdykoli ukončitelná. Shodně bod 141 odůvodnění požaduje dvojí záruku. Predikce, doporučení nebo rozhodnutí systému AI musí jít účinně zrušit a nezohlednit. A osobní údaje musí být chráněné a vymazané, odvolá-li subjekt svůj souhlas s účastí na testování.

V. Dozor, incidenty a odpovědnost (odst. 6 až 9)

13 Odstavec 6 svěřuje orgánům dozoru nad trhem pravomoci podle čl. 75 (požadovat informace, provádět neohlášené kontroly na dálku i na místě a kontrolovat postup testování). Odstavec 7 stanoví, že závažné incidenty se oznamují podle čl. 73, s okamžitými zmírňujícími opatřeními nebo pozastavením testování a s následným postupem pro stažení systému z oběhu.

14 Odstavec 8 ukládá oznámit orgánu dozoru pozastavení nebo ukončení testování a jeho konečné výsledky. Odstavec 9 potvrzuje odpovědnost poskytovatele za škody způsobené v průběhu testování podle platného práva. Připomínám, že stejně jako u sandboxu (čl. 57 odst. 12) není odpovědnost za škodu testovacím režimem nijak omezena. Testování v reálných podmínkách snižuje regulační nejistotu, nikoli soukromoprávní odpovědnost.

Příklady

Případy jsou konstruované, ne rozhodnuté věci.

1. Kdy testování pod nařízení spadá. Vývoj a testování v laboratoři jsou z působnosti vyňaté podle čl. 2 odst. 8. Testování v reálných podmínkách vyňaté není a řídí se buď čl. 57 (uvnitř sandboxu), nebo čl. 60 (mimo něj).

2. Šestiměsíční strop. Testování běží pátý měsíc a poskytovatel potřebuje víc dat. Může prodloužit o dalších šest měsíců, ale musí to předem oznámit orgánu dozoru nad trhem. Bez oznámení prodloužení neplatí.

3. Zvratitelnost výstupu (písm. k). Systém pro předvýběr uchazečů testovaný v reálném náboru musí být nastavený tak, aby šlo jeho doporučení účinně zvrátit a nezohlednit. Testování, ve kterém výstup fakticky rozhoduje, podmínku nesplňuje.

Co z toho plyne v praxi

Testování mimo sandbox má vlastní plán a vlastní registraci. Není to jen „zkušební provoz”, je to samostatný právní režim s podmínkami v odstavci 4.

Informovaný souhlas je pravidlem (čl. 61). Jediná úleva je ve vymáhání práva, a to jen když testování nemá na subjekty negativní dopad a jejich údaje se po testu vymažou.

Subjekt může kdykoli odstoupit bez újmy a bez odůvodnění a požádat o okamžitý a trvalý výmaz svých údajů (odst. 5).

Z judikatury

Zatím žádná.

Otevřené otázky

1. Kdy je zvrácení výstupu „účinné” (písm. k). Formální možnost výstup přepsat nestačí, ale hranice mezi formální a účinnou možností není určená.

2. Co je „negativní dopad” u výjimky ve vymáhání práva. Podmínka je klíčová, měřítko chybí.

3. Vztah šestiměsíční lhůty k iterativnímu vývoji. U systémů, které se během testování mění, není zřejmé, jestli změna zakládá nové testování s novou lhůtou.