Čl. 51 · Klasifikace obecných modelů AI jako obecných modelů AI se systémovým rizikem

1. Obecný model AI se klasifikuje jako obecný model AI se systémovým rizikem, pokud splňuje některé z těchto podmínek: a) má schopnosti s vysokým dopadem vyhodnocené na základě vhodných technických nástrojů a metodik, včetně ukazatelů a referenčních hodnot; b) na základě rozhodnutí Komise, z moci úřední nebo na základě kvalifikované výstrahy vědecké komise má s ohledem na kritéria stanovená v příloze XIII kapacity nebo dopady rovnocenné těm, které jsou stanoveny v písmenu a).

2. Má se za to, že obecný model AI má schopnosti s velkým dopadem podle odst. 1 písm. a), pokud je kumulativní hodnota výpočtu použitého pro jeho výcvik měřená jako množství výpočetních operací s pohyblivou řádovou čárkou vyšší než 10^25.

Související ustanovení: čl. 3 body 63 až 66 (obecný model AI, schopnosti s velkým dopadem, systémové riziko, obecný systém AI), čl. 52 (postup), čl. 53 a čl. 55 (povinnosti), čl. 90 (kvalifikovaná výstraha vědecké komise), čl. 97 (akty v přenesené pravomoci), příloha XIII (kritéria pro určování)

I. Systematika a dvě cesty ke klasifikaci

1 Čl. 51 je vstupní branou k nejpřísnější vrstvě kapitoly V. Určuje, kdy se z obecného modelu stává obecný model se systémovým rizikem, a tím spouští zesílené povinnosti podle čl. 55. Klasifikace není samoúčelná; její jediný praktický smysl je rozšířit okruh povinností poskytovatele. Pro modely bez systémového rizika zůstávají povinnosti u čl. 53 a čl. 54, kdežto zařazení do vyšší vrstvy k nim přidává hodnocení modelu, zmírňování rizik, hlášení incidentů a kybernetickou bezpečnost.

2 Nosným pojmem je „systémové riziko”. Podle čl. 3 bodu 65 jde o riziko specifické pro schopnosti s velkým dopadem u obecných modelů, které má významný dopad na trh Unie v důsledku dosahu takových modelů nebo v důsledku skutečných či rozumně předvídatelných negativních dopadů na veřejné zdraví, bezpečnost, veřejnou bezpečnost, základní práva nebo společnost jako celek. Zdůrazňuji, že systémové riziko se posuzuje na úrovni modelu, nikoli na úrovni jednotlivého použití. Právě tím se liší od rizika ve smyslu čl. 3 bodu 2, které je referenčním pojmem pro pyramidu systémů. Bod 110 odůvodnění tento pojem obsahově rozvádí. Systémové riziko se podle něj zvyšuje se schopnostmi a dosahem modelu, může vzniknout během celého životního cyklu modelu a je ovlivněno podmínkami zneužití, spolehlivostí, poctivostí a bezpečností modelu, úrovní jeho autonomie a přístupem k nástrojům. Mezi jeho zdroje řadí mimo jiné chemická, biologická, radiologická a jaderná rizika, ofenzivní kybernetické schopnosti, riziko, že se model bude sám replikovat, škodlivou předpojatost a diskriminaci či napomáhání dezinformacím. Důraz na dosah modelu přitom potvrzuje, že se riziko posuzuje na úrovni modelu a jeho rozšíření, nikoli na úrovni jednotlivého nasazení.

3 Odstavec 1 otevírá ke klasifikaci dvě cesty, spojené slovem „některé”, tedy alternativně. První cestou je splnění schopnostního kritéria podle písmene a), podepřeného vyvratitelnou domněnkou prahu výpočetního výkonu v odstavci 2. Druhou cestou je individuální rozhodnutí Komise podle písmene b), opřené o kritéria přílohy XIII. Mám za to, že rozdíl mezi oběma cestami je zásadní: první cesta funguje poloautomaticky (naplní-li se práh, nastupuje domněnka), zatímco druhá vyžaduje uvážení Komise nad širším souborem ukazatelů. Obě cesty přitom směřují k témuž prahu, totiž ke schopnostem nebo dopadům rovnocenným nejpokročilejším modelům. Bod 111 odůvodnění obě cesty potvrzuje. Systémové riziko má model, který má buď schopnosti s velkým dopadem hodnocené vhodnými technickými nástroji, nebo významný dopad na vnitřní trh v důsledku svého dosahu. Komise k tomu může přidat individuální rozhodnutí, zjistí-li u modelu schopnosti nebo dopad odpovídající prahové hodnotě.

II. Schopnosti s velkým dopadem a domněnka prahu FLOP (odst. 1 písm. a, odst. 2)

4 Písmeno a) váže klasifikaci na schopnosti s vysokým dopadem vyhodnocené na základě vhodných technických nástrojů a metodik, včetně ukazatelů a referenčních hodnot. Obsah tohoto pojmu určuje čl. 3 bod 64: jde o schopnosti, které odpovídají schopnostem zaznamenaným v nejpokročilejších obecných modelech, nebo je překračují. Kritérium je tedy relativní a pohyblivé. Posouvá se s tím, jak se posouvá špička oboru. To má praktický důsledek: model, který dnes hranici nedosahuje, ji za rok dosáhnout může, aniž se sám změnil, jestliže mezitím klesla úroveň, kterou nejpokročilejší modely představují.

5 Odstavec 2 tuto obtíž řeší kvantifikovatelnou domněnkou. Má se za to, že obecný model AI má schopnosti s velkým dopadem, pokud je kumulativní hodnota výpočtu použitého pro jeho výcvik, měřená jako množství výpočetních operací s pohyblivou řádovou čárkou (v odborné praxi FLOP, floating point operation), vyšší než 10^25. Práh je tedy stanoven prostřednictvím vstupu (množství výpočetního výkonu spotřebovaného při výcviku), nikoli přímo prostřednictvím výstupní schopnosti modelu. Pojem operace s pohyblivou řádovou čárkou vymezuje čl. 3 bod 67. Bod 111 odůvodnění upřesňuje, co se do kumulativního množství výpočetních operací počítá. Zahrnuje výpočty použité v rámci činností a metod, které mají posílit schopnosti modelu před zavedením. Tedy předběžné trénování, vytváření syntetických dat a doladění. Kumulativní výpočet tedy není jen samotné trénování v užším smyslu, nýbrž souhrn výpočetně náročných kroků přípravy modelu.

6 Konstrukce odstavce 2 je konstrukcí vyvratitelné domněnky. Slovní obrat „má se za to” znamená, že překročení prahu zakládá domněnku schopností s velkým dopadem, kterou však lze vyvrátit. Mechanismus vyvrácení neupravuje čl. 51, nýbrž čl. 52 odst. 2 a 3: poskytovatel může spolu s oznámením předložit dostatečně podložené argumenty, že jeho model přes splnění prahu systémová rizika nepředstavuje. Zdůrazňuji proto, že práh 10^25 FLOP není nevyvratitelným kritériem. Je výchozím bodem, od něhož se odvíjí důkazní břemeno. Naopak nedosažení prahu automaticky neznamená, že model do vyšší vrstvy nespadá, protože cesta podle písmene b) zůstává otevřená nezávisle na výpočetním výkonu.

7 Za úvahu stojí povaha prahu jako regulačního nástroje. Číselná hranice je předností i slabinou zároveň. Předností je předvídatelnost a snadná ověřitelnost; slabinou je, že váže regulaci na zástupný ukazatel (spotřebovaný výpočetní výkon), který s rostoucí účinností hardwaru a zlepšováním algoritmů ztrácí vypovídací hodnotu. Zákonodárce si toho byl vědom, a proto svěřil Komisi pravomoc práh měnit (odstavec 3, k němu bod 11 níže). Tuto pohyblivost předpokládá i bod 111 odůvodnění. Množství výpočetních operací je podle něj jen jedna z aproximací schopností modelu podle aktuálního stavu vývoje. Prahová hodnota se má v čase upravovat tak, aby odrážela algoritmická zlepšení nebo vyšší účinnost hardwaru. A má ji doplnit referenčními hodnotami a ukazateli schopností modelu.

III. Určení Komisí podle přílohy XIII (odst. 1 písm. b)

8 Písmeno b) otevírá druhou, individualizovanou cestu ke klasifikaci. Komise může model označit za model se systémovým rizikem z moci úřední nebo na základě kvalifikované výstrahy vědecké komise, má-li model s ohledem na kritéria přílohy XIII kapacity nebo dopady rovnocenné těm podle písmene a). Tato cesta je pojistkou pro případy, kdy model sice nedosahuje prahu výpočetního výkonu, přesto však představuje srovnatelné riziko, například díky architektuře, kvalitě dat nebo dosahu na trhu.

9 Kritéria přílohy XIII jsou širší než pouhý výpočetní výkon. Patří mezi ně: - počet parametrů modelu; - kvalita nebo velikost datového souboru; - množství výpočetních operací; - modality vstupů a výstupů; - referenční hodnoty a hodnocení schopností, tedy počet úkolů zvládnutých bez dodatečného trénování, schopnost učit se novým úkolům, míra autonomie a škálovatelnosti a nástroje, ke kterým má model přístup; - dopad na vnitřní trh. Poslední kritérium je pozoruhodné: příloha XIII písm. f) předpokládá velký dopad na vnitřní trh, je-li model zpřístupněn alespoň 10 000 registrovaných podnikatelských uživatelů usazených v Unii. Klasifikace se tedy může opřít i o tržní dosah, nikoli jen o technické parametry. Shodně bod 111 odůvodnění mezi kritérii celkového posouzení výslovně uvádí počet podnikatelských a koncových uživatelů vedle technických parametrů modelu.

10 Roli iniciátora klasifikace hraje vědecká komise nezávislých odborníků (čl. 68). Podle čl. 90 může tato komise zaslat úřadu pro AI kvalifikovanou výstrahu, má-li důvodné podezření, že model představuje na úrovni Unie konkrétní identifikovatelné riziko nebo že splňuje podmínky čl. 51. Mám za to, že spojení cesty podle písmene b) s výstrahou vědecké komise zavádí do klasifikace odborně-expertní prvek, který má vyvážit rigiditu číselného prahu. Procesní pokračování určení upravuje čl. 52 odst. 4 a 5.

IV. Zmocnění k úpravě prahů a terminologická poznámka (odst. 3)

11 Odstavec 3 zmocňuje Komisi přijímat akty v přenesené pravomoci podle čl. 97 za účelem změny prahových hodnot podle odstavců 1 a 2 a za účelem doplnění referenčních hodnot a ukazatelů s ohledem na vývoj technologií, jako jsou algoritmická zlepšení nebo zvýšená účinnost hardwaru. Toto zmocnění je systémově významné: bez něj by práh 10^25 FLOP zestárl a přestal plnit funkci. Poznamenávám, že akty v přenesené pravomoci podle čl. 51 odst. 3 podléhají kontrolnímu mechanismu čl. 97 (svěření na dobu pěti let, možnost odvolání i námitky Evropského parlamentu nebo Rady). Práh proto není trvale pevný a jeho aktuální hodnotu je vždy nutné ověřit proti platnému znění a případným aktům v přenesené pravomoci.

12 Na okraj upozorňuji na terminologickou nejednotnost českého znění. Odstavec 1 písm. a) hovoří o schopnostech s „vysokým dopadem”, kdežto odstavec 2 a definice v čl. 3 bodě 64 o schopnostech s „velkým dopadem”. Jde zjevně o týž pojem. Obě spojení odkazují na tutéž kategorii schopností odpovídajících nejpokročilejším modelům. Rozdíl je překladový, nikoli obsahový, a nemá výkladové důsledky. Uvádím jej jen proto, aby citace jednotlivých odstavců byly věrné znění.

Příklady

Případy jsou konstruované, ne rozhodnuté věci.

1. Práh 10^25 FLOP. Poskytovatel natrénuje model s kumulativním výpočtem 3 × 10^25 operací. Domněnka schopností s velkým dopadem se uplatní a model se klasifikuje jako model se systémovým rizikem, dokud poskytovatel domněnku nevyvrátí. Model s 5 × 10^24 pod domněnku nespadá, ale Komise ho tam může zařadit rozhodnutím podle písmene b), odpovídá-li jeho dopad kritériím přílohy XIII.

2. Co se do výpočtu počítá. Poskytovatel spočítá jen hlavní běh předběžného trénování a doladění vynechá. Bod 111 odůvodnění výslovně říká, že se počítá i doladění a vytváření syntetických dat. Podhodnocený součet klasifikaci neobejde.

3. Doladění cizího modelu. Firma vezme model pod prahem a doladí ho na vlastních datech. Do kumulativního výpočtu se započítává i její výpočet. Přesáhne-li součet práh, stává se z ní poskytovatel modelu se systémovým rizikem.

Co z toho plyne v praxi

Výpočet si veďte od začátku. Zpětné dopočítání kumulativního množství operací z několika běhů trénování je zpravidla nemožné.

Domněnka je vyvratitelná. Podle odstavce 2 lze proti klasifikaci argumentovat, ale argumentaci nese poskytovatel a musí ji doložit vůči Komisi.

Práh se bude měnit. Bod 111 odůvodnění s posunem počítá kvůli algoritmickým zlepšením a účinnějšímu hardwaru. Kdo dnes leží těsně pod ním, může se ocitnout nad ním bez toho, že by cokoli změnil.

Z judikatury

Zatím žádná. Kapitola V se používá od 2. 8. 2025 a rozhodnutí k prahu ani ke kritériím přílohy XIII neexistují.

Otevřené otázky

1. Jak se prokazuje kumulativní výpočet. Nařízení nestanoví metodu měření ani formát dokladu. U modelů trénovaných postupně a na různém hardwaru je výsledek odhad.

2. Kdy se domněnka považuje za vyvrácenou. Odstavec 2 dovoluje argumentovat, ale neurčuje, čím a s jakou mírou jistoty.

3. Odpovědnost při doladění. Není zřejmé, kdy doladěním vzniká nový model se samostatnou klasifikací a kdy jde stále o týž model původního poskytovatele.