Jaká je cena za zdánlivou bezvadnost

Ve výzkumných otázkách mám hypotézu, která mi pořád dává smysl: na právní AI je účinnější regulace výsledková, tedy požadavky na kvalitu, ověření a transparentnost výstupu, než regulace vstupní a stavovská, tedy povolování osob, které smí nástroj použít. Nezajímá nás, čím jste dokument vyrobili. Zajímá nás, co jste podepsali.

Ta myšlenka není moje. Nejzřetelněji ji říká politika Nejvyššího soudu státu Illinois k užívání umělé inteligence z 18. 12. 2024: užití AI „may be expected, should not be discouraged”, tedy se očekává a nemá se od něj odrazovat, a zároveň „attorneys, judges, and self-represented litigants are accountable for their final work product”, tedy za finální produkt odpovídá člověk. Je to stavovská politika soudu, ne rozhodnutí ve věci.

V prosinci 2025 ji vyslovil i český Ústavní soud, a to skoro doslova. Jenže ve stejném rozhodnutí je vidět, co ta odpověď stojí.

Co se stalo

Advokát podal ústavní stížnost proti usnesení Nejvyššího správního soudu ve věci azylu. Argumentoval v ní dvanácti rozhodnutími Ústavního soudu a Evropského soudu pro lidská práva. Ústavní soud zjistil, že „podstatná část z těchto rozhodnutí vůbec neexistuje a část je povinným hrubě dezinterpretována”, a uložil advokátovi pořádkovou pokutu 25 000 Kč podle § 61 odst. 1 zákona o Ústavním soudu, tedy za hrubé ztěžování postupu řízení (usnesení ze dne 1. 12. 2025, sp. zn. I. ÚS 3004/25).

Jméno advokáta je v rozhodnutí veřejně, ale nepatří sem. Ta věc není o něm.

Podstatný je bod 7 odůvodnění. Ústavní soud v podání rozpoznal známky použití AI (anglicismy, neúplné heslovité věty, nejednotný formát citací, nerozpoznání rozdílu mezi nálezem a usnesením) a pokračuje:

Není podstatné, s pomocí jakých osob či nástrojů advokáti zpracují podání k soudu. Jako profesionálové znalí práva ovšem přebírají za podání plnou odpovědnost, a odpovídají tedy i za případnou halucinující argumentaci umělé inteligence, byla-li při vytvoření podání použita.

To je výsledková regulace, formulovaná českým Ústavním soudem. Stojí za povšimnutí, že soud sám sáhl po slově „halucinující“.

Proč je to zároveň argument proti

Advokát plnou odpovědnost nesl celou dobu. Nezabránilo to ničemu. Pokuta přišla až potom, co podání dorazilo k soudu, a jenom proto, že si ho soud přečetl celé.

Odpovědnost za výstup má nevyslovený předpoklad: někdo si ten výstup ověří. Dokud ten předpoklad platí, konstrukce funguje.

Ta chyba není vidět. Ústavní soud sám píše, že se „podrobně věnoval argumentaci obsažené ve zdánlivě bezvadné ústavní stížnosti”. Zdánlivě bezvadné. Na první pohled se zdá být vše v pořádku, protože model umí formát, tón i strukturu citace. Nefunguje tu obvyklá heuristika, podle které si chyby všimnete, když je do očí bijící. Vymyšlený judikát vypadá stejně jako skutečný, a jediný způsob, jak to zjistit, je otevřít každý z nich. Ústavní soud to udělal.

Ověření tu úsporu krátí. Studie stanfordského RegLabu, otištěná loni v Journal of Empirical Legal Studies (Magesh, Surani, Dahl, Suzgun, Manning, Ho, Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools, JELS 2025), popisuje volbu, před kterou právník stojí:

lawyers are faced with a difficult choice: either verify by hand each and every proposition and citation produced by these tools (thereby undercutting the efficiency gains that AI is promised to provide), or risk using these tools without full information about their specific risks and benefits (thereby neglecting their core duties of competency and supervision).

Tedy: buď ověříte ručně každé tvrzení a každou citaci, čímž okrájíte tu úsporu, kvůli které jste se pro nástroj rozhodli, nebo ho použijete bez ověření a zanedbáte odbornou péči a dohled.

Kolik ta kontrola vlastně stojí

Tady stojí za to číst zdroj přesně. Autoři píšou undercutting, tedy že ověřování úsporu krátí. Nepíšou, že ji maže. Ten poměr není konstanta a mění se podle toho, co po nástroji chcete.

U rešerše je nejhorší. Ověřit dvanáct citací znamená otevřít dvanáct rozhodnutí, což je skoro táž práce jako je najít. Skoro, ne úplně: vyhledat spisovou značku je levnější než vědět, kterou hledat. Úspora tedy nespadne na nulu, ale je malá.

U delší práce je poměr úplně jiný. Když nástroj sepíše smlouvu nebo podání ze zadaných skutečností, kontrola je čtení, a čtení je proti psaní levné. Cena kontroly je tam zlomek ušetřeného času a vyplatí se pokaždé. Kdo tvrdí, že ověřování vždycky sežere celou úsporu, mluví o jediné fázi práce a vydává ji za všechny.

Jenže ta úleva se netýká celého výstupu. Citační vrstva se nezlevní ani o vteřinu. Dvanáct citací je dvanáct otevřených rozhodnutí, ať tvoří sto procent výstupu, nebo pět procent dvacetistránkového podání. Změní se podíl, ne cena. A ten posun je zrádnější, než vypadá: v rešerši je kontrola citací celá práce a nedá se přehlédnout, kdežto v hotovém podání je to pět procent, pozornost drží text a poznámky pod čarou jsou to poslední, co člověk otevře.

Delší výstup tedy cenu kontroly nesnižuje. Ředí ji.

A tady se to protne. Kontrola je nejdražší přesně tam, kde model selhává, tedy u tvrzení o vnější autoritě. Není to náhoda, obojí plyne z téže vlastnosti: model vyrábí tvrzení o věcech mimo sebe a ta vypadají stejně, ať platí, nebo ne. Uvnitř textu si nepomůžete, ověřit se dají jen zvenčí a jedno po druhém.

Jak často na tom záleží

Táž studie měřila, jak spolehlivé jsou nástroje, které se prodávají právě na slib, že tenhle problém vyřešily. Testovala Lexis+ AI od LexisNexis a Westlaw AI-Assisted Research a Ask Practical Law AI od Thomson Reuters, tedy specializované právní nástroje postavené nad vlastními databázemi, ne obecné chatboty. Závěr:

we find that the AI research tools made by LexisNexis (Lexis+ AI) and Thomson Reuters (Westlaw AI-Assisted Research and Ask Practical Law AI) each hallucinate between 17% and 33% of the time.

Halucinaci přitom autoři definují přísně a užitečně: odpověď je halucinovaná, je-li nesprávná nebo nesprávně ukotvená, tedy když model buď řekne nepravdu, nebo nepravdivě tvrdí, že nějaký zdroj jeho tvrzení podpírá. Ta druhá varianta je ta zákeřná, protože citace u ní existuje a odkazuje na skutečné rozhodnutí. Jen neříká, co se tvrdí, že říká.

Dvě výhrady k té studii: Testovala americké nástroje nad americkým právem a data sbírala do dubna 2024. Autoři sami upozorňují, že LexisNexis od té doby vydal druhou generaci nástroje a jejich výsledky o ní nevypovídají. O chybovosti jakéhokoli českého nebo slovenského nástroje ta čísla neříkají nic. Co z ní ale plyne obecně, je tohle: nálepka „právní AI” nad kurátorovanou databází sama o sobě spolehlivost nedělá. To, co má člověk podle výsledkové regulace zachytit, tedy není vzácný jev.

Co udělal Ústavní soud dobře

Stojí za povšimnutí, na čem to rozhodnutí stojí a na čem ne. Ty známky použití AI, kterých si soud všiml, jsou v odůvodnění jenom domněnkou o příčině. Důvodem pokuty nejsou. Důvodem je to, že soud „pečlivě ověřil, zda skutečně existují rozhodnutí, která povinný k argumentaci použil”, a zjistil, že neexistují.

To je podle mě jediný postup, který dlouhodobě obstojí. Detekovat, jestli text psala AI, nefunguje. Stanfordský HAI to shrnuje o detektorech textu takto: „The detectors are not particularly reliable. Worse yet, they are especially unreliable when the real author (a human) is not a native English speaker.” Obejít se dají jedinou větou v promptu, třeba pokynem, ať model text přepíše literárnějším jazykem (Zou a kol., GPT Detectors are Biased Against Non-native English Writers, Stanford HAI, 15. 5. 2023). Stojí za povšimnutí, že jde o tutéž třídu vodítek, jakou si všiml Ústavní soud: povrchové jazykové znaky, ze kterých se usuzuje na autorství. Soud tam mimochodem četl anglicismus jako stopu po AI, kdežto detektory podle té studie označují za AI hlavně pisatele, pro které angličtina rodným jazykem není.

Nepomůže ani vodoznak, hlavní navrhovaný lék. NIST k němu píše: „A major issue for watermarks is robustness and security in the face of benign edits or adversarial attempts to remove the watermark.” (NIST AI 100-4, Reducing Risks Posed by Synthetic Content, 2024). U textu zkopírovaného z chatovacího okna do Wordu ho seškrábne i ten, kdo o něm neví.

Ověřit, jestli tvrzení platí, naproti tomu funguje vždycky a je jedno, kdo ho napsal. Soud kontroloval obsah, ne původ.

Tu práci odvedl soud. Ověřování z podání nezmizelo, jen se přesunulo z advokáta na Ústavní soud. Když se výsledková regulace opře jenom o odpovědnost člověka, končí to tím, že se kontrola udělá jednou, pozdě a u toho nejdražšího aktéra v řetězci.

Co z toho plyne pro hypotézu

Nevyvrací ji to. Zpřesňuje ji, a to tak, že se v ní schovávají dvě různé věci, které se běžně mluví jedním dechem.

První je odpovědnost osoby za výstup, vymáhaná zpětně. Illinois, § 61 zákona o Ústavním soudu, pořádková pokuta. Tahle vrstva stojí na bdělosti konkrétního člověka. Neselhává ale plošně, jak jsem si původně myslel. Tam, kde je kontrola levnější než výroba, pobídky sedí a člověk zkontroluje, protože se mu to vyplatí. Selhává přesně tam, kde se kontrola zlevnit nedá, tedy u tvrzení o vnější autoritě. A to je shodou okolností jediné místo, kde chyba není poznat zevnitř.

Druhá je požadavek na architekturu systému, uplatněný předem. Konkrétní podobu navrhl Eran Kahana ve stanfordském CodeXu a jsou to tři podmínky. Natvrdo zadaná odmítnutí u výstupů, které jsou šitým právním závěrem, uplatněná na úrovni systému a nepřebitelná pokynem uživatele ani během konverzace. Záznam, který u každého výstupu k právní otázce uchová úvahovou cestu. A povinnost říct rovnou u výstupu, co systém neví, tedy rozhodné právo, místní pravidla konkrétního soudu a procesní stav věci.

K rozdílu mezi tímhle a pouhým zákazem v podmínkách užití má Kahana větu, která sedí i sem: „A terms-of-service prohibition is not a CLAI design safeguard. It is a disclaimer. And disclaimers do not enforce the UT. They shift blame.” Tedy zákaz v podmínkách není konstrukční pojistka, je to vyloučení odpovědnosti, a to nic nevynutí, jen přesune vinu (Designed to Cross: Why Nippon Life v. OpenAI Is a Product Liability Case, Stanford CodeX, 7. 3. 2026, podrobněji v poznámce k Nippon v. OpenAI).

Žádná z těch podmínek nezávisí na tom, jestli se dnes někomu chce. Ta vrstva bdělost nepředpokládá, protože ji nepotřebuje.

Když říkám, že výsledková regulace je účinnější než stavovská, mluvím ve skutečnosti o té druhé vrstvě. První vrstva je to, co si pod „člověk za to odpovídá” představí většina lidí. U citační vrstvy vyrábí sama o sobě přesně ten výsledek, který je vidět na I. ÚS 3004/25: formálně bezvadné pravidlo, uplatněné až ve chvíli, kdy zdánlivě bezvadné podání leželo na stole soudu.

Hypotézu tím neopouštím. Jen jí přibyla podmínka, a je užší, než jsem čekal. Kde je kontrola levná, vystačí si i odpovědnost člověka. U citací levná není a nebude, protože ověřit se dají jen zvenčí a jedna po druhé. Právě tam musí požadavek na výstup viset na tom, jak je systém postavený, ne na tom, jak pečlivě si ho někdo přečte. Povinnost číst pečlivě uložit lze, jak ukazuje těch 25 000 Kč. Vymůže se ale až po škodě a jen tam, kde měl někdo čas ji odhalit.