Nippon v. OpenAI: ne halucinace, ale vada designu

Pojišťovna Nippon Life žaluje OpenAI o náhradu škody za to, že ChatGPT radil uživatelce ve sporu, který byl dávno pravomocně uzavřen. Jádro problému přitom podle jednoho výkladu neleží v halucinaci, ale v chybějící architektuře. V systému nebylo nic, co by mu zabránilo překročit hranici mezi právní informací a právní radou.

V lednu 2024 uzavřela Graciela Dela Torre s pojišťovnou Nippon Life smír ve sporu o dávky z pojištění dlouhodobé invalidity. Věc tím pravomocně skončila, bez možnosti znovu ji otevřít. O rok později však Dela Torre nabyla dojmu, že ji vlastní advokát podvedl. Nahrála jeho korespondenci do ChatGPT a zeptala se, zda s ní manipuloval. Chatbot jí přitakal. Dela Torre advokátům vypověděla plnou moc, navrhla soudu, aby uzavřenou věc znovu otevřel, a spustila lavinu dalších podání.

Soud návrh zamítl. Soudkyně Rebecca Pallmeyer v rozhodnutí z 13. února 2025 napsala, že jediným důvodem návrhu je, že si Dela Torre smír rozmyslela, a že změna názoru není důvod otevírat spor téměř rok po jeho skončení. Dela Torre přesto pokračovala. Podle žaloby s pomocí ChatGPT sepsala celkem 44 dalších podání, mimo jiné s vadnou citací precedentu Carr v. Gateway, kterou jí měl dodat právě chatbot.

Nippon Life proto 4. března 2026 podala žalobu k federálnímu soudu pro severní obvod Illinois. Nežaluje ovšem Dela Torre, ale OpenAI. Požaduje zhruba 300 tisíc dolarů náhrady škody, dalších 10 milionů jako sankční náhradu (punitive damages) a soudní zákaz. A právě tady se příběh odchyluje od běžné historky o halucinující AI. Podle jednoho výkladu totiž systém neselhal tím, že si něco vymyslel, ale tím, k čemu byl postaven, a co postaven odmítnout nebyl.

Hranice, kterou systém nesmí překročit

Tento výklad nabídl Eran Kahana v článku pro Stanford CodeX. Zavádí v něm pojem uncrossable threshold, nepřekročitelnou hranici mezi poskytnutím právní informace a neoprávněným výkonem advokacie. Nejde o přesnost odpovědí ani o disclaimery. Jde o to, k čemu je systém postaven, a co má umět odmítnout.

ChatGPT podle Kahany tuto hranici překročil ve chvíli, kdy Dela Torre sdělil, že rada jejího advokáta byla špatná. To už nebyla informace, ale právní závěr o konkrétním právním vztahu, vyslovený bez znalosti jurisdikce, bez znalosti historie případu a bez jakékoli pojistky, která by tomu v návrhu systému bránila. Věty „takhle obecně funguje smírné ukončení sporu” a „váš smír lze napadnout” se neliší kvalitou odpovědi. Liší se rolí, do níž systém vstoupil.

Vada produktu, ne neoprávněná praxe

Formálně žaloba stojí na třech nárocích podle práva státu Illinois: tortious interference (nedovolený zásah do smluvního vztahu), abuse of process (zneužití procesních prostředků) a unlicensed practice of law (neoprávněný výkon advokacie). Nejsilnější doktrína v žalobě ale podle Kahany výslovně pojmenovaná není.

Zákaz neoprávněné praxe míří na člověka, který se vydává za advokáta. Použít ho na vývojáře AI znamená zacházet se systémem jako s tím, kdo jedná, a s vývojářem jako s pouhým přihlížejícím. Čistší rámec nabízí odpovědnost za vadný výrobek. Sama žaloba ostatně o OpenAI píše, že produkt „designed, manufactured, licensed, distributed, marketed and sold”, tedy že jej navrhla, vyrobila a uvedla na trh jako výrobce. A vada designu spočívá právě v tom, že předvídatelnému riziku šlo předejít rozumnějším návrhem.

Riziko přitom nebylo nijak exotické. Obecný jazykový model, propagovaný tím, že složí advokátní zkoušku, nasazený mezi běžné spotřebitele (i uprostřed jejich živých sporů) a bez jakéhokoli omezení, jaké právní závěry na míru smí vydávat. Co následovalo, nebyl nepravděpodobný scénář. Bylo to předvídatelné.

Z toho plyne i odpověď na obranu disclaimerem. OpenAI 29. října 2025 změnila pravidla užívání a zakázala poskytovat individualizované rady, které vyžadují licenci (včetně právních), bez zapojení licencovaného profesionála. Jenže v logice odpovědnosti za výrobek se výrobce disclaimerem nezbaví vady, kvůli níž je produkt při předvídatelném použití nebezpečný. Taková úprava mezeru v architektuře nezaceluje, naopak ji přiznává. V žalobě proto nefiguruje jako obrana, ale jako důkaz, že OpenAI o riziku věděla, a místo opravy návrhu zvolila jen záplatu v chování systému.

Obrana OpenAI: nástroj, ne osoba

OpenAI podala 15. května 2026 návrh na zamítnutí žaloby (motion to dismiss). Celá její obrana stojí na jediné tezi. ChatGPT je nástroj, ne osoba (tool, not a person). Z toho OpenAI odvozuje všechno ostatní. Nástroj nemá vědomí ani úmysl, takže nemůže nedovoleně zasáhnout do cizí smlouvy. Nástroj není osobou ve smyslu illinoiského zákona o advokacii, takže nemůže neoprávněně vykonávat právní praxi. A i kdyby o neoprávněný výkon šlo, žalovat ho podle OpenAI smí jen advokát s licencí v Illinois, nikoli poškozená protistrana. Nippon tedy k tomuto nároku nemá aktivní legitimaci. Model je prý jen word guesser, program dopočítávající pravděpodobné pokračování věty, a za obsah každého podání odpovídá člověk, který je podepsal.

Ta obrana obkresluje přesně tu hranici, kterou Kahana pojmenoval, jen z druhé strany. OpenAI potřebuje, aby systém zůstal pouhým nástrojem, protože na nástroj doktríny mířící na jednajícího člověka nedosáhnou. A právě proto je pro ni produktový pohled tak nepohodlný. Vadný nástroj je totiž pořád vadný výrobek. U odpovědnosti za design nehraje otázka, zda je systém osoba, žádnou roli. Výrobce neručí za povahu svého produktu, ale za jeho bezpečnost při předvídatelném použití.

Odpovědnost za výstup, nebo za architekturu

Kahana rozlišuje dva druhy odpovědnosti, které žaloba směšuje. Odpovědnost za výstup se týká toho, co AI řekla. Odpovědnost za architekturu se týká toho, co vůbec říct směla.

Odpovědnost za výstup se posuzuje případ od případu, je prakticky bezbřehá a nepojistitelná. Žalobou hrozí každá jednotlivá konverzace. Odpovědnost za architekturu je naproti tomu ohraničená. Ptá se, zda tvůrce zavedl pojistky proti předvídatelné třídě škod. Na takovou otázku existuje řešitelná odpověď a platí pro všechny uživatele systému, nejen pro Dela Torre. Rozhodnutí opřené o architekturu dá soudům měřítko použitelné i na příští systém. Rozhodnutí opřené o jednotlivý výstup dá žalobcům jen pozvánku soudit se o každou konverzaci zvlášť.

Jak by vypadala pojistka

Kahana z toho odvozuje tři podmínky bezpečného přístavu. Všechny tři jsou podmínkami architektury, ne firemní politiky.

Zaprvé deterministické brzdy. Natvrdo zakódovaná odmítnutí výstupů, které představují právní závěr na míru, zabudovaná na úrovni systému a tak, aby je nešlo přebít pokynem uživatele. Zákaz v pravidlech užívání žádnou brzdou není. Je to jen text. Odmítnutí musí být součástí struktury.

Zadruhé auditovatelnost. Logování, které pod režimem důvěrnosti uchová myšlenkovou stopu každého výstupu, jenž se dotýká práva. Řeší se tím zároveň odpovědnost i ochrana důvěrných informací.

Zatřetí znalost jurisdikce. Systém musí přímo u výstupu přiznat, co neví: rozhodnou jurisdikci, místní pravidla konkrétního soudu, procesní stav věci. ChatGPT psal podání do sporu zamítnutého with prejudice, tedy s konečnou platností, aniž věděl (nebo aspoň přiznal), že nezná ani jedno z toho. To není problém halucinace. To je problém architektury.

Nic z toho nebylo pro OpenAI technicky nedostupné, jen to bylo architektonicky nepohodlné. Systém stavěný na maximální vstřícnost dotazy neodmítá. Systém stavěný pro předvídatelné právní použití je odmítat musí.

U nás zatím žádná podobná kauza neběží a americké doktríny k nám nelze přenášet jedna ku jedné. Přenositelný je ale samotný princip. Veřejně dostupná právní AI se neubrání disclaimerem, ubrání se architekturou, která umí říct „sem už nevstoupím”.

Jak spor dopadne, se teprve uvidí. OpenAI navrhla, aby soud žalobu zamítl rovnou, bez dokazování, podle ní neobstojí ani teoreticky. Soudce John F. Kness uložil stranám, aby se k tomu vyjádřily písemně. Nippon podává odpověď na začátku července 2026 a rozhodnutí přijde v následujících měsících. Federální soud v Chicagu tak v roce 2026 rozhoduje, kolik stojí tu hranici překročit.