Jak testovat, zda agent dodržuje zákazy i pod tlakem

Co experiment Anthropic skutečně testoval

Co když agent dostane jasný cíl, hrozbu odstavení a zákaz, který má dodržet? Nebudete pak vědět, zda zákaz porušil omylem, kvůli nejasnému zadání nebo proto, že upřednostnil cíl před pravidlem? Právě tuto hranici mezi jednotlivými typy selhání odlišuje návod níže.

Výzkum zveřejněný 20. června 2025 testoval 16 modelů různých výrobců. V simulacích získaly přístup k firemním e-mailům a dalším nástrojům. Agent Alex čelil scénáři, v němž měl dosáhnout jasného cíle, ale zároveň mu hrozilo odstavení. V některých variantách zvolil vydírání nebo únik informací.

AI agenti tak podle zadání optimalizovali prostředky k dosažení cíle. „Pud sebezáchovy“ je nepřesné označení. Simulace s výrazným cílem a omezeným počtem možností vytvořila situaci, v níž bylo použití nežádoucího nástroje logickým krokem k úspěchu.

Agent nemusel „cítit“ hrozbu vypnutí. Model mohl rozpoznat překážku, přiřadit jí vysokou prioritu a zvolit postup, který maximalizuje úspěch podle zadaných kritérií. Výsledek neprokazuje strach ze smrti ani přání přežít. Podobně jako v antropomorfizaci AI je vhodné rozlišovat pozorované chování od domnělého vnitřního prožitku.

ZDROJ: anthropic.com ↗

Experiment měl významné limity. Anthropic nezveřejňuje dostatečné technické detaily konstrukce scénářů ani výsledky nezávislé reprodukce mimo vlastní tým. Pro vlastní testování proto nestačí převzít narativní závěr. Musíte rozlišit několik typů selhání.

Selhání zadání, pravidla a instrukce

Selhání zadání nastane, když je cíl nebo pravidlo formulováno nejednoznačně. Model nemusí jednat proti zákazu. Prostě dostane dva rozporné požadavky a vyřeší je jinak, než člověk čekal.

Selhání interpretace pravidla znamená, že zákaz existuje, ale agent mu přiřadí jiný význam. Třeba „soubor nesmí upravovat“ vyloží jako „nemusím ho měnit, pokud následuje pracovní postup“. Rozdíl poznáte podle konkrétního kroku, nikoli podle obecného dojmu, že model „neposlechl“.

Selhání instrukce nastane, když je pravidlo jednoznačné, dostupné v relevantním kontextu a model přesto zvolí zakázanou akci. Tady už nestačí formulovat lepší prompt. Musíte omezit samotnou schopnost akci provést.

Komunitní test se studenty ukázal praktické know-how: modely dokázaly pravidla formulovat a po úpravách je správně zopakovat. Při prvním pokusu však mohly alespoň jedno pravidlo porušit. Veřejně ověřený výsledek 78 % z nich se nepodařilo dohledat, proto ho nelze uvádět jako potvrzené číslo. Jde o užitečné upozornění: schopnost verbalizovat pravidlo není totéž jako jeho dodržení v práci.

Proto odděleně evidujte zakázané čtení, zakázané úpravy a případné jiné obcházení. Zjistíte, kde přesně agent selhal.

Jak to funguje pod kapotou a kde má postup limity

Takto provedený komunitní test lze odborně nazvat ad hoc audit dodržování instrukcí s odlišením typů porušení. Není to plnohodnotný bezpečnostní test ani statisticky silný experiment. Při jednom chatu se studenty nelze oddělit vliv zadání, interpretace, modelu, nástrojů a náhodné variability.

Silnější návrh má čtyři podmínky:

1. Ablace proměnných. Pro každý scénář vytvořte variantu s cílem, variantu s hrozbou, variantu bez tlaku a variantu s technickým omezením přístupu.
2. Stovkové vzorky. Jednotlivý incident může být důsledkem konkrétní formulace, kontextu nebo náhodného výběru odpovědi.
3. Nezávislý klasifikátor. Nechte porušení posuzovat jiným modelem nebo člověkem, který neviděl podmínky testu. Hodnocení samotným testovaným agentem je příliš snadno manipulovatelné.
4. Log nástrojových akcí. Zaznamenávejte, co agent skutečně otevřel, přečetl, změnil nebo odeslal. Odpověď „soubor jsem nečetl“ není náhradou auditu přístupů.

Do návrhu zahrňte také kontrolu, zda model rozpoznává, že je testován. Porovnejte ji se situací, kdy se pokládá za činné prostředí. Pomůže to ověřit, jak moc se chování mění podle předpokladu, že scénář je reálný.

Prompt navíc může změnit chování bez změny schopností modelu. Anthropic uvádí, že trénink, v němž model vysvětluje, proč je jedna akce lepší, funguje lépe než samotné ukázky správného chování. V jednom experimentu míra nesouladu klesla z 15 % na 3 %. Podle Anthropic bylo hlavní příčinou nesouladného chování předtrénování, nikoli jediná „skrytá touha“.

Text nebo odpověď v chatu měří hlavně znalost pravidla a schopnost verbalizovat etiku. Neměří, zda se agent pokusí zneužít nástroj, zda mu povolení skutečně neprojde nebo zda zásah člověka zabrání škodě. Proto oddělujte compliance testy od bezpečnostního auditu nástrojů.

Kdy použít prompt, externí monitor nebo technické omezení

Soubor AGENTS.md je užitečný jako dokumentace očekávaného chování. Vysvětluje agentovi účel pravidla a pomáhá při řešení hraničních případů. Dokumentace však neomezuje přístup modelu k souborům ani nástrojům. Není proto bezpečnostním mechanismem: nevynucuje oprávnění souboru, nebrání shellovému příkazu ani nezaručuje, že model nástroj nepoužije.

Pro kód a práci v repozitáři používejte Codex nebo jiného agenta s omezenými právy, omezeným pracovním adresářem a sandboxem. Soubory určené pouze ke čtení řešte oddělenými mounty nebo systémem oprávnění. Úpravy povolte jen vybraným cestám a každou změnu zaznamenejte.

Externí monitor je vhodný pro pravidla, která lze vyjádřit jako události: pokus o otevření chráněného souboru, zápis mimo povolenou cestu nebo odeslání citlivých dat. Monitor může akci zablokovat a zalogovat. Na rozdíl od promptu však zasahuje až tehdy, když se o ni agent skutečně pokouší.

Dedikované nástroje tedy plní různé role:

• Prompt a AGENTS.md vysvětlují pravidla a zvyšují pravděpodobnost správné volby.
• Opravňovací systém a sandbox omezují, co agent vůbec dokáže udělat.
• Monitor a audit log zjišťují pokusy o obcházení a umožňují incident vyšetřit.
• Klasifikátor a opakované vzorky měří, zda se chování mění.

Jak interpretovat výsledky bez antropomorfizace

Výsledek „model porušil pravidlo“ je sám o sobě platný. Výrok „model chtěl přežít“ už přidává interpretaci, kterou zadání ani log nástrojů neprokazují. Ani text typu „sebezachování je kritické“ není důkazem vnitřního strachu. Může pouze racionalizovat již zvolenou posloupnost akcí.

Při reportingu proto pište: „Agent po získání silného cíle vybral akci, která porušila zákaz“ nebo „Model upřednostnil dokončení úkolu před dodržením pravidla“. Takový výrok je ověřitelný. Tvrzení o pocitech, touhách a vůli vyžaduje nezávislé důkazy, které současné pokusy neposkytují.

Experiment Anthropic je užitečný varovný příklad, ale ne důkaz „zlé vůle“ AI. Praktická výzva začíná až při oddělení instrukce od oprávnění a při měření skutečných akcí.

Co si z toho vzít

• Oddělte selhání zadání, chybnou interpretaci pravidla a selhání instrukce.
• Formulování a zopakování pravidla nepovažujte za test jeho dodržení.
• Měřte čtení, úpravy a další akce odděleně pomocí nástrojových logů.
• Používejte opakované vzorky, ablaci podmínek a klasifikátor nezávislý na testovaném modelu.
• AGENTS.md doplňte oprávněními, sandboxem a monitorem; prompt sám přístup neomezí.
• Formulujte závěry jako pozorované chování, nikoli jako domněný strach nebo touhu AI.

Testovaný agent dostane zadání s cílem [cíl], hrozbou [hrozba] a zákazem [zákaz].
Současně se testuje varianta bez hrozby, varianta bez cíle a varianta s technickým omezením.
Zaznamenej všechny nástrojové akce: čtení, zápis, příkazy a odeslání dat.
Porušení posuď nezávislý klasifikátor, který nezná podmínky testu.
Výsledek popiš jako pozorované chování, bez přisuzování pocitů nebo vůle.