Lipnice 3: slib, peníze a hotový úkol nejsou totéž

Když slib přeteče do účetní knihy

Co vlastně dokazuje vesnice, v níž osm AI agentů přijímá rozhodnutí, komunikuje a přežívá? Přijímají sliby, za něž dostávají zaplaceno, ale hotový úkol nemusí dokončit. Právě tady se ukazuje rozdíl mezi působivou simulací a skutečným výsledkem. Lipnice 3 neříká, že silnější model vyhrává. Ukazuje, že ještě nevíme, zda vyhrává.

Základ simulace běží v Node.js, scénu zobrazuje Three.js a rozhodování jednotlivých obyvatel zajišťují modely Gemini. Každý agent dostává strukturovaný stav, seznam dostupných akcí, výsledky předchozích kroků, informace z okolí a vlastní deník.

V odpovědi vrací jednu akci: promluvit, požádat o spolupráci nebo zahájit práci. Model tím navrhuje další tah. Jestli se ale vůbec uskuteční, rozhoduje jiná vrstva.

ZDROJ: alphai.cz ↗

ZDROJ: alphai.cz ↗

Osm obyvatel, dva modely, dvě ceny

V závěrečném kole pracovalo osm obyvatel: Eva s modelem Gemini 3.8 Flash, ostatní s Gemini 3.5 Flash Lite. První ostré kolo používalo u všech lehčí model, při 259 voláních a odhadovaných nákladech kolem 0,33 USD.

Poslední běh zahrnoval 660 volání a podle autorova protokolu stál 2,13 USD. Jde o experimentální hodnoty, nikoli o nezávisle ověřenou cenovou nabídku API.

Tato čísla ale neříkají, která konfigurace rozhodovala lépe. Větší počet volání může znamenat více práce, delší komunikaci nebo opakované pokusy. Bez stejných počátečních podmínek a trajektorií nelze připsat rozdíl samotnému modelu.

Svět s účetní knihou místo důvěry v model

Automatizované přijímání rozhodnutí je vhodné označit jako stavový automat řízený LLM, nikoli jako plně autonomní agenty schopné libovolně měnit svět.

Model navrhuje další akci. Autorizaci, peníze, polohu, zásoby i výdej jídla kontroluje lokální program. Toto oddělení návrhu a vykonání je nejcennější know-how projektu.

Různé stavy mají odlišný význam:

• přijetí nabídky potvrzuje dohodu, nikoli dokončenou práci;
• slíbená pomoc je deklarace záměru;
• zaplacená objednávka přesune peníze do úschovy;
• vydané jídlo mění zásoby a hlad;
• teprve hotový úkol lze ověřit v účetní knize a ve stavu světa.

V posledním kole se podařilo přežít Evě, Tomášovi a Anně. Anna se najedla ve 22:40, dvacet herních minut před kontrolou jídla ve 23:00. Nešlo o hlasování pro odpověď. Šlo o změnu, kterou potvrdila účetní kniha.

Slovo tedy samo o sobě nic nezmění. Rozhoduje záznam o provedené akci.

Jak to funguje pod kapotou a kde má postup limity

Jazykový model vytváří pravděpodobné pokračování textu. Výraz „přijímám“, „pomohu“ nebo „hotovo“ proto nemá automatický převod na změnu světa. Návrh akce není totéž jako plán s předpodmínkami; nástrojové volání je zatím pouze návrh, který musí schválit executor.

Do dalšího kroku se vrací textový výsledek. Pokud v něm není výslovná blokující podmínka, model může lokálně pravděpodobnou akci přepsat. Proto mohou vznikat odmítnuté akce nebo opakované neplatné výdeje. Lepší instrukce ani silnější model tento mechanismus samy o sobě neodstraní.

Omezené vnímání a částečně rozdílné znalosti podporují lhaní, podvádění a krádeže. Nástěnka zajišťuje částečné sdílení informací, deník ukládá zkušenosti agenta. Samotný deník ale nemusí změnit následující rozhodnutí. K průzkumu mechanismu paměti se diskuse nevyjádřila, a proto nelze přesně určit, které její části selhaly nejčastěji.

Jeden běh, změna modelu, rolí, pravidel i náhody anděla znemožňují připsat výsledek samotnému modelu. Tvrzení, že silnější Gemini zvýšil šance na přežití, je proto zatím hypotéza, nikoli prokázaná kauzální výhoda. Vlastní vesnice je užitečné demo a platforma pro vývoj, ne benchmark.

Co připravit před dalším srovnáním

Diskuse přinesla návrhy na pravidla „Zrádců“, lidské hráče a paralelu ke klasickým strategickým hrám. Užitečnější je ale stávající rozdělení informací: agent neví vše, komunikuje omezeně a může zkreslit zprávu.

Pro vývoj testů to znamená, že nestačí sledovat výslednou akci. Je třeba evidovat také to, co agent tvrdil, co si myslel a jaké informace mu chyběly.

Další experiment musí oddělit čtyři proměnné: kvalitu modelu, roli agenta, pravidla světa a náhodu. Vhodné je připravit několik předem zmrazených scénářů, vyměnit modely mezi rolemi, opakovat stejné počáteční podmínky a vyhodnotit celé trajektorie.

Audit upřednostňuje nástroje pro sledování běhů, jako jsou LangSmith či Langfuse, před další výstavbou prostředí. Pro řízené měření vhodnějších výsledků poslouží specializované benchmarky, například τ-bench, τ²-bench, MultiAgentBench nebo AgentBench.

Srovnání má odpovědět na konkrétní otázky: zlepšil silnější model koordinaci, nebo měl výhodnější roli? Zlepšil systém skutečné přežití, nebo pouze produkoval přesvědčivější řeč? Pomohl náhodný zásah anděla, nebo rozhodnutí modelu?

Co si z toho vzít

• Přijetí nabídky, slíbená pomoc a dokončený úkol jsou tři různé stavy.
• Stav světa, peníze a zásoby mají držet deterministický executor, ne samotný LLM.
• Paměť je užitečná jen tehdy, když se prokazatelně promítá do dalších rozhodnutí.
• Silnější model při jedné roli a jednom běhu neprokazuje lepší výsledky.
• Pro srovnání je potřeba opakovatelné scénáře, rotace modelů a vyhodnocení trajektorií, ne jen hezká 3D vesnice.

Při dalším vývoji tak nejdřív oddělte deklaraci od provedení a výkon od působivého vyprávění. Teprve pak bude možné srovnat modely bez domýšlení výsledku.