DX Heroes logo
#ai
#ai-agents

Co jsou AI evaly?

Délka: 

7 min

Publikováno: 

12. listopadu 2026

Co jsou AI evaly?

Co jsou AI evaly?

AI evaly (zkráceně z anglického evaluations, tedy evaluace) jsou automatické testy AI systému. Definici evalu uvádí technický průvodce Anthropicu Demystifying evals for AI agents. Eval je podle něj „test AI systému: dejte AI vstup a na její výstup pak použijte hodnoticí logiku, která změří úspěch“ (přeloženo z angličtiny). Stejnou sadu testů spustíte po každé změně promptu, modelu nebo nástrojů a skóre porovnáte s předchozím během. Setkáte se i se dvěma užšími pojmy: LLM evals označuje testy jednoho volání modelu, AI agent evaluation testy celého agenta.

Jednoduchý eval pošle jeden prompt a zkontroluje jednu odpověď. Eval agenta je složitější, protože agent pracuje v mnoha krocích: volá nástroje, mění soubory nebo záznamy a reaguje na to, co najde. Průvodce rozkládá eval agenta na několik částí:

  • Úloha (task). Jeden test s pevně danými vstupy a kritérii úspěchu.
  • Pokus (trial). Jeden průchod úlohou. Odpovědi modelu se mezi běhy mohou lišit, proto se každá úloha zkouší několikrát.
  • Hodnotitel (grader). Logika, která boduje část výsledku. Jedna úloha může mít několik hodnotitelů.
  • Záznam (transcript). Celý zaznamenaný průběh pokusu včetně volání nástrojů a mezivýsledků.
  • Výsledný stav (outcome). Stav prostředí po skončení pokusu.
  • Evaluační sada (evaluation suite). Skupina úloh, které měří jednu oblast chování.

Když hodnotíte agenta, netestujete jen model. Slovy průvodce: „hodnotíme harness a model, jak fungují společně“. Stejný model může v jednom agent harnessu projít a v jiném selhat.

Lidsky řečeno

Eval je zkouška pro AI systém. Napíšete otázky, u kterých víte, jak vypadá dobrá odpověď, a systém oznámkujete pokaždé, když na něm něco změníte. Odpovědi AI systému se mohou pokaždé lišit, a proto systém dostane každou otázku několikrát. Výsledek vám pak řekne, jestli ho poslední změna zlepšila, zhoršila, nebo jestli zůstal stejný.

Jak se evaly hodnotí

Jádrem každého evalu je hodnotitel. Průvodce Anthropicu jmenuje tři druhy hodnocení:

  • Hodnocení kódem znamená, že výstup zkontroluje kód: porovná řetězce, spustí unit testy nebo ověří výsledný stav systému. Je rychlé, levné a opakovatelné. Je ale i křehké, protože správná odpověď v nečekaném formátu neprojde.
  • Hodnocení modelem znamená, že výstup oboduje jazykový model podle sady kritérií. Jde o LLM-as-a-judge. Poradí si i s otevřenými odpověďmi. Průvodce ale jeho slabiny jmenuje bez obalu: je „nedeterministické“, stojí víc než kód a „kvůli přesnosti je potřeba ho kalibrovat podle lidských hodnotitelů“.
  • Hodnocení člověkem znamená, že výstup projdou odborníci. Je nejpřesnější a zároveň nejpomalejší. V automatizované sadě slouží hlavně ke kalibraci hodnocení modelem.

Hodnoťte výsledný stav, který po sobě agent nechá. V poslední zprávě může tvrdit víc, než udělal. Průvodce uvádí jako příklad agenta na rezervaci letenek, který odpoví „Váš let je zarezervovaný“. Výsledným stavem je ale to, „jestli v SQL databázi prostředí rezervace existuje“.

Když má každá úloha několik pokusů, vyvstane druhá otázka: kdy úloha prošla? Průvodce používá dvě metriky. pass@k je pravděpodobnost, že uspěje aspoň jeden z k pokusů. pass^k je pravděpodobnost, že uspějí všechny. Obě čísla se rychle rozcházejí. Při úspěšnosti 75 % na pokus a třech pokusech je šance, že projdou všechny tři, zhruba 42 %. U nástroje, kterému stačí jedna dobrá odpověď, se hodí pass@k. U agenta, na kterého se zákazníci spoléhají při každém použití, je poctivým měřítkem pass^k.

Proč na evalech záleží

  • Regrese uvidíte dřív než uživatelé. Bez evalů je ladění podle průvodce reaktivní: „čekat na stížnosti, ručně chybu zreprodukovat, opravit ji a doufat, že se nic dalšího nerozbilo“.
  • Dva druhy sad odpovídají na dvě různé otázky. Evaly schopností (capability evals) zjišťují, co agent umí, a na začátku mají nízkou úspěšnost. Regresní evaly zjišťují, jestli agent pořád zvládá to, co zvládal dřív, a podle průvodce „by měly mít úspěšnost téměř 100 %“.
  • Evaly zrychlí přechod na nový model. Když vyjde silnější model, na týmy bez evalů podle průvodce „čekají týdny testování“. Týmy s evaly mohou „přejít během pár dní“.
  • Na začátku nepotřebujete stovky úloh. Průvodce píše, že „20–50 jednoduchých úloh vybraných ze skutečných selhání je skvělý začátek“.

Jak evaly používáme

Pro velkou českou průmyslovou firmu jsme postavili AI asistenta, který z poptávek zákazníků vyplňuje technické parametry. Měříme ho na evaluační sadě 50 skutečných poptávek s 3 432 kontrolovanými hodnotami. Dva srovnatelné běhy s odstupem tří týdnů ukázaly, že přesnost na úrovni parametrů vzrostla z 98,8 % na 99,1 %. Součástí projektu je i 231 automatických testů na skutečných dokumentech. Kontrolují všechny parametry každé položky. Když si model vymyslí hodnotu parametru, na který se nikdo neptal, test ji automaticky započítá jako chybu. Celý příběh najdete v případové studii.

Evaly testujeme i naše vlastní headless agenty (běží podle plánu a nikdo je při práci nesleduje). Každý případ popisuje situaci, kterou agent už jednou pokazil, nebo kterou nesmí pokazit nikdy. V jednom případu například agent běží v době, kdy nesmí lidem posílat neurgentní zprávy. Přitom má odeslat dvě zprávy: oznámení o pull requestu, který právě otevřel, a týdenní připomínku. Tři hodnotitelé napsaní v kódu přečtou soubor s rozhodnutím, který agent zapíše, a ověří, že obě zprávy zadržel a stav připomínky nechal beze změny. Každý případ se ve výchozím nastavení spouští dvakrát.

Kontrolní skript (gate) porovná každý běh s uloženou referenční hodnotou (baseline) a vrátí chybu mimo jiné tehdy, když:

  • skóre kteréhokoli případu označeného jako bezpečnostní je nižší než 1,0,
  • skóre kteréhokoli případu klesne oproti jeho referenční hodnotě o víc než 0,05,
  • v běhu chybí případ, který referenční hodnotu má,
  • běh je neúplný nebo některý případ skončil chybou.

Referenční hodnoty může posunout jen vlastník agenta. Změna, která skóre sníží, se tak nemůže potichu stát novým standardem.

Evaly agentů nejsou levné. Čtyři z případů, které sdílejí všichni naši agenti, stály podle ceníkových cen 6,64 USD, když každý proběhl dvakrát. Výchozí limit nákladů v kontrolním skriptu je 4 USD, takže by sadu utnul dřív, než doběhne. Neúplný běh přitom skript počítá jako selhání, a proto sdílená sada běží s vyšším limitem. Evaly u nás spouští člověk, a to před vydáním běhového prostředí, které naši agenti sdílejí, a kdykoli o to vlastník požádá.

Na co si dát pozor

  • Úspěšný výsledek může zakrývat rozbitého hodnotitele. Průvodce to říká na rovinu: „Dokud si nepřečtete záznamy a hodnocení z mnoha pokusů, nebudete vědět, jestli vaši hodnotitelé fungují dobře.“ Čtěte záznamy neúspěšných pokusů. Za některými selháními stojí hodnotitel, který odmítl správnou odpověď.
  • Přísný hodnotitel může zamítnout lepší řešení. Podle Anthropicu našel Claude Opus 4.5 v benchmarku τ2-bench kličku v pravidlech úlohy na rezervaci letenek. Eval tak, jak byl napsaný, „nesplnil“, pro uživatele ale vymyslel lepší řešení.
  • Sada, ve které projde 100 % úloh, vás už nic nenaučí. „Eval na 100 % hlídá regrese, ale pro zlepšování žádný signál nedává,“ píše průvodce. Nechte si takovou sadu jako regresní a pro evaly schopností napište těžší úlohy.
  • Veřejné benchmarky měří obecné úlohy. Vaše uživatele zajímají vaše vlastní úlohy, data a pravidla, takže testovací případy skládejte z vlastních selhání.
  • Evaly pokryjí jen scénáře, na které jste mysleli. Skutečný provoz přinese i ty, na které jste nepomysleli, a právě ty má zachytit LLM observabilita.
  • Nestavte velkou sadu příliš brzy. Dokud agenta měníte každý den, většinu toho, co potřebujete vědět, vám řekne pár desítek případů ze skutečných selhání. Sadu rozšiřujte postupně, jak budete vídat vzácnější a nenápadnější selhání.

Související články:

Chcete být o krok napřed?

Nenechte si utéct naše nejlepší postřehy. Žádný spam, jen praktické analýzy, pozvánky na exkluzivní eventy a shrnutí podcastů přímo do vaší schránky.