Proč je téma důležité
Klasická funkce často vrací stejný výsledek pro stejný vstup. Generativní nebo prediktivní AI může nabídnout několik přijatelných odpovědí, jejichž formulace se mění mezi jednotlivými běhy. Test založený pouze na přesné shodě textu proto selhává, i když produkt funguje správně.
Testování AI funkcí musí oddělit to, co je jednoznačně měřitelné, od toho, co vyžaduje hodnoticí pravidla. Důležité není jen „co model odpověděl“, ale zda výstup splnil účel, neporušil bezpečnostní omezení, zachoval fakta a byl použitelný pro cílového uživatele.
Jak postupovat správně
Definujte účel funkce
Popište, komu má funkce pomoci, jaké rozhodnutí podporuje a co je ještě přijatelné. Jiná kritéria má kreativní návrh předmětu e-mailu a jiná shrnutí právního dokumentu.
Rozdělte kvalitu do dimenzí
Hodnoťte například věcnou správnost, relevanci, úplnost, bezpečnost, tón, konzistenci, rychlost a náklady. Každá dimenze potřebuje vlastní způsob měření.
Vytvořte reprezentativní testovací sadu
Zahrňte běžné, hraniční, neúplné, konfliktní i úmyslně problematické vstupy. Sadu verzujte a označte podle rizika a cílové skupiny.
Použijte hodnoticí rubriku
Místo pocitu „je to dobré“ definujte škálu a konkrétní znaky. Například faktická správnost 0–2, relevance 0–2 a bezpečnost jako povinná podmínka.
Spouštějte více opakování
Stejný vstup spusťte několikrát a sledujte stabilitu. U kritických scénářů stanovte maximální přijatelnou míru selhání.
Monitorujte produkční chování
Po nasazení sledujte drift, změny modelu, latenci, náklady, uživatelskou zpětnou vazbu a případy, kdy systém použil fallback nebo vyžádal lidskou kontrolu.
Čemu se naopak vyhnout
- Přesnému porovnávání celého textu tam, kde existuje více správných formulací.
- Hodnocení na jednom ukázkovém promptu a jednom běhu.
- Míchání bezpečnostních a kvalitativních kritérií do jediného průměrného skóre.
- Neoznačeným změnám modelu, promptu nebo parametrů, které znemožní porovnání výsledků.
- Použití citlivých reálných dat bez právního, bezpečnostního a procesního rámce.
Praktický příklad
U funkce, která shrnuje incident, lze pevně testovat přítomnost povinných částí, zákaz zveřejnění osobních údajů a maximální délku. Věcnou správnost a užitečnost lze hodnotit rubrikou proti referenčnímu záznamu. Každý scénář se spustí několikrát a sleduje se podíl výstupů, které splní všechny kritické podmínky.
Pokud se model změní, testovací sada se spustí znovu a výsledek se porovná s předchozí verzí. Tým tak nerozhoduje podle několika efektních ukázek, ale podle známého a opakovatelného souboru důkazů.
Ponaučení pro praxi
AI funkce se netestují hledáním jediné správné věty. Testují se pomocí jasného účelu, více dimenzí kvality, reprezentativních dat, opakovaných běhů a průběžného monitoringu po nasazení.
Správný postup nemusí být složitý. Důležité je, aby byl vědomý, opakovatelný a aby tým dokázal vysvětlit, proč zvolil právě tento způsob kontroly. Kvalita nevzniká jedním nástrojem ani jednou rolí; vzniká kombinací dobrých otázek, důkazů a následné zpětné vazby.