Proč je téma důležité
Generativní AI umí během několika sekund navrhnout testovací scénáře, shrnout dlouhý log nebo přeformulovat technický popis chyby do srozumitelnější podoby. Právě rychlost ale snadno vytvoří dojem, že výsledek je také správný. V Quality Assurance je proto největší hodnotou AI nikoli automatické rozhodnutí, ale rozšíření pohledu a rychlejší práce s variantami.
Dobrý QA specialista používá AI jako kopilota: zadá jí dobře ohraničený úkol, poskytne potřebný kontext, vyžádá si předpoklady a poté výsledek ověří proti systému, dokumentaci nebo reálnému chování uživatele. Odpovědnost za závěr zůstává vždy na člověku.
Jak postupovat správně
Vymezte úkol a očekávaný výstup
Místo obecného „otestuj tuto funkci“ popište roli AI: například navrhnout hraniční scénáře pro import kontaktů, rozdělit je podle rizika a uvést předpoklady. Čím přesnější je zadání, tím lépe lze výsledek zkontrolovat.
Odstraňte citlivá a produkční data
Do veřejného nebo neschváleného nástroje nevkládejte osobní údaje, interní tokeny, kompletní logy ani neveřejný zdrojový kód. Použijte anonymizovaný příklad, syntetická data a pouze nezbytnou část kontextu.
Dodejte doménový kontext
Uveďte pravidla produktu, cílového uživatele, omezení a známé výjimky. Bez kontextu AI často navrhne obecně správné scénáře, které však neodpovídají skutečnému procesu.
Požadujte varianty a předpoklady
Nechte AI uvést, z čeho vychází, co neví a jaké alternativní vysvětlení existuje. Tím se snižuje riziko, že přijmete první přesvědčivě znějící odpověď.
Ověřte výsledek proti důkazu
Každý důležitý závěr porovnejte s požadavkem, logem, daty nebo reprodukcí. AI může pomoci najít stopu, ale nemá přístup ke všem souvislostem a může si chybějící část domyslet.
Zaznamenejte lidské rozhodnutí
V ticketu nebo testovacím záznamu oddělte návrh vytvořený AI od ověřeného závěru. Uveďte, co bylo potvrzeno, co zůstává hypotézou a kdo rozhodnutí schválil.
Čemu se naopak vyhnout
- Slepému kopírování testovacích scénářů bez kontroly proti reálnému procesu.
- Předávání citlivých dat nástroji, jehož podmínky a způsob ukládání nejsou schválené.
- Určení kořenové příčiny pouze podle shrnutí logu bez reprodukce a technických důkazů.
- Příliš obecným promptům, které produkují dlouhé, ale málo použitelné seznamy.
- Měření přínosu pouze ušetřeným časem; sledujte také přesnost, úplnost a množství oprav.
Modelový praktický příklad
Při chybě exportu kampaně může AI nejprve roztřídit anonymizované úryvky logů do skupin: problém dat, autentizace, limit poskytovatele nebo chyba transformace. QA následně ověří časovou osu, konkrétní požadavek a odpověď API. AI urychlí orientaci, ale finální závěr stojí na ověřených důkazech.
Stejný princip lze použít při návrhu regresních scénářů. AI vytvoří první seznam, QA jej porovná s incidenty, analytikou používání a obchodními riziky. Výsledkem není více testů, ale lépe zvolená sada testů.
Ponaučení pro praxi
AI je nejpřínosnější tehdy, když rozšiřuje možnosti člověka, nikoli když zakrývá chybějící znalost. Správný postup kombinuje dobře zadaný úkol, bezpečná data, ověření proti zdroji a jasně zaznamenané lidské rozhodnutí.
Skutečný případ: příjemná odpověď nebyla dostatečný test
OpenAI 29. dubna 2025 oznámila návrat k předchozí verzi GPT-4o kvůli příliš souhlasnému chování. Ve vysvětlení z 2. května popsala i nedostatečné zachycení tohoto rizika před nasazením. Místem dopadu byla online služba ChatGPT. Jde o doložený případ z jejího vývoje, ne o můj projekt.
Z tohoto případu si odnáším otázku, zda náš test opravdu měří zamýšlenou vlastnost. Vysoká obliba odpovědi může vypovídat o tónu a pohodlnosti, ale sama neověří věcnou správnost. V QA bych podobně rozlišovala užitečnost návrhu, pravdivost jeho předpokladů a schopnost odhalit problém. To je moje interpretace poučení, nikoli další zjištění o interním procesu poskytovatele.
Modelová úloha: AI navrhuje kontroly importu
Představme si syntetický soubor s 200 řádky. Ve dvaceti chybí povinný identifikátor, deset řádků opakuje již existující kontakt a pět obsahuje neplatné datum. Nejdřív bych vyjasnila, zda se skupiny překrývají. Bez tohoto kroku nelze od celku jednoduše odečíst všechny nalezené výjimky. Právě podobná nenápadná otázka často odliší pěkný seznam testů od skutečně použitelné analýzy.
AI bych požádala o návrh scénářů pro každou skupinu a pro jejich kombinace. Očekávaný počet přijatých záznamů bych však spočítala nezávisle podle odsouhlaseného pravidla. Kdybych nechala stejný model vytvořit data, očekávání i vyhodnocení, riskovala bych uzavřený kruh: shodné předpoklady by se navzájem potvrzovaly, aniž by někdo ověřil jejich správnost.
U jednoho řádku může chybět identifikátor a zároveň obsahovat neplatné datum. Zajímalo by mě, zda aplikace vrátí obě chyby, pouze první nebo celý řádek odmítne bez vysvětlení. Každá varianta může být přípustná podle zadání, ale musí být konzistentní a srozumitelná uživateli. Výstup AI bych proto překládala do ověřitelných podmínek, ne pouze do názvů testů.
Jak bych ověřila skutečný přínos
Vybrala bych malou sadu známých požadavků a historických anonymizovaných chyb. Část úkolů bych zpracovala běžným postupem a část s podporou AI. Zaznamenala bych nejen čas prvního návrhu, ale také čas oprav, počet opomenutých rizik a počet tvrzení, která nebylo možné potvrdit. Deset minut ušetřených při psaní nemá velký význam, pokud následná kontrola zabere půl hodiny navíc.
Výsledky bych hodnotila s kolegou, který neví, jak návrh vznikl. Taková kontrola není vědeckým experimentem, může ale omezit nadšení z nového nástroje. Zvlášť bych sledovala nebezpečně sebejisté odpovědi: návrh testu založený na neexistující vlastnosti produktu, domyšlený význam pole nebo doporučení ignorovat výjimku. Tyto chyby mohou vypadat profesionálně a přesto zhoršit výsledek.
Co má zůstat v pracovním záznamu
U podstatného použití bych si ponechala verzi zadání, použitý nástroj, datum a stručný záznam lidského ověření. Neznamená to archivovat každou konverzaci. Smyslem je vysvětlit, podle čeho vznikl důležitý závěr a proč byl přijat. Pokud se model nebo instrukce později změní, máme možnost porovnat chování proti stejnému příkladu místo spoléhání na paměť.
U bankovních nebo zákaznických dat bych předem ověřila schválený způsob použití nástroje. Ani odstranění jména nemusí vytvořit bezpečný vstup, pokud kombinace ostatních údajů stále umožňuje identifikaci člověka nebo obchodního případu. Pro návrh scénářů často stačí popis struktury a zcela umělá data. Kvalita zadání přitom bývá důležitější než množství nahraného materiálu.
Shrnutí a doporučení
Doporučila bych začít jedním přesně vymezeným úkolem, nezávislým očekávaným výsledkem a měřením následných oprav. AI může dobře rozšířit seznam možností, ale nesmí být současně jediným autorem testu i jediným rozhodčím jeho správnosti. Úspěch bych poznala podle lepšího pokrytí skutečných rizik a srozumitelnějších podkladů pro tým, nikoli podle délky vygenerovaného seznamu.
Zdroje a odkazy
- OpenAI — Sycophancy in GPT-4o, 29 April 2025
- OpenAI — Expanding on what we missed with sycophancy, 2 May 2025
Zahraniční případ slouží k analytickému poučení; jeho právní rámec ani opatření nepřenáším automaticky na české banky. Modelové situace a navržený postup nejsou tvrzením o mých vlastních kontrolách.