Proč je téma důležité
Počet testů, počet nalezených chyb nebo procento automatizace se snadno vykazuje. Bez kontextu však neříká, zda je produkt kvalitnější, release bezpečnější nebo tým rychleji reaguje na problémy.
Dobrá metrika začíná rozhodnutím, které má podpořit. Teprve potom se vybírá měření, definice, zdroj dat a hranice, při které tým podnikne konkrétní krok.
Jak postupovat správně
Formulujte rozhodovací otázku
Například: Je release dostatečně bezpečný? Zlepšuje se stabilita importů? Zkracuje se doba od zjištění do odstranění dopadu?
Vyberte omezený počet metrik
Kombinujte výsledek, proces a riziko. Může jít o míru produkčních incidentů, dobu obnovy, únik defektů a stabilitu kritických testů.
Definujte výpočet a zdroj
Uveďte jmenovatel, období, zahrnuté případy a vlastnictví dat. Stejný název nesmí znamenat různá čísla pro různé týmy.
Sledujte trend a segmenty
Průměr může skrýt problém konkrétního zákazníka, platformy nebo procesu. Porovnávejte vývoj v čase a relevantní skupiny.
Propojte metriku s akcí
Stanovte práh nebo otázku, která spustí analýzu. Dashboard bez rozhodnutí je pouze dekorace.
Pravidelně ověřujte užitečnost
Pokud metrika nevede k rozhodnutí nebo podporuje nežádoucí chování, upravte ji nebo zrušte.
Čemu se naopak vyhnout
- Vanity metrikám, které vypadají pozitivně, ale nepodporují žádné rozhodnutí.
- Počtům bez jmenovatele, například „deset chyb“ bez rozsahu změn a uživatelů.
- Porovnávání týmů s odlišným produktem a rizikovým profilem.
- Sledování pouze průměru bez percentilů a segmentů.
- Metrikám, které lze snadno „splnit“ na úkor skutečné kvality.
Praktický příklad
Namísto samotného počtu automatických testů tým sleduje pokrytí kritických cest, podíl flaky běhů, dobu zpětné vazby a počet produkčních incidentů v těchto cestách. Když roste počet testů, ale také flakiness a doba pipeline, automatizace nepřináší očekávanou hodnotu.
Metriky tak neoslavují objem práce, ale ukazují, zda kontrolní systém funguje.
Ponaučení pro praxi
Metrika kvality je dobrá tehdy, když má jasnou definici, kontext a vede k lepšímu rozhodnutí. Méně dobře zvolených metrik je užitečnější než rozsáhlý dashboard bez akce.
Správný postup nemusí být složitý. Důležité je, aby byl vědomý, opakovatelný a aby tým dokázal vysvětlit, proč zvolil právě tento způsob kontroly. Kvalita nevzniká jedním nástrojem ani jednou rolí; vzniká kombinací dobrých otázek, důkazů a následné zpětné vazby.