Vzorek úvěrových spisů není zmenšená kopie banky, pokud jsme jej tak nenavrhli a neověřili. Může být zvolen pro hledání rizikových případů, pro pochopení procesu nebo pro statistický odhad. Každý účel vede k jinému výběru i k jiným závěrům. Při přípravě bych proto nejdříve napsala otázku a teprve potom vybírala záznamy. Seznam největších úvěrů je užitečný pro jeden pohled, ale neodpoví automaticky na to, jak běžně funguje kontrola menších obchodů nebo jak často se problém objevuje v celé populaci.
Skutečný příklad rozsáhlé kontroly
BaFin a Bundesbank zveřejnily 26. října 2014 výsledky německé části evropského komplexního hodnocení bank. Oficiální zpráva uvádí více než 18 000 prověřených úvěrových spisů a 15 000 položek zajištění v Německu a rizikově orientovaný výběr portfolií. Jde o konkrétní historickou kontrolní akci s vlastní metodikou. Z rozsahu této akce neodvozuji univerzální velikost vzorku pro jinou kontrolu ani její automatickou reprezentativnost.
Případ pro mě ukazuje, proč je nutné rozlišit výběr portfolií a výběr jednotlivých spisů. I velký počet záznamů může minout podstatný problém, pokud chybí relevantní skupina. Naopak malý cílený vzorek může odhalit skutečnou slabinu procesu, aniž by dovoloval vypočítat četnost v celé bance. Obě zjištění mohou být užitečná, ale potřebují přesné pojmenování. V závěru bych proto vysvětlila, koho vzorek zahrnoval, koho nezahrnoval a na jaký typ otázky byl navržen.
Nejdříve ověřit populaci
Před výběrem bych chtěla úplný seznam způsobilých případů, rozhodné datum a pravidlo zahrnutí. Počítají se smlouvy, klienti, skupiny klientů, nebo čerpání? Je ukončený úvěr stále součástí hodnoceného období? Jak se zachází s restrukturalizovanými případy? Bez těchto definic může být výběr technicky náhodný, ale založený na neúplném souboru. Kontrolovala bych počty a objemy proti dostupným nezávislým přehledům a u rozdílů požadovala vysvětlení. Vzorek nemůže napravit chybu, která vznikla už při sestavení jeho základní populace.
U datového exportu bych ověřila také duplicity a ztracené vazby. Jedna smlouva s více zajištěními se může po spojení tabulek objevit několikrát. Pokud potom vybíráme náhodně řádky, nepřímo zvýhodníme smlouvy s více položkami. Naopak úvěry bez zajištění mohou ze spojení úplně vypadnout. Taková technická chyba mění výběr, i když nikdo záměrně neovlivňoval jeho výsledek. Proto bych předpoklady výběru prověřila na několika konkrétních záznamech a uchovala postup sestavení exportu pro pozdější zopakování.
Modelový příklad: tři cíle, tři části vzorku
Uvažujme hypotetické portfolio 10 000 smluv. Chci pochopit posouzení schopnosti splácet, zacházení s výjimkami a dopad velkých expozic. Mohu připravit kombinovaný výběr: třicet běžných smluv, dvacet případů s výjimkou a deset největších expozic. Celkem jde o šedesát smluv, ale nejde o prostý náhodný vzorek. Každá část odpovídá jiné otázce. Pokud se stejná smlouva objeví ve dvou částech, zaznamenám překryv a zajistím, aby se skutečný počet unikátních spisů neprezentoval nesprávně.
Předpokládejme, že šest z dvaceti cíleně vybraných výjimek nemá dohledatelné zdůvodnění. Mohu říct, že v této části výběru bylo šest takových případů. Nemohu bez dalšího tvrdit, že 30 % všech smluv banky má stejnou vadu. Pro odhad četnosti by bylo nutné zvolit odpovídající návrh výběru a zohlednit pravděpodobnost zahrnutí i nejistotu odhadu. U cílené kontroly by dalším krokem mohlo být rozšíření na podobné případy nebo datový test celého souboru, pokud lze pravidlo převést do ověřitelné podmínky.
Jak bych vzorek dokumentovala
Uchovala bych verzi zdrojového souboru, čas exportu, filtr zahrnutí, výběrové pravidlo a seznam skutečně vybraných identifikátorů. Náhrada nedostupného spisu by měla mít důvod a neměla by zůstat neviditelná. Pokud chybí právě obtížnější případy a nahrazujeme je snadnými, výběr se může významně posunout. O samotné nedostupnosti bych uvažovala jako o možné otázce evidence a procesní dostupnosti. Neprokazuje automaticky věcnou chybu úvěru, ale může omezit schopnost banky doložit vlastní postup.
U každé kontroly bych rozlišila stejnou sadu otázek a specifické doplňující kroky. Srovnatelné hodnocení vyžaduje, aby dva posuzovatelé rozuměli kritériu podobně. Na malém společném vzorku bych proto předem porovnala interpretaci a upravila nejasné formulace. Zjištění bych zapisovala odděleně od úsudku o závažnosti. Nedostatečné datum na dokumentu, chybějící schválení a nesprávný výpočet nejsou stejná věc. Jasná klasifikace pomůže při souhrnu a zabrání tomu, aby jeden závažný problém zanikl v mnoha drobných odchylkách.
Kdy výběr rozšířit
Pokud se problém soustředí v jedné verzi systému nebo jednom období, další výběr bych směřovala k ověření této vazby. Nejdříve bych však chtěla prokázat, že informace o verzi a období je spolehlivá. U ručního procesu se může problém vázat k typu žádosti nebo předávání mezi útvary. Rozšíření by mělo odpovídat vysvětlení, které chceme testovat. Přidání dalších náhodných spisů bez jasné otázky může zvýšit pracnost, aniž by významně zlepšilo jistotu závěru nebo porozumění příčině.
Zároveň bych sledovala záznamy bez zjištěné chyby. Mohou ukázat, za jakých podmínek kontrola funguje. Pokud jsou všechny správné případy z jednoho kanálu a chybné z jiného, je to užitečná hypotéza pro porovnání procesů. Neoznačila bych však kanál za příčinu jen podle tohoto rozdělení; může se lišit produkt nebo klientská skupina. Potřebovala bych vhodné srovnání. Vzorek je výchozí bod pro analytické přemýšlení, nikoli nástroj, který automaticky promění souběh dvou znaků v příčinné vysvětlení.
Jak bych předala výsledky dalšímu týmu
Při předání výsledků bych oddělila seznam prověřených případů, seznam zjištění a návrh dalšího výběru. Každý má jiný účel a jejich smíchání ztěžuje navazující práci. Příjemce by měl poznat, zda byl konkrétní spis bez závady, nebyl dostupný, nebo ještě nebyl uzavřen. Prázdné pole není dostatečně jasný stav. Navrhla bych také uvést, co se v daném spisu nekontrolovalo. Jinak může následující tým omylem považovat omezenou kontrolu jednoho kritéria za úplné prověření celé úvěrové dokumentace.
Pro souhrn vedení bych připravila vysvětlení hlavních omezení běžným jazykem. Jestliže výběr záměrně zvýrazňuje výjimky, musí být tato informace přímo u výsledku, ne pouze v technické příloze. Doporučení bych spojila s konkrétní zjištěnou slabinou a uvedla, zda navrhuji opravit jednotlivé případy, změnit proces nebo nejprve zjistit rozsah. Tyto kroky nelze zaměňovat. Přesně vymezené doporučení umožní po určité době ověřit nápravu a zabrání tomu, aby se původní otázka ztratila v obecném příslibu lepší kontroly bez jasného důkazu dokončení.
Praktická kontrola seznamu
Před zahájením bych porovnala skutečně předané identifikátory s původním výběrem. Tato krátká kontrola může odhalit chybějící nebo zaměněné spisy ještě před dražším věcným posouzením.
Shrnutí a doporučení
Doporučila bych vždy spojit účel, populaci, způsob výběru a rozsah závěru. Ověřit úplnost exportu a jedinečnost záznamů, uchovat výběrovou stopu a uvádět výsledky podle jednotlivých částí vzorku. Cílené zjištění může být závažné i bez statistického zobecnění; právě přesné omezení mu dává důvěryhodnost. Historický evropský AQR ukazuje rozsah možné kontrolní práce, ale není univerzální šablonou. Pro konkrétní úkol je důležitější dobře položená otázka a odpovídající metoda než působivě velký počet prověřených spisů.