Křížová validace

Křížového ověřování ( „ cross-validation “ ) je, v učení stroje , způsobu pro odhad spolehlivosti modelu založeného na technice vzorkování .

Užitečnost křížové validace

Předpokládejme, že máme statistický model s jedním nebo více neznámými parametry a tréninkovou datovou sadu, na které se model naučíme (nebo „trénujeme“). Výcvikový proces optimalizuje parametry modelu tak, aby co nejvíce odpovídal tréninkovým datům. Pokud pak vezmeme nezávislý validační vzorek, údajně ze stejné populace jako tréninkový vzorek, obecně se ukáže, že model nemodeluje validační data stejně jako tréninková data: hovoříme o overfittingu . Nezávislý ověřovací vzorek však není vždy k dispozici. Kromě toho se může výkon ověření modelu u různých ověřovacích vzorků lišit. Křížová validace umožňuje odvodit několik sad ověřování ze stejné databáze, a tak získat robustnější odhad s předpětím a rozptylem výkonu ověřování modelu.

Techniky ověřování

Existuje mnoho variant ověření, ale můžeme nejprve rozlišit:

Non-cross validation, „ testset validation “ or „ holdout method “ : rozdělíme velikost vzorku na dva dílčí vzorky, první se nazývá učení (obvykle větší než 60% vzorku) a druhý uvedený validace nebo testování. Model je postaven na cvičném vzorku a ověřen na zkušebním vzorku s výkonovým skóre podle našeho výběru. $ne$
Křížová validace blokuje „ k-násobnou křížovou validaci “ : rozdělení původních vzorků (nebo „bloků“) vzorku , poté vybere jeden ze vzorků jako sadu validace, zatímco ostatní vzorky se všechny učí. Po učení lze vypočítat výkon ověření. Poté se operace opakuje výběrem jiného ověřovacího vzorku z předdefinovaných bloků. Na konci procedury tak získáme skóre výkonu, jedno na blok. Průměrnou a směrodatnou odchylku skóre výkonu lze vypočítat pro odhad zkreslení a rozptylu výkonu ověřování. $k$ $k$ $k$ $k-1$ $k$ $k$

Tabulka distribuce dat pro křížovou validaci na k = 3 bloky

k	blok 1	blok 2	blok 3
1	validace	učení se	učení se
2	učení se	validace	učení se
3	učení se	učení se	validace

Křížová validace jednoho proti všem, „ křížová validace s vynecháním jedné “ (LOOCV): toto je speciální případ křížové validace bloku . To znamená, že při každé iteraci validace učení se učení provádí na pozorováních a validace na jediném zbývajícím pozorování. $k$ $k = n$ $n-1$

Po provedení ověření modelu je poté nutné projít zkouškou s dříve vyhrazenou sadou zkoušek.

Správa nevyvážených databází

V klasifikačních úkolech může být distribuce tříd v databázi nevyvážená, tj. Počet pozorování na třídu nemusí být u jedné třídy stejný: pokud označíme počet pozorování -té třídy, pak existuje takový to . V tomto případě, aby se zabránilo zkreslení výkonu validace (a učení) změnou distribuce tříd z jedné sady validace (resp. Učení) do druhé, doporučuje se použít stratifikovanou křížovou validaci („stratifikovaná křížová validace“) . Stratifikace spočívá v zajištění stejného rozložení tříd ve všech použitých sadách školení a ověřování. To znamená, že pokud počáteční databáze představuje například 3 pozorování třídy 1 pro 7 pozorování třídy 2, pak každá ověřovací sada (resp. Učení) musí představovat tento poměr 3 pro 7. $nebo$ $i$ ${\ displaystyle \ {i, j \}}$ ${\ displaystyle n_ {i} \ neq n_ {j}}$

V případě křížové validace s bloky jde jednoduše o distribuci tříd stejným způsobem z jednoho bloku do druhého. Ověření a výukové sady, které z něj budou odvozeny, zdědí tuto distribuci. $k$

Podívejte se také

Interní odkazy

Reference

Payam Refaeilzadeh, Lei Tang, Huan Liu, „ Cross-Validation “ ( Archiv • Wikiwix • Archive.is • Google • Que faire? ) (Přístup k 20. dubnu 2020 )
Andrew W. Moore, Cross-validation for detecting and prevent overfitting