Dilema zkreslení odchylky

Ve statistikách a strojovém učení je dilema zkreslení - odchylka (nebo kompromis) problémem současné minimalizace dvou zdrojů chyb, které brání algoritmům supervizního učení generalizovat nad rámec jejich tréninkového vzorku:

Bias je chyba z nesprávných předpokladů v algoritmu učení. Vysoké zkreslení může souviset s algoritmem, který postrádá relevantní vztahy mezi vstupními údaji a očekávanými výstupy (nedostatečné učení).
Rozptyl je chyba kvůli citlivosti na malé kolísání tréninkového vzorku. Velká odchylka může vést k overfittingu , tedy k namodelování náhodného šumu tréninkových dat, spíše než očekávaných výstupů.

Dekompozice odchylky odchylky je způsob analýzy očekávání chyby predikce algoritmu pro učení konkrétního problému jako součet tří termínů: zkreslení, odchylka a veličina nazývaná chyba. Ireducibilní, vyplývající z hluku v samotný problém.

Tento kompromis se vztahuje na všechny formy supervizovaného učení : klasifikace , regrese (editační funkce) a strukturované (výstup) učení (en) . Rovněž bylo uplatněno vysvětlení účinnosti heuristiky v učení člověka.

Motivace

Kompenzace odchylky odchylky je ústředním problémem v učení pod dohledem. V ideálním případě bychom chtěli zvolit model, který přesně odráží zákonitosti tréninkových dat, ale který také zobecní testovací data (data, která nebyla použita k trénování modelu). Bohužel obvykle není možné provést obojí současně. Tréninkové metody s vysokou variabilitou mohou poměrně dobře představovat tréninkový vzorek, ale existuje riziko overfittingu na test nebo hlučných dat. Naproti tomu algoritmy s nízkou odchylkou obecně vytvářejí jednodušší modely, které nemají tendenci přetrénovat, ale mohou trénovat v datové sadě tréninku.

Modely s nízkým zkreslením jsou obecně složitější (např. Vícestupňová polynomiální regrese), ale umožňují přesnější zobrazení tréninkových dat. Mohou však také představovat část náhodného hluku cvičné hry, takže jejich předpovědi jsou i přes přidanou složitost méně přesné. Naproti tomu modely s vyšším zkreslením mají tendenci být relativně jednoduché (nižší stupeň nebo dokonce lineární polynomiální regrese), ale při použití nad množinu učení mohou vyprodukovat předpovědi nižšího rozptylu.

Bias-variance rozklad druhé mocniny chyby

Předpokládejme, že máme tréninkovou sadu skládající se z množiny bodů a skutečných hodnot spojených s každým bodem . Předpokládáme, že existuje hlučný funkční vztah , kde šum ,, má nulovou střední hodnotu a rozptyl . $x_ {1}, \ tečky, x_ {n}$ $y_i$ $x_ {i}$ ${\ displaystyle y_ {i} = f (x_ {i}) + \ epsilon _ {i}}$ $\ epsilon _ {i}$ $\ sigma ^ {2}$

Nalezení funkce, která generalizuje body mimo tréninkovou sadu, lze provést pomocí jednoho z mnoha algoritmů používaných pro trénink pod dohledem. V závislosti na funkci, kterou vybereme, lze očekávanou chybu na zkušebním vzorku rozdělit takto: ${\ hat {f}}$ ${\ hat {f}}$ $X$

{\ displaystyle {\ begin {aligned} \ mathrm {E} \ left [\ left (y - {\ hat {f}} (x) \ right) ^ {2} \ right] & = \ mathrm {Bias} \ left [{\ hat {f}} (x) \ right] ^ {2} + \ mathrm {Var} \ left [{\ hat {f}} (x) \ right] + \ sigma ^ {2} \\ \ end {zarovnáno}}}

nebo

{\ displaystyle {\ begin {aligned} \ mathrm {Bias} \ left [{\ hat {f}} (x) \ right] = \ mathrm {E} \ left [{\ hat {f}} (x) - f (x) \ vpravo] \ konec {zarovnáno}}}

{\ displaystyle {\ begin {aligned} \ mathrm {Var} \ left [{\ hat {f}} (x) \ right] = \ mathrm {E} \ left [\ left ({\ hat {f}} ( x) - \ mathrm {E} [{\ hat {f}} (x)] \ vpravo) ^ {2} \ vpravo] \ end {zarovnáno}}}

Očekávání se počítá ze sady různých možností tréninkového vzorku , které jsou generovány podle stejného rozdělení. Jsou to tři termíny: ${\ displaystyle x_ {1}, \ tečky, x_ {n}, y_ {1}, \ tečky, y_ {n}}$

kvadratická odchylka metody učení, kterou lze považovat za chybu v důsledku zjednodušených předpokladů použité metody. Například přístup k nelineární funkci pomocí metody lineárního modelu způsobí chyby odhadu kvůli tomuto předpokladu;
rozptyl metody učení, nebo více intuitivně, jak moc se metoda učení pohybuje kolem své střední hodnoty; ${\ displaystyle {\ hat {f}} (x)}$
neredukovatelná chyba . Jelikož jsou všechny tři pojmy kladné, jedná se o dolní mez očekávané chyby na zkušebních vzorcích. $\ sigma ^ {2}$

Čím složitější je model , tím slabší bude zkreslení. Díky složitosti se však model bude „mobilní“ přizpůsobovat datům, a proto bude jeho rozptyl větší. ${\ displaystyle {\ hat {f}} (x)}$

Demonstrace

Důkaz rozkladu odchylky odchylky pro kvadratickou chybu probíhá následovně. Abychom zjednodušili notaci, zkrátíme a . Nejprve si všimněte, že pro každou náhodnou proměnnou, kterou máme ${\ displaystyle f = f (x)}$ ${\ displaystyle {\ hat {f}} = {\ hat {f}} (x)}$ $X$

{\ displaystyle {\ begin {aligned} \ mathrm {Var} [X] = \ mathrm {E} [X ^ {2}] - \ mathrm {E} [X] ^ {2} \ end {aligned}}}

Přeskupením získáme:

{\ displaystyle {\ begin {aligned} \ mathrm {E} [X ^ {2}] = \ mathrm {Var} [X] + \ mathrm {E} [X] ^ {2} \ end {aligned}}}

Protože je deterministický $F$

{\ displaystyle {\ begin {aligned} \ mathrm {E} [f] = f \ end {aligned}}}

Dává a naznačuje . ${\ displaystyle y = f + \ epsilon}$ ${\ displaystyle \ mathrm {E} [\ epsilon] = 0}$ ${\ displaystyle \ mathrm {E} [y] = \ mathrm {E} [f + \ epsilon] = \ mathrm {E} [f] = f}$

Navíc od té doby ${\ displaystyle \ mathrm {Var} [\ epsilon] = \ sigma ^ {2}}$

{\ displaystyle {\ begin {aligned} \ mathrm {Var} [y] = \ mathrm {E} [(y- \ mathrm {E} [y]) ^ {2}] = \ mathrm {E} [(yf ) ^ {2}] = \ mathrm {E} [(f + \ epsilon -f) ^ {2}] = \ mathrm {E} [\ epsilon ^ {2}] = \ mathrm {Var} [\ epsilon] + \ mathrm {E} [\ epsilon] ^ {2} = \ sigma ^ {2} \ end {zarovnáno}}}

Protože a jsou nezávislí, můžeme psát $\ epsilon$ ${\ hat {f}}$

{\ displaystyle {\ begin {aligned} \ mathrm {E} \ left [(y - {\ hat {f}}) ^ {2} \ right] & = \ mathrm {E} \ left [y ^ {2} + {\ hat {f}} ^ {2} -2r {\ hat {f}} \ doprava] \\ & = \ mathrm {E} [y ^ {2}] + \ mathrm {E} \ doleva [{ \ hat {f}} ^ {2} \ right] - \ mathrm {E} [2y {\ hat {f}}] \\ & = \ mathrm {Var} [y] + \ mathrm {E} [y] ^ {2} + \ mathrm {Var} [{\ hat {f}}] + \ mathrm {E} [{\ hat {f}}] ^ {2} -2f \ mathrm {E} [{\ hat { f}}] \\ & = \ mathrm {Var} [y] + \ mathrm {Var} [{\ hat {f}}] + (f- \ mathrm {E} [{\ hat {f}}]) ^ {2} \\ & = \ mathrm {Var} [y] + \ mathrm {Var} [{\ hat {f}}] + \ mathrm {E} [f - {\ hat {f}}] ^ { 2} \\ & = \ sigma ^ {2} + \ mathrm {Var} [{\ hat {f}}] + \ mathrm {Bias} [{\ hat {f}}] ^ {2}. \ End { zarovnaný}}}

Aplikace na klasifikaci

Rozklad zkreslení byl původně formulován pro regresi nejmenších čtverců. V případě klasifikace pod ztrátu 0-1 (chybovost) je možné najít podobný rozklad. Jinak, pokud lze problém s klasifikací formulovat jako pravděpodobnostní klasifikaci, lze očekávanou čtvercovou chybu předpovězených pravděpodobností s ohledem na skutečné pravděpodobnosti rozložit jako dříve.

Přístupy

Zmenšení dimenze a výběr funkcí může snížit rozptyl a zároveň zjednodušit modely. Podobně větší tréninková sada má tendenci snižovat rozptyl. Přidání vysvětlujících proměnných ( funkcí ) má tendenci snižovat zkreslení, a to na úkor zavádění dalších odchylek.

Učící se algoritmy mají obecně určité nastavitelné parametry, které řídí zkreslení a rozptyl, např .:

Tyto zobecněné lineární modely mohou být regulovány , aby se snížil rozptyl za cenu zvýšení zaujatost.
U neuronových sítí se rozptyl zvyšuje a zkreslení klesá s počtem skrytých vrstev. Stejně jako v zobecněném lineárním modelu se obecně používá regularizace.
U metody k nejbližším sousedům vede vysoká hodnota k k vysokému zkreslení a nízké odchylce (viz níže).
S metodou Instance-based learning (en) lze regularizace dosáhnout změnou směsi prototypů a modelů.
U rozhodovacích stromů určuje rozptyl hloubka stromu. Rozhodovací stromy jsou obvykle prořezávány kvůli kontrole rozptylu.

Jedním ze způsobů řešení kompromisu je použití smíšených modelů a nastavení učení . Například podpora kombinuje několik „špatných“ modelů (vysoká odchylka) do sady, která má nižší odchylku než jednotlivé modely, zatímco pytlování kombinuje „nejlepší“ klasifikátory způsobem, který snižuje jejich rozptyl.

Metoda K nejbližších sousedů

V případě postupu k nejbližších sousedů , An explicitní vzorec existuje o bias - variance rozkladu parametru : $k$

{\ displaystyle \ mathrm {E} [(y - {\ hat {f}} (x)) ^ {2}] = \ vlevo (f (x) - {\ frac {1} {k}} \ součet _ {i = 1} ^ {k} f (N_ {i} (x)) \ vpravo) ^ {2} + {\ frac {\ sigma ^ {2}} {k}} + \ sigma ^ {2}}

kde jsou nejbližší sousedé ve cvičném vzorku. Předpětí (první člen rovnice) je monotónní funkce zvyšující se o , zatímco rozptyl (druhý člen) klesá, jak se zvyšuje. Ve skutečnosti s „rozumnými předpoklady“ zkreslení odhadu nejbližšího souseda (1-NN) úplně zmizí, když má velikost cvičeného vzorku sklon k nekonečnu. ${\ displaystyle N_ {1} (x), \ tečky, N_ {k} (x)}$ $k$ $X$ $k$ $k$

Aplikace na lidské učení

Přestože se v kontextu strojového učení široce diskutuje, dilema zkreslení bylo zkoumáno v kontextu kognitivní vědy , konkrétněji Gerda Gigerenzera a jeho spoluautorů v kontextu heuristického učení. Tvrdí, že lidský mozek řeší toto dilema v případě obecně šetrných na špatně charakterizovaných množinách poskytovaných experimentem přijetím heuristiky vysoké odchylky / nízké odchylky. To odráží skutečnost, že nezaujatý přístup nedefinuje dobře nové situace a také nepřiměřeně předpokládá přesnou znalost reality. Výsledné heuristiky jsou relativně přímé, ale vytvářejí lepší závěry v širším spektru situací.

Gelman a kol. tvrdí, že dilema zkreslení-odchylka naznačuje, že schopnosti, jako je obecné rozpoznávání objektů, se nelze naučit od nuly, ale vyžadují určitý stupeň vrozeného, který je pak vyřešen zkušeností. Je to proto, že přístupy bez odvozovacího modelu vyžadují nepřiměřeně velké tréninkové sady, pokud se chceme vyhnout velkým odchylkám.

Podívejte se také

Reference

( fr ) Tento článek je částečně nebo zcela převzat z článku anglické Wikipedie s názvem „ Bias - varianční kompromis “ ( viz seznam autorů ) .

Geman, Stuart; E. Bienenstock; R. Doursat (1992).
Bias - rozklad rozptylu, In Encyclopedia of Machine Learning.
Gareth James; Daniela Witten; Trevor Hastie; Robert Tibshirani (2013).
Hastie, Trevor; Tibshirani, Robert; Friedman, Jerome (2009).
Vijayakumar, Sethu (2007).
Shakhnarovich, Greg (2011).
Domingos, Pedro (2000).
Valentini, Giorgio; Dietterich, Thomas G. (2004).
Manning, Christopher D.; Raghavan, Prabhakar; Schütze, Hinrich (2008).
Belsley, David (1991).
Gagliardi, F (2011).
Jo-Anne Ting, Sethu Vijaykumar, Stefan Schaal, lokálně vážená regrese pro kontrolu.
Scott Fortmann-Roe.
Gigerenzer, Gerd; Brighton, Henry (2009).

externí odkazy

Scott Fortmann-Roe , „ Porozumění kompromisu Bias-Variance “ ,Červen 2012