Gauss-Markovova věta

Ve statistice se Gauss - Markov teorém , pojmenoval Carl Friedrich Gauss a Andrei Markov , uvádí, že v lineárním modelu , ve kterém se chyby mají nulovou očekávání , jsou nekorelované a jehož rozdíly jsou si rovny, nejlepší odhadce Lineární Nestranná koeficienty se o nejmenších čtverců odhadce . Obecněji je nejlepším nezaujatým lineárním odhadcem lineární kombinace koeficientů odhad nejmenších čtverců. Nepředpokládáme, že chyby mají normální rozdělení , ani že jsou nezávislé (pouze nekorelované), ani že mají stejný zákon pravděpodobnosti .

Přesněji řečeno, předpokládejme, že máme:

Yi=β0+β1Xi+εi{\ displaystyle Y_ {i} = \ beta _ {0} + \ beta _ {1} x_ {i} + \ varepsilon _ {i}}

pro i = 1 ,. . ., N , kde β 0 a β 1 jsou parametry, které nejsou náhodné, ale ne pozorovatelný, x i jsou známé proměnné, ε i jsou náhodné, a proto Y i jsou náhodné proměnné. Nechť x je malá, je to pozorování; a Y velkými písmeny, protože se jedná o náhodnou proměnnou. Náhodné proměnné ε i se nazývají „  chyby  “.

V praxi mohou existovat více než dvě vysvětlující proměnné ( x výše) a obecně se používá stručnější zápis do matice:

Y=Xβ+ε{\ displaystyle {\ boldsymbol {Y}} = {\ boldsymbol {x}} {\ boldsymbol {\ beta}} + {\ boldsymbol {\ varepsilon}}}

s a rozměru n x 1, o rozměru k x 1, a nakonec má rozměr n x k . Y{\ displaystyle {\ boldsymbol {Y}}}ε{\ displaystyle {\ boldsymbol {\ varepsilon}}}β{\ displaystyle {\ boldsymbol {\ beta}}}X{\ displaystyle {\ boldsymbol {x}}}

Gauss - Markov teorém je založen na předpokladech o očekávání a variance-kovarianční matice nebezpečí e  :

• E(εi)=0,{\ displaystyle {\ rm {E}} \ left (\ varepsilon _ {i} \ right) = 0,}
• protinar(εi)=σ2<∞,{\ displaystyle {\ rm {var}} \ left (\ varepsilon _ {i} \ right) = \ sigma ^ {2} <\ infty,}

(tj. všechny chyby mají stejnou odchylku: mluvíme o homoscedasticitě ) a

• vs.Óproti(εi,εj)=0{\ displaystyle {\ rm {cov}} \ left (\ varepsilon _ {i}, \ varepsilon _ {j} \ right) = 0}

pro  ; což odráží nekorelaci. Matematicky jsou hypotézy vyjádřeny takto: i≠j{\ displaystyle i \ not = j}

E⁡(ε)=0 a Var⁡(ε)=σ2Jáne{\ displaystyle \ operatorname {E} ({\ boldsymbol {\ varepsilon}}) = \ mathbf {0} \; \; {\ mbox {and}} \; \; \ operatorname {Var} ({\ boldsymbol {\ varepsilon}}) = \ sigma ^ {2} {\ boldsymbol {I_ {n}}}}

kde matice je matice identity n × n . Jáne{\ displaystyle {\ boldsymbol {I_ {n}}}}

Lineární odhad z p j je lineární kombinace sledovaných údajů:

β^j=VSY=vs.1Y1+⋯+vs.neYne{\ displaystyle {\ widehat {\ beta}} _ {j} = {\ boldsymbol {C}} {\ boldsymbol {Y}} = c_ {1} Y_ {1} + \ cdots + c_ {n} Y_ {n }}

ve kterých koeficienty c i nezávisí na předchozích koeficientech β i , protože tyto nejsou pozorovatelné, ale mohou záviset na x i , protože jsou to známé proměnné.

Střední kvadratická chyba takového odhadce je:

E((β^j-βj)2)=E((vs.1Y1+⋯+vs.neYne-βj)2),{\ displaystyle {\ rm {E}} \ left (({\ widehat {\ beta}} _ {j} - \ beta _ {j}) ^ {2} \ right) = {\ rm {E}} \ vlevo ((c_ {1} Y_ {1} + \ cdots + c_ {n} Y_ {n} - \ beta _ {j}) ^ {2} \ vpravo),}

tj. očekávání druhé mocniny rozdílu mezi odhadcem a parametrem, který se má odhadnout. Chyba střední kvadratické hodnoty odhadu se shoduje s jeho rozptylem, pokud je odhad nestranný; jinak je chyba kvadratické kvadratické hodnoty součtem rozptylu a druhou mocninou zkreslení.

Nejlepší nezaujatý odhadce je odhadce s nejnižší střední kvadratické chyby (tedy tu s nejnižším variance). Nejmenších čtverců odhady z β 0 a β 1 jsou funkce a z Y a x , které minimalizují součet čtverců zbytků  : β^0{\ displaystyle {\ widehat {\ beta}} _ {0}}β^1{\ displaystyle {\ widehat {\ beta}} _ {1}}

∑i=1ne(Yi-Y^i)2=∑i=1ne(Yi-(β^0+β^1Xi))2≡(Y-Xβ^)T(Y-Xβ^){\ displaystyle \ sum _ {i = 1} ^ {n} \ left (Y_ {i} - {\ widehat {Y}} _ {i} \ right) ^ {2} = \ sum _ {i = 1} ^ {n} \ left (Y_ {i} - \ left ({\ widehat {\ beta}} _ {0} + {\ widehat {\ beta}} _ {1} x_ {i} \ right) \ right) ^ {2} \ equiv (\ mathbf {Y} - \ mathbf {x} {\ boldsymbol {\ widehat {\ beta}}}) ^ {T} (\ mathbf {Y} - \ mathbf {x} {\ boldsymbol {\ widehat {\ beta}}})}

(Nezaměňujte chyby ε na základě nepozorovatelných veličin a zbytky na základě pozorování.)

Gauss-Markovova věta uvádí, že mezi všemi lineárními nezaujatými odhady má odhad nejmenších čtverců minimální rozptyl. Toto vše můžeme shrnout tím, že odhadem nejmenších čtverců je „MODRÝ“ (anglicky: Best Linear Unbiaised Estimator ).

Hlavní myšlenkou důkazu je, že odhady nejmenších čtverců jsou nekorelované s ohledem na každý nezaujatý lineární odhad nuly , tj. Každou lineární kombinaci, jejíž koeficienty nezávisí na nepozorovatelných proměnných β i, ale jejichž očekávání zůstává nulové, když hodnoty Změny β 1 a β 2 . Nezaujatý odhadce β bude součet odhadu nejmenších čtverců plus takový odhad nuly a lze ukázat, že jeho rozptyl je tedy součtem rozptylu odhadu nejmenších čtverců a rozptylu odhadu nuly. Jelikož je nezáporná, nejlepší bude odhad nejmenších čtverců. na1Y1+⋯+naneYne{\ displaystyle a_ {1} Y_ {1} + \ cdots + a_ {n} Y_ {n}}

Z hlediska formulace matice je důkaz Gauss-Markovovy věty proveden tím, že ukazuje, že rozdíl mezi kovarianční maticí jakéhokoli nezaujatého lineárního odhadce a odhadem nejmenších čtverců je pozitivní semi-definitivní matice .

Poznámky a odkazy

1. AC Aitken, Na nejmenších čtvercích a lineárních kombinacích pozorování , Proceedings of the Royal Society of Edinburgh, 1935, sv. 55, s. 42-48.

Podívejte se také

• Lineární regrese

<img src="https://fr.wikipedia.org/wiki/Special:CentralAutoLogin/start?type=1x1" alt="" title="" width="1" height="1" style="border: none; position: absolute;">