Terminál Cramér-Rao
Terminál Cramér-Rao
Ve statistice se Cramer-Rao vázán vyjádří nižší přiléhat k rozptylu části s odhadce bez předpojatosti na základě informací Fisher . To je také nazýváno Fréchet-Darmois-Cramér-Rao terminál (nebo FDCR terminál) na počest Maurice Fréchet , Georges Darmois , Harald Cramér a Calyampudi Radhakrishna Rao .
Uvádí, že inverzní z informací Fisher , z parametru t Vstup je nižší přiléhat k rozptylu nezaujatého odhadu tohoto parametru (označený ).
Já(θ){\ displaystyle {\ mathcal {I}} (\ theta)}θ^{\ displaystyle {\ widehat {\ theta}}}
protinar(θ^)≥Já(θ)-1=E[(∂∂θlnL(X;θ))2]-1{\ displaystyle \ mathrm {var} \ left ({\ widehat {\ theta}} \ right) \ geq {\ mathcal {I}} (\ theta) ^ {- 1} = \ mathbb {E} \ left [\ vlevo ({\ frac {\ částečné} {\ částečné \ theta}} \ ln L (X; \ theta) \ pravé) ^ {2} \ pravé] ^ {- 1}}Pokud je model pravidelný, lze napsat Cramer Rao vázaný:
kde L ( X ; θ) je funkce pravděpodobnosti .
Já(θ)-1=-E[∂2∂θ2lnL(X;θ)]-1{\ displaystyle {\ mathcal {I}} (\ theta) ^ {- 1} = - \ mathbb {E} \ vlevo [{\ frac {\ částečné ^ {2}} {\ částečné \ theta ^ {2}} } \ ln L (X; \ theta) \ vpravo] ^ {- 1}}
V některých případech nedosáhne žádný objektivní odhad spodní hranice.
Příklady
Vícerozměrné normální rozdělení
V případě d-dimenzionálního vícerozměrného normálního rozdělení:
prvky Fisherovy informační matice
jsou
X∼NEd(μ(θ),VS(θ)){\ displaystyle {\ boldsymbol {x}} \ sim N_ {d} \ left ({\ boldsymbol {\ mu}} \ left ({\ boldsymbol {\ theta}} \ right), {\ boldsymbol {C}} \ vlevo ({\ boldsymbol {\ theta}} \ vpravo) \ vpravo)}
Jám,k=∂μT∂θmVS-1∂μ∂θk+12tr(VS-1∂VS∂θmVS-1∂VS∂θk){\ displaystyle I_ {m, k} = {\ frac {\ částečný {\ boldsymbol {\ mu}} ^ {T}} {\ částečný \ theta _ {m}}} {\ boldsymbol {C}} ^ {- 1} {\ frac {\ částečný {\ boldsymbol {\ mu}}} {\ částečný \ theta _ {k}}} + {\ frac {1} {2}} \ mathrm {tr} \ vlevo ({\ boldsymbol {C}} ^ {- 1} {\ frac {\ částečný {\ boldsymbol {C}}} {\ částečný \ theta _ {m}}} {\ boldsymbol {C}} ^ {- 1} {\ frac { \ částečný {\ boldsymbol {C}}} {\ částečný \ theta _ {k}}} \ vpravo)}kde „tr“ označuje stopu .
Zvažte vzorek nezávislých pozorování neznámého průměru a známé rozptylu .
w[ne]{\ displaystyle w [n]}NE{\ displaystyle N}θ{\ displaystyle \ theta}σ2{\ displaystyle \ sigma ^ {2}}
w[ne]∼NENE(θ1,σ2Já).{\ displaystyle w [n] \ sim \ mathbb {N} _ {N} \ left (\ theta {\ boldsymbol {1}}, \ sigma ^ {2} {\ boldsymbol {I}} \ right).}Informace o Fisherovi jsou potom skalární dané vzorcem
Já(θ)=(∂μ(θ)∂θ)TVS-1(∂μ(θ)∂θ)=∑i=1NE1σ2=NEσ2,{\ displaystyle I (\ theta) = \ left ({\ frac {\ částečné {\ boldsymbol {\ mu}} (\ theta)} {\ částečné \ theta}} \ pravé) ^ {T} {\ boldsymbol {C }} ^ {- 1} \ left ({\ frac {\ částečné {\ boldsymbol {\ mu}} (\ theta)} {\ částečné \ theta}} \ vpravo) = \ součet _ {i = 1} ^ { N} {\ frac {1} {\ sigma ^ {2}}} = {\ frac {N} {\ sigma ^ {2}}},}a vazba Cramér-Rao je dána vzorcem
protinar(θ^)≥σ2NE.{\ displaystyle \ mathrm {var} \ left ({\ hat {\ theta}} \ right) \ geq {\ frac {\ sigma ^ {2}} {N}}.}
Normální náhodná proměnná neznámé odchylky
Předpokládejme, že X je náhodný vektor , který následuje normální rozdělení o známé očekávání a neznámé rozptylu . Vezměme si t o odhad z :
μ{\ displaystyle \ mu}σ2{\ displaystyle \ sigma ^ {2}}σ2{\ displaystyle \ sigma ^ {2}}
T=1ne∑i=1ne(Xi-μ)2.{\ displaystyle T = {\ frac {1} {n}} \ součet _ {i = 1} ^ {n} \ vlevo (X_ {i} - \ mu \ vpravo) ^ {2}.}Pak je T nezaujatý , protože . Jaká je odchylka T ?
σ2{\ displaystyle \ sigma ^ {2}}E[T]=σ2{\ displaystyle \ mathbb {E} [T] = \ sigma ^ {2}}
PROTInar(T)=protinar{(X-μ)2}ne=1ne[E{(X-μ)4}-(E{(X-μ)2})2]{\ displaystyle \ mathrm {Var} (T) = {\ frac {\ mathrm {var} \ {(X- \ mu) ^ {2} \}} {n}} = {\ frac {1} {n} } \ left [\ mathbb {E} \ left \ {(X- \ mu) ^ {4} \ right \} - \ left (\ mathbb {E} \ left \ {(X- \ mu) ^ {2} \ right \} \ right) ^ {2} \ right]}První člen je čtvrtý soustředěný moment a má hodnotu , druhý je čtverec rozptylu, tj . Proto:
3σ4{\ displaystyle 3 \ sigma ^ {4}}σ4{\ displaystyle \ sigma ^ {4}}
PROTInar(T)=2σ4ne.{\ displaystyle \ mathrm {Var} (T) = {\ frac {2 \ sigma ^ {4}} {n}}.}Jaké jsou Fisherovy informace pro tento příklad? V skóre je definován:
PROTI=∂∂σ2lnL(σ2,X){\ displaystyle V = {\ frac {\ částečné} {\ částečné \ sigma ^ {2}}} \ ln L (\ sigma ^ {2}, X)}přičemž L je funkce pravděpodobnosti . Takže v tomto případě
PROTI=∂∂σ2ln[12πσ2E-(X-μ)2/2σ2]=(X-μ)22(σ2)2-12σ2{\ displaystyle V = {\ frac {\ částečné} {\ částečné \ sigma ^ {2}}} \ ln \ vlevo [{\ frac {1} {\ sqrt {2 \ pi \ sigma ^ {2}}}} e ^ {- (X- \ mu) ^ {2} / {2 \ sigma ^ {2}}} \ right] = {\ frac {(X- \ mu) ^ {2}} {2 (\ sigma ^ {2}) ^ {2}}} - {\ frac {1} {2 \ sigma ^ {2}}}}Informace o n nezávislých událostech jsou pouze nnásobkem informací o jedné události, tj .
ne2(σ2)2{\ displaystyle {\ frac {n} {2 (\ sigma ^ {2}) ^ {2}}}}
Cramér-Rao nerovnost dává:
protinar(T)≥1Já.{\ displaystyle \ mathrm {var} (T) \ geq {\ frac {1} {I}}.}V tomto případě tedy máme rovnost. Potom říkáme, že odhad je efektivní.
Podmínky pravidelnosti
Tato nerovnost je založena na dvou slabých pravidelnost podmínek hustoty pravděpodobnosti , a odhadu :
F(X;θ){\ displaystyle f (x; \ theta)}T(X){\ displaystyle T (X)}
- Fisherovy informace jsou vždy definovány; ekvivalentním způsobem pro všechny takové ,X{\ displaystyle x}F(X;θ)>0{\ displaystyle f (x; \ theta)> 0}
∂∂θlnF(X;θ){\ displaystyle {\ frac {\ částečné} {\ částečné \ theta}} \ ln f (x; \ theta)}být hotový.
- Integraci vzhledem k x a diferenciaci vzhledem k θ lze vyměnit při výpočtu T ; buď znovu,
∂∂θ[∫T(X)F(X;θ)dX]=∫T(X)[∂∂θF(X;θ)]dX{\ displaystyle {\ frac {\ částečné} {\ částečné \ theta}} \ levé [\ int T (x) f (x; \ theta) \, dx \ pravé] = \ int T (x) \ levé [{ \ frac {\ částečné} {\ částečné \ theta}} f (x; \ theta) \ vpravo] \, dx}pokud je druhý člen hotový.
V některých případech může mít zkreslený odhadce rozptyl a střední kvadratickou chybu pod hranicí Cramér-Rao (tato hranice platí pouze pro nezaujaté odhady).
Pokud pravidelnost umožňuje dosáhnout druhé derivace, lze Fisherovu informaci dát do jiné formy a nerovnost Cramér-Rao dává:
PROTInar(θ^)≥1Já(θ)=1-E[∂2∂θ2lnF(X;θ)]{\ displaystyle \ mathrm {Var} \ left ({\ widehat {\ theta}} \ right) \ geq {\ frac {1} {{\ mathcal {I}} (\ theta)}} = {\ frac {1 } {- \ mathbb {E} \ vlevo [{\ frac {\ částečné ^ {2}} {\ částečné \ theta ^ {2}}} \ ln f (X; \ theta) \ vpravo]}}}
Reference
-
(in) HM Kay , Základy statistického zpracování signálu: teorie odhadu , Englewood Cliffs (NJ), Prentice Hall,1993, 595 s. ( ISBN 0-13-042268-1 ) , s. 47
Bibliografie
- (en) Abram Kagan , „ Another Look at the Cramér - Rao Nerovnost “ , The American Statistician , vol. 55, n o 3,Srpna 2001, str. 211-212
<img src="https://fr.wikipedia.org/wiki/Special:CentralAutoLogin/start?type=1x1" alt="" title="" width="1" height="1" style="border: none; position: absolute;">