Vícerozměrný normální zákon
Vícerozměrné normální rozdělení
|
|
|
|
Nastavení
|
μ=[μ1,...,μNE]⊤{\ displaystyle \ mu = [\ mu _ {1}, \ tečky, \ mu _ {N}] ^ {\ nahoru}} střední ( reálný vektor ) variančně-kovarianční matice ( jednoznačná pozitivní reálná matice )
Σ{\ displaystyle \ Sigma} NE×NE{\ displaystyle N \ krát N}![N \ krát N](https://wikimedia.org/api/rest_v1/media/math/render/svg/99a86c5231bb3cbb863d9d428ebe9ac8db8d4ffb) |
---|
Podpěra, podpora
|
X∈RNE{\ displaystyle x \ in \ mathbb {R} ^ {N}}
|
---|
Hustota pravděpodobnosti
|
1(2π)NE/2|Σ|1/2E-12(X-μ)⊤Σ-1(X-μ){\ displaystyle {\ frac {1} {(2 \ pi) ^ {N / 2} \ vlevo | \ Sigma \ vpravo | ^ {1/2}}} \; \; e ^ {- {\ frac {1 } {2}} (x- \ mu) ^ {\ top} \ Sigma ^ {- 1} (x- \ mu)}}
|
---|
Naděje
|
μ{\ displaystyle \ mu}
|
---|
Medián
|
μ{\ displaystyle \ mu}
|
---|
Móda
|
μ{\ displaystyle \ mu}
|
---|
Rozptyl
|
Σ{\ displaystyle \ Sigma}
|
---|
Asymetrie
|
0
|
---|
Entropie
|
ln((2πE)NE|Σ|){\ displaystyle \ ln \ left ({\ sqrt {(2 \, \ pi \, e) ^ {N} \ left | \ Sigma \ right |}} \ right) \!}
|
---|
Funkce generující momenty
|
MX(t)=exp(μ⊤t+12t⊤Σt){\ displaystyle M_ {X} (t) = \ exp \ left (\ mu ^ {\ top} t + {\ frac {1} {2}} t ^ {\ top} \ Sigma t \ right)}
|
---|
Charakteristická funkce
|
ϕX(t;μ,Σ)=exp(iμ⊤t-12t⊤Σt){\ displaystyle \ phi _ {X} (t; \ mu, \ Sigma) = \ exp \ left (i \ mu ^ {\ top} t - {\ frac {1} {2}} t ^ {\ top} \ Sigma t \ right)}
|
---|
Říkáme vícerozměrný normální zákon , nebo vícerozměrný normální nebo vícerozměrný zákon nebo Gaussovo právo s několika proměnnými , zákon pravděpodobnosti, který je vícerozměrným zobecněním normálního zákona .
Zatímco klasický normální zákon je parametrizován skalárním μ odpovídajícím jeho střední hodnotě a druhým skalárním σ 2 odpovídajícím jeho rozptylu, multinormální zákon je parametrizován vektorem představujícím jeho střed a kladnou semitečnou maticí, která je jeho maticí rozptylu -rovariance . Definujeme to jeho charakteristickou funkcí , pro vektor ,
μ∈RNE{\ displaystyle {\ boldsymbol {\ mu}} \ v \ mathbb {R} ^ {N}}
Σ∈MNE(R){\ displaystyle {\ boldsymbol {\ Sigma}} \ in {\ mathcal {M}} _ {N} (\ mathbb {R})}
X∈RNE{\ displaystyle {\ boldsymbol {x}} \ v \ mathbb {R} ^ {N}}![{\ displaystyle {\ boldsymbol {x}} \ v \ mathbb {R} ^ {N}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/55757dfbe1929df50333d5f49dc3f90a0da54dc0)
ϕμ,Σ(X)=exp(iX⊤μ-12X⊤ΣX){\ displaystyle \ phi _ {{\ boldsymbol {\ mu}}, {\ boldsymbol {\ Sigma}}} ({\ boldsymbol {x}}) = \ exp \ left (i {\ boldsymbol {x}} ^ { \ top} {\ boldsymbol {\ mu}} - {\ frac {1} {2}} {\ boldsymbol {x}} ^ {\ top} {\ boldsymbol {\ Sigma}} {\ boldsymbol {x}} \ že jo)}![{\ displaystyle \ phi _ {{\ boldsymbol {\ mu}}, {\ boldsymbol {\ Sigma}}} ({\ boldsymbol {x}}) = \ exp \ left (i {\ boldsymbol {x}} ^ { \ top} {\ boldsymbol {\ mu}} - {\ frac {1} {2}} {\ boldsymbol {x}} ^ {\ top} {\ boldsymbol {\ Sigma}} {\ boldsymbol {x}} \ že jo)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/299d17a709cab7f85fe67c874db6599e67ae230c)
V nedegenerovaném případě, kde Σ je kladně definitivní , tedy invertibilní , vícerozměrný normální zákon připouští následující hustotu pravděpodobnosti :
všímat si | X | determinant X ,
Fμ,Σ(X)=1(2π)NE/2|Σ|1/2exp[-12(X-μ)⊤Σ-1(X-μ)]{\ displaystyle f _ {{\ boldsymbol {\ mu}}, {\ boldsymbol {\ Sigma}}} \ left ({\ boldsymbol {x}} \ right) = {\ frac {1} {(2 \ pi) ^ {N / 2} \ left | {\ boldsymbol {\ Sigma}} \ right | ^ {1/2}}} \; \ exp \ left [- {\ frac {1} {2}} \ left ({ \ boldsymbol {x}} - {\ boldsymbol {\ mu}} \ doprava) ^ {\ top} {\ boldsymbol {\ Sigma}} ^ {- 1} \ doleva ({\ boldsymbol {x}} - {\ boldsymbol {\ mu}} \ vpravo) \ vpravo]}![{\ displaystyle f _ {{\ boldsymbol {\ mu}}, {\ boldsymbol {\ Sigma}}} \ left ({\ boldsymbol {x}} \ right) = {\ frac {1} {(2 \ pi) ^ {N / 2} \ left | {\ boldsymbol {\ Sigma}} \ right | ^ {1/2}}} \; \ exp \ left [- {\ frac {1} {2}} \ left ({ \ boldsymbol {x}} - {\ boldsymbol {\ mu}} \ doprava) ^ {\ top} {\ boldsymbol {\ Sigma}} ^ {- 1} \ doleva ({\ boldsymbol {x}} - {\ boldsymbol {\ mu}} \ vpravo) \ vpravo]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/6b014ed867e5e8229c2d9e49c85655685976e308)
Tento zákon je obvykle známý analogicky s jednorozměrným normálním zákonem.
NE(μ,Σ){\ displaystyle {\ mathcal {N}} ({\ boldsymbol {\ mu}}, \, {\ boldsymbol {\ Sigma}})}![{\ displaystyle {\ mathcal {N}} ({\ boldsymbol {\ mu}}, \, {\ boldsymbol {\ Sigma}})}](https://wikimedia.org/api/rest_v1/media/math/render/svg/51f85b7c3baa266d803645c5c7169406f56d2cce)
Nedegenerovaný zákon
Tato část se zabývá konstrukcí vícerozměrného normálního rozdělení v nedegenerovaném případě, kde je variančně-kovarianční matice Σ kladně definitivní.
Připomenutí jednorozměrného normálního zákona
Centrální limitní věta odhaluje sníženou centrovaný Gaussian proměnnou U (nulovou střední hodnotou, rozdílnost jednotky):
E[U]=0E[U2]=1{\ displaystyle \ mathbb {E} [U] = 0 \ qquad \ mathbb {E} [U ^ {2}] = 1}
pU(u)=12πE-12u2{\ displaystyle p_ {U} (u) = {\ frac {1} {\ sqrt {2 \ pi}}} \; \; \ mathrm {e} ^ {- {\ frac {1} {2}} u ^ {2}} \,}
Jdeme na obecnou Gaussovu proměnnou změnou proměnné
X=σU+μ{\ displaystyle X = \ sigma U + \ mu \,}
což vede k
E[X]=μE[(X-μ)2]=σ2{\ displaystyle \ mathbb {E} [X] = \ mu \ qquad \ mathbb {E} [(X- \ mu) ^ {2}] = \ sigma ^ {2}}
pX(X)=1σ2πE-(X-μ)22σ2{\ displaystyle p_ {X} (x) = {\ frac {1} {\ sigma {\ sqrt {2 \ pi}}}} \; \; \ mathrm {e} ^ {- {(x- \ mu) ^ {2}} \ nad {2 \ sigma ^ {2}}}}
Hustotu tohoto zákona charakterizuje exponenciál zahrnující exponent druhého stupně.
Jednotkové právo s několika proměnnými
Vzhledem k N nezávislých náhodných proměnných se stejným redukovaným centrovaným Gaussovým zákonem se zapíše jejich společná hustota pravděpodobnosti:
pU1...UNE(u1,...,uNE)=1(2π)NE/2E-12∑j=1NEuj2{\ displaystyle p_ {U_ {1} ... U_ {N}} (u_ {1}, ..., u_ {N}) = {\ frac {1} {{(2 \ pi)} ^ {N / 2}}} \; \; \ mathrm {e} ^ {- {1 \ nad 2} \ sum _ {j = 1} ^ {N} u_ {j} ^ {2}}}
Je to zákon, který je základem zákona χ² .
Může být syntetizován v maticových vzorcích. Nejprve definujeme náhodný vektor U, který má N proměnných jako komponenty, a stavový vektor u, který má své digitální hodnoty jako komponenty.
Můžeme spojit se stavovým vektorem střední vektor, který má pro komponenty prostředky komponent, to znamená v tomto případě nulový vektor:
E[U]=0{\ displaystyle \ mathbb {E} [{\ boldsymbol {U}}] = {\ boldsymbol {0}} \,}
Kovarianční matice má diagonální prvky (odchylky), které se rovnají 1, zatímco ne-diagonální prvky (kovariance v užším slova smyslu) jsou nulové: je to jednotková matice. Lze jej napsat pomocí transpozice:
E[UU⊤]=Já{\ displaystyle \ mathbb {E} [{\ boldsymbol {U}} {\ boldsymbol {U}} ^ {\ top}] = {\ boldsymbol {I}} \,}
Nakonec je zapsána hustota pravděpodobnosti:
pU(u)=1(2π)NE/2E-12u⊤u{\ displaystyle p _ {\ boldsymbol {U}} ({\ boldsymbol {u}}) = {\ frac {1} {{{(2 \ pi)} ^ {N / 2}}} \; \; \ mathrm {e} ^ {- {1 \ nad 2} {\ boldsymbol {u}} ^ {\ top} {\ boldsymbol {u}}}}
Obecný zákon s několika proměnnými
Získává se změnou afinní proměnné
X=naU+μ{\ displaystyle {\ boldsymbol {X}} = {\ boldsymbol {a}} {\ boldsymbol {U}} + {\ boldsymbol {\ mu}}}
Problém je omezena na případ matice je čtvercová (stejný počet výstupních proměnných) a pravidelný. Operátor očekávání vektoru, který je lineární, získáme střední vektor
E[X]=naE[U]+μ=μ{\ displaystyle \ mathbb {E} [{\ boldsymbol {X}}] = {\ boldsymbol {a}} \ mathbb {E} [{\ boldsymbol {U}}] + {\ boldsymbol {\ mu}} = { \ boldsymbol {\ mu}} \,}
a kovarianční matice
E[(X-μ)(X-μ)⊤]=E[naUU⊤na⊤]=nana⊤=Σ{\ displaystyle \ mathbb {E} [{\ boldsymbol {(X- \ mu)}} {\ boldsymbol {(X- \ mu)}} ^ {\ top}] = \ mathbb {E} [{\ boldsymbol { a}} {\ boldsymbol {U}} {\ boldsymbol {U}} ^ {\ top} {\ boldsymbol {a}} ^ {\ top}] = {\ boldsymbol {a}} {\ boldsymbol {a}} ^ {\ top} = {\ boldsymbol {\ Sigma}} \,}
Hustota pravděpodobnosti je zapsána
pX(X)=1(2π)NE/2|Σ|1/2E-12(X-μ)⊤Σ-1(X-μ){\ displaystyle p _ {\ boldsymbol {X}} ({\ boldsymbol {x}}) = {\ frac {1} {{{(2 \ pi)} ^ {N / 2} \ left | {\ boldsymbol { \ Sigma}} \ right | ^ {1/2}}} \; \ mathrm {e} ^ {- {1 \ nad 2} {\ boldsymbol {(x- \ mu)}} ^ {\ top} {\ boldsymbol {\ Sigma}} ^ {- 1} {\ boldsymbol {(x- \ mu)}}}}
Různé poznámky
- Nová lineární změna proměnných aplikovaná na X má za následek hustotu pravděpodobnosti, která má stejný matematický tvar:
Y=bX+ν=bnaU+bμ+ν{\ displaystyle {\ boldsymbol {Y}} = {\ boldsymbol {b}} {\ boldsymbol {X}} + {\ boldsymbol {\ nu}} = {\ boldsymbol {b}} {\ boldsymbol {a}} { \ boldsymbol {U}} + {\ boldsymbol {b}} {\ boldsymbol {\ mu}} + {\ boldsymbol {\ nu}}}
- Základní vzorce, běžně získané z maticového počtu, se překládají do skalárních výrazů:
Xk=∑j=1NEnakjUj(k=1,NE){\ displaystyle X_ {k} = \ součet _ {j = 1} ^ {N} {a_ {kj} U_ {j}} \, (k = 1, N) \,}
pX1...XNE(X1,...XNE)=1(2π)NE/2|Σ|1/2E-12∑j=1NE∑k=1NEtjk(Xj-μj)(Xk-μk){\ displaystyle p_ {X_ {1} ... X_ {N}} (x_ {1}, ... x_ {N}) = {\ frac {1} {{(2 \ pi)} ^ {N / 2} \ left | {\ boldsymbol {\ Sigma}} \ right | ^ {1/2}}} \; \; \ mathrm {e} ^ {- {1 \ přes 2} \ sum _ {j = 1} ^ {N} \ sum _ {k = 1} ^ {N} t_ {jk} (x_ {j} - \ mu _ {j}) (x_ {k} - \ mu _ {k})}}
přičemž t jk jsou koeficienty inverzní kovarianční matice.
- Exponent ve výše uvedeném vzorci je kvadratický s ohledem na všechny proměnné. Je ověřeno, že integrace ve vztahu k jednomu z nich poskytuje podobný výsledek. Postupné integrace ( N -1) vedou k zákonu mezní pravděpodobnosti opatřenému kvadratickým exponentem: každá proměnná je Gaussova, což nebylo a priori zřejmé .
- Kombinací předcházejících poznámek se dospěje k výsledku, podle kterého je jakákoli lineární kombinace složek Gaussova vektoru Gaussovou proměnnou.
- V tomto společném zákonu pravděpodobnosti každé dvojici dekorelovaných proměnných odpovídá diagonální kovarianční matice, která zajišťuje jejich nezávislost. Ve skutečnosti je tento pár sám Gaussian a jeho hustota kloubu je výsledkem hustoty jeho dvou složek.
- Termín přítomný v exponenciálu je druhou mocninou Mahalanobisovy vzdálenosti .(X-μ)⊤Σ-1(X-μ){\ displaystyle \ left ({\ boldsymbol {x}} - {\ boldsymbol {\ mu}} \ right) ^ {\ top} {\ boldsymbol {\ Sigma}} ^ {- 1} \ left ({\ boldsymbol { x}} - {\ boldsymbol {\ mu}} \ vpravo)}
![{\ displaystyle \ left ({\ boldsymbol {x}} - {\ boldsymbol {\ mu}} \ right) ^ {\ top} {\ boldsymbol {\ Sigma}} ^ {- 1} \ left ({\ boldsymbol { x}} - {\ boldsymbol {\ mu}} \ vpravo)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/c2aba68ae0e3aab0e58738cfd004f143eac76f67)
Podmíněné distribuce
Pokud , a jsou rozděleny, jak je popsáno níže
X{\ displaystyle X}
μ{\ displaystyle \ mu}
Σ{\ displaystyle \ Sigma}![\ Sigma](https://wikimedia.org/api/rest_v1/media/math/render/svg/9e1f558f53cda207614abdf90162266c70bc5c1e)
μ=[μ1μ2]{\ displaystyle \ mu = {\ begin {bmatrix} \ mu _ {1} \\\ mu _ {2} \ end {bmatrix}} \ quad}![{\ displaystyle \ mu = {\ begin {bmatrix} \ mu _ {1} \\\ mu _ {2} \ end {bmatrix}} \ quad}](https://wikimedia.org/api/rest_v1/media/math/render/svg/3d711bc792479b43d43c412fe8e749f797fcc713)
s rozměry kde
[q×1p×1]{\ displaystyle {\ begin {bmatrix} q \ krát 1 \\ p \ krát 1 \ konec {bmatrix}}}
NE=p+q{\ displaystyle N = p + q}
Σ=[Σ11Σ12Σ21Σ22]{\ displaystyle \ Sigma = {\ begin {bmatrix} \ Sigma _ {11} & \ Sigma _ {12} \\\ Sigma _ {21} & \ Sigma _ {22} \ end {bmatrix}} \ quad}![{\ displaystyle \ Sigma = {\ begin {bmatrix} \ Sigma _ {11} & \ Sigma _ {12} \\\ Sigma _ {21} & \ Sigma _ {22} \ end {bmatrix}} \ quad}](https://wikimedia.org/api/rest_v1/media/math/render/svg/843a3fdf2c4afff317b1c5ce9bfd0cf66dfbda58)
s rozměry
[q×qq×pp×qp×p]{\ displaystyle {\ begin {bmatrix} q \ times q & q \ times p \\ p \ times q & p \ times p \ end {bmatrix}}}
a
X=[X1X2]∼NENE(μ,Σ){\ displaystyle X = {\ begin {bmatrix} X_ {1} \\ X_ {2} \ end {bmatrix}} \ sim {\ mathcal {N}} _ {N} \ left (\ mu, \ Sigma \ right )}
potom rozdělení podmíněně na je vícerozměrné normální rozdělení kde
X1{\ displaystyle X_ {1}}
X2=na{\ displaystyle X_ {2} = a}
(X1|X2=na)∼NEq(μ1|na,Σ11.2){\ displaystyle (X_ {1} | X_ {2} = a) \ sim {\ mathcal {N}} _ {q} (\ mu _ {1 | a}, \ Sigma _ {11.2})}![{\ displaystyle (X_ {1} | X_ {2} = a) \ sim {\ mathcal {N}} _ {q} (\ mu _ {1 | a}, \ Sigma _ {11.2})}](https://wikimedia.org/api/rest_v1/media/math/render/svg/0cee5bf8221e3ed7ab3e46157146a622cb1d3dd2)
μ1|na=μ1+Σ12Σ22-1(na-μ2){\ displaystyle \ mu _ {1 | a} = \ mu _ {1} + \ Sigma _ {12} \ Sigma _ {22} ^ {- 1} \ vlevo (a- \ mu _ {2} \ vpravo) }![{\ displaystyle \ mu _ {1 | a} = \ mu _ {1} + \ Sigma _ {12} \ Sigma _ {22} ^ {- 1} \ vlevo (a- \ mu _ {2} \ vpravo) }](https://wikimedia.org/api/rest_v1/media/math/render/svg/50f5c70b5905ee1a5b5e32d21164d5757f50ae71)
a je zapsána matice variance-kovarianční matice
Σ11.2=Σ11-Σ12Σ22-1Σ21.{\ displaystyle \ Sigma _ {11.2} = \ Sigma _ {11} - \ Sigma _ {12} \ Sigma _ {22} ^ {- 1} \ Sigma _ {21}.}![{\ displaystyle \ Sigma _ {11.2} = \ Sigma _ {11} - \ Sigma _ {12} \ Sigma _ {22} ^ {- 1} \ Sigma _ {21}.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/3971302e9d01f0989b8e0ad71a3ed7348bd2a15b)
Tato matice je Schurova doplněk z oblasti .
Σ22{\ displaystyle {\ mathbf {\ Sigma} _ {22}}}
Σ{\ displaystyle {\ mathbf {\ Sigma}}}![{\ displaystyle {\ mathbf {\ Sigma}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/b8d79435492d63d29ce2506eab5d7934b1414bf9)
Všimněte si, že věděl, že je rovna změní rozptyl , a že stejně tak překvapením, že průměrná také změněn. To je třeba ve srovnání se situací, v níž nevíme , přičemž v tomto případě má pro distribuci
. To vyplývá ze stavu, který není triviální!
X2{\ displaystyle X_ {2}}
X1{\ displaystyle X_ {1}}
X1{\ displaystyle X_ {1}}
NEq(μ1,Σ11){\ displaystyle {\ mathcal {N}} _ {q} \ vlevo (\ mu _ {1}, \ Sigma _ {11} \ vpravo)}
X∼NENE(μ,Σ){\ displaystyle X \ sim {\ mathcal {N}} _ {N} \ vlevo (\ mu, \ Sigma \ vpravo)}![{\ displaystyle X \ sim {\ mathcal {N}} _ {N} \ vlevo (\ mu, \ Sigma \ vpravo)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/09947c195a5fbb90e58fd583a6654340c62c5379)
Matice se nazývá matice regresního koeficientu .
Σ12Σ22-1{\ displaystyle \ Sigma _ {12} \ Sigma _ {22} ^ {- 1}}![{\ displaystyle \ Sigma _ {12} \ Sigma _ {22} ^ {- 1}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/46204ea60669f5d8fc055b499e606bbe29820889)
Vlastnosti
- Izoobrysy nesingulárního vícerozměrného normálního rozdělení jsou elipsoidy se středem na střední μ . Směry hlavních os těchto elipsoidy jsou vektory z å . Čtverce relativních délek těchto os jsou dány vlastními hodnotami spojenými s těmito vlastními vektory.
H(F)=-∫RNEF(X)lnF(X)dX{\ displaystyle H \ left (f \ right) = - \ int _ {\ mathbb {R} ^ {N}} f (x) \ ln f (x) \, \ mathrm {d} x}
=12(NE+NEln(2π)+ln|Σ|){\ displaystyle = {\ frac {1} {2}} \ levý (N + N \ ln \ levý (2 \ pi \ pravý) + \ ln \ levý | \ Sigma \ pravý | \ pravý) \!}
=12ln{(2πE)NE|Σ|}{\ displaystyle = {\ frac {1} {2}} \ ln \ {(2 \ pi \ mathrm {e}) ^ {N} \ vlevo | \ Sigma \ vpravo | \}}![{\ displaystyle = {\ frac {1} {2}} \ ln \ {(2 \ pi \ mathrm {e}) ^ {N} \ vlevo | \ Sigma \ vpravo | \}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/8d4fe56f377ca735cb9c51d08f2a4d20289caa3a)
- Kullback-Leibler divergence má zvláštní formu v případě dvou vícerozměrných normálních zákonů aNE0(μ0,Σ0){\ displaystyle {\ mathcal {N}} _ {0} (\ mu _ {0}, \ Sigma _ {0})}
NE1(μ1,Σ1){\ displaystyle {\ mathcal {N}} _ {1} (\ mu _ {1}, \ Sigma _ {1})}
DKL(NE0‖NE1)=12(ln(|Σ1||Σ0|)+tr(Σ1-1Σ0)+(μ1-μ0)⊤Σ1-1(μ1-μ0)-NE).{\ displaystyle D _ {\ text {KL}} (N_ {0} \ | N_ {1}) = {1 \ nad 2} \ left (\ ln \ left ({\ frac {\ left | \ Sigma _ { 1} \ right |} {\ left | \ Sigma _ {0} \ right |}} \ right) + \ mathrm {tr} \ left (\ Sigma _ {1} ^ {- 1} \ Sigma _ {0} \ right) + \ left (\ mu _ {1} - \ mu _ {0} \ right) ^ {\ top} \ Sigma _ {1} ^ {- 1} (\ mu _ {1} - \ mu _ {0}) - N \ vpravo).}![{\ displaystyle D _ {\ text {KL}} (N_ {0} \ | N_ {1}) = {1 \ nad 2} \ left (\ ln \ left ({\ frac {\ left | \ Sigma _ { 1} \ right |} {\ left | \ Sigma _ {0} \ right |}} \ right) + \ mathrm {tr} \ left (\ Sigma _ {1} ^ {- 1} \ Sigma _ {0} \ right) + \ left (\ mu _ {1} - \ mu _ {0} \ right) ^ {\ top} \ Sigma _ {1} ^ {- 1} (\ mu _ {1} - \ mu _ {0}) - N \ vpravo).}](https://wikimedia.org/api/rest_v1/media/math/render/svg/bee58abfe229a0918e7c854decdbba82a0509754)
- Pojem kumulativní funkce Φ (nebo distribuční funkce) normálního zákona v dimenzi 1 lze zobecnit na vícerozměrný normální zákon. Klíčovým principem je Mahalanobisova vzdálenost : kumulativní funkcí je pravděpodobnost, že normální náhodná proměnná spadne do elipsy určené její vzdáleností od Mahalanobis r po Gaussian. Existují analytické vzorce pro výpočet hodnot kumulativní funkce.Φne(r){\ displaystyle \ Phi _ {n} (r)}
![{\ displaystyle \ Phi _ {n} (r)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/41929dc7a629855f7e532eb964bbfaeead862162)
Simulace
Abychom simulovali multinormální zákon, jehož parametry jsou známé nebo odhadnuté, tj. A , snažíme se generovat umělý vzorek nezávislých vektorů .
X∼NE(μ,Σ){\ displaystyle {\ boldsymbol {X}} \ sim {\ mathcal {N}} (\ mu, \, \ Sigma)}
m∼μ{\ displaystyle m \ sim \ mu}
VS∼Σ{\ displaystyle C \ sim \ Sigma}
X{\ displaystyle {\ boldsymbol {X}}}![{\ boldsymbol {X}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/899e933d518eefcbbd0c48512cc7887ee117d040)
Pokud C není diagonální , není možné postupně vytvářet n proměnných X i , protože tato metoda by nerespektovala kovariance.
Přístup spíše spočívá ve vyjádření vektoru X jako lineární kombinace nezávislých skalárních proměnných formy
Yi∼NE(0,1){\ displaystyle Y_ {i} \ sim {\ mathcal {N}} (0,1)}![{\ displaystyle Y_ {i} \ sim {\ mathcal {N}} (0,1)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/e7ff6fb876015b826998c5e3056600414bddf9bd)
X=m+BY{\ displaystyle {\ boldsymbol {X}} = m + B {\ boldsymbol {Y}}}![{\ displaystyle {\ boldsymbol {X}} = m + B {\ boldsymbol {Y}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/526c1a65f5a5e984661491df7604f189e3aaf191)
kde B je čtvercová matice splňující omezení
VS=BBT.{\ displaystyle C = BB ^ {T}.}![{\ displaystyle C = BB ^ {T}.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/8ef5e0db831b70186d5bcc2397e851eef8ed696e)
Vlastnost kovariance vskutku ukazuje, že toto omezení zajišťuje, že kovariance je X respektována .
Po určení B , potom generovat simulace z Y i pro (pomocí výše uvedeného vztahu) nezávislých verzí vektoru X .
Existuje několik možností pro výběr B :
VS=ÓDÓT{\ displaystyle C = ODO ^ {T}}![{\ displaystyle C = ODO ^ {T}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/c14732ce9baac05805432c2c637a90335ba75889)
kde
O je
ortogonální matice, jejíž sloupce jsou vlastní vektory
C , a
D je diagonální matice složená z vlastních čísel
C , všech kladných nebo nulových. Musíte si jen vybrat
B=ÓD1/2{\ displaystyle B = OD ^ {1/2}}![{\ displaystyle B = OD ^ {1/2}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/66dbde65e75e109d5026c796eea95bf09497584e)
.
Poznámky:
- Ačkoli jsou tyto přístupy teoreticky ekvivalentní, druhý je numericky výhodnější, protože vykazuje lepší stabilitu, když je stav kovarianční matice „špatný“.
- Generátor pseudonáhodných čísel nejčastěji smyčkuje hodnoty omezené řady (stejné výsledky najdeme po dosažení konce řady). S tímto aspektem buďte opatrní, pokud jde o generování velkého počtu simulací multinormálního vektoru velké velikosti n : po vyčerpání série již nebude zaručena nezávislost.
Aplikace
Vícerozměrný normální zákon se používá zejména při zpracování lékařských snímků. Proto se například často používá při zobrazování difuzního tenzoru . Tento snímek skutečně modeluje distribuci hlavních směrů difúze vody vícerozměrným normálním zákonem s nulovým průměrem. Tenzor v každém bodě obrazu tedy není nic jiného než kovarianční matice vícerozměrného normálního zákona.
Druhou aplikací vícerozměrné normální distribuce je stanovení intenzity MRI v mozku pacienta, které tvoří různé tkáňové třídy ( šedá hmota , bílá hmota , mozkomíšní mok ). Tato technika je založena na použití algoritmu maximalizace očekávání, ve kterém je každá z tříd modelována vícerozměrným normálním zákonem, jehož dimenze se rovná počtu modalit použitých pro klasifikaci.
Poznámky a odkazy
-
(in) DV Gokhale, NA Ahmed, BC Res, NJ Piscataway, „ Entropy Estimators for Expressions and their Multivariate Distribuce “ , IEEE Transaction on Information Theory , sv. 35, n o 3,Květen 1989, str. 688–692
-
Viz například (in) Michael Bensimhoun , „ N-Dimenzionální kumulativní funkce a další užitečná fakta o Gaussianech a normální hustotě “ [PDF] ,2006
Související články
<img src="https://fr.wikipedia.org/wiki/Special:CentralAutoLogin/start?type=1x1" alt="" title="" width="1" height="1" style="border: none; position: absolute;">