Explorați exemple de estimare a probabilității maxime

Să presupunem că avem un eșantion aleatoriu de la o populație de interes. Este posibil să avem un model teoretic pentru modul în care populația este distribuită. Cu toate acestea, pot exista mai mulți parametri ai populației, dintre care nu cunoaștem valorile. Estimarea probabilității maxime este o modalitate de a determina acești parametri necunoscuți. 

Ideea de bază din spatele estimării probabilității maxime este că determinăm valorile acestor parametri necunoscuți. Facem acest lucru în așa fel încât să maximizăm o funcție asociată de densitate de probabilitate sau funcție de masă de probabilitate. Vom vedea acest lucru mai detaliat în ceea ce urmează. Apoi vom calcula câteva exemple de estimare a probabilității maxime.

Pași pentru estimarea probabilității maxime

Discuția de mai sus poate fi rezumată prin următorii pași:

1. Începeți cu un eșantion de variabile X aleatoare independente₁, X₂,… X_n dintr-o distribuție comună fiecare cu funcția de densitate de probabilitate f (x; θ₁,... θ_k). Tezele sunt parametri necunoscuți.
2. Deoarece eșantionul nostru este independent, probabilitatea obținerii eșantionului specific pe care îl observăm se găsește prin înmulțirea probabilităților noastre împreună. Aceasta ne oferă o funcție de probabilitate L (θ)₁,... θ_k) = F (x₁ ; θ₁,... θ_k) f (x₂ ; θ₁,... θ_k) ... f (x_n ; θ₁,... θ_k) = Π f (x_eu ; θ₁,... θ_k).
3. În continuare, folosim Calculul pentru a găsi valorile theta care maximizează funcția noastră de probabilitate L. 
4. Mai precis, diferențiem funcția de probabilitate L față de θ dacă există un singur parametru. Dacă există mai mulți parametri, calculăm derivate parțiale ale L în raport cu fiecare dintre parametrii theta.
5. Pentru a continua procesul de maximizare, setați derivata L (sau derivate parțiale) egală cu zero și rezolvați pentru theta.
6. Putem folosi apoi alte tehnici (cum ar fi un al doilea test derivat) pentru a verifica dacă am găsit un maxim pentru funcția noastră de probabilitate.

Exemplu

Să presupunem că avem un pachet de semințe, fiecare având o probabilitate constantă p de succes al germinării. Plantăm n dintre acestea și numărați cei care încolțesc. Presupunem că fiecare sămânță încolțește independent de celelalte. Cum determinăm estimatorul de probabilitate maximă a parametrului p?

Începem prin a observa că fiecare sămânță este modelată de o distribuție Bernoulli cu un succes de p. Noi lăsăm X fie 0 sau 1, iar funcția de probabilitate a masei pentru o singură sămânță este f( X ; p ) = p^X (1 - p)^{1 - x}. 

Eșantionul nostru este format din n  diferit X_eu, fiecare dintre ele are o distribuție Bernoulli. Semințele care au încolțit au X_eu = 1 și semințele care nu reușesc să încolțească au X_eu = 0. 

Funcția de probabilitate este dată de:

L ( p ) = Π p^X_eu (1 - p)^{1 - X}_eu

Vedem că este posibil să rescrieți funcția de probabilitate folosind legile exponenților. 

L ( p ) = p^{Σ x}_eu (1 - p)^{n - Σ x}_eu

În continuare diferențiem această funcție în raport cu p. Presupunem că valorile pentru toate X_eu sunt cunoscute și, prin urmare, sunt constante. Pentru a diferenția funcția de probabilitate, trebuie să utilizăm regula produsului împreună cu regula de alimentare:

L '( p ) = Σ x_eup^{-1 + Σ x}_eu (1 - p)^{n - Σ x}_eu - (n - Σ x_eu ) p^{Σ x}_eu (1 - p)^{n-1 - Σ x}_eu

Rescriem unii dintre exponenții negativi și avem:

L '( p ) = (1 /p) Σ x_eup^{Σ x}_eu (1 - p)^{n - Σ x}_eu - 1 / (1 - p) (n - Σ x_eu ) p^{Σ x}_eu (1 - p)^{n - Σ x}_eu

= [(1 /p) Σ x_eu - 1 / (1 - p) (n - Σ x_eu)]_eup^{Σ x}_eu (1 - p)^{n - Σ x}_eu

Acum, pentru a continua procesul de maximizare, setăm această derivată egală cu zero și rezolvăm pentru p:

0 = [(1 /p) Σ x_eu - 1 / (1 - p) (n - Σ x_eu)]_eup^{Σ x}_eu (1 - p)^{n - Σ x}_eu

De cand p și (1- p) sunt non-zero avem asta

0 = (1 /p) Σ x_eu - 1 / (1 - p) (n - Σ x_eu).

Înmulțirea ambelor părți ale ecuației cu p(1- p) ne ofera:

0 = (1 - p) Σ x_eu - p (n - Σ x_eu).

Extindem partea dreaptă și vedem:

0 = Σ x_eu - p Σ x_eu - p n + pΣ x_eu = Σ x_eu - p n.

Astfel Σ x_eu = p n și (1 / n) Σ x_eu = p. Aceasta înseamnă că estimatorul probabilității maxime a p este o medie a eșantionului. Mai exact aceasta este proporția de probă a semințelor care au germinat. Acest lucru este perfect în conformitate cu ceea ce ne-ar spune intuiția. Pentru a determina proporția de semințe care vor germina, luați în considerare mai întâi un eșantion din populația de interes.

Modificări la pași

Există câteva modificări ale listei de pași de mai sus. De exemplu, așa cum am văzut mai sus, este în mod obișnuit să merită să petrecem ceva timp folosind o anumită algebră pentru a simplifica expresia funcției de probabilitate. Motivul pentru aceasta este de a facilita diferențierea.

O altă modificare a listei de pași de mai sus este luarea în considerare a logaritmelor naturale. Maximul pentru funcția L va apărea în același punct ca și pentru logaritmul natural al L. Astfel maximizarea ln L este echivalentă cu maximizarea funcției L.

De multe ori, datorită prezenței funcțiilor exponențiale în L, luarea logaritmului natural al lui L va simplifica foarte mult o parte din munca noastră.

Exemplu

Vedem cum să utilizăm logaritmul natural revizuind exemplul de mai sus. Începem cu funcția de probabilitate:

L ( p ) = p^{Σ x}_eu (1 - p)^{n - Σ x}_eu .

Ne folosim apoi legile logaritmului și vedem că:

R ( p ) = ln L ( p ) = Σ x_eu ln p + (n - Σ x_eu) ln (1 - p).

Vedem deja că derivatul este mult mai ușor de calculat:

R '( p ) = (1 /p) Σ x_eu - 1 / (1 - p) (n - Σ x_eu) .

Acum, ca și înainte, setăm acest derivat egal cu zero și înmulțim ambele părți cu p (1 - p):

0 = (1- p ) Σ x_eu - p(n - Σ x_eu) .

Rezolvăm pentru p și găsiți același rezultat ca înainte.

Utilizarea logaritmului natural al lui L (p) este utilă într-un alt mod. Este mult mai ușor să calculăm a doua derivată a lui R (p) pentru a verifica dacă avem cu adevărat un maxim la punctul (1 / n) Σ x_eu = p.

Exemplu

Pentru un alt exemplu, să presupunem că avem un eșantion X aleatoriu₁, X₂,… X_n dintr-o populație pe care o modelăm cu o distribuție exponențială. Densitatea probabilității pentru o variabilă aleatorie este de formă f( X ) = θ^-1 e ^{-X/ θ}

Funcția de probabilitate este dată de funcția de densitate a probabilității comune. Acesta este un produs al mai multor dintre aceste funcții de densitate:

L (θ) = Π θ^-1 e ^-X_eu^{/ θ} = θ^-n e ^{-Σ X}_eu^{/ θ}

Încă o dată este util să luăm în considerare logaritmul natural al funcției de probabilitate. Diferențierea acestui lucru va necesita mai puțin de lucru decât diferențierea funcției de probabilitate:

R (θ) = ln L (θ) = ln [θ^-n e ^{-Σ X}_eu^{/ θ}]

Ne folosim legile logaritmelor și obținem:

R (θ) = ln L (θ) = - n Este n θ + -ΣX_eu/ θ

Diferențiem în raport cu θ și avem:

R '(θ) = - n / θ + ΣX_eu/ θ²

Setați această derivată egală cu zero și vedem că:

0 = - n / θ + ΣX_eu/ θ².

Înmulțiți ambele părți cu θ² iar rezultatul este:

0 = - n θ + ΣX_eu.

Acum folosiți algebra pentru a rezolva pentru θ:

θ = (1 / n) ΣX_eu.

Vom vedea de aici că media eșantionului este ceea ce maximizează funcția de probabilitate. Parametrul θ care să se potrivească modelului nostru ar trebui să fie pur și simplu media tuturor observațiilor noastre.

Conexiuni

Există și alte tipuri de estimatori. Un tip alternativ de estimare este numit estimator nepărtinitor. Pentru acest tip, trebuie să calculăm valoarea așteptată a statisticii noastre și să stabilim dacă se potrivește cu un parametru corespunzător.