Метад максімальнай праўдападобнасці

Метад максімальнай праўдападобнасці (ММП) — метад Шаблон:Нп5 Шаблон:Нп5 меркаванага размеркавання імавернасцей на аснове выбаркі назіранняў. Ацэнка дасягаецца Шаблон:Нп5 Шаблон:Нп5 такім чынам, каб згодна з меркаванай Шаблон:Нп5 Шаблон:Нп5 былі найбольш праўдабадобнымі. Шаблон:Нп5 у Шаблон:Нп5, які максімізуе функцыю праўдападобнасці, называецца ацэнкай максімальнай праўдападобнасці. Логіка метаду адначасова інтуіцыйная і гнуткая, таму ён стаў дамінуючым сродкам Шаблон:Нп5.

Калі функцыя праўдападобнасці Шаблон:Нп5, можна прымяніць Шаблон:Нп5 для знаходжання яе максімумаў. У некаторых выпадках максімум функцыі праўдападобнасці можна знайсці аналітычна; напрыклад, ацэнка Шаблон:Нп5 для мадэлі лінейнай рэгрэсіі максімізуе праўдападобнасць, калі мяркуецца, што ўсе назіранні маюць нармальнае размеркаванне з роўнай дысперсіяй.

З пункту гледжання Шаблон:Нп5, ацэнка максімальнай праўдападобнасці, як правіла, эквівалентная Шаблон:Нп5 з раўнамерным апрыёрным размеркаваннем (або нармальным апрыёрным размеркаваннем з бесканечным стандартным адхіленнем). У Шаблон:Нп5 метад максімальнай праўдападобнасці — асаблівы выпадак Шаблон:Нп5 з мэтавай функцыяй роўнай праўдападобнасці.

Прынцыпы

Набор назіранняў мадэлюецца як выпадковая Шаблон:Нп5 з невядомага супольнага размеркавання, якое задаецца наборам Шаблон:Нп5. Мэта метаду максімальнай праўдападобнасці — знайсці параметры, для якіх назіранні маюць найбольшую супольную імавернасць. Параметры, якія задаюць супольнае размеркаванне, запісваюцца як вектар $\theta ={[{\theta }_1,{\theta }_2,\dots ,{\theta }_k]}^{𝖳}$, таму кажуць, што гэтае размеркаванне адносяцца да Шаблон:Нп5 $\{f(\cdot ;\theta )\mid \theta \in \mathrm{\Theta }\}$, дзе $\mathrm{\Theta }$ — Шаблон:Нп5, канечнамернае падмноства Шаблон:Нп5. Падстаўляючы назіранні $𝐲=(y_1,y_2,\dots ,y_n)$ у функцыю шчыльнасці супольнага размеркавання, атрымліваем рэчаісназначную функцыю

${ℒ}_n(\theta )={ℒ}_n(\theta ;𝐲)=f_n(𝐲;\theta ),$

якая называецца Шаблон:Нп5. Для Шаблон:Нп5, $f_n(𝐲;\theta )$ можна запісаць як здабытак аднамерных функцый шчыльнасці імавернасці:

$f_n(𝐲;\theta )=\prod _{k=1}^n{f}_k^{𝗎𝗇𝗂𝗏𝖺𝗋}(y_k;\theta ).$

Мэта метаду максімальнай праўдападобнасці — знайсці такія значэнні параметраў мадэлі з прасторы параметраў, для якіх функцыя праўдападобнасці будзе максімальнай:

$\hat{\theta }=\underset{\theta \in \mathrm{\Theta }}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}{ℒ}_n(\theta ;𝐲).$

Інтуітыўна, знойдзенае такім чынам значэнне параметраў робіць назіранні найбольш імавернымі. Значэнне $\hat{\theta }={\hat{\theta }}_n(𝐲)\in \mathrm{\Theta }$, якое максімізуе функцыю праўдападобнасці ${ℒ}_n$, называецца значэннем ацэнкі максімальнай праўдападобнасці. Калі існуе Шаблон:Нп5 ${\hat{\theta }}_n:{ℝ}^n\to \mathrm{\Theta }$, то такая функцыя называецца Шаблон:Нп5 максімальнай праўдападобнасці. Звычайна гэтая функцыя задаецца на прасторы элементарных падзей і яе аргументам выступае пэўная выбарка. Шаблон:Нп5 ўмова яе існавання — непарыўнасць функцыі праўдападобнасці на Шаблон:Нп5 параметраў. Для Шаблон:Нп5 $\mathrm{\Theta }$, функцыя праўдападобнасці можа павялічвацца не дасягаючы супрэмуму.

На практыцы часта бывае зручна працаваць з натуральным лагарыфмам функцыі праўдападобнасці, які называецца Шаблон:Нп5:

$\ell (\theta ;𝐲)=\ln {ℒ}_n(\theta ;𝐲).$

Праз тое што лагарыфм — Шаблон:Нп5, максімум $\ell (\theta ;𝐲)$ дасягаецца пры тым самым значэнні $\theta$, што і максімум ${ℒ}_n.$. Калі $\ell (\theta ;𝐲)$ — Шаблон:Нп5 на $\mathrm{\Theta }$, то Шаблон:Нп5 для максімуму (мінімуму) умовы

$\frac{\partial \ell }{\partial {\theta }_1}=0,\frac{\partial \ell }{\partial {\theta }_2}=0,\dots ,\frac{\partial \ell }{\partial {\theta }_k}=0$

называюцца раўнаннямі праўдападобнасці. Для некаторых мадэляў удаецца знайсці іх аналітычныя развязкі $\hat{\theta }$, але агульнага аналітычнага развязка задачы максімізацыі не існуе, і ацэнка максімальнай праўдападобнасці можа быць знойдзена толькі з дапамогай Шаблон:Нп5. Іншая праблема ў тым, што для канечных выбарак можа існаваць некалькі каранёў раўнанняў праўдападобнасці. Шаблон:Нп5, матрыца частковых вытворных другога парадку, можа выкарыстоўвацца каб зразумець ці з’яўляецца знойдзены максімум $\hat{\theta }$ лакальным:

$𝐇\left(\hat{\theta }\right)=\left[\begin{array}{cccc}{\frac{{\partial }^2\ell }{\partial {\theta }_1^2}|}_{\theta =\hat{\theta }}& {\frac{{\partial }^2\ell }{\partial {\theta }_1\partial {\theta }_2}|}_{\theta =\hat{\theta }}& \dots & {\frac{{\partial }^2\ell }{\partial {\theta }_1\partial {\theta }_k}|}_{\theta =\hat{\theta }}\\ {\frac{{\partial }^2\ell }{\partial {\theta }_2\partial {\theta }_1}|}_{\theta =\hat{\theta }}& {\frac{{\partial }^2\ell }{\partial {\theta }_2^2}|}_{\theta =\hat{\theta }}& \dots & {\frac{{\partial }^2\ell }{\partial {\theta }_2\partial {\theta }_k}|}_{\theta =\hat{\theta }}\\ ⋮& ⋮& \ddots & ⋮\\ {\frac{{\partial }^2\ell }{\partial {\theta }_k\partial {\theta }_1}|}_{\theta =\hat{\theta }}& {\frac{{\partial }^2\ell }{\partial {\theta }_k\partial {\theta }_2}|}_{\theta =\hat{\theta }}& \dots & {\frac{{\partial }^2\ell }{\partial {\theta }_k^2}|}_{\theta =\hat{\theta }}\end{array}\right].$

Калі гесіян Шаблон:Нп5 ў $\hat{\theta }$, то функцыя лакальна Шаблон:Нп5. Зручна тое, што найбольш вядомыя размеркаванні — у прыватнасці Шаблон:Нп5 — Шаблон:Нп5.

Абмежаваная прастора параметраў

Хаця звычайна абсяг вызначэння функцыі праўдападобнасці (Шаблон:Нп5) — канечнамернае падмноства Шаблон:Нп5, часам на яго могуць накладацца дадатковыя Шаблон:Нп5. У такім выпадку прастору параметраў можна запісаць як

$\mathrm{\Theta }=\{\theta :\theta \in {ℝ}^k,h(\theta )=0\},$

дзе $h(\theta )=[h_1(\theta ),h_2(\theta ),\dots ,h_r(\theta )]$ — Шаблон:Нп5 з ${ℝ}^k$ у ${ℝ}^r$. Тады знайсці ацэнку максімальнай праўдападобнасці параметра $\theta$ з мноства $\mathrm{\Theta }$ значыць знайсці $\theta$, для якога дасягаецца максімум функцыі праўдападобнасці пры выкананні ўмоў $h(\theta )=0$.

Тэарэтычна, самы натуральны падыход да гэтай задачы Шаблон:Нп5 — метад падстаноўкі. Гэта значыць дапаўненне ўмоў $h_1,h_2,\dots ,h_r$ да мноства $h_1,h_2,\dots ,h_r,h_{r+1},\dots ,h_k$ такім чынам, што $h^{\ast }=[h_1,h_2,\dots ,h_k]$ — ін’екцыя з ${ℝ}^k$ у ${ℝ}^k$, і рэпараметрызацыя функцыі праўдападобнасці ўвядзеннем ${\varphi }_i=h_i({\theta }_1,{\theta }_2,\dots ,{\theta }_k).$. Праз эквіварыянтнасць функцыі ацэнкі максімальнай праўдападобнасці, уласцівасці распаўсюджваюцца і на абмежаваныя ацэнкі. Напрыклад, для многавымернага нармальнага размеркавання Шаблон:Нп5 $\mathrm{\Sigma }$ мусіць быць Шаблон:Нп5; гэта абмежаванне можна выканаць падстаноўкай $\mathrm{\Sigma }={\mathrm{\Gamma }}^{𝖳}\mathrm{\Gamma }$, дзе $\mathrm{\Gamma }$ — рэчаісная Шаблон:Нп5, а ${\mathrm{\Gamma }}^{𝖳}$ — транспанаваная $\mathrm{\Gamma }$ (гл. Шаблон:Нп5 для доказу ін’ектыўнасці).

На практыцы ўмовы звычайна накладаюцца Шаблон:Нп5, які прыводзіць да раўнанняў абмежаванай праўдападобнасці:

$\frac{\partial \ell }{\partial \theta }-\frac{\partial h(\theta {)}^{𝖳}}{\partial \theta }\lambda =0$ і $h(\theta )=0,$

дзе $\lambda ={[{\lambda }_1,{\lambda }_2,\dots ,{\lambda }_r]}^{𝖳}$ — вектар-слупок множнікаў Лагранжа, а $\frac{\partial h(\theta {)}^{𝖳}}{\partial \theta }$ — матрыца Якобі частковых вытворных памеру Шаблон:Math. Натуральна, калі абмежаванні не ўплываюць на максімум, множнікі Лагранжа маюць быць роўнымі нулю. Гэта, у сваю чаргу, дазваляе правесці статыстычную праверку валіднасці абмежавання, вядомую як Шаблон:Нп5.

Уласцівасці

Ацэнка максімальнай праўдападобнасці — Шаблон:Нп5, якая максімізуе па θ Шаблон:Нп5 $\hat{\ell }(\theta ;x)$. Калі назіранні Шаблон:Нп5, маем

$\hat{\ell }(\theta ;x)=\frac{1}{n}\sum _{i=1}^n\ln f(x_i\mid \theta ),$

што ёсць выбаркавым аналагам матэматычнага спадзявання лагарыфму праўдападобнасці $\ell (\theta )=𝔼[\ln f(x_i\mid \theta )]$, узятага па сапраўднай шчыльнасці.

Ацэнка максімальнай праўдападобнасці не мае аптымальных уласцівасцей для канечных выбарак у тым сэнсе, што іншыя ацэнкі на канечных выбарках могуць мець большую канцэнтрацыю вакол сапраўднага значэння параметруШаблон:Sfn. Аднак, як і іншыя метады ацэнкі, ацэнка максімальнай праўдападобнасці мае шэраг прывабных Шаблон:Нп5: калі памер выбаркі павялічваецца да бясконцасці, паслядоўнасць ацэнак максімальнай праўдападобнасці мае наступныя ўласцівасці:

• Шаблон:Нп5: паслядоўнасць ацэнак максімальнай праўдападобнасці збягаецца паводле імавернасці да ацэньваемага значэння.
• Функцыянальная інварыянтнасць: Калі $\hat{\theta }$ — ацэнка максімальнай праўдападобнасці для $\theta$, а $g(\theta )$ — адвольнае пераўтварэнне над $\theta$, то ацэнка максімальнай праўдападобнасці для $\alpha =g(\theta )$ роўная $\hat{\alpha }=g(\hat{\theta })$.
• Шаблон:Нп5: ацэнка дасягае ніжняй Шаблон:Нп5, калі памер выбаркі імкнецца к бесканечнасці. Гэта значыць, што ніводная слушная ацэнка не мае меншай асімптатычнай Шаблон:Нп5, чым ацэнка максімальнай праўдападобнасці (або іншыя ацэнкі, якія дасягаюць гэтай мяжы). Гэта таксама значыць, што для ацэнкі максімальнай праўдападобнасці ўласцівая Шаблон:Нп5.
• Эфектыўнасць другога парадку пасля карэкцыі ўхілу.

Слушнасць

Пры выкананні прыведзеных ніжэй умоў, ацэнка максімальнай праўдападобнасці Шаблон:Нп5. Гэта значыць, што калі даныя былі ўтвораны функцыяй $f(\cdot ;{\theta }_0)$ і мы маем дастаткова вялікую колькасць назіранняў $n$, то магчыма знайсці значэнне ${\theta }_0$ з адвольнай дакладнасцю. У матэматычных тэрмінах гэта значыць, што калі $n$ імкнецца да бесканечнасці, ацэнка $\hat{\theta }$ Шаблон:Нп5 да сапраўднага значэння:

${\hat{\theta }}_{\mathrm{m}\mathrm{l}\mathrm{e}}\stackrel{\text{p}}{\to }{\theta }_0.$

Пры трохі стражэйшых умовах, ацэнка збягаецца Шаблон:Нп5 (або моцна):

${\hat{\theta }}_{\mathrm{m}\mathrm{l}\mathrm{e}}\stackrel{\text{a.s.}}{\to }{\theta }_0.$

На практыцы, даныя ніколі не ўтвараюцца $f(\cdot ;{\theta }_0)$. Наадварот, $f(\cdot ;{\theta }_0)$ — гэта мадэль, часта ў ідэалізаванай форме, працэсу, які ўтварае даныя. Паводле распаўсюджанага ў статыстыцы афарызму, Шаблон:Нп5. Такім чынам, сапраўдная слушнасць ніколі не дасягаецца на практыцы. Тым не менш, слушнасць часта ўважаецца пажаданай уласцівасцю для ацэнак.

Для слушнасці дастаткова наступных умоў.

1. Шаблон:Нп5 мадэлі: $$\theta \ne {\theta }_0\iff f(\cdot \mid \theta )\ne f(\cdot \mid {\theta }_0).$$Іншымі словамі, розным параметрам $\theta$ адпавядаюць розныя размеркаванні мадэлі. Калі гэтая ўмова не выконваецца, існуе пэўнае значэнне ${\theta }_1$, такое што ${\theta }_0$ і ${\theta }_1$ утвараюць роўныя размеркаванні даных. Тады немагчыма адрозніць гэтыя параметры нават з бясконцай колькасцю даных. Такія параметры называюцца Шаблон:Нп5.
   Ідэнтыфікавальнасць неабходная для слушнасці ацэнкі максімальнай праўдападобнасці. Калі гэтая ўмова выконваецца, абмежаваная функцыя лагарыфму праўдападобнасці $\ell (\theta \mid \cdot )$ мае адзіны глабальны максімум у ${\theta }_0$.
2. Кампактнасць: прастора параметраў $\mathrm{\Theta }$ мадэлі Шаблон:Нп5.

   

   
   Умова ідэнтыфікавальнасці гарантуе, што ў лагарыфма праўдападобнасці існуе адзіны глабальны максімум. Кампактнасць азначае, што праўдападобнасць не можа імкнуцца к максімальнаму значэнню ў нейкім іншым месцы (напрыклад як паказана на рысунку справа).
   Кампактнасць — толькі дастатковая, але не неабходная ўмова. Яна можа быць заменена некаторымі іншымі ўмовамі, такімі як:
   • адначасовая Шаблон:Нп5 функцыі лагарыфму праўдападобнасці і кампактнасць некаторага з яе непустых Шаблон:Нп5, або
   • існаванне кампактнага Шаблон:Нп5 $N$ для ${\theta }_0$, такога што па-за наваколлем $N$ функцыя лагарыфму праўдападобнасці меншая за максімум прынамсі на некаторы $\epsilon >0$.
3. Непарыўнасць: функцыя $\ln f(x\mid \theta )$ непарыўная ў $\theta$ для амаль усіх значэнняў $x$: $$\mathbb{P}[\ln f(x\mid \theta )\in C^0(\mathrm{\Theta })]=1.$$ Непарыўнасць можа быць замененая слабейшай умовай Шаблон:Нп5.
4. Дамінантнасць: існуе інтэгравальная па размеркаванні $f(x\mid {\theta }_0)$ функцыя $D(x)$, такая што $$|\ln f(x\mid \theta )|<D(x)\mathrm{\forall }\theta \in \mathrm{\Theta }.$$ Паводле раўнамернага закона вялікіх лікаў, умова дамінантнасці разам з непарыўнасцю гарантуе раўнамерную збежнасць паводле імавернасці лагарыфма праўдападобнасці: $$\underset{\theta \in \mathrm{\Theta }}{\sup }|\hat{\ell }(\theta \mid x)-\ell (\theta )|\stackrel{\text{p}}{\to }0.$$ Умова дамінантнасці можа быць выкарыстана ў выпадку Шаблон:Нп5. Інакш, раўнамерная збежнасць паводле імавернасці можа быць забяспечана тым, што $\hat{\ell }(\theta \mid x)$ Шаблон:Нп5.

Калі неабходна прадэманстраваць, што ацэнка максімальнай праўдападобнасці $\hat{\theta }$ збягаецца да ${\theta }_0$ Шаблон:Нп5, то мае выконвацца стражэйшая ўмова непарыўнай збежнасці амаль напэўна:

$\underset{\theta \in \mathrm{\Theta }}{\sup }\Vert \hat{\ell }(\theta \mid x)-\ell (\theta )\Vert \stackrel{\text{a.s.}}{\to }0.$

Акрамя таго, у дапушчэнні што даныя былі ўтвораны функцыяй $f(\cdot ;{\theta }_0)$, пры пэўных умовах можна паказаць, што ацэнка максімальнай праўдападобнасці Шаблон:Нп5 к нармальнаму размеркаванню

$\sqrt{n}({\hat{\theta }}_{\mathrm{m}\mathrm{l}\mathrm{e}}-{\theta }_0)\stackrel{d}{\to }𝒩(0,I^{-1})$,

дзе $I$ — Шаблон:Нп5.

Функцыянальная інварыянтнасць

Калі $\hat{\theta }$ — ацэнка максімальнай праўдападобнасці для $\theta$, а $g(\theta )$ — трансфармацыя над $\theta$, то ацэнка максімальнай праўдападобнасці для $\alpha =g(\theta )$ роўная

$\hat{\alpha }=g(\hat{\theta }).$

Яна максімізуе так званую Шаблон:Нп5:

$\overline{L}(\alpha )=\underset{\theta :\alpha =g(\theta )}{\sup }L(\theta ).$

Акрамя таго, ацэнка максімальнай праўдападобнасці інварыянтная ў дачыненні некаторых трансфармацый даных. Калі $y=g(x)$, дзе $g$ — біекцыя, якая не залежыць ад ацэньваемых параметраў, то функцыя шчыльнасці адпавядае

$f_Y(y)=\frac{f_X(x)}{|g^{\prime }(x)|}$

і функцыі праўдападобнасці для $X$ і $Y$ адрозніваюцца толькі множнікам, які не залежыць ад параметраў мадэлі.

Напрыклад, ацэнка максімальнай праўдападобнасці параметраў лог-нармальнага размеркавання такая самая як і ў нармальнага размеркавання, атрыманая на лагарыфмаваных даных.

Літаратура

• Шаблон:Cite book