Метод максимальної правдоподібності

Метод оцінки максимальної правдоподібності застосовується для широкого кола статистичних моделей, зокрема:

• лінійні моделі і узагальнені лінійні моделі;
• факторний аналіз;
• моделювання структурних рівнянь;
• багато ситуацій, в рамках перевірки гіпотези і формування довірчого інтервалу;
• дискретні моделі вибору.

Метод застосовується в широких областях науки, зокрема:

• системи зв'язку;
• психометрія;
• економетрика;
• оцінювання кутових координат джерел сигналів, їх частоти і часу затримки в акустичних і електромагнітних системах^[1][2];
• моделювання в ядерній фізиці і фізиці елементарних частинок;
• обчислювальна філогенетика;
• моделювання каналів в транспортних мережах.

Нехай маємо вибірку ${\displaystyle X_{1},\ldots ,X_{n}}$ з розподілу ${\displaystyle \mathbb {P} _{\theta }}$ , де ${\displaystyle \theta \in \Theta }$  — невідомий параметр. Нехай ${\displaystyle f(\mathbf {x} \mid \theta )\colon \Theta \to \mathbb {R} }$  — функція правдоподібності, де ${\displaystyle \mathbf {x} \in \mathbb {R} }$ . Точкова оцінка

${\displaystyle {\hat {\theta }}_{\mathrm {M\Pi } }={\hat {\theta }}_{\mathrm {M\Pi } }(X_{1},\ldots ,X_{n})=\arg \max \limits _{\theta \in \Theta }f(X_{1},\ldots ,X_{n}\mid \theta )}$

називається оцінкою максимальної правдоподібності параметра ${\displaystyle \theta }$ . Таким чином, оцінка максимальної правдоподібності — це така оцінка, яка максимізує функцію правдоподібності при фіксованій реалізації вибірки.

• Оскільки функція ${\displaystyle x\to \ln x,\;x>0,}$ монотонно зростає на всій області визначення, максимум будь-якої функції ${\displaystyle f(\theta )}$ є максимумом функції ${\displaystyle \ln f(\theta )}$ , і навпаки. Таким чином,

${\displaystyle {\hat {\theta }}_{\mathrm {M\Pi } }=\arg \max \limits _{\theta \in \Theta }L(X_{1},\ldots ,X_{n}\mid \theta )}$ ,

де ${\displaystyle L}$  — логарифмічна функція правдоподібності.

• Оцінка максимальної правдоподібності, загалом, може бути зміщеною (див. приклади).

• Нехай ${\displaystyle X_{1},\ldots ,X_{n}\sim \mathrm {U} [0,\theta ]}$  — незалежна вибірка з неперервного рівномірного розподілу на відрізку ${\displaystyle [0,\theta ]}$ , де ${\displaystyle \theta >0}$  — невідомий параметр. Тоді функція правдоподібності має вигляд

${\displaystyle f(\mathbf {x} \mid \theta )=\left\{{\begin{array}{ll}{\frac {1}{\theta ^{n}}},&\mathbf {x} \in [0,\theta ]^{n}\subset \mathbb {R} ^{n}\\0,&\mathbf {x} \not \in [0,\theta ]^{n}.\end{array}}\right.}$

Остання рівність може бути переписана у вигляді:

${\displaystyle f(\mathbf {x} \mid \theta )=\left\{{\begin{array}{ll}{\frac {1}{\theta ^{n}}},&\theta \geq \max(x_{1},\ldots ,x_{n})\\0,&\theta <\max(x_{1},\ldots ,x_{n})\end{array}}\right.,}$

де ${\displaystyle \mathbf {x} =(x_{1},\ldots ,x_{n})^{\top }}$ , звідки видно, що свого максимуму функція правдоподібності досягає в точці ${\displaystyle \theta =\max(x_{1},\ldots ,x_{n})}$ . Таким чином

${\displaystyle {\hat {\theta }}_{\mathrm {M\Pi } }=\max(X_{1},\ldots ,X_{n})}$ .

• Нехай ${\displaystyle X_{1},\ldots ,X_{n}\sim \mathrm {N} (\mu ,\sigma ^{2})}$  — незалежна вибірка з нормального розподілу з відомим середнім і дисперсією. Побудуємо оцінку максимальної правдоподібності ${\displaystyle \left({\hat {\mu }}_{\mathrm {M\Pi } },{\widehat {\sigma ^{2}}}_{\mathrm {M\Pi } }\right)^{\top }}$ для невідомого вектора параметрів ${\displaystyle \left(\mu ,\sigma ^{2}\right)^{\top }}$ . Логарифмічна функція правдоподібності приймає вигляд

${\displaystyle L(\mathbf {x} \mid \mu ,\sigma ^{2})=-{\frac {n}{2}}\ln(2\pi \sigma ^{2})-{\frac {1}{2\sigma ^{2}}}\sum \limits _{i=1}^{n}(X_{i}-\mu )^{2}}$ .

Щоб знайти її максимум, прирівнюємо до нуля часткові похідні:

${\displaystyle \left\{{\begin{matrix}\displaystyle {\frac {\partial }{\partial \mu }}L(\mathbf {x} \mid \mu ,\sigma ^{2})=0\\[10pt]\displaystyle {\frac {\partial }{\partial \sigma ^{2}}}L(\mathbf {x} \mid \mu ,\sigma ^{2})=0\\\end{matrix}}\right.\Rightarrow \left\{{\begin{matrix}\displaystyle {\frac {\sum \limits _{i=1}^{n}X_{i}-n\mu }{\sigma ^{2}}}=0\\[10pt]\displaystyle -{\frac {n}{2\sigma ^{2}}}+{\frac {\sum \limits _{i=1}^{n}(X_{i}-\mu )^{2}}{2\left(\sigma ^{2}\right)^{2}}}=0\\\end{matrix}}\right.,}$

звідки

${\displaystyle {\hat {\mu }}_{\mathrm {M\Pi } }={\bar {X}}}$  — вибіркове середнє, а

${\displaystyle {\widehat {\sigma ^{2}}}_{\mathrm {M\Pi } }=S_{n}^{2}}$  — вибіркова дисперсія.

• Карташов М. В. Імовірність, процеси, статистика. — Київ : ВПЦ Київський університет, 2007. — 504 с.
• Гнеденко Б. В. Курс теории вероятностей. — 6-е изд. — Москва : Наука, 1988. — 446 с.(рос.)
• Гихман И. И., Скороход А. В., Ядренко М. В. Теория вероятностей и математическая статистика. — Київ : Вища школа, 1988. — 436 с.(рос.)
• Руденко В. М. (2012). Математична статистика. Київ: Центр учбової літератури. с. 158. ISBN 978-611-01-0277-3.
• Capinski, Marek; Kopp, Peter E. (2004). Measure, Integral and Probability. Springer Verlag. ISBN 9781852337810.
• Williams D. (1991). Probability with Martingales. Cambridge University Press. ISBN 0-521-40605-6.
• Варюхин В. А., Покровский В. И., Сахно В. Ф. Модифицированная функция правдоподобия в задаче определения угловых координат источников с помощью антенной решетки, Докл. АН СССР, 1983, том 270, номер 5, С. 1092—1094.