Умова

Маємо незалежну вибірку \(\left( {{x_1}, \ldots ,{x_n}} \right)\) з розподілу Бернуллі з параметром \(1 - \theta \)

\( x_i \)	0	1
\( p_ i \)	\( \theta \)	\(1 - \theta \)

Знайти оцінку невідомого параметру \(\theta \) за допомогою а) методу моментів, б) методу максимальної вірогідності. Дослідити отримані оцінки на незміщеність, консистентність, ефективність.

Розв’язок
Метод моментів

Очевидно, що \(M\xi = 1 - \theta \), а рівняння \(1 - \theta = \bar x\) має єдиний розв’язок $$\hat \theta = 1 - \bar x.$$

Метод максимальної вірогідності (перший спосіб)

Функція $$f(x,\theta ) = {\theta ^{ - (x - 1)}}{\left( {1 - \theta } \right)^x}$$ ставить у відповідність можливим значенням нашої випадкової величини (0 та 1) ймовірності цих значень, тому функція вірогідності набуває виду $$L({x_1}, \ldots ,{x_n},\theta )\mathop = \limits^{def} \prod\limits_{i = 0}^n {f({x_i},\theta } ) = \prod\limits_{i = 0}^n {{\theta ^{ - ({x_i} - 1)}}{{\left( {1 - \theta } \right)}^{{x_i}}}} .$$ Для її логарифму $$g({x_1}, \ldots ,{x_n},\theta ) = \ln \left( {L({x_1}, \ldots ,{x_n},\theta )} \right) = \ln \left( {\prod\limits_{i = 0}^n {{\theta ^{ - ({x_i} - 1)}}{{\left( {1 - \theta } \right)}^{{x_i}}}} } \right) = $$ $$ = \sum\limits_{i = 0}^n {\ln \left( {{\theta ^{ - ({x_i} - 1)}}{{\left( {1 - \theta } \right)}^{{x_i}}}} \right)} = \sum\limits_{i = 0}^n {\left( {\ln \left( {{\theta ^{ - ({x_i} - 1)}}} \right) + \left( {\ln {{\left( {1 - \theta } \right)}^{{x_i}}}} \right)} \right) = } \sum\limits_{i = 1}^n {\left( { - \left( {{x_i} - 1} \right)\ln \left( \theta \right) + \left( {{x_i}\ln \left( {1 - \theta } \right)} \right)} \right)} $$ похідна матиме вид \[\frac{{\partial g}}{{\partial \theta }} = \sum\limits_{i = 0}^n {\left( { - \frac{{\left( {{x_i} - 1} \right)}}{\theta } - \frac{{{x_i}}}{{1 - \theta }}} \right)} = \sum\limits_{i = 0}^n {\frac{{\left( {1 - {x_i}} \right)\left( {1 - \theta } \right) - {x_i}\theta }}{{\theta \left( {1 - \theta } \right)}} = \sum\limits_{i = 0}^n {\frac{{1 - \theta - {x_i} + {x_i}\theta - {x_i}\theta }}{{\theta \left( {1 - \theta } \right)}}} } = \sum\limits_{i = 0}^n {\frac{{1 - \theta - {x_i}}}{{\theta \left( {1 - \theta } \right)}}} .\] Прирівнюємо похідну до нуля: \[\sum\limits_{i = 0}^n {\frac{{1 - \theta - {x_i}}}{{\theta \left( {1 - \theta } \right)}}} = 0\;\;\;\mathop \Rightarrow \limits^{\theta \ne 0,1} \;\;\;\sum\limits_{i = 0}^n {1 - \theta - {x_i}} = 0\;\;\; \Leftrightarrow \;\;\;n - n\theta - \sum\limits_{i = 0}^n {{x_i}} = 0\;\;\;\mathop \Leftrightarrow \limits^{} \;\;\;1 - \theta - \overline x = 0.\] Із останньої рівності отримуємо шукану оцінку: $$\hat \theta = 1 - \bar x .$$

Метод максимальної вірогідності (другий спосіб)

Інтерполяція многочленом Лагранжа. Нехай $$f(x,\theta ) = - \theta \left( {{x_i} - 1} \right) + \left( {1 - \theta } \right){x_i} .$$ Тоді функція вірогідності має вигляд $$L({x_1}, \ldots ,{x_n},\theta )\mathop = \limits^{def} \prod\limits_{i = 0}^n {f({x_i},\theta } ) = \prod\limits_{i = 0}^n {\left( { - \theta \left( {{x_i} - 1} \right) + \left( {1 - \theta } \right){x_i}} \right)} .$$ Її логарифм $$g({x_1}, \ldots ,{x_n},\theta ) = \ln \left( {L({x_1}, \ldots ,{x_n},\theta )} \right) = \ln \left( {\prod\limits_{i = 0}^n {\left( { - \theta \left( {{x_i} - 1} \right) + \left( {1 - \theta } \right){x_i}} \right)} } \right) = \sum\limits_{i = 0}^n {\ln \left( { - \theta \left( {{x_i} - 1} \right) + \left( {1 - \theta } \right){x_i}} \right).} $$ Далі \[\frac{{\partial g}}{{\partial \theta }} = \sum\limits_{i = 0}^n {\frac{{ - \left( {{x_i} - 1} \right) - {x_i}}}{{ - \left( {{x_i} - 1} \right)\theta + \left( {1 - \theta } \right){x_i}}}} = \sum\limits_{i = 0}^n {\frac{{ - 2{x_i} + 1}}{{\left( {1 - {x_i}} \right)\theta + \left( {1 - \theta } \right){x_i}}}.} \] Прирівнюємо похідну до нуля: \[\sum\limits_{i = 0}^n {\frac{{ - 2{x_i} + 1}}{{\left( {1 - {x_i}} \right)\theta + \left( {1 - \theta } \right){x_i}}}} = 0 .\] Нехай \(K\) – множина індексів таких \(j\), для яких \({x_j} = 1\). Позначимо \(k = \left| K \right|\) . Нехай \(M = \overline {1,n} \backslash K\) (це множина тих індексів \(j\), для яких \({x_j} = 0\)), \(\left| M \right| = n - k\). Тоді \[\sum\limits_{i = 0}^n {\frac{{ - 2{x_i} + 1}}{{\left( {1 - {x_i}} \right)\theta + \left( {1 - \theta } \right){x_i}}}} = \sum\limits_{i \in K} {\frac{{ - 2{x_i} + 1}}{{\left( {1 - {x_i}} \right)\theta + \left( {1 - \theta } \right){x_i}}}} + \sum\limits_{j \in M} {\frac{{ - 2{x_j} + 1}}{{\left( {1 - {x_j}} \right)\theta + \left( {1 - \theta } \right){x_j}}}} = \sum\limits_{i \in K} {\frac{{ - 1}}{{\left( {1 - \theta } \right)}}} + \sum\limits_{i \in M} {\frac{1}{{{\theta _i}}}} .\] Легко побачити, що \(\overline x = \frac{{k \times 1 + \left( {n - k} \right) \times 0}}{n} = \frac{k}{n}\), тому \[\sum\limits_{i \in M} {\frac{1}{{{\theta _i}}}} + \sum\limits_{i \in K} {\frac{{ - 1}}{{\left( {1 - \theta } \right)}}} = \frac{{n - k}}{\theta } - \frac{k}{{1 - \theta }}.\] Прирівнявши цей вираз до нуля, маємо: \[\frac{{n - k}}{\theta } - \frac{k}{{1 - \theta }} = 0,\] \[\frac{{1 - n/k}}{\theta } - \frac{{k/n}}{{1 - \theta }} = 0,\] \[\frac{{1 - \overline x }}{\theta } - \frac{{\overline x }}{{1 - \theta }} = 0,\] звідки легко отримуємо шукану оцінку: \[\hat \theta = 1 - \overline x .\]

Оскільки всі методи дали однакову оцінку, то саме її і дослідимо.

Незміщеність

Оскільки \[M\hat \theta = M(1 - \overline x ) = 1 - M\overline x = 1 - M\frac{1}{n}\sum\limits_{i = 1}^n {{x_i}} = 1 - \frac{1}{n}\sum\limits_{i = 1}^n {M{x_i}} = 1 - \frac{{n(1 - \theta )}}{n} = \theta ,\] то за визначенням досліджувана оцінка є незміщеною.

Слушність (консистентність)

\[D{\hat \theta _n} = D(1 - \overline x ) = D\overline x = D\left( {\frac{1}{n}\sum\nolimits_{i = 1}^n {{x_i}} } \right) = \frac{1}{{{n^2}}}nD{x_i}\;\;\mathop = \limits^{} \;\;\frac{{\theta \left( {1 - \theta } \right)}}{n}\;\;\mathop \to \limits_{n \to \infty } \;\;0 ,\] що, як відомо, разом з незміщеністю гарантує слушність оцінки.

Ефективність

Для \(f(x,\theta ) = {\theta ^{ - (x - 1)}}{\left( {1 - \theta } \right)^x}\) \[\frac{{{\partial ^2}}}{{\partial {\theta ^2}}}\ln f({x_i},\theta ) = \frac{{{\partial ^2}}}{{\partial {\theta ^2}}}\ln ({\theta ^{ - (x - 1)}}{\left( {1 - \theta } \right)^x}) = \frac{{{\partial ^2}}}{{\partial {\theta ^2}}}\ln ({\theta ^{ - (x - 1)}}) + \frac{{{\partial ^2}}}{{\partial {\theta ^2}}}\ln {\left( {1 - \theta } \right)^x} = \] \[ = (1 - x)\frac{{{\partial ^2}}}{{\partial {\theta ^2}}}\ln (\theta ) + x\frac{{{\partial ^2}}}{{\partial {\theta ^2}}}\ln \left( {1 - \theta } \right) = (1 - x)\frac{\partial }{{\partial \theta }}\frac{1}{\theta } - x\frac{\partial }{{\partial \theta }}\frac{1}{{\left( {1 - \theta } \right)}} = \frac{{(x - 1)}}{{{\theta ^2}}} - \frac{x}{{{{\left( {1 - \theta } \right)}^2}}}\] і тоді кількість інформації Фішера в одному спостереженні \[{i_1}(\theta ) = - M\frac{{{\partial ^2}}}{{\partial {\theta ^2}}}\ln f({x_i},\theta ) = - M\frac{{({x_i} - 1)}}{{{\theta ^2}}} + M\frac{{{x_i}}}{{{{\left( {1 - \theta } \right)}^2}}} = - \frac{1}{{{\theta ^2}}}M({x_i} - 1) + \frac{1}{{{{\left( {1 - \theta } \right)}^2}}}M{x_i} = \] \[ = - \frac{1}{{{\theta ^2}}}( - 1 + M{x_i}) + \frac{1}{{{{\left( {1 - \theta } \right)}^2}}}M{x_i}\mathop = \limits^{Be} - \frac{1}{{{\theta ^2}}}( - 1 + 1 - {\theta _i}) + \frac{1}{{{{\left( {1 - \theta } \right)}^2}}}\left( {1 - \theta } \right) = \frac{1}{\theta } + \frac{1}{{\left( {1 - \theta } \right)}} = \frac{1}{{\theta \left( {1 - \theta } \right)}},\] а кількість інформації Фішера в усій вибірці \[{i_n}(\theta ) = n{i_1}(\theta ) = \frac{n}{{\theta \left( {1 - \theta } \right)}}.\] Вище було показано, що \[D{\hat \theta _n} = \frac{{\theta \left( {1 - \theta } \right)}}{n}\] і ми бачимо, що нерівність Крамера-Рао перетворюється на рівність: \[D\hat \theta = \frac{1}{{{i_n}\left( \theta \right)}},\] що за визначенням і означає, що досліджена оцінка є ефективною.

Відповідь: усі методи дали оцінку \(\hat \theta = 1 - \overline x \), яка є незміщеною, слушною та ефективною.