Парадокси в математичній статистиці (стр. 4 из 22)

Наслідок 2. Якщо оцінка

задовольняє умови теорем, а статистика - умову

де

- розподіл вибірки , то - незміщена й ефективна оцінка параметра .

Наслідок 3. Нехай

- вибірка з дискретного розподілу і для сумісного розподілу

випадкових величини

виконані умови теореми, тоді нерівність Крамера - Рао можна записати у вигляді

.

1.3 Метод максимальної правдоподібності

Нехай

- вибірка із розподілом , що залежить від параметра Параметр невідомий і його необхідно оцінити за вибіркою .

Означення. Функцією максимальної правдоподібності вибірки

будемо називати функцію параметра , що визначається рівністю , , якщо вибірковий вектор абсолютно неперервний зі щільністю і рівністю , , якщо вибірковий вектор дискретний з розподілом .

Метод максимальної правдоподібності побудови оцінок полягає в тому, що за оцінку параметра

вибирається точка , в якій функція максимальної правдоподібності досягає найбільшого значення.

Означення. Оцінкою максимальної правдоподібності будемо називати точку

, в якій функція максимальної правдоподібності досягає найбільшого значення.

Іншими словами, оцінкою максимальної правдоподібності параметра

будемо називати відмінні від константи розв’язки рівняння

,

якщо такі розв’язки існують. Корені, які не залежать від вибірки

, тобто мають вигляд , де - константа, слід відкинути (оцінка - це функція вибірки).

Логарифм

від функції максимальної правдоподібності називають логарифмічною функцією максимальної правдоподібності.

Зазначимо, що функції

та досягають найбільшого значення в одній і тій самій точці. А відшукати точку, в якій функція досягає найбільшого значення, часто зручніше.

Якщо функція

диференційована по , то для того щоб розв’язати рівняння

(1.3.1)

достатньо знайти стаціонарні точки функції

,

розв’язуючи рівняння

і, порівнюючи значення функції

у стаціонарних точках і на межі множини , вибрати точку , в якій функція , досягає найбільшого значення. Ця точка і буде розв’язком рівняння (1.3.1).

Рівняння

називають рівняннями максимальної правдоподібності.

Метод найменших квадратів.

Нехай

- незалежні нормально розподілені випадкові величини з однаковою дисперсією

та середніми

лінійними по параметру :

де

- відомі, не випадкові величини, а - невідомі параметри, які слід оцінити. Кожну випадкову величину можна представити:

де

- похибки спостережень та вони всі різні. Відносно припускається:

1)

- незалежні випадкові величини, ;

2)

;

3)

, , - не корельовані (це означає, що та не пов’язані між собою лінійною залежністю).

;

4)

~ .

МНК - оцінкою параметрів

називають точку , в якій функція

досягає мінімального значення.

Диференціюємо цю функцію за параметрами

:

,

.

Прирівнюємо похідні нулеві:

Розглянемо систему рівнянь: