Парадокси в математичній статистиці (стр. 8 из 22)

Можливості методу часом переоцінюють і часто використовують тоді, коли інші методи підходили б більше. На цю проблему звертав увагу ще Коші (1853) під час “дебатів” з Б¢єнеме.

2.3.2 Парадокс

Нехай

- вибірка, утворена незалежними випадковими величинами зі щільністю

,

Ми маємо можливість спостерігати

. За результатами спостережень необхідно оцінити невідомий параметр (параметри a, b вважаємо відомими). Оцінка параметра за методом найменших квадратів дорівнює

. (2.3.2.1)

Оцінка параметра

за методом максимальної правдоподібності дорівнює

(2.3.2.2)

Оцінка параметра

за МНК - методом не збігається з оцінкою, здобутою за методом максимальної правдоподібності.

Яка з них краще?

2.3.3 Пояснення парадоксу

Спочатку знайдемо оцінку параметра

МНК - методом.

МНК - оцінкою параметра

називають точку, в якій функція

(2.3.3.1)

досягає найменшого значення.

Обчислимо

:

Порахуємо кожен інтеграл окремо:

перший інтеграл дорівнює

;

другий інтеграл дорівнює

;

третій інтеграл дорівнює

;

четвертий інтеграл дорівнює

.

Тоді маємо

.

Підставляємо

в формулу (2.3.3.1):

.

Візьмемо похідну від функції

по параметру :

.

Прирівнюємо похідну нулеві:

, .

Звідси знаходимо оцінку для параметра

:

.

Знайдемо оцінку параметра

за методом максимальної правдоподібності. [4] Випишемо функцію максимальної правдоподібності

.

Функція

набуває максимального значення за умови, що набуває мінімального значення.

Нехай

варіаційний ряд послідовності .

Розглянемо два випадки: n=2k-1; n=2k.

Нехай n=2k-1. На кожному з проміжків

функція

лінійна. Причому на проміжку

, , спадає (кутовий коефіцієнт - коефіцієнт при - від’ємний), і на кожному з проміжків , зростає. Отже, найменше значення неперервна функція досягає в точці . Нехай n=2k. Тоді на кожному з проміжків , …, , функція спадає, на проміжку - постійна і на , …, , зростає. Отже, найменше значення функція досягає в кожній точці проміжку .

Отже, за методом максимальної правдоподібності оцінкою параметра

є

Якщо

- результати спостережень - розподілені нормально (щільність розподілу має вигляд , ), то згідно з МНК - методом та методом максимальної правдоподібності оцінкою параметра є

.

В методі найменших квадратів Гаусс виходив з припущення про нормальний розподіл похибок (і відповідно результатів спостережень), що на практиці зустрічається дуже часто. Якщо відомо, що розподіл похибок відмінний від нормального, використовувати МНК - метод для оцінювання параметрів не рекомендують. У вказаному вище парадоксі вживання оцінки більш виправдано.

Використовуючи стандартні поняття математичної статистики, парадокс можна коротко сформулювати наступним чином: оцінка за методом найменших квадратів не завжди збігається з оцінкою максимальної правдоподібності. Дійсно, якщо

- додатна щільність, напівнеперервна знизу в точці ; - щільність розподілу вимірювань і є оцінка максимальної правдоподібності параметра для , то є щільністю нормального розподілу з нульовим середнім. Це - закон Гауса про похибки, який можна довести наступним чином: якщо припустити для простоти, що існує похідна , і добуток максимальний за умови, що , то

,