Парадокси в математичній статистиці (стр. 13 из 22)

де

- єдиний невідомий параметр. Його можна оцінити величиною

.

Ця оцінка незміщена

,

і її дисперсія дорівнює

.

Легко довести, що розподіл величини

не залежить від

(оскільки розподіл вектора сферично симетричний відносно точки ), отже, якщо ми братимемо до уваги , то через достатність не отримаємо жодної інформації про . Проте це зовсім невірно. Математичне сподівання випадкової величини (тобто ефективність оцінки) в значній мірі визначається . Наприклад,

і

2.7.3 Пояснення парадоксу

ПарадоксФішера вказує на те, що слова “володіти всією інформацією" можна розуміти по різному. При обчисленні ефективності допоміжні статистики (аналогічні

) можуть грати важливу роль. На жаль, далеко не завжди легко вирішити, що саме слід взяти за допоміжну статистику. Очевидно, не має сенсу брати за таку статистику всю вибірку. Якщо розглянути проблему Фішера з точки зору байєсівського підходу і припустити, що випадкова величина рівномірно розподілена в інтервалі , то

2.7.4 Зауваження

Сучасна теорія достатності розвинена у роботах П. Халмоша і Л. Дж. Севіджа (1949). В теорії достатності з’явився ряд цікавих парадоксів. Наприклад, Беркхолдер запропонував кілька прикладів, які показують, що додавання до достатніх статистик деякої додаткової інформації може зіпсувати достатність. Такі приклади повністю суперечать нашим уявленням про достатність. За останній час опубліковано кілька глибоких праць, де вводяться деякі “умови регулярності”, які забезпечують не парадоксальну поведінку достатніх статистик.

2.8 Парадокси методу максимальної правдоподібності

2.8.1 Історія парадоксу

Метод максимальної правдоподібності є одним з найбільш ефективних методів оцінювання невідомих параметрів. Він здобув поширення в двадцяті роки нашого століття завдяки роботам англійського статистика Р. Фішера. І хоча у Фішера були попередники, саме його робота, написана в 1912 р., зіграла в цьому вирішальну роль. Нехай у ймовірнісного розподілу (залежного від невідомого параметра

) існує щільність, яку позначимо через . Якщо елементи вибірки незалежні, то їх спільна щільність запишеться у вигляді .

Нехай числа

- вибіркові значення. Тоді є оцінкою максимальної правдоподібності параметра , якщо максимізує добуток як функцію від (припустимо, що максимум існує й єдиний). В разі дискретних випадкових величин максимізуємо спільний розподіл .

Якщо ми оцінюємо

за методом максимальної правдоподібності, то ймовірність того, що спостерігатимуться значення стає максимальною.

Оцінка максимальної правдоподібності володіє низкою добрих властивостей, і тому відповідний метод набув широкого поширення. Наприклад, якщо

є оцінкою максимальної правдоподібності параметра , то - оцінка максимальної правдоподібності для .

Можна також довести, що за достатньо загальних умов оцінка максимальної правдоподібності

асимптотично поводиться як нормально розподілена випадкова величина з середнім значенням і дисперсією , отже, - спроможна оцінка, і її дисперсія асимптотично мінімальна (тобто сама оцінка асимптотично ефективна).

Більш того, якщо достатня статистика існує, то метод максимальної правдоподібності приведе до функції від цієї достатньої статистики.

2.8.2 Парадокси

2.8.2.1 Нехай

- незалежні випадкові величини, рівномірно розподілені на інтервалі . Оцінка максимальної правдоподібності невідомого параметра q дорівнює . Трохи змінивши її, отримаємо

,

незміщену оцінку для

з дисперсією

.

З іншого боку, дисперсія оцінки

асимптотично еквівалентна

, отже, ця оцінка більш ефективна, ніж оцінка максимальної правдоподібності.

2.8.2.2 Наведемо простий приклад, який показує, що оцінка максимальної правдоподібності не завжди спроможна. Нехай

- множина раціональних чисел між , а В - деяка зліченна множина ірраціональних чисел між . Припустимо, що значеннями незалежних елементів вибірки є тільки , причому значення 1 набувається з імовірністю , якщо  - елемент множини А, і з імовірністю , якщо - елемент В. Тоді оцінка максимальної правдоподібності для  не є спроможною. Хоча дещо складніша спроможна оцінка для все ж існує.

2.8.3 Пояснення парадоксів

2.8.3.1 Статистики

в сукупності містять всю інформацію про параметр

; точніше, при заданих і спільна щільність ймовірностей величин не залежить від (тобто і в сукупності утворюють достатню статистику). Таким чином, природно вважати, що як оцінка максимальної правдоподібності, так і оцінка, яка виявилась кращою, залежать лише від і . Оскільки оцінка максимальної правдоподібності залежить тільки від статистики , яка не є достатньою (вона не містить всю інформацію про ), недивно, що знайшлася краща оцінка. Це не суперечить асимптотичній ефективності оцінки максимальної правдоподібності, оскільки у випадку рівномірного розподілу “загальні умови", які забезпечують ефективність, не виконані.