Парадокси в математичній статистиці (стр. 20 из 22)

Тоді умовна ймовірність події

за умов, що набуло значення має вигляд

. (2)

А умовна щільність випадкової величини

перепишеться у вигляді

. (3)

І вона є апостеріорною щільністю. Імовірність того, що

рахується за формулою

. (4)

Наприклад, якщо

, , , , то імовірність того, що більше , дорівнює :

Не всі довіряють цьому результату, зокрема, тому, що мають сумніви щодо рівномірності апріорного розподілу.

Парадокс.

Нехай можливими значеннями випадкової величини

є цілі числа. Припустимо, що ймовірнісний розподіл залежить від параметру . Якщо вибірка здобута з невідомого розподілу , то послідовність апостеріорних розподілів при збільшенні числа спостережень концентрується навколо істинного значення невідомого параметра .

(5)

Оцінка

параметра обирається виходячи з максимуму апостеріорної щільності, тобто

. (6)

Парадоксально, але це не завжди вірно. Наприклад, істинне значення параметра

може дорівнювати , а послідовність апостеріорних розподілів все більше зосереджується, наприклад, біля .

Пояснення парадоксу.

Нехай апріорний розподіл параметра

рівномірний на відрізку

~

. (7)

Визначимо функцію

на цьому відрізку таким чином. Визначимо функцію на цьому відрізку таким чином, що значеннями завжди є натуральні числа, за виключенням точок та , де :

(8)

Нехай розподіл випадкової величини

(який залежить від ) має вигляд

, (9)

де

знаходиться з рівності

. (10)

При відповідному виборі

вказана вище парадоксальна ситуація здійснена.

Парадокс методу найменших квадратів. Парадокс.

Нехай

- вибірка з двостороннього зміщеного показникового розподілу, утворена незалежними випадковими величинами зі щільністю , де відомі. За результатами спостережень необхідно оцінити невідомий параметр .

Оцінка параметра

за методом найменших квадратів має вигляд

. (1)

Оцінка параметра

за методом максимальної правдоподібності дорівнює

(2)

Оцінка параметра

за МНК - методом не збігається з оцінкою, здобутою за методом максимальної правдоподібності. Треба вибрати яка з них краще?

Пояснення парадоксу.

Якщо

- результати спостережень - розподілені нормально (щільність розподілу має вигляд , ), то згідно з МНК - методом та методом максимальної правдоподібності оцінкою параметра є

. (3)

В методі найменших квадратів Гаусс виходив з припущення про нормальний розподіл похибок (і відповідно результатів спостережень

). Якщо відомо, що розподіл похибок відмінний від нормального, використовувати МНК - метод для оцінювання параметрів не рекомендують. Кращою оцінкою є оцінка, знайдена за методом максимальної правдоподібності, оскільки вона асимптотично ефективна для параметра .

Парадокс методу максимальної правдоподібності.

Парадокс.

Наведемо простий приклад, який показує, що оцінка максимальної правдоподібності не завжди спроможна. Нехай

- множина раціональних чисел між , а В - деяка зліченна множина ірраціональних чисел між . Припустимо, що значеннями незалежних елементів вибірки є тільки , причому значення 1 набувається з імовірністю q, якщо q - елемент множини А, і з імовірністю , якщо - елемент В. Тоді оцінка максимальної правдоподібності для q не є спроможною.

Пояснення парадоксу.

Пояснення досить просте: оцінка максимальної правдоподібності для

є частота , яка прямує до для раціональних і прямує до для ірраціональних .