Статистическое моделирование (стр. 5 из 5)
В качестве оценки неизвестного параметра 
берется такое его значение 
, которое доставляет максимум функции 
, рассматриваемой как функции от при фиксированных значениях 
. Оценку называют оценкой максимального правдоподобия. Заметим, что зависит от объема выборки n и выборочных значений 
,
и, следовательно, сама является случайной величиной.
Отыскание точки максимума функции 
представляет собой отдельную задачу, которая облегчается, если функция дифференцируема по параметру .
В этом случае удобно вместо функции рассматривать её логарифм, поскольку точки экстремума функции и её логарифма совпадают.
Методы дифференциального исчисления позволяют найти точки, подозрительные на экстремум, а затем выяснить, в какой из них достигается максимум.
С этой целью рассматриваем вначале систему уравнений
(25.2)
решения которой 
- точки, подозрительные на экстремум. Затем по известной методике, вычисляя значения вторых производных
по знаку определителя, составленного из этих значений, находим точку максимума.
Оценки, полученные по методу максимального правдоподобия, состоятельны, хотя могут оказаться смещенными.
Рассмотрим примеры.
Пример 25.2. Пусть производится некоторый случайный эксперимент, исходом которого может быть некоторое события А, вероятность Р(А) которого неизвестна и подлежит оцениванию.
Решение.
Введем случайную величину x равенством
 |
если событие А произошло,
если событие А не произошло (произошло событие
).Распределение случайной величины x задается равенством
Выборкой в данном случае будет конечная последовательность ( 
), где каждое из 
может быть равно 0 либо 1.
Функция правдоподобия будет иметь вид
Найдем точку её максимума по р, для чего вычислим производную логарифма
Обозначим 
- это число равно количеству единиц «успехов» в выбранной последовательности.
Приравняем полученную производную к нулю
и решим полученное уравнение
.
Поскольку производная 
меняет знак с «+» на «-» при возрастании р от 0 до 1, точка 
есть точка максимума функции L, а 
- оценка максимального правдоподобия параметра р. Заметим, что отношение 
есть частота появления события А в первых n испытаниях.
Поскольку m есть число «успехов» в последовательности n независимых испытаний ( в схеме Бернулли), то 
, и 
- несмещенная оценка. В силу закона больших чисел Бернулли 
стремится по вероятности к р, и оценка состоятельна.
Пример 25.3. Построим оценки неизвестных математического ожидания и дисперсии нормально распределенной случайной величины x с параметрами 
.
Р е ш е н и е.
В условиях примера случайная величина определяется плотностью распределения
.
Сразу выпишем логарифм функции правдоподобия
.
Составим систему уравнений для нахождения экстремальных точек
Из первого уравнения находим 
, из второго, подставляя найденное значение a, находим 
.
Вычислим вторые производные функции lnL в точке ( 
):
А = 
,В = 
,С = 
.
Поскольку определитель
,
а А < 0, то найденная точка в самом деле точка максимума функции правдоподобия.
Заметим, что оценка 
есть выборочное среднее (несмещенная и состоятельная оценка математического ожидания), а 
- выборочная дисперсия (смещенная оценка дисперсии).