Методы математической статистики (стр. 3 из 3)
Метод наибольшего правдоподобия обладает важным свойством: он всегда приводит к состоятельным, хотя иногда и к смещенным, и эффективным оценкам.
На практике использование метода наибольшего правдоподобия часто приводит к необходимости решать достаточно сложные системы уравнений.
6. Метод наименьших квадратов
математическая статистика метод распределение выборка
Применим метод наибольшего правдоподобия для обработки экспериментальных данных. Предположим, что между физической величиной t (например, временем) и измеряемой y (сигналом) существует функциональная зависимость: y = j (t).
Вид этой зависимости необходимо определить из опыта. Положим, что в результате опыта мы получили ряд экспериментальных точек и построили график зависимости у от t. Экспериментальные точки всегда имеют ошибки измерения. Возникает вопрос, как по экспериментальным данным наилучшим образом воспроизвести зависимость у от t? Если провести интерполяционную кривую, то есть кривую, точно проходящую через экспериментальные точки, то это в силу ошибок измерения будет не самым лучшим решением. В случае, когда известна тенденция этой зависимости, другими словами вид кривой, то задача упрощается. Тогда возникает задача сглаживания - построение кривой таким образом, чтобы уклонение(в каком-то смысле) от экспериментальных точек кривой было минимальным.
Очень часто бывает так, что, зная вид кривой, из опыта требуется установить только некоторые параметры зависимости. Например, известно, что зависимость есть линейная y = at + b, а неизвестные величины а и b надлежит определить из экспериментальных данных y1= y(t1), y2= y(t2), ... ,yn= y(tn). В общем случае функция у = j (t, a, b, ...) может содержать много параметров (а,b, ...). Требуется выбрать эти параметры так, чтобы кривая у = j (t, a, b, ...) в каком-то смысле наилучшим образом отображала зависимость, полученную опытным путем. Для этого рассмотрим следующую модель.
Имеются наблюдения (экспериментальные данные) y1, y2, ... ,yn точных величин j (t1, a, b, ...) j (t2, a, b, ...), ... , j (tn, a, b, ...). Тогда величина Di = yi - j (ti, a, b, ...)
является ошибкой наблюдения. Относительно ошибок будем полагать, что Di 
- независимые случайные величины с математическим ожиданием равным нулю (центрированные) и одинаковой дисперсией s2 подчинены нормальному закону распределения. Функция правдоподобия в этом случае будет иметь вид 
и достигает своего максимального значения путем выбора параметров а, b ... лишь тогда, когда функция
достигнет минимального значения. Если измерения неравноценны, что эквивалентно наличию разных дисперсий si2 ошибок Di
, то, исходя из функции правдоподобия, необходимо минимизировать функцию 
.Величина
здесь играет роль весовых множителей. Этот метод отыскания параметров носит название метода наименьших квадратов.Для нахождения минимального значения последней функции нужно решить систему уравнений
количество уравнений которой равно количеству параметров а, b, ... . В качестве примера рассмотрим упомянутую линейную зависимость при равноценных измерениях:
у = аt + b (j (ti ;a, b) = at + b).
В этом случае нам нужно минимизировать функцию
Беря частные производные от этой функции по а и b и приравнивая их нулю, получаем систему двух уравнений с двумя неизвестными
Решая эту систему относительно а и b, после простых преобразований получим следующую линейную зависимость
где
