Прирівнюємо похідні нулеві:
(1.2.2) (1.2.3)Останню систему називають системою нормальних рівнянь. Із (1.2.2) маємо:
(1.2.4)Підставляємо
в (1.2.3): (1.2.5)Оскільки
і, крім того,
то (1.2.5) запишеться у вигляді
Тоді рівняння простої лінійної регресії має вигляд
Перевіримо, що в точці
функція дійсно досягає мінімуму.Візьмемо другі похідні:
Складаємо дискримінант:
Отже,
і . Тоді в точці функція досягає мінімального значення.Зауваження 1. Якщо в рівнянні регресії
обрати
, то . Це означає, що точка лежить на підібраній прямій.Зауваження 2. Сума всіх залишків
дорівнює нулю, дійсно, в кожній точці.1.3 Точність оцінки регресії
Тепер розглянемо питання про те, яка точність може бути приписана лінії регресії, коефіцієнти якої були оцінені. Розглянемо таку тотожність:
(1.3.1)Розглянемо доданок
Підставляємо останнє в (1.3.1):
Звідки
(1.3.2)Означення 1.3.1. Величина
– це відхилення -го спостереження від загального середнього, тому суму називають сумою квадратів відхилень відносно середнього значення.Означення 1.3.2. Величина
– це відхилення -го спостереження від його передбаченого значення, тому суму називають сумою квадратів відхилень відносно регресії.Означення 1.3.3. Величина
– це відхилення -го передбаченого значення від загального середнього, тому суму називають сумою квадратів, обумовленою регресією.Тоді (1.3.2) можна переписати в еквівалентній формі
сума квадратів сума квадратів сума квадратів = +відносно обумовлена відносно (1.3.3)
середнього регресією регресії
З останнього випливає, що розсіювання
відносно можна приписати у деякій мірі тому факту, що не всі спостереження знаходяться на лінії регресії.Якщо це було б не так, то
відносно регресії дорівнювала б нулюЗ цих міркувань зрозуміло, що придатність лінії регресії
з метою прогнозування залежить від того, яка частина суму квадратів відносно середнього приходиться на суму квадратів, обумовлену регресією, і яка на суму квадратів відносно регресії.Задовільним вважається випадок, коли сума квадратів, обумовлена регресією, буде набагато більша, ніж сума квадратів відносно регресії.
Кожна сума квадратів пов’язана з числом, яке називають її ступенем вільності.
Число ступенів вільності – це число незалежних елементів, які складаються з
незалежних чисел , необхідних для утворення даної суми квадратів.Розглянемо суму квадратів відхилень відносно середнього значення
.Серед величин
незалежними є тільки величина, оскільки останній елемент знаходиться як лінійна комбінація іншихЧисло ступенів вільності цієї суми квадратів дорівнює
.Розглянемо суму квадратів, обумовлену регресією
.Єдиною функцією від
є оцінка , оскільки, . Тому число ступенів вільності цієї суми квадратів дорівнює .Число ступенів вільності суми квадратів
дорівнює .Отже, згідно з (1.3.3) ми можемо розкласти ступені вільності суми квадратів так:
(1.3.4)За допомогою (1.3.3) та (1.3.4), побудуємо таблицю дисперсійного аналізу.
Таблиця 1.3.1. Таблиця дисперсійного аналізу
Джерело варіації | Сума квадратів | Число ступенів вільності | Середній квадрат |
Обумовлена регресією | |||
Відносно регресії | |||
Відносно середнього |
1.4 -критерій значущості регресії