– рівняння регресії
на .Аналогічно визначаються умовне математичне сподівання випадкової величини
і функція, а також рівняння регресії на : (9)Функції
і (рівняння регресії), що уявляють інтерес, у загальному випадку невідомі, тому їх шукають у наближеному вигляді, причому звичайно обмежуються лінійним наближенням: (10)де
і – параметри, що підлягають визначенню. Найчастіше для цього вживають метод найменших квадратів.Функцію
називають "найкращим наближенням" у сенсі методу найменших квадратів, якщо математичне сподівання (11)приймає найменше можливе значення. При цьому функцію
називають середньоквадратичною регресією на .У теорії ймовірностей доведено, що лінійна середня квадратична регресія
на має виглядде
, , , , – коефіцієнт кореляції величин і , – кореляційний момент цих величин.Можна показати, що кореляційний момент
характеризує зв'язок між величинами і , зокрема, якщо вони незалежні, тоКоефіцієнт
називають коефіцієнтом регресії
на , а прямуназивають прямою середньоквадратичної регресії
на .При підстановці знайдених значень
і у формулу (11) отримуємо мінімальне значення функції , що дорівнюєЦю величину називають залишковою дисперсією випадкової величини
щодо випадкової величини . Вона характеризує похибку, що виникає під час заміни лінійною функцією (10). При залишкова дисперсія дорівнює нулю, тобто в цих випадках лінійна функція (10) точно подає випадкову величину . Це означає, що при цьому та пов'язані лінійною функціональною залежністю.Аналогічний вигляд має і пряма середньоквадратичної регресії
на (13)Очевидно, що обидві прямі регресії (12) і (13) проходять через спільну точку
, яка називається центром спільного розподілу величин і . Якщо коефіцієнт кореляції дорівнює нулю, то пряма регресії на (12) є паралельною осі , а пряма регресії на (13) – паралельна осі , тобто вони є взаємно ортогональні. Крім того, при обидві прямі регресії співпадають.Таким чином, значення кута між прямими регресії (12) і (13) характеризує тісноту зв’язку між випадковими величинами: чим менше кут, тим більш тісною є зв’язок.
2.3 Умовне середнє і вибіркова регресія
У математичній статистиці вводять вибіркові оцінки умовного математичного сподівання і регресії. У якості оцінки умовного математичного сподівання
беруть умовне середнє , яке знаходять за вибірковими даними спостережень.Умовним середнім
називається середнє арифметичне значень випадкової величини , що спостерігаються за умови, яка випадкова величина при цьому має значення . Аналогічно визначається і умовне середнє , однак надалі для стислості викладення обмежимося в основному розглядом тільки і пов'язаними з ним питаннями.Також як і умовне математичне сподівання
, його вибіркова оцінка є функцією від змінної , що позначимо через і будемо називати вибірковою регресією на , а її графік – вибірковою лінією регресії на . Крім того, за аналогією з рівняннями (8) і (9) вводяться вибіркові рівняння регресії на і на , відповідно