
(8)
– рівняння регресії

на

.
Аналогічно визначаються умовне математичне сподівання випадкової величини

і функція, а також рівняння регресії

на

:

(9)
Функції

і

(рівняння регресії), що уявляють інтерес, у загальному випадку невідомі, тому їх шукають у наближеному вигляді, причому звичайно обмежуються лінійним наближенням:

(10)
де

і

– параметри, що підлягають визначенню. Найчастіше для цього вживають метод найменших квадратів.
Функцію

називають "найкращим наближенням"

у сенсі методу найменших квадратів, якщо математичне сподівання

(11)
приймає найменше можливе значення. При цьому функцію

називають середньоквадратичною регресією

на

.
У теорії ймовірностей доведено, що лінійна середня квадратична регресія

на

має вигляд

де

,

,

,

,

– коефіцієнт кореляції величин

і

,

– кореляційний момент цих величин.
Можна показати, що кореляційний момент

характеризує зв'язок між величинами

і

, зокрема, якщо вони незалежні, то

Коефіцієнт

називають коефіцієнтом регресії

на

, а пряму

(12)
називають прямою середньоквадратичної регресії

на

.
При підстановці знайдених значень

і

у формулу (11) отримуємо мінімальне значення функції

, що дорівнює

Цю величину називають залишковою дисперсією випадкової величини

щодо випадкової величини

. Вона характеризує похибку, що виникає під час заміни

лінійною функцією (10). При

залишкова дисперсія дорівнює нулю, тобто в цих випадках лінійна функція (10) точно подає випадкову величину

. Це означає, що при цьому

та

пов'язані лінійною функціональною залежністю.
Аналогічний вигляд має і пряма середньоквадратичної регресії

на

(13)
Очевидно, що обидві прямі регресії (12) і (13) проходять через спільну точку

, яка називається центром спільного розподілу величин

і

. Якщо коефіцієнт кореляції

дорівнює нулю, то пряма регресії

на

(12) є паралельною осі

, а пряма регресії

на

(13) – паралельна осі

, тобто вони є взаємно ортогональні. Крім того, при

обидві прямі регресії співпадають.
Таким чином, значення кута між прямими регресії (12) і (13) характеризує тісноту зв’язку між випадковими величинами: чим менше кут, тим більш тісною є зв’язок.
2.3 Умовне середнє і вибіркова регресія
У математичній статистиці вводять вибіркові оцінки умовного математичного сподівання і регресії. У якості оцінки умовного математичного сподівання

беруть умовне середнє

, яке знаходять за вибірковими даними спостережень.
Умовним середнім

називається середнє арифметичне значень випадкової величини

, що спостерігаються за умови, яка випадкова величина

при цьому має значення

. Аналогічно визначається і умовне середнє

, однак надалі для стислості викладення обмежимося в основному розглядом тільки

і пов'язаними з ним питаннями.
Також як і умовне математичне сподівання

, його вибіркова оцінка є функцією від змінної

, що позначимо через

і будемо називати вибірковою регресією

на

, а її графік – вибірковою лінією регресії

на

. Крім того, за аналогією з рівняннями (8) і (9) вводяться вибіркові рівняння регресії

на

і

на

, відповідно