Статистичний аналіз тенденцій захворюваності в Україні (стр. 3 из 38)

Оскільки ми припускаємо, що матриця X має ранг р, то матриця Х'Х додатньо визначена і, отже, не вироджена. Тому рівняння (1.1.4) має єдиний розв’язок, а саме

= ( Х'Х)^-1 Х'Y

Цей розв’язок називається оцінкою найменших квадратів вектора β.

Оцінку для β можна одержати й в інший спосіб.

ε'ε = (Y-Хβ)'(Y-Хβ) = Y'Y - 2β'Х'Y+ β'Х'Хβ

(використовуємо той факт, що β'Х'Y = (β'Х'Y)' = Y'Хβ). Продиференцюємо ε'ε по β. Прирівнюючи одержану похідну

ε'ε/ β нулю, приходимо до рівняння

- 2Х'Y +2Х'Хβ = 0, (1.1.5)

Або

Х'Хβ = Х'Y.

Звідки

= ( Х'Х)^-1 Х'Y

Покажемо, що знайдена стаціонарна точка

є мінімумом функції ε’ε. Перепишемо (Y-Хβ)’(Y-Хβ) у вигляді

(Y-Хβ)'(Y-Хβ) = (Y-Х

)'(Y-Х ) + ( - β)'Х'Х( - β). (1.1.6)

Розпишемо

(Y-Х

)'(Y-Х ) + ( - β)'Х'Х( - β) = (Y'-Х' ')(Y-Х ) +

+ (

' - β')(Х'Х - Х'Хβ) = Y'Y - Y'X - 'X'Y + 'X'X +

+

'X'X - 'X'X - 'X'X + 'X'X =

= {X'X

= X'Y, оскільки - розв’язок нормального рівняння} =

= Y'Y - Y'X

- 'X'Y + 'X'Y + 'X'Y - 'X'X β – β'X'Y + β'X'Xβ =

= Y'Y - Y'Xβ – β'X'Y + β'X'X β = (Y - Xβ)'(Y - Xβ)

Ліва частина в (1.1.6) досягає мінімуму при β =

.

Далі позначимо

= Х . Елементи вектора

e = Y –

= Y – Х = (I_n - Х(Х'Х)^-1Х')Y = (I_n - Р)Y (1.1.7)

називаються залишками (ми позначили тут скорочено Х(Х'Х)^-1Х' через Р). Мінімальне значення ε'ε називається залишковою сумою квадратів (RSS)).

RSS = (Y - Х

)'(Y - Х )= Y'Y - 2 Х' Y + 'Х'Х =

= Y’Y -

'Х' Y + '[Х'Х - Х'Y] =

= Y'Y -

'Х'Y (1.1.8)

Або

RSS = Y'Y -

'Х'Х (1.1.9)

Відмітимо, що

і е єдині.

Оскільки

= Х = Х(Х'Х)^-1Х'Y = РY, то Р є матрицею лінійного перетворення, яке є ортогональним проектуванням n-мірного евклідова простору Е_n на Ω. Аналогічно I_n - Р є матрицею ортогонального проектування Е_n на - ортогональне доповнення до Ω в Е_n. Тому вираз Y = РY + (I_n - Р)Y є єдиним ортогональним розкладом вектора Y на дві складові, одна з яких лежить в Ω, а інша - в . Деякі основні властивості матриць Р і (I_n - Р) наведено в теоремі 1.1.1. Спочатку сформулюємо деякі означення.

Означення. Слідом trX матриці Х називають суму її діагональних елементів

trX = 1 + x₂₁ + x₃₂ + … + x_np-1

Означення. Матриця Р називається ідемпотентною, якщо Р² = Р. Симетрична ідемпотентна матриця називається проекційною. Якщо Р – проекційна матриця, то trР = rankР.

Теорема 1.1.1.

(I) Матриці Р і I_n - Р симетричні та ідемпотентнi.

(II) rank[I_n - Р] = tr[I_n - Р] = n - р.

(III) (I_n - Р)Х = 0.

Доведення.

(I) Р' = (X(X'X)^-1X')' = X((X'X)^-1)'X' = X(X'X)^-1X' = P

Отже, матриця Р є симетричною і (I_n - Р)' = I_n - Р' = I_n - Р. Крім того,

Р² = X(Х'Х)^-1Х'Х(Х'Х) ^-1X' = XI_p (Х'Х)^-1X' = Р,

і (I_n – Р)² = I_n - 2Р + P² = I_n – Р.

(II) Оскільки матриця I_n - Р симетрична та ідемпотентна, то вона проекційна і tr(I_n – Р) = rank(I_n – Р). Тоді

rank[I_n - Р] = tr[I_n - Р] = n - trР,

де

trР = tr[X (Х'Х)^-1X'] = tr[Х'Х (Х'Х)^-1] = trI_p = р.

(III) (I_n - Р)Х = Х - Х(Х'Х)^-1Х'Х = Х - Х = 0.

Теорема доведена.

Теорема 1.1.2.

Нехай Р = X(Х'Х)^-1X', тоді R(P) = R(X), тобто простір, породжений стовпцями матриці P є простором, породженим стовпцями матриці Х.

Доведення.

R(P) = {z: z = Pα} для деякого α, R(X) = {Y: Y = Xγ} для деякого γ.

Вибираємо z

R(P), тоді z = Pα. Отже,

z = Pα = X(X'X)^-1X'α = Xβ,

отже z

R(X).

Вибираємо Y

R(X), тоді Y = Xγ

Y = Xγ = X(X'X)^-1X'Xγ = X(X'X)^-1X'Xγ = PY,

отже Y

R(P).

Теорема доведена.

Теорема 1.1.3.

(Y - ) = 0 або

Доведення.

(Y - ) = { = X = X(X'X)^-1X'Y = PY} = (PY)'(Y – PY) = Y'P'(1 – P)Y = = Y'P(1 – P)Y = Y'(P – P²)Y = Y'(P – P)Y = 0.

Теорема доведена.

Якщо припустити, що помилки ε такі, що

, то

M[

] = (X’X)^-1X’M[Y] = (X’X)^-1X’X β = β (1.1.9)

тобто

є незміщеною оцінкою вектора β. Якщо, окрім того, припустити, що всi ε_i, і = 1, …, n - некорельовані і мають однакову дисперсію, тобто