Статистичний аналіз тенденцій захворюваності в Україні (стр. 4 из 38)

соv[ε_i, ε_j] =

,

то D[ε] = σ²I_n,

D[Y] = D[Y - Xβ] = D[ε], отже D[Y] = σ²I_n.

Звідси одержуємо

D[

] = D[(Х'Х)^-1Х'Y] = сov((Х'Х)^-1X'Y, (Х'Х)^-1X'Y) =

= (X'X)^-1X'cov(Y,Y)((X'X)^-1X')' = (X'X)^-1X'DYX(X'X)^-1 =

= (X'X)^-1X'σ²IX(X'X)^-1 = σ²(X'X)^-1(X'X) (X'X)^-1 = σ²(X'X)^-1 (1.1.10)

Виникає таке питання: чому за оцінку вектора β ми вибираємо саме

(оцінку найменших квадратів), а не будь – яку іншу оцінку? Далі покажемо, що в деякому розумному класі оцінок _j, є оцінкою параметра β_j з найменшою дисперсією. Цю оцінку _j можна „виділити" з вектора = ( ₀, ₁, ..., _p-1)' множенням зліва на вектор-рядок c', у якого (j +1)-й елемент рівний одиниці, а всі інші елементи дорівнюють нулю. Таку специфічну властивість оцінки _j, можна узагальнити на випадок довільної лінійної комбінації а' . Для цього використовуємо наступну теорему.

Теорема 1.1.4.

Нехай

- оцінка найменших квадратів вектора = Хβ. Тоді в класі всіх лінійних незміщених оцінок лінійної комбінації c'θ оцінка c' є єдиною оцінкою, яка має мінімальну дисперсію. (Будемо говорити, що c' є найкращою лінійною незміщеною оцінкою (НЛНО) для c'θ)

Доведення.

Оцінку найменших квадратів

вектора = Хβ представимо у вигляді

= X

= X(Х'Х)^-1X'Y = X(Х'Х)^-1X'Y = PY,

при цьому

PX = X(Х'Х)^-1X'X = X(Х'Х)^-1X'X = XI = X .

Перевіримо, що c'

- лінійна незміщена оцінка для c'θ. Дійсно,

M[c'

] = Mc'РY = c'P MY = c'Pθ = c'PXβ = c'Xβ = c'θ

для всіх θ

Ω = [Х] і c' = c'PY = (P'c)'Y = (Рс)'Y. Розглянемо іншу лінійну незміщену оцінку для c'θ. Тоді M[d'Y] = c'θ з одного боку, а з іншого

M[d'Y] = d'MY = d'θ,

Тоді

c'θ = d'θ

(с' - d')θ = 0 (с- d)'θ = 0, тобто (c - d) Ω = R(X).

Оскільки R(X) = R(P) в силу теореми 1.1.2, то

(c – d)

R(P), (c – d)'P = 0 ((c – d)'P)' = 0' P(c – d) = 0

Pc = Pd

Порахуємо дисперсію оцінки c'

:

Dc'

= D[(Рd)'Y] = D[(Рd)'Y] = Dd'P'Y = cov(d'P'Y, d'P'Y) =

= d'P'cov(Y, Y)(d'P')' = d'PDYPd = d'Pσ²IPd = σ²d'Р²d = σ² d'Рd,

Тоді

D[d'Y] - D[c'

] = D[d'Y] - D[(Рd)' Y] =

= d'DYd - σ²d'Pd = σ²d'd - σ²d'Pd =

= σ²(d'd - d'Рd) = σ²d'(I_n - Р)d = {I_n – P = (I_n – P)²} =

= σ² d'(I_n - Р)(I_n - Р)d = {I_n – P = (I_n – P)'} =

= σ² d'(I_n - Р)'(I_n - Р)d = σ² [(I_n - Р)d]'[(I_n - Р)d] ≥ 0

Рівність нулю досягається тоді й тільки тоді, коли

(I_n - Р)d = 0

d – Pd = 0

d = Рd = Рс

Тоді D(d'Y) ≥ D(c'

), при цьому c'θ = d'θ. Це і означає, що c' має мінімальну дисперсію і є єдиною оцінкою з такою властивістю в класі всіх лінійних незміщених оцінок лінійних комбінацій c'θ.

Теорема доведена.

Теорема доведена в припущенні, що матриця X має ранг p, так що Р = X (Х'Х)^-1X', і θ =Хβ випливає, що β = (Х'Х)^-1Х'θ.

Нехай с' = а'(Х'Х)^-1X', тоді звідси оцінка а'β = a'(X’X)^-1X'

= с' є НЛНО з мінімальною дисперсією для а'β при кожному а.

Зауваження. Якщо похибки ε_і незалежні й однаково розподілені ε ~

або, в еквівалентній формі, Y ~ , то a' має мінімальну дисперсію серед усіх незміщених оцінок, а не тільки в класі лінійних незміщених оцінок.

Зокрема, МНК – оцінка

_і, і = 0, …, p – 1 є також оцінкою максимальної правдоподібності, і вона ефективна оцінка для β_і.

Якщо ж розподіл ε_i не є нормальним, то МНК – оцінка

_і відрізняється від оцінки максимальної правдоподібності. В цьому випадку МНК – оцінка _і асимптотично ефективна для β_і.

Оцінимо параметр σ² = Dε_i, але спочатку сформулюємо низку лем.

Лема 1.1.1. Нехай Y = Y^(n×1) – випадковий вектор, А^(n×n) = A – симетрична матриця. Якщо MY = θ, DY = ∑, тоді математичне сподівання квадратичної форми Y'AY дорівнює

M(Y'AY) = tr(A∑) + θ'Aθ

.Наслідок

Якщо ∑ = σ²I, то tr(A∑) = σ²trA.

Лема 1.1.2.

Нехай маємо n незалежних випадкових величин Y₁, Y₂, …, Y_n з середніми θ₁, θ₂, …, θ_n, однаковими дисперсіями μ₂ та однаковими третіми та четвертими центральними моментами μ₃ та μ₄ відповідно (μ_r = M(Y_i – θ_i)^r). Якщо A = = А^(n×n) – симетрична матриця, а a – вектор – стовпець, утворений її діагональними елементами, тоді дисперсія квадратичної форми Y'AY дорівнює

D(Y'AY) = (μ₄ – 3(μ₂)²)a'a + 2(μ₂)²trA² + 4(μ₂)²θ'A²θ + 4μ₃θ'Aa

Теорема 1.1.4.

Якщо

М[Y] = Xβ, де Х = X^(n×p), rangX = p, D[Y] = σ² I_n,

тоді оцінка

є незміщеною оцінкою для σ².

Доведення.

Похибку ε запишемо у вигляді:

ε = Y -

= Y - Х = { = (X'X)^-1X'Y } = Y – X(X'X)^-1X'Y =

= (I_n – X(X'X)^-1X')Y = (I_n - Р)Y.

Тоді

(n - p)S² = (Y - X

)'(Y - X ) = ((I_n – P)Y)'((I_n – P)Y) = Y'(I_n – P)'(I_n – P)Y = {(I_n – P)' = I_n – P – симетрична} =Y'(I_n – P)²Y = Y'(I_n – P)Y.

Виразимо Y'(I_n – P)Y з рівності:

(Y – Xβ)'(I_n – P)(Y – Xβ) = Y'(I_n – P)Y – Y'(I_n – P)Xβ – (Xβ)'(I_n – P)Y + (Xβ)'(I_n – P)Xβ;

Y'(I_n – P)Y = (Y – Xβ)'(I_n – P)(Y – Xβ) + Y'(I_n – P)Xβ + (Xβ)'(I_n – P)Y - (Xβ)'(I_n – P)Xβ.

Порахуємо M(n – p)S²

M(n – p)S² = MY'(I_n – P)Y = {лема 1.1.1} = M(Y – Xβ)'(I_n – P)(Y – Xβ) +

+ MY'(I_n – P)Xβ + M(Xβ)'(I_n – P)Y – M(Xβ)'(I_n – P)Xβ =

= M(Y – Xβ)'(I_n – P)(Y – Xβ) + (Xβ)'(I_n – P)Xβ + (Xβ)'(I_n – P)Xβ –

- (Xβ)'(I_n – P)Xβ = M(Y – MY)'(I_n – P)(Y – MY) =

=

+ (Xβ)'(I_n – P)Xβ =