Многомерный регрессионный анализ (стр. 2 из 8)

В матричной форме модель имеет вид:

,

где

, , , ε=

- вектор-столбец фактических значений зависимой переменной размерности n;

- матрица значений объясняющих переменных размерности n*(k+1);

- вектор-столбец неизвестных параметров, подлежащих оценке, размерности (k+1);

- вектор-столбец случайных ошибок размерности n с математическим ожиданием ME=0 и ковариационной матрицей

соответственно, при этом

-единичная матрица размерности (nxn).

Оценки неизвестных параметров

находятся методом наименьших квадратов, минимизируя скалярную сумму квадратов по компонентам вектора β.

Далее подставив выражение

в ,

получаем скалярную сумму квадратов

Условием обращения полученной суммы в минимум является система нормальных уравнений:

, (j=0,1,2,…,k) .

В результате дифференцирования получается:

.

При замене вектора неизвестных параметров β на оценки, полученные методом наименьших квадратов, получаем следующее выражение:

.

Далее умножив обе части уравнения слева на матрицу

, получим

Так как

, тогда .

Полученные оценки вектора b являются не смещенными и эффективными.

Ковариационная матрица вектора b имеет вид:

, где - остаточная дисперсия.

Элементы главной диагонали этой матрицы представляют собой дисперсии вектора оценок b. Остальные элементы являются значениями коэффициентов ковариации:

, где , .

Таким образом, оценка

- это линейная функция от зависимой переменной. Она имеет нормальное распределение с математическим ожиданием и дисперсией .

Несмещенная оценка остаточной дисперсии определяется по формуле:

, где n – объем выборочной совокупности;

k – число объясняющих переменных.

Для проверки значимости уравнения регрессии используют F-критерий дисперсионного анализа, основанного на разложении общей суммы квадратов отклонений на составляющие части:

, где - сумма квадратов отклонений (от нуля), обусловленная регрессией;

- сумма квадратов отклонений фактических значений зависимой переменной от расчетных , т.е. сумма квадратов отклонений относительно плоскости регрессии, обусловленное воздействием случайных и неучтенных в модели факторов.

Для проверки гипотезы

используется величина , которая имеет F-распределение Фишера-Снедекора с числом степеней свободы и . Если , то уравнение регрессии значимо, т.е. в уравнении есть хотя бы один коэффициент регрессии, отличный от нуля.

В случае значимости уравнения регрессии проверяется значимость отдельных коэффициентов регрессии. Для проверки нулевой гипотезы

используется величина

, которая имеет F-распределение Фишера-Снедекора с числом степеней свободы и ; - соответствующий элемент главной диагонали ковариационной матрицы.

Коэффициент регрессии

считается значимым, если . Для значимых коэффициентов регрессии можно построить доверительные интервалы, используя формулу

, где находится по таблице распределения Стьюдента для уровня значимости и числа степеней свободы .

В многошаговом регрессионном анализе наиболее известны три подхода:

1. Метод случайного поиска с адаптацией. Осуществляется путем построения нескольких уравнений регрессии на основе формально разработанного принципа включения факторов и последующего выбора лучшего уравнения с точки зрения определенного критерия.

2. Метод включения переменных, основанный на построении уравнения регрессии по одному значимому фактору и последовательном добавлении всех остальных статистически значимых переменных путем расчета частных коэффициентов корреляции и F-критерия при проверке значимости вводимого в модель фактора.

3. Метод отсева факторов по t-критерию. Данный метод заключается в построении уравнений регрессии по максимально возможному количеству объясняющих переменных и последующем исключении статистически не существенных факторов.

Метод отсева факторов по t-критерию

Наиболее оправданным является использование многошагового регрессионного анализа, основанного на оценке значимости коэффициентов регрессии с помощью t-критерия Стьюдента. Данный метод и был использован при анализе продолжительности жизни населения стран Африки в данной курсовой работе, потому что его применение четко формализовано, и в то же время на различных стадиях построения модели можно производить качественный экономический анализ. Рассмотрим его более подробно.

Итак, на первом этапе строится уравнение регрессии по переменным, предположительно влияющим на исследуемую зависимую переменную. Затем с помощью определенных критериев исключаются те переменные, которые оказывают статистически несущественное влияние. На этом подходе основан метод отсева факторов по t-критерию в многошаговом регрессионном анализе.

Применение t-критерия при отборе существенных факторов основано на следующей предпосылке регрессионного анализа: если выполняется условие, что E_i распределены нормально, то величина

распределена по закону Стьюдента с n = n-k-1 степенями свободы. По этому критерию можно проверить гипотезу о существенном отличии от нуля коэффициента регрессии b_j при некотором заданном уровне значимости и n-k-1 степенях, то коэффициент регрессии b_j признается значимым.