Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей (стр. 4 из 11)
,гдеE — оператор статистического ожидания. Если X имеет ненулевое среднее, можно вычесть это значение еще до начала анализа. Пусть q—единичный вектор (unitvector) размерности т, на который проектируется вектор X. Эта проекция определяется как скалярное произведение векторов X и q:
(1.3)при ограничении
(1.4)Проекция А представляет собой случайную переменную со средним значением и с дисперсией, связанными со статистикой случайного вектора X. В предположении, что случайный вектор X имеет нулевое среднее значение, среднее значение его проекции А также будет нулевым:
Таким образом, дисперсия А равна
(1.5)Матрица R размерности т х т является матрицей корреляции случайного вектора X. определяемой как ожидание произведения случайного вектора X самого на себя:
(1.6)Матрица R является симметричной, т.е.
(1.7)Из этого следует, что если а и b — произвольные векторы размерности т х 1, то
(1.8)Из выражения (1.5) видно, что дисперсия
2 проекции А является функцией единичного вектора q. Таким образом, можно записать: 
(1.9)на основании чего ψ(q) можно представить как дисперсионный зонд (varianceprobe).
1.5.1 Структура анализа главных компонентов
Следующим вопросом, подлежащим рассмотрению, является поиск тех единичных векторов q, для которых функция ψ(q) имеет экстремальные или стационарные значения (локальные максимумы и минимумы) при ограниченной Евклидовой норме вектора q. Решение этой задачи лежит в собственной структуре матрицы корреляции R. Если q — единичный вектор, такой, что дисперсионный зонд ψ(q) имеет экстремальное значение, то для любого возмущения 6q единичного вектора q выполняется!
(1.10)Из определения дисперсионного зонда можем вывести следующее соотношение:
,где во второй строке использовалось выражение (1.8). Игнорируя слагаемое второго порядка (δq)TRδq и используя определение (1.9), можно записать следующее:
(1.11)Отсюда, подставляя (1.10) в (1.11), получим:
, (1.12)Естественно, любые возмущения δq вектора q нежелательны; ограничим их только теми возмущениями, для которых норма возмущенного вектора q+δq остается равной единице, т.е.
или, что эквивалентно,
,Исходя из этого, в свете равенства (1.4) требуется, чтобы для возмущения первого порядка δq выполнялось соотношение
(1.13)Это значит, что возмущения δq должны быть ортогональны вектору q и, таким образом, допускаются только изменения в направлении вектора q.
Согласно соглашению, элементы единичного вектора q являются безразмерными в физическом смысле. Таким образом, можно скомбинировать (1.12) и (1.13), введя дополнительный масштабирующий множитель l, в последнее равенство с той же размерностью, что и вхождение в матрицу корреляции R. После этого можно записать следующее:
,или, эквивалентно,
, (1.14)Для того чтобы выполнялось условие (1.14), необходимо и достаточно, чтобы
(1.15)Это — уравнение определения таких единичных векторов q, для которых дисперсионный зонд ψ (q) принимает экстремальные значения.
В уравнении (1.15) можно легко узнать задачу определения собственных значений (eigenvalue: problem) из области линейной алгебры. Эта задача имеет нетривиальные решения (т.е. q≠ 0) только для некоторых значений l, которые называются собственными значениями (eigenvalue) матрицы корреляции R. При этом соответствующие векторы q называют собственными векторами (eigenvector). Матрица корреляции характеризуется действительными, неотрицательными собственными значениями. Соответствующие собственные векторы являются единичными (если все собственные значения различны). Обозначим собственные значения матрицы R размерности т х т как l1, l2,,.., lm, а соответствующие им собственные векторы -q1, q2,...,qmсоответственно. Тогда можно записать следующее:
(1.16)Пусть соответствующие собственные значения упорядочены следующим образом:
, (1.17)При этом l1 будет равно lmax. Пусть из соответствующих собственных векторов построена следующая матрица размерности т х т:
(1.18)Тогда систему т уравнений (1.16) можно объединить в одно матричное уравнение:
(1.19)где А — диагональная матрица, состоящая из собственных значений матрицы R:
(1.20)Матрица Q является ортогональной (унитарной) в том смысле, что векторы-столбцы (т.е. собственные векторы матрицы R) удовлетворяют условию ортогональности:
(1.21)Выражение (1.21) предполагает, что собственные значения различны. Эквивалентно, можно записать:
из чего можно заключить, что обращение матрицы Q эквивалентно ее транспонированию:
(1.22)Это значит, что выражение (8.17) можно переписать в форме, называемой ортогональным преобразованием подобия (orthogonalsimilaritytransformation):
(1.23)или в расширенной форме:
(1.24)Ортогональное преобразование подобия (1.23) трансформирует матрицу корреляции R в диагональную матрицу, состоящую из собственных значений. Сама матрица корреляции может быть выражена в терминах своих собственных векторов и собственных значений следующим образом:
(1.25)Это выражение называют спектральной теоремой (spectraltheorem). Произведение векторов
имеет ранг 1 для всех i.Уравнения (1.23) и (1.25) являются двумя эквивалентными представлениями разложения по собственным векторам (eigencomposition) матрицы корреляции R.
Анализ главных компонентов и разложение по собственным векторам матрицы R являются в сущности одним и тем же; различается только подход к задаче. Эта эквивалентность следует из уравнений (1.9) и (1.25), из которых ясно видно равенство собственных значений и дисперсионного зонда, т.е.
(1.26)Теперь можно сделать выводы, касающиеся анализа главных компонентов.
• Собственные векторы матрицы корреляции R принадлежат случайному вектору X с нулевым средним значением и определяют единичные векторы qj, представляющие основные направления, вдоль которых дисперсионный зонд Ψ(qj) принимает экстремальные значения.
• Соответствующие собственные значения определяют экстремальные значения дисперсионного зонда Ψ(uj)
1.5.2 Основные представления данных
Пусть вектор данных х является реализацией случайного вектора X.
При наличии т возможных значений единичного вектора q следует рассмотреть т возможных проекций вектора данных х. В частности, согласно формуле (1.3)
(1.27)где aj— проекции вектора х на основные направления, представленные единичными векторами qj. Эти проекции aj- называют главными компонентами (principalcomponent). Их количество соответствует размерности вектора данных х. При этом формулу (1.27) можно рассматривать как процедуру анализа (analysis).
Для того чтобы восстановить вектор исходных данных х непосредственно из проекций aj, выполним следующее. Прежде всего объединим множество проекций { aj | j= 1,2,..., m} в единый вектор:
(1.28)Затем перемножим обе части уравнения (1.28) на матрицу Q, после чего используем соотношение (1.22). В результате исходный вектор данных х будет реконструирован в следующем виде:
(1.29)