Рисунок 4.4
Теорема неполноты Гёделя: В любой формальной логической системе имеется ряд утверждений и теорем, которые нельзя ни опровергнуть, ни доказать, оставаясь в рамках этой системы аксиом.
В данном случае эта теорема означает, что выборка всегда неполна.
Один из способов преодоления этой неполноты – принцип внешнего дополнения. В качестве внешнего дополнения используется дополнительная выборка (проверочная), точки которой не использовались при обучении системы (т.е. при поиске оценочных значений коэффициентов полинома Колмогорова-Габора).
Поиск наилучшей модели осуществляется таким образом:
1) вся выборка делится на обучающую и проверочную:
2) на обучающей выборке
определяются значения . На проверочной выборке отбираются лучшие модели.3) входной вектор имеет размерность N
.Принцип свободы выбора (неокончательности промежуточного решения):
строятся частичные описания (всего ) или линейного (4.11) или квадратичного (4.12) вида: , , (4.11) , . (4.12)Определяем коэффициенты этих моделей по МНК, используя обучающую выборку. Т.е. находим
.Далее на проверочной выборке для каждой из этих моделей ищем оценку по формуле (4.13) и определяем F лучших моделей.
, (4.13)где
– действительное значение выходное значение в k-той точке проверочной выборки;а
– выходное значение в k-той точке проверочной выборки в соответствии с s-той моделью.Рисунок 4.5
Выбранные
подаются на второй ряд, где по формуле (4.14) ищем . (4.14)Оценка здесь такая же, как на первом ряде. Отбор лучших осуществляется опять так же, но
.Процесс конструирования рядов повторяется до тех, пока средний квадрат ошибки будет падать. Когда на слое m получим увеличение ошибки
, то прекращаем.Если частичные описания квадратичные и число рядов полинома S, то получаем, что степень полинома k=2S.
В отличие от обычных методов статистического анализа, при таком подходе можно получить достаточно сложную зависимость, даже имея короткую выборку.
Есть проблема: на первом ряде могут отсеяться некоторые переменные
, которые оказывают влияние на выходные данные.В связи с этим предложена такая модификация: на втором слое подавать
и , т.е.: .Это важно при большем уровне помех, чтобы обеспечить несмещенность.
Возникает два способа отбора лучших кандидатов частичных описаний передаваемых на определенном слое.
Критерий регулярности (точности)
: , (4.15) (4.16)Критерий несмещенности. Берем всю выборку, делим на две части R=
+Первый эксперимент:
- обучающая выборка, - проверочная; определяем выходы модели , i=1..R. Второй эксперимент: - обучающая выборка, - проверочная; определяем выходы модели , i=1..R и сравниваем. Критерий несмещенности: (4.17)Чем меньше
, тем более несмещенной является модель.Такой критерий определяется для каждого частичного описания первого уровня и затем находится
для уровня в целомдля F лучших моделей. В ряде вариантов F=1. Такое же самое на втором слое
.И процесс селекции осуществляется до тех пор, пока этот критерий не перестанет уменьшаться, т.е. до достижения условия
. (4.19)