Предмет и объект прикладной информатики (стр. 32 из 34)
Многослойный персептрон и алгоритм обратного распространения ошибки проблему «Исключающего ИЛИ» можно решить с помощью двухслойного персептрона, изображенного на рис. 3.12.Советским ученым С.О.Мкртчяном был разработан специальный математический аппарат, позволяющий без обучения строить многослойные персептроны, моделирующие любые булевы функции.
Эффективный алгоритм обучения многослойных персептроново в 1986 г. благодаря работе Румельхарта, Хилтона и Вильямса. Рассмотрим идею алгоритма обратного распространения ошибки, попытавшись обобщить дельта-правило на случай обучения двухслойного персептрона, имеющего
входов, 
выходов и скрытый слой из 
нейронов Идея авторов рассматриваемого алгоритма состояла в том, чтобы в качестве этой ошибки использовать суммарные ошибки с выходного слоя, помноженные на силы соответствующих синаптических связей, т.е.ШАГ 1. Инициализация синаптических весов и смещений.
ШАГ 2. Представление из обучающей выборки очередного входного вектора
ШАГ 3. Прямой проход.
ШАГ 4. Обратный проход.
ШАГ 5. Повторение шагов 2 – 4 необходимое количество раз.
Таким образом персептрон, несмотря на помехи и искажения входного образа, выдаст правильное заключение о его принадлежности к тому или иному классу. Свойство персептрона правильно реагировать на входные образы, которых не было в обучающей выборке, называется свойством обобщения.
Возможности и области применения персептронов
Диагностика в медицине
В средствах информации имеются сообщения об удачном опыте применения нейросетей в задачах медицинской диагностики. Рассмотрим, как строятся и обучаются такие сети. Прежде всего он выясняет и записывает имя, возраст, пол, место В результате у врача накапливается от 20 до 100 и более параметров, характеризующих пациента и его состояние здоровья. Это и есть исходные параметры, обработав которые с помощью своих медицинских знаний и опыта, врач делает заключение о заболевании пациента – ставит диагноз его болезни.Персептрон должен уметь обобщать переданный ему опыт на новые точки предметной области – ставить диагнозы болезней новым, не встречавшимся ранее пациентам.
Диагностика неисправностей сложных технических устройств
Специалисты, занимающиеся этой проблемой, устанавливают датчики, измеряющие параметры работы авиадвигателей во время полетов. Файл данных полетного мониторинга обычно содержит следующие параметры: номер полета, дату полета. Задача инженера-диагноста состоит в том, чтобы, используя данные мониторинга, выявить дефекты двигателя до его профилактической разборки. Традиционно эта задача решается путем применения методик, основанных на физических закономерностях: каждый дефект вызывает определенные отклонения тех или иных полетных параметров работы двигателя, поэтому, анализируя их характер изменения, можно сделать предположения о появлении дефектов, вызывающих эти изменения.
Нейросетевой детектор лжи
Правду ли говорит ребенок, обычно легко определить по выражению его лица, движению глаз, покраснению кожи. Со взрослым человеком значительно труднее. Если измерять давление крови, то можно выяснить, что у одних людей, говорящих неправду, оно повышается, а у других – наоборот, понижается. То же самое может происходить с пульсом.
Входные параметры: дыхание, частота биения сердца, температура тела. Выходные параметры: да, нет. Выборка: есть определение правильных выходных параметров 0:1.
Нейросеть–антихакер
Прежде всего отметим, что поведение хакера, пытающегося взломать компьютерную программу, несколько отличается от поведения обычного законопослушного пользователя. Иногда хакер чаще, чем обычный пользователь, ударяет по одной и той же кнопке клавиатуры. Поэтому, измерив параметры, характеризующие стиль работы различных пользователей, можно сформировать обучающую выборку соответствующих примеров и обучить нейросеть реагировать на различные сетевые отклонения, т.е. выявлять аномалии сетевой активности. В качестве параметров, характеризующих стиль работы пользователей, их портрет, может быть: количество загружаемых одновременно программ, скорость ударов по клавиатуре и мыши в единицу времени, частота повторения ударов по одним и тем же клавишам, характер пользования мышью и др. Количество этих параметров определяет размер входного вектора
и, соответственно, количество нейронов входного слоя персептрона. На выходе персептрона целесообразно оставить один нейрон, значение которого 
будет означать, что за компьютером находится обычный пользователь, а 
– что пользователь хакер. Теперь необходимо создать достаточный для обучения персептрона набор портретов хакеров и обычных пользователей. Далее следуют обычные действия по проектированию и обучению персептрона. Естественно, что качество нейросети–антихакера будет зависеть от того, насколько высокой окажется квалификация хакеров, приглашенных для создания обучающих примеров.Нейросети в банковском деле
Банкротство фирм, кредитуемых банками, невозможность возврата ими кредитных средств не раз являлись причиной кризисов и банкротств весьма солидных банков. Поэтому вопрос о том, какова степень кредитного риска, каким клиентами опасно выдавать кредиты, а каким нет, для любого банка является одним из самых главных вопросов стабильности его существования.
Входные: сколько можно дать, возраст, платеже способность, Выходные макс, минт. Выборка: поданным клиента
Прогнозирование валютных курсов и котировок ценных бумаг
Прогнозирование – это одна из самых востребованных задач, возникающих в самых различных областях человеческой деятельности. Задача прогнозирования в общем случае состоит в получении оценки будущих значений упорядоченных во времени данных на основе анализа уже имеющихся данных.
13-я проблема Гильберта
Вопрос о том, можно ли любую функцию многих переменных представить в виде суперпозиции функций меньшего количества переменных на Всемирном конгрессе Давидом Гильбертом были сформулированы 23 проблемы, которые он предложил решать математикам начинающегося XX века. Одна из этих проблем, под номером тринадцать, декларировала невозможность такого представления.
Однако последующие исследования показали, что 13-я проблема Гильберта имеет иное решение. А.Н.Колмогоровым и его учеником В.И.Арнольдом принципиальной возможности представления непрерывных функций нескольких переменных в виде суперпозиции функций меньшего числа переменных.
Теорема. Для любого множества пар отличных между собой входных и выходных векторов произвольной размерности существует двухслойный персептрон с сигмоидными передаточными функциями и с конечным числом нейронов, который для каждого входного вектора
формирует соответствующий ему выходной вектор 
. Таким образом, была доказана принципиальная возможность построения нейросети, выполняющей преобразование, заданное любой обучающей выборкой различающихся между собой примеров, и установлено, что такой универсальной нейросетью является двухслойный персептрон.Для определения необходимого количества нейронов в скрытых слоях персептрона была предложена формула, являющаяся следствием теорем Арнольда – Колмогорова – Хехт-Нильсена:
, (3.44)где
– размерность выходного сигнала; 
– число элементов обучающей выборки; 
– необходимое число синаптических весов; 
– размерность входного сигнала. Оценив с помощью этой формулы необходимое число синаптических весов, можно рассчитать число нейронов в скрытых слоях. Например, число нейронов скрытого слоя двухслойного персептрона 
. (3.45)Гиперразмерность – слишком много нейронов на скрытом слое.
С несколькими нейронами (гиперразмерность)
С 2 персептронами – с одним пересечением
С одним персептроном – прямая
Однако поверхность ошибок имеет более сложный характер. Так, на рис. 3.19, б, изолинии поверхности ошибок имеют вид эллипсов, а сама поверхность вблизи минимальной точки имеет форму оврага. В этом случае траектория градиентного спуска представляет собой ломаную линию, каждый отрезок которой ортогонален к линии уровня в той точке поверхности ошибок, из которой производится очередной шаг.
Проблемы проектирования и обучения нейросете
Общая формулировка задач оптимизации и различия геометрической интерпретации, различных способов минимизации целевых функций.
Поверхность ошибок (рисунок купола с точкой на дне)
средняя квадратичная ошибкаЗадачи оптимизации: глобальные(найти самый минимальный min), локальные.
Проблемы и методы обучения