К сожалению, не имея достаточной информации о моделях специального назначения, трудно составить представление об истинных возможностях современных компьютеров.
НС принадлежат классу коннекционистских моделей обработки
информации. Основная их черта - использовать взвешенные связи
между обрабатывающими элементами как принципиальное средство запоминания информации. Обработка в таких сетях ведется одновременно большим числом элементов, благодаря чему они терпимы к неисправностям и способны к быстрым вычислениям.
Задать НС, способную решить конкретную задачу, - это значит
определить модель нейрона, топологию связей, веса связей. Нейронные сети различаются между собой меньше всего моделями нейрона, а в основном топологией связей и правилами определения весов или правилами обучения, программирования.
По структуре связей сети делятся на два больших класса: однослойные и многослойные.
К однослойным относятся модель Хопфилда и последующие разработки, некоторые типы модели нейронной сети, известной под названием "машина Больцмана". Многослойная сеть имеет входной, выходной и скрытые слои, на входной подается информация, с выходного снимается ответ, скрытые слои участвуют в обработке.
В настоящее время существует два подхода к решению задачи
обучения НС решению задачи распознавания образов, оптимизации и т.д. Один, исторически более ранний, состоит в постепенной модификации весовых коэффициентов в процессе обучения.
Подходы к обучению однослойных и многослойных сетей различны. Обучение многослойных сетей состоит в том, что на основе набора примеров {входное состояние -> выходное состояние} постепенно подбираются веса всех связей так, чтобы каждое входное состояние вызывало соответствующее выходное. Обучающие алгоритмы представляют собою итерационные процедуры с медленным приближением к окончательным значениям весов связей. Этот способ впервые был реализован в персептроне Розенблата и локальных правилах обучения на основе модели Хебба. В последующие годы этот подход получил дальнейшее развитие в алгоритмах типа обратного распространения.
В однослойных сетях часто удается выразить веса связей через параметры задачи (так обстоит дело с моделью Хопфилда и однослойной машиной Больцмана). Подход состоит в вычислении значений синаптический весов на основе заданного описания функционирования нейронной сети как "черного ящика". Если сеть должна реализовать заданную функцию, ее рассматривают как набор элементов пороговой логики и задача сводится к кусочно-линейной аппроксимации этой зависимости и синтезу соответствующего автомата.
Для общего случая, когда описание поведения сети задано в виде набора векторов возможных состояний, поиск синаптических весов сводится к решению соответствующей системы нелинейных уравнений. Такое решение было впервые найдено Хопфилдом. Появление этой работы около 10 лет назад продемонстрировало эффективность применения аналитических методов для интерпретации поведения нейронных сетей и привело к разработке проекционного алгоритма, позволяющего вычислять значения синаптических весов, сократив тем самым затраты времени на обучение.
Исследования проекционного алгоритма показывают, что при
очевидных достоинствах ему свойственен ряд недостатков, в частности склонность сети к ложным реакциям и низкая эффективность при доучивании, когда необходимо ввести новые данные, не разрушая информации, запомненной ранее. Кроме того, до настоящего времени принято считать, что данный алгоритм пригоден лишь для полносвязных нейронных сетей и неприменим в сетях другой архитектуры. Указанные недостатки и малая изученность таких вопросов, как структура и частота появления ложных реакций, реализация итеративных процедур доучивания и применение в неполносвязных сетях, затрудняет использование проекционного алгоритма в исследованиях по нейробионике и при проектировании нейропроцессоров. Недостатком проекционного алгоритма с точки зрения решения задачи прогнозирования является то, что при обучении необходимо с начала сформировать эталоны распознаваемых образов. В задаче прогнозирования это либо вовсе невозможно, либо чрезвычайно затруднено. Эталоны должны формироваться в самой сети на основе анализа исторических данных.
Исходя из вышеизложенного, можно заключить, что для решения задач прогнозирования наиболее подходит сеть с обратным распространением. Она позволяет формальным образом обучить сеть прогнозировать изменение требования на основе исторических данных о требовании.
Несколько определений
Нейрокомпьютеры являются предметом исследований сразу нескольких дисциплин, поэтому единое определение нейрокомпьютера можно дать только с учетом различных точек зрения, адекватных разным направлениям науки.
Математическая статистика. Нейрокомпьютеры - это системы, позволяющие сформировать описания характеристик случайных процессов и совокупности случайных процессов, имеющих в отличие от общепринятого, сложные, зачастую многомодальные или вообще априори неизвестные функции распределения.
Математическая логика и теория автоматов. Нейрокомпьютеры - это системы, в которых алгоритм решения задачи представлен логической сетью элементов частного вида - нейронов с полным отказом от булевских элементов типа И, ИЛИ, НЕ. Как следствие этого введены специфические связи между элементами, которые являются предметом отдельного рассмотрения.
Теория управления. В качестве объекта управления выбирается частный случай, хорошо формализуемый объект - многослойная нейронная сеть, а динамический процесс ее настройки представляет собой процесс решения задачи. При этом практически весь аппарат синтеза адаптивных систем управления переносится на нейронную сеть как частный вид объекта управления.
Вычислительная математика. В отличие от классических методов решения задач нейрокомпьютеры реализуют алгоритмы решения задач, представленные в виде нейронных сетей. Это ограничение позволяет разрабатывать алгоритмы, потенциально более параллельные, чем любая другая их физическая реализация. Множество нейросетевых алгоритмов решения задач составляет новый перспективный раздел вычислительной математики, условно называемый нейроматематикой.
Вычислительная техника. Нейрокомпьютер - это вычислительная система с архитектурой MSIMD, в которой реализованы два принципиальных технических решения:
• упрощен до уровня нейрона процессорный элемент однородной структуры и резко усложнены связи между элементами;
• программирование вычислительной структуры перенесено на изменение весовых связей между процессорными элементами.
Общее определение нейрокомпьютера может быть представлено в следующем виде.
Нейрокомпьютер - это вычислительная система с архитектурой аппаратного и программного обеспечения, адекватной выполнению алгоритмов, представленных в нейросетевом логическом базисе.
Несколько десятилетий назад было положено начало исследованиям методов обработки информации, называемых сегодня нейросетевыми. С течением времени интерес к нейросетевым технологиям то ослабевал, то вновь возрождался. Такое непостоянство напрямую связано с практическими результатами проводимых исследований.
Современный нейрокомпьютер
Сейчас количество проданных в странах Запада нейрокомпьютеров исчисляется десятками тысяч. В основном это нейрокомпьютерные программы для ПЭВМ, предназначенные для решения задач аппроксимации и прогнозирования числовых данных. Около 5% нейрокомпьютеров относятся к устройствам профессионального уровня, ориентированным на применение мощных рабочих станций и аппаратных нейроакселераторов. Программное обеспечение таких систем обычно содержит библиотеки нейропарадигм, что позволяет при решении задач использовать различные типы нейронных сетей. Типичным примером может служить система BrainMaker фирмы CSS (США), получившая в 1990 г. приз журнала PC Magazine "Лучший программный продукт года". Система может работать на любом компьютере, на котором установлен Windows. Базовая версия (цена 950долларов) ориентирована на широкий круг пользователей. Ее применение не требует специальных знаний. Настройка сети ограничена установкой нескольких параметров, главным среди которых является допустимая погрешность ответа. Основная работа состоит в подготовке данных для обучения, которые можно импортировать из файлов формата *.DBF, *.TXT, Excel, Lotus 1-2-3. При удачном подборе примеров система дает 95% правильных ответов.
Для расширения возможностей системы служит набор дополнительных программ Toolkit Option, позволяющих ускорить процесс обучения и улучшить представление графических данных. Для профессиональных пользователей выпускается расширенная версия BrainMaker Professional, позволяющая моделировать сети с числом нейронов до 8192 (допускается расширение до 37767), цена которой составляет 1550 долларов. Для этой версии создан набор дополнительных программных средств, которые включают Genetic Training Option - программу оптимизации, использующую "генетические" алгоритмы, и Training Finansial Data - специальные наборы данных для настройки нейронной сети на коммерческие приложения.
Наконец, для наиболее крупных приложений выпущен BrainMaker Accelerator - специализированная нейроплата - акселератор на базе сигнального процессора TMS320C25 фирмы Texas Ins., позволяющая в несколько раз повысить производительность нейрообработки данных. Еще более мощная версия аппаратного расширителя BrainMaker Accelerator Pro, содержащая пять процессоровTMS320C25 и до 32 Мбайт оперативной памяти, позволяет ускорить процесс обучения в сорок раз по сравнению с компьютером PC 486DX-50.
Тема 7. Применение ИНС и нейрокомпьютеров.
Задачи, решаемые на основе нейронных сетей