Нейрокомпьютерные системы
Введение
Десять лет назад в США, а затем в Японии и странах ЕЭС были развернуты широкомасштабные национальные и международные программы исследований и разработок, направленные на создание нейрокомпьютеров - ЭВМ на основе искусственных нейронных сетей, обладающих развитым интеллектом и программируемых путем обучения на примерах решения задач. Исследования в этой области проводились еще с начала 60-х годов и считались равными по важности созданию атомной бомбы. Большинство разработок было связано с "интеллектуализацией" систем оружия и велось под покровом секретности. Да и сейчас далеко не все такие исследования носят открытый характер, хотя теперь это вызывается скорее коммерческими соображениями. Отчасти этим можно объяснить практически полное отсутствие технических подробностей в появляющихся время от времени сообщениях прессы о разработках в данной области. Однако сегодня, когда сроки завершения большинства из объявленных исследовательских программ приближаются либо уже истекли, скудость сообщений средств массовой информации, равно как и отсутствие других признаков приближения эры нейрокомпьютеров, вызывает опасение, что выполнение этих программ находится под угрозой и они готовы разделить участь небезызвестного японского проекта интеллектуальной ЭВМ 5-го поколения.
По оценкам компании Busines Communications Company Inc., в конце 1992 г. объем мирового рынка нейрокомпьютеров составлял $120 млн. (аппаратное обеспечение) и $50 млн. (программное обеспечение). Предсказывалось, что к 2000-му году он вырастет до $790 и $260 млн. соответственно. В то же время неослабевающая научная активность в этой области позволяет надеяться, что в недрах лабораторий вызревает некое "нейронное сверхоружие", способное в одночасье решить остающиеся проблемы и предложить качественно новые интеллектуальные системы, которые сменят традиционные и уже привычные ЭВМ. Некоторые новые результаты исследований украинских ученых позволяют надеяться на такой поворот событий уже в самом ближайшем будущем.
Действительно, не имея ни современного оснащения, ни сколько-нибудь приличного финансирования, находясь вдали от международных научных центров, невозможно не то что повлиять на выполнение эпохальных программ, в которых занят цвет мировой науки, но получить хотя бы мало-мальски заметный результат. Однако не стоит спешить с оценками. Экспресс мирового прогресса достаточно часто проскакивает полустанки, на которых стоило бы повернуть стрелки.
Создатели первых моделей ИНС следовали скорее интуиции, чем точному расчету. Несмотря на это, созданные системы демонстрировали поразительную способность к обучению, что было воспринято как вызов сторонниками идеи построения систем искусственного интеллекта на основе математической логики. Последние, в числе которых были такие авторитетные ученые, как М.Минский, выявив недостатки, присущие простейшей модели перцептрона, объявили эксперименты с ИНС чуть ли не шарлатанством. Это повлекло за собой спад исследований в данной области, продолжавшийся до начала 80-х годов.
Возрождению интереса к ИНС способствовал ряд обстоятельств:
· трудности с реализацией логических систем искусственного интеллекта, создаваемых в рамках японского проекта ЭВМ 5-го поколения;
· появление принципиально новых идей в отношении организации памяти и обучения нейросетей;
· заметное отставание темпов роста производительности ЭВМ от стремительного увеличения потребности в высокопроизводительных вычислениях.
Последнее стимулировало интенсификацию исследований в области параллельных вычислений и многопроцессорных систем. ИНС как естественные высокопараллельные системы, способные решать сложные неформализованные задачи, снова оказались в центре внимания ученых. Ключевую роль при этом сыграла работа Д.Хопфилда, сулившая радикальное решение проблемы обучения, бывшей камнем преткновения для перцептрона. Результаты исследований. В период 1983-86 гг. работы в области ИНС принимают характер настоящего бума. В США, Японии и странах ЕЭС разворачиваются крупные государственные программы исследований, ставящие целью создание к 1995 г. опытных образцов и освоение до 2000 г. массового производства нейрокомпьютеров - ЭВМ нового поколения на основе ИНС. Вот наиболее известные из этих программ:
· США - программа DARPA - Управления перспективного планирования НИР военного применения - 1987-1995 гг. - 400 млн. долл.;
· Япония - программа Human Frontier - 1988-1996 гг. - 1 триллион иен (6,6 млрд. долл.);
· ЕЭС - программа BRAIN (Basic Research on Adaptive Inteligence - Базовые исследования адаптивного интеллекта) - 1988-1996 гг. - 1,2 млн. долл. ежегодно.
Уже в 1987 г. в США состоялись две международные конференции по нейронным сетям, на одной из которых было представлено около 400, а на второй - более 150 докладов. Проведение таких международных форумов по ИНС становится регулярным, а их число вскоре достигает нескольких десятков в год. На наиболее представительной из последних конференций, ICNN-96 (США), было представлено более 500 докладов [5]. В Европе только за сентябрь 1997 г. на конференциях EUFIT-97 (Германия) и ICIAP (Италия) прочитано около сотни докладов по ИНС.
Атмосферу нейрокомпьютерного бума, охватившую мир в конце 80-х, характеризует высказывание президента США Буша, который в связи с бурным развитием ИНС назвал 90-е годы "десятилетием мозга". Государственная поддержка и обильное финансирование разработок привело к быстрому формированию целой исследовательской индустрии, созданию и организации массовогопроизводства необходимого аппаратного и программного оснащения: нейрокомпьютеров и нейроакселераторов для ПЭВМ, нейрочипов и нейропрограмм, учебных курсов на CD-ROM и т.п. Ужек 1992 г. только в США более 150 компаний специализировалось на выпуске различной нейропродукции, раскупаемой университетами и лабораториями, занятыми выполнением исследовательских программ.
По оценкам компании Busines Communications Company Inc., в конце 1992г. объем мирового рынка нейрокомпьютеров составлял $120 млн. (аппаратное обеспечение) и $50 млн. (программноеобеспечение). Предсказывалось, что к 2000-му году он вырастет до $790 и $260 млн. соответственно. Тревожный симптом В опубликованных недавно обзорных работах [6,7] даны многочисленные примеры практического применения нейрокомпьютеров и нейротехнологий в системах оборонного и гражданского назначения. Из них складывается картина массированного наступления нейротехнологий во всех сферах человеческой деятельности.
Следует, однако, учесть, что все эти примеры относятся к началу 90-х годов - пику нейрокомпьютерного бума, когда в данную отрасль были вовлечены многие тысячи квалифицированных специалистов и в ней образовался мощный научно-технический потенциал. Именно тогда были отработаны ключевые идеи, налажено производство средств моделирования ИНС, а также созданы образцы нейрочипов и нейрокомпьютеров, которые в свою очередь позволяют создавать крупные системы, содержащие десятки тысяч нейронов и выполняющие миллиарды вычислений в секунду.
Анализируя последующие работы, в частности содержание докладов на последних международных конференциях (ICNN-96, EUFIT-97), можно увидеть, что большая часть созданного потенциала так и осталась невостребованной. Современные исследователи отдают предпочтение относительно простым прикладным задачам, решение которых можно достичь с помощью сети из нескольких десятков нейронов. Такое предпочтение отчасти можно объяснить ростом доступности инструментальных средств на основе нейропарадигмы BP или ее аналогов, не позволяющих эффективно моделировать крупные системы.
Однако для большинства перспективных приложений (например, систем искусственного зрения и слуха) необходима обработка больших объемов информации, немыслимая без использования крупных нейрокомпьютеров. Поэтому наблюдаемая переориентация исследований на решение относительно простых задач при наличии далеко продвинутых разработок больших нейросетей представляется тревожным симптомом.
Переориентация исследований на решение относительно простых задач при наличии далеко продвинутых разработок больших нейросетей является тревожным симптомом. По мере выполнения исследовательских программ становится все более очевидным, что сложность задачи создания принципиально новых компьютеров на основе нейронных сетей была недооценена, а прогнозы стремительного роста объема рынка нейропродукции, сделанные в периодострого дефицита в экспериментальном оборудовании, далеки от реальности. Это, по-видимому, хорошо понимают ведущие производители, воздерживающиеся от больших капиталовложенийв производство нейропродукции в ожидании завершения исследовательских программ, финансируемых правительствами.
Является ли сказанное выше симптомами надвигающегося кризиса? Не постигнет ли нейрокомпьютеры судьба небезызвестного японского проекта ЭВМ 5-го поколения, бесславно канувшего в Лету в середине 80-х годов? Или в недрах многочисленных научных лабораторий зреет радикальное решение, способное повернуть вспять развитие событий? Ведь подобное уже было 15 лет назад, когда новая идея, выдвинутая Д.Хопфилдом, стала катализатором начала нейрокомпьютерного бума.
Тема 1. Принципы организации и функционирования искусственных нейронных сетей.
1. Краткий исторический обзор
Исследования в области ИНС пережили три периода активизации. Первый пик в 40-х годах обусловлен пионерской работой МакКаллока и Питтса. Второй возник в 60-х благодаря теореме сходимости перцептрона Розенблатта и работе Минского и Пейперта, указавшей ограниченные возможности простейшего перцептрона. Результаты Минского и Пейперта погасили энтузиазм большинства исследователей, особенно тех, кто работал в области вычислительных наук. Возникшее в исследованиях по нейронным сетям затишье продлилось почти 20 лет. С начала 80-х годов ИНС вновь привлекли интерес исследователей, что связано с энергетическим подходом Хопфилда и алгоритмом обратного распространения для обучения многослойного перцептрона (многослойные сети прямого распространения), впервые предложенного Вербосом и независимо разработанного рядом других авторов. Алгоритм получил известность благодаря Румельхарту в 1986году Андерсон и Розенфельд подготовили подробную историческую справку о развитии ИНС.