где

- сигнал, двойственный

Для значений

в классе TNetSynapse предусмотрены поля Alpha и MuAlpha.

4.12 Тривиальный сумматор

Программной моделью тривиального сумматора является класс TSummator.

Помимо полей, унаследованных от класса - предка TNetPiece, TSummator имеет в своей структуре PriorPieces, которое, в отличии от стандартного поля PriorPiece является не указателем на предыдущий элемент, а списком указателей на набор таких элементов.

Метод ForwardTact осуществляет суммирование выходных сигналов элементов из списка PriorPieces и помещает полученный результат в поле ForwOut.

На такте обратного функционирования происходит передача двойственного сигнала следующего элемента на двойственный сигнал сумматора BackOut.

4.13 Нейрон

В данной работе под термином «нейрон» подразумевается нелинейный преобразователь вида

где у - выходной сигнал преобразователя,

- входной сигнал,

- параметр преобразователя,

- так называемый «параметр спонтанной активности».

Нейрон описывается в программной модели классом TNeuron, выходной сигнал на такте прямого функционирования заносится в поле ForwOut.

Обучаемыми в нейроне являются оба параметра -

, поэтому в классе TNeuron помимо полей Alpha и AlphaS, в которых хранятся значения соответствующих параметров, предусмотрены MuAlpha и MuAlphaS, в которых помещаются значения двойственных им сигналов.

Помимо этого в поле BackOut заносится сигнал, двойственный входному. Кроме того, объект класса TNeuron характеризуется еще и полем FunctionType, представляющим собой номер используемой функции преобразователя в списке функций, используемых при оптимизации.

Вычисление двойственных сигналов в нейронах производится в общем случае по формулам:

где  - параметр, для которого вычисляется двойственный сигнал,

- сам двойственный сигнал.

Список выражений для применяемого в данной работе набора стандартных функций с их производными по основным параметрам приведен в таблице 1.

Таблица 1Набор функций нелинейного преобразователя

4.14 Поток сети

Фрагмент сети, состоящий из слоя входных синапсов, сумматора, нейрона и выходного синапса и названный «потоком» представлен в программной модели классом TNetStream.

Помимо обычных для потомка класса TNetPiece полей NextPiece, PriorPiece, ForwOut и BackOut данный класс включает в себя FirstLayer - список синапсов первого слоя, Summator - объект класса TSummator, реализующего тривиальный сумматор, Neuron - объект класса TNeuron, реализующего нелинейный преобразователь - нейрон, SecondLayer - объект класса TSynapse, описывающий выходной синапс потока.

Прямой такт потока, описанный методом ForwardTact, происходит следующим образом:

Перебираются элементы списка FirstLayer, для каждого из которых вызывается его собственный метод ForwardTact, затем происходит «срабатывание» (вызов этого же метода) для объектов Summator, Neuron и SecondLayer. Затем выходной сигнал объекта заносится в поле ForwOut - выходной сигнал всего потока.

Такт обратного функционирования потока, который описан в методе BackwardTact, включает в себя следующие действия:

Последовательный вызов собственного метода BackwardTact для объектов SecondLayer, Neuron и Summator, затем перебор элементов списка FirstLayer и вызов метода BackwardTact для каждого синапса, входящего в него.

Структура связей между элементами потока представлена на рис 10.

4.15 Скомпонованная полутораслойная поточная сеть

Целая сеть представлена классом TNet. Данный класс также является потомком класса TNetPiece - общего элемента сети, что позволяет, используя свойство полиморфизма объектов, достаточно легко компоновать из отдельных фрагментов нейросети более сложной структуры.

Кроме полей, унаследованных от TNetPiece, сеть характеризуется также полями Inputs - список входных элементов, Streams - список потоков сети, SecondLayer - сумматор входного слоя, Answer - выходной элемент сети.

Для описания такта прямого функционирования сети используется, так же как в других элементах сети, метод ForwardTact. Методом выполняются следующие действия:

Перебор списка входных элементов и вызов метода ForwardTact для каждого из них, перебор и прямое функционирование каждого из элементов списка потоков, и затем - для объектов SecondLayer и Answer.

Метод BackwardTact, описывающий обратное функционирование сети, задается следующей последовательностью действий:

Обратное функционирование элементов Answer, SecondLayer, затем перебор и выполнение методов BackwardTact для элементов списков Streams и Inputs.

Структура связей между стандартными элементами полностью скомпонованной поточной нейросети показана на рис. 11.

Схема, приведенная на рис. 11, хорошо иллюстрирует преимущества применения объектно-ориентированного подхода к моделированию нейронных сетей.

Свойство полиморфизма объектов позволяет составлять список предыдущих элементов, например, сумматора, как из простых синапсов, так и из более сложных структур - потоков. Для этого требуется лишь аккуратное выполнение иерархии объектов, описывающих элементы сети.

В перспективе, с появлением параллельных трансляторов, объектно-ориентированный подход за счет свойства инкапсуляции объектов позволит легко перейти к моделированию нейросетей в параллельных системах.

Выводы по главе 4.

ВЫВОДЫ

1. Показано, что для решения классической задачи компьютерной психодиагностики с вероятностью правильного ответа около 95% может быть применена искусственная нейронная сеть из 2 нейронов с параметром преобразователя равным 0,4. При этом такая экспертная система способна перенимать опыт специалиста непосредственно, без участия математика или программиста.

2. У полносвязной искусственной нейронной сети с числом нейронов 16 и параметром преобразователя 0.1 возможно выработать психологическую интуицию, позволяющую выдавать предсказание взаимоотношений, формализованных в виде результатов социометрического эксперимента, с погрешностью 25-30%.

3. Задача предсказания взаимоотношений может решаться интуитивно - без построения описанной реальности и без сбора информации о социальной истории исследуемых.

4. Созданная программа, представляющая собой нейронную сеть полутораслойной структуры, способна решать задачу восстановления зависимости по обучающей выборке при помощи алгоритма поэтапного исчерпания ошибки наращиванием объема сети.

5. Применение при создании программы выборочной константы Липшица в алгоритме наращивания сети позволило реализовать способ ограничения избыточности числа нейронов и объема сети.

6. Применение концепции объектно-ориентированного программирования позволило разработать гибкий, открытый и легко сопровождаемый нейроимитатор.

Основное содержание диссертации изложено в следующих работах:

Dorrer M.G. Neural networks instead of psychological measurements // Abstracts of the 3rd International conference «Mathematics, computer, education». Dubna, 1996.

Dorrer M.G., Gorban A.N., Kopytov A.G. Simulation of psychological intuition by means of neural networks // New Concepts to Uncover Higher Brain Functions. The 5th Tohwa university International Symposium. Fukuoka, Japan: Tohwa University, 1995. - p.153.

Dorrer M.G., Gorban A.N., Kopytov A.G. Zenkin V.I. Psychological intuition of neural networks // Proceedings of the WCNN’95 (World Congress on Neural Networks’95, Washington DC, Juli 1995) - pp. 193-196

Dorrer M.G., Gorban A.N., Zenkin V.I. Neural networks in psychology: classical explicit diagnoses // Neuroinformatics and neurocomputers, Proceedings of the 2nd RNNS-IEEE Symposium, Rostov-on-Don, September 1995 - pp 281-284

Gorban A.N., Rossiev D.A., Butakova E.V., Gilev S.E., Golovenkin S.E., Dogadin S.A., Dorrer M.G., Kochenov D.A., Kopytov A.G., Maslennikova E.V., Matyushin G.V., Mirkes Ye.M., Nazarov B.V., Nozdrachev K.G., Savchenko A.A., Smirnova S.V., Shulman V.A., Zenkin V.I. Medical, psychological and physiological applications of MultiNeuron neural simulator // Neuroinformatics and neurocomputers, Proceedings of the 2nd RNNS-IEEE Symposium, Rostov-on-Don, September 1995 - pp 7-14

Gorban A.N., Rossiev D.A., Gilev S.E., Dorrer M.G., Kochenov D.A., Mirkes Ye.M., Golovenkin S.E., Dogadin S.A., Nozdrachev K.G., Matyushin G.V., Shulman V.A., Savchenko A.A. Medical and physiological applications of MultiNeuron neural simulator // Proceedings of the WCNN’95 (World Congress on Neural Networks’95, Washington DC, Juli 1995) - paper № 050

Gorban A.N., Rossiev D.A., Gilev S.E., Dorrer M.G., Kochenov D.A., Mirkes Ye.M., Golovenkin S.E., Dogadin S.A., Nozdrachev K.G., Matyushin G.V., Shulman V.A., Savchenko A.A. «NeuroComp» group: neural network software and its application // Russian Academy of Sciences, Krasnoyarsk Computing Center, Preprint №8. - Krasnoyarsk, 1995 - 38p.

Доррер М.Г. Обработка психологической информации при помощи нейронных сетей. // Проблемы информатизации региона: Материалы второй межрегиональной конференции. Красноярск: КГТУ, 1997. - с.33-43.