Экономическая кибернетика (стр. 19 из 31)
используя множитель Лагранжа
Найти max
Приравняем нулю частные производные функции по pi.
Отсюда
и легко видеть, что все 
, следовательно,H = Hmax. Если же событие является достоверным (при этом pi =1а остальные pi=0,
), тоH = -0*log0 - 0*log0 +…-1*log1+…-0*log0.
Легко показать, что выражение 0*log0 = 0*(
)=0. Раскроем неопределенность, используя правило Лопиталя: 
Тогда получим Н=0 для достоверного события.
Следовательно, среднее количество информации находится в пределах
Теперь можно сформулировать определение условной вероятности. Если случайная величина х принимает значения x1,x2, ..., хN, а случайная величина y принимает значения y1, y2, ..., уM, то условной вероятностью называется вероятность того, что х примет значение хi, если известно, что у приняло значение yi.
Безусловная вероятность p(xi) равна условной вероятности, усредненной по всем возможным значeниям y:
(4.4)где p(yj) - вероятность j-го значения величины y, величина р(уj) p(xi/yj) - есть вероятность того, что у примет значение yj, а х - значение хi,. Она называется совместной вероятностью события (xi ,yj) и обозначается p(xi,yj).
Очевидно, если события х и у независимы, то
(4.5)Неопределенность события х определяется по формуле:
(4.6)Если события х и у зависимы, и событие у приняло значение yj, то неопределенность события х становится равной:
(4.7)Так как событие у может принимать значение y1, у2,..., уM с вероятностями p(y1), р(у2),…, р(yM), средняя неопределенность события х при любых возможных исходах события у равна:
(4.8)
Это условная негэнтропия случайной величины х при задании случайной величины у. Она всегда не больше безусловной
,
причем равенство имеет место только в том случае, когда знание величины у не меняет вероятностей значений величины х, т.е.
,каким бы ни было значение yj. Это условие означает, что неопределенность события х не возрастает от того, что событие у становится известно.
Для двух случайных событий х и у энтропия совместного события равна:
В полученном выражении
а второе слагаемое есть не что иное, как
H(x/y).
Следовательно,
(4.9)Равенство достигается тогда, когда события х и у независимы В качестве меры количества информации в случайной величине у о случайной величине х принимается величина, на которую уменьшается в среднем неопределенность величины х, если нам становится известным значение величины у:
Эта формула выражает количество информации в случайной величине у о случайной величине х, как разность между безусловной и условной негэнтропией.
По формуле условной негэнтропии строится вся современная статистическая теория информации. Переход от абсолютной негэнтропии к условной приобретает фундаментальное решающее значение. Формула условной негэнтропии выражает количество информации относительно заданной системы отсчета, системы координат. Иначе говоря, она характеризует количество информации, содержащееся в одном объекте относительно другого объекта.
Классическая теория информации дает полезный аппарат, но он не универсален и множество ситуаций не укладываются в информационную модель Шеннона. Далеко не всегда можно заранее установить перечень возможных состояний системы и вычислить их вероятности. Кроме того, основным недостатком этой теории является то, что, занимаясь только формальной стороной сообщений, она оставляет в стороне их ценность и важность. Например, система радиолокационных станций ведет наблюдение за воздушным пространством с целью обнаружения самолета противника. Система S, за которой ведется наблюдение, может быть в одном из двух состояний: x1 - пpoтивник есть, х2 - противника нет. Выяснение фактического состояния системы принесло бы в рамках классической теории информации 1 бит, однако первое сообщение гораздо важнее, что оценить невозможно с помощью вероятностного подхода.
Статистическая теория информации оперирует лишь вероятностями исходов рассматриваемых опытов и полностью игнорирует содержание этих исходов. Поэтому эта теория не может быть признана пригодной во всех случаях. Понятие информации в ней трактуется весьма односторонне.
Следовательно, уничтожение неопределенности, т.е. получение информации, может происходить не только в результате вероятностного процесса, но и в других формах. Понятие неопределенности оказывается шире понятия вероятности. Неопределенность - понятие, отражающее отсутствие однозначности выбора элементов множества. Если этот выбор имеет случайный характер, то мы имеем дело со статистической теорией информации. Если же этот выбор не случаен, то необходим невероятностный подход к определению информации. Существуют следующие невероятностные подходы к определению информации: динамический, топологический, алгоритмический. Мы не будем рассматривать эти невероятностные подходы к определению количества информации, отметим только, что каждый из этих методов обнаруживает нечто общее со статистическим подходом. Оно состоит в том, что эти методы изучают переход от неопределенности к определенности. Но все же эти методы отличаются от статистического подхода. Один из невероятностных подходов к определению количества информации принадлежит советскому ученому А.Н. Колмогорову. По аналогии с вероятностным определением количества информации как функции связи двух систем, он вводит определение алгоритмического количества информации.
Количество информации, содержащееся в сообщении, можно связывать не только с мерой неопределенности системы, но и с ее структурной сложностью и точностью измерений. Такой подход предлагается к оценке научной информации, возникающей в результате анализа процесса наблюдений и эксперимента.
Количество различных признаков, характеризующих данный предмет, т.е. его размерность или число степеней свободы, является мерой структурной информации. Ясно, что цветное изображение содержит в себе больше информации по сравнению с черно-белым изображением того же объекта. Единица структурной информации - логон - означает, что к имеющемуся представлению можно добавить одну новую различимую группу или категорию.
Количество метрической информации связано с разрешающей способностью измерений. Например, эксперимент, результат которого обладает погрешностью, равной 1%, дает больше информации, чем эксперимент, характеризующийся погрешностью в 10%.
Единицей измерения метрической информации является метрон. В случае числового параметра эта единица служит мерой точности, с которой этот параметр определен.
Статистический и нестатистический подходы в теории информации касаются только количества информации, но информация имеет еще и качественный аспект. Объединение элементов в множество всегда предполагает наличие у них некоторого свойства, признака, благодаря чему они образуют данное множество, а не иное. Следовательно, каждый элемент множества обладает определенным качественным отличием от элемента другого множества. Кроме того, внутри множества различие элементов друг от друга носит тоже качественный характер. Поиск качественного аспекта информации как раз и состоит в учете природы элементов, объединяемых в множества, в учете качественного многообразия материи.
До сих пор информация рассматривалась как снятая, устраняемая неопределенность. Именно то, что устраняет, уменьшает любую неопределенность и есть информация. Однако информацию можно рассматривать не только как снятую неопределенность, а несколько тире. Например, в биологии информация - это прежде всего совокупность реальных сигналов, отображающих качественное или количественное различие между какими-либо явлениями, предметами, процессами, структурами, свойствами. Такой более широкий подход к определению понятия информации сделал У. Росс Эшби. Он считает, что понятие информации неотделимо от понятия разнообразия. Природа информации заключается в разнообразии, а количество информации выражает количество разнообразия. Одно и то же сообщение при разных обстоятельствах может содержать различное количество информации. Это зависит от разнообразия, которое наблюдается в системе.