Слово «разнообразие» означает число различных элементов в множестве. Так, например, множество с, b, с, а, с, с, а, b, с, b, b, а, если не принимать во внимание порядок расположения элементов, содержит 12 элементов, и только три из них различные: а, b, с. Такое множество имеет разнообразие в три элемента.
Множество с разнообразием и множество с вероятностями имеют эквивалентные свойства. Так, множество, у которого все элементы различны, имеет максимальное количество разнообразия. Чем больше в системе разнообразия, тем больше неопределенность в поведении такой системы. Уменьшение разнообразия уменьшает неопределенность системы. Вероятность выбрать наугад данный элемент из множества с максимальным разнообразием равна единице, деленной на количество всех элементов множества
. Нетрудно видеть, что это аналогично статистической совокупности с равномерным распределением вероятностей. Количество информации в этом случае имеет максимальное значение. Множество, у которого все элементы одинаковы, содержит минимальное количество разнообразия - всего в один элемент. Аналогией такого множества является статистическая совокупность с таким распределением вероятностей, когда одна из них равна единице, а остальные нулю. Количество информации в такой совокупности равно нулю. В множестве информация появляется только тогда, когда один элемент отличается от другого. Подобно вероятности разнообразие может измеряться как число различных элементов и как логарифм этого числа, например, по основанию два. Между минимальным и максимальным количеством разнообразия в множестве существует ряд промежуточных состояний, которые появляются в результате ограничения разнообразия. Понятие ограничения разнообразия является очень важным. Оно представляет собой отношение между двумя множествами. Это отношение возникает, когда разнообразие, существующее при одних условиях, меньше, чем разнообразие, существующее при других условиях.Ограничения разнообразия весьма обычны в окружающем нас мире. Любой закон природы подразумевает наличие некоторого инварианта, поэтому всякий закон природы есть ограничение разнообразия.
Окружающий мир чрезвычайно богат ограничениями разнообразия. Без ограничений разнообразия мир был бы полностью хаотичным. Ограничение разнообразия соответствует уменьшению количества информации, поэтому ограничение разнообразия равносильно установившемуся в статистической теории понятию избыточности. Избыточность тем больше, чем больше ограничение разнообразия. Если же элементы в множестве одинаковы, то избыточность равна единице. Если в ящике все шары оказываются одинакового цвета то их избыточность по цвету равна единице, если же все шары будут разного цвета, то избыточность равна нулю. Наличие у информации качества вызывает необходимость в классификации видов информации. Различают элементарную информацию, т.е. информацию в неживой природе, биологическую, логическую, человеческую, или социальную. Для социальной информации характерно выделение двух аспектов: семантического, связанного с содержанием сообщений, и прагматического, связанного с полезностью их для получателя.
Развитие качественной стороны в исследованиях информации теснее всего связано с семиотикой - теорией знаковых систем. Семиотика исследует знаки как особый вид носителей информации.
Отношение между знаками, обозначаемыми предметами и их отображением в форме понятий и моделей, изучаются другим аспектом семиотики - семантикой. Этими отношениями определяется содержание информации, передаваемой посредством знаков.
В настоящее время еще не разработаны методы точного количественного определения смыслового содержания информации. Наиболее известными подходами к построению теории семантической информации являются теория Карнапа и Бар-Хиллела, основанная на понятии логической вероятности, и теория советского ученого Ю.А. Шрейдера, имеющая невероятностный характер.
Отношения между знаками и их потребителями, с точки зрения использования получаемой информации и влияния знаков на поведение системы, изучается другим разделом семиотики - прагматической теорией информации. Предметом ее исследования является определение ценности информации для потребителя. Ценность uнфоpмации — есть отношение субъекта, информации и цели, где информация выступает как объективный фактор или носитель ценности. Ценность информации является важной характеристикой для кибернетических систем, так как она связана с их функционированием. Ценностный критерий информации является пригодным, когда сравниваются системы, выполняющие одну и ту же функцию, но имеющие внутреннее разнообразие. Каждое сообщение важно оценивать не с точки зрения познавательных характеристик, а с точки зрения полезности для выполнения функций управления. Исходя из этих соображений, А.А. Харкевич предложил определять меру ценности информации Ic как изменение вероятности достижения цели при получении этой информации:
где р0 - вероятность достижения цели до получения информация;
p1 - вероятность достижения цели после получения информации.
Другой подход к проблеме ценности информации осуществлен М.М. Бонгардом. Он вводит понятие «полезная информация», связывая сообщение с тем, какую задачу решает получатель, что он знает до прихода сообщения и как он сто истолковывает. Этот подход имеет вероятностно-алгебраическую сущность и носит более общий характер, чем мера ценности информации, предложенная А.А. Харкевичем.
Между элементами любой системы и между различными системами существуют информационные связи. Чтобы иметь представление о состоянии системы, необходимо каким-то способом оценивать значение ее координат. При этом оказывается, что ни один способ наблюдения не может доставить абсолютно точных сведений о значениях координат системы. Это объясняется тем, что любому измерению свойственна определенная конечная разрешающая способность.
В общем виде, если состояние системы представляется вектором, составляющие которого х1, х2 ,....xn , могут независимо друг от друга
принимать r1, r2 ,…,rn значений соответственно, то число всевозможных наборов этих значений, входящих в множество состояний системы, будет равно N=r1 *r2 *…rn .
Состояние системы в определенный момент времени называется событием. Событием называется каждая фиксируемая наблюдением количественная или качественная определенность динамической системы или ее состояния. Различают простые и сложные события, (х, t) представляет собой множество возможных событий для каждого момента времени.
Каждому состоянию системы, событию, можно ставить в соответствие определенное значение какой-либо физической величины. При помощи этой величины можно осуществлять передачу сведений от одного объекта к другому. Физический процесс, представляющий собой материальное воплощение сообщения о событиях, называется сигналом. Сигнал как физический носитель информации возникает только на основе изменения состояния системы, т.е. возникшего события; он имеет самостоятельную физическую сущность и существует независимо от содержания происшедшего события, и всегда связан с каким-либо материальным объектом или материальным процессом. Сигнал может существовать длительное время, иметь непрерывную или дискретную характеристику и быть статическим или динамическим. Посредством сигналов осуществляются информационные связан циркулирующие в кибернетических системах. Сигналы можно передавать на расстояние, поддерживая связь между разобщенными в пространстве объектами. Сигналы можно запоминать и передавать их во времени. Это позволяет связывать между собой объекты, разделенные во времени.
Система или среда, в которой осуществляется передача сигнала, называется каналом связи, информационным каналом или каналом передачи сообщений. В общем виде абстрактную схему системы связи можно изобразить следующим образом.
Эта схема функционирует следующим образом: источник информации (отправитель) обладает некоторым множеством различны» и разнозначных для получателя сведений, совокупность которых называется сообщением. Передача сообщения означает выбор определенного символа или определенных символов из множества возможных символов или алфавита отправителя и преобразование этих сим волов с помощью передатчика в передаваемые сигналы.
Элементами алфавита могут быть дискретные символы — буквы, цифры, азбука Морзе, либо непрерывные символы - высота тона, амплитуда колебания. Передающие сигналы по коммуникационной цепи перемещаются с шумом, вызывающим искажение сообщений. На стороне приемника имеется алфавит физических символов, из которых на основе полученных физических сигналов восстанавливается полученное сообщение. Полученные сигналы могут быть искажены аддитивными помехами, т.е. шумом. Получаемая информация всегда относительна, так как она зависит от различия между неуверенностью принимающего перед приемом и после приема.