Квантование сообщений. Ошибки квантования. Энтропия источника сообщений (стр. 2 из 2)

До того, как связь состоялась, у получателя всегда имеется большая или меньшая неопределенность относительно того, какое сообщение li из числа возможных будет передано.

Совершенно очевидно, что степень этой неопределенности, или неожиданности передачи li, зависит от вероятности передачи того или иного сообщения. Например, если вероятность передачи какого-либо сообщения li очень высока, то еще до передачи мы почти наверняка знаем, какое сообщение будет передано, и его прием не принесет нам почти никакой новой информации.

Таким образом, очевидно, что количество информации, содержащейся в элементарном сообщении li, является некоторой функцией от вероятности передачи этого сообщения Р(li):

J (li) = j {P (li) }. (7)

Определим вид этой функции j. Для этого потребуем, чтобы мера количества информации J(li) удовлетворяла двум интуитивным свойствам:

1. Если выбор сообщения li заранее предопределен (Р(li) = 1 - неопределенности нет), то количество информации в этом сообщении равно нулю: J (li) = j {1} = 0.

2. Если источник последовательно выбирает сообщения li и lj и вероятность такого выбора Р(li, lj) есть совместная вероятность событий li и lj, то количество информации в этих двух элементарных сообщениях будет равно сумме количеств информации в каждом из них.

Вероятность совместного выпадения событий li и lj Р(li, lj), как известно, определяется по формуле полной вероятности

Р (li, lj) = Р(li) × Р(lj /li) = P × Q. (8)

Тогда, в соответствии с требованием (2), должно выполняться условие

j { P×Q } = j (P) + j (Q). (9)

Нетрудно догадаться, что функцией, удовлетворяющей этим двум предъявляемым к ней условиям, является функция вида

J (li) = alogP(li), (10)

при этом как коэффициент a, так и основание логарифма могут быть выбраны произвольно. Однако для удобства (чтобы количественная мера информации была положительной) принимают a = - 1. Основание логарифма обычно выбирают равным двум, и тогда

J (li) = - log2 P(li). (11)

Определенная таким образом единица измерения информации называется двоичной единицей, или битом информации. Например, если какое-либо из элементарных сообщений li может быть выбрано из алфавита и передано с вероятностью P(li) = 1/8, то говорят, что в нем содержится log2 (1/8) = 3 бита информации.

Иногда в качестве основания логарифма выбирают e, тогда информация измеряется в натуральных единицах, или натах.

Количество информации, содержащееся в одном элементарном сообщении li, еще никак не характеризует источник. Одни элементарные сообщения могут нести много информации, но передаваться очень редко, другие - передаваться чаще, но нести меньше информации. Поэтому источник может быть охарактеризован средним количеством информации, приходящимся на одно элементарное сообщение, носящим название “энтропия источника” и определяемым следующим образом:

, i = 1, K. (12)

Энтропия, как количественная мера информативности источника, обладает следующими свойствами:

1. Энтропия есть величина вещественная, ограниченная и неотрицательная. Эти ее свойства вытекают из вида выражения для Н(l), а также с учетом того, что 0 < P(li) < 1.

2. Энтропия детерминированных сообщений равна нулю, то есть Н(l) = 0, если хотя бы одно из сообщений имеет вероятность, равную единице.

3. Энтропия максимальна, если сообщения li равновероятны, то есть

P(l1) = P(l2) =... ... . P(lk) = 1/K, и тогда

(13)

Как видно из последнего выражения, в случае равновероятных сообщений энтропия растет с увеличением объема алфавита источника (ростом числа сообщений). При неравновероятных элементарных сообщениях li энтропия, соответственно, уменьшается.

4. Энтропия двоичного источника (K = 2) может изменяться от нуля до единицы. Действительно, энтропия системы из двух сообщений l1 и l2

(14)

Из последнего выражения видно, что энтропия равна нулю при P(l1) = 0; P(l2) =1, или P(l1) = 1; P(l2) = 0; при этом максимум энтропии будет иметь место, когда P(l1) =P(l2) =1/2 и ее максимальное значение будет равно 1 бит.

ЛИТЕРАТУРА

1. Лидовский В.И. Теория информации. - М., "Высшая школа", 2002г. – 120с.

2. Метрология и радиоизмерения в телекоммуникационных системах. Учебник для ВУЗов. / В.И. Нефедов, В.И. Халкин, Е.В. Федоров и др. – М.: Высшая школа, 2001 г. – 383с.

3. Цапенко М.П. Измерительные информационные системы. - . – М.: Энергоатом издат, 2005. - 440с.

4. Зюко А.Г., Кловский Д.Д., Назаров М.В., Финк Л.М. Теория передачи сигналов. М: Радио и связь, 2001 г. –368 с.

5. Б. Скляр. Цифровая связь. Теоретические основы и практическое применение. Изд.2-е, испр.: Пер. с англ. – М.: Издательский дом "Вильямс", 2003 г. – 1104 с.