Выбор и обоснование информационных характеристик канала связи (стр. 3 из 16)
В обоих случаях при построении графиков исходного АС и восстановленного была подтверждена правильность и эффективность методов.
2. ОПРЕДЕЛЕНИЕ КОЛИЧЕСТВА ИНФОРМАЦИИ В СООБЩЕНИИ, СОДЕРЖАЩЕМ ЗАДАННЫЙ ТЕКСТ
Задано сообщение М в виде текста: <студентка 529 группы Аксененко>. Требуется:
1. определить количество информации в сообщении М для следующих случаев:
а) символы в алфавитах распределены равновероятно;
б) сообщение передается телеграфным кодом.
2. определить энтропию сообщения для случаев а) и б).
Для расчетов принять значения вероятностей появления букв, представленные в приложении.
Из анализа данного сообщения видно, что оно состоит из двух частей: буквенной М1, в которой количество знаков m1 = 27, и цифровой М2, в которой m2=3.
2.1. Определения количества информации в сообщении
Пусть А – некоторое случайное событие, относительно которого известно, что оно может произойти с вероятностью РА. Предположим, что до момента наступления этого события к получателю информации приходит некоторое сообщение, абсолютно точно предсказывающее исход случайного испытания. Ставится вопрос о том, какова количественная мера информации, содержащейся в данном сообщении. Впервые эту задачу поставил и решил американский инженер Хартли в конце 20-х годов. Он предложил вычислять количество информации, содержащейся в сообщении, по формуле:
(2.1)где логарифм может быть взят при любом основании. В дальнейшем оказалось, что удобнее всего пользоваться двоичными логарифмами. При этом:
(2.2)Хотя с физической точки зрения величина I безразмерна, ее стали измерять в условных единицах, называемых битами. Выбор двоичных логарифмов диктуется тем, что сообщение в технически реализуемых каналах связи чаще всего принимал форму отдельных групп (кодовых слов), состоящих только из двух символов, которые можно трактовать как 0 и 1. Каждая такая казалось, что уи любом основании. ле:группа кодирует, например, буквы того или иного естественного языка, из которых составляются отдельные слова.
2.1.1. Определение количества информации в сообщении, написанном на алфавите с равновероятным распределением символов
При равновероятном распределении символов в алфавите вероятность появления любой буквы Рi=1/32. В этом случае количество информации в буквенной части сообщения определится по формуле:
(2.1)
I1 = 135 бит
В цифровой части сообщения при равновероятном появлении цифр Pi=1/10, количество информации в сообщении будет определяться по формуле:
(2.2)
I2 = 9.96 бит
Таким образом, общее количество информации в сообщении с равновероятным появлением символов определится как:
I = I1 + I2 (2.3)
I = 144.96 бит
Следует заметить, что подобный расчет является лишь ориентировочным, прежде всего потому, что не учитывается разница между вероятностями появления различных букв.
2.1.2. Определение количества информации в сообщении, переданном телеграфным кодом
Для расчета количества информации в данном сообщении необходимо составить вспомогательную таблицу:
Таблица 2.1
| i | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| c | т | у | д | е | н | к | а | _ | г | р | п | ы | о | |
| ni | 2 | 2 | 2 | 1 | 3 | 3 | 3 | 2 | 3 | 1 | 1 | 2 | 1 | 1 |
| Pi | 0.045 | 0.053 | 0.021 | 0.025 | 0.072 | 0.053 | 0.028 | 0.062 | 0.175 | 0.013 | 0.040 | 0.023 | 0.016 | 0.090 |
Расчет среднего количества информации на 1 символ в заданном сообщении произведен по формуле:
(2.4)
I1 = 5.9 бит
Общее количество информации в буквенной части сообщения будет определяться как:
I11= i*I1 (2.5)
I11 = 82.6 бит
Общее количество информации в цифровой части сообщения остается неизменным, т.к. все цифры могут попасться в сообщении также с равной вероятностью. Поэтому количество информации в цифровой части определится по формуле 2.2.
Общее количество информации в сообщении, переданном телеграфным кодом, будет определено по формуле:
I = I11 + I2 (2.6)
I = 92.56 бит
2.2. Расчет энтропии сообщения
Понятие энтропии вводится дли измерения неопределенности состояния процесса. Исторически оно было введено в физике, математике и других точных науках. В информатике энтропия – степень неопределенности источника информации или его способности отдавать информацию. Она характеризует степень исходной неопределенности, которая присуща элементам алфавита, выбранного для передачи сообщения. Алфавит с малой энтропией, как правило, мало пригоден для практического использования.
2.2.1. Расчет энтропии сообщения, написанного на алфавите с равновероятным распределением символов
Развивая идеи Хартли, К. Шеннон ввел очень важное понятие энтропии источника – среднее значение количества информации, приходящееся на один символ алфавита. Исходя из определения, для данного случая энтропия рассчитается следующим образом:
Для буквенной части сообщения:
(2.7)Н1 = 5 бит/символ
Для цифровой части сообщения:
(2.8)Н2 = 3.32 бит/символ
Энтропия всего сообщения:
Н = Н1+ Н2 (2.9)
Н = 8.32 бит/символ
2.2.2. Расчет энтропии сообщения, в котором буквы попадаются со своей вероятностью
Согласно тому же определению энтропии источника сообщения, в котором буквы попадаются со своей вероятностью, она определится таким же образом:
Для буквенной части сообщения:
(2.10)Н11 = 3.06 бит/символ
Для цифровой части сообщения энтропия остается неизменной, т.к. количество информации также не меняется. Она определится по формуле 2.8.
Таким образом, полная энтропия сообщения определится как:
Н = Н11 + Н2 (2.11)
Н = 6.38 бит/символ
Таким образом, в данном пункте было определено количество информации и энтропия сообщения М для двух случаев: сообщение написано на алфавите, в котором буквы распределены с равной вероятностью, и в случае, когда сообщение написано на алфавите, в котором буквы попадаются со своей вероятностью.
Как энтропия сообщения, так и количество информации в нем меньше в том случае, когда оно написано на алфавите, буквы которого попадаются со своей вероятностью.
3. РАСЧЕТ ПРОПУСКНОЙ СПОСОБНОСТИ
Необходимо обосновать пропускную способность канала связи для передачи сообщения М <АКСЕНЕНКО_И> за время 10 мс.
Для расчетов принять распределение вероятностей появления букв как для художественного текста в соответствии с таблицей, приведенной в приложении.