Расчет информационных характеристик источников сообщений, сигналов и каналов (стр. 1 из 4)
Федеральное агентство по образованию
Государственное образовательное учреждение высшего профессионального образования
«ПЕНЗЕНСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ»
Кафедра «Информационная безопасность систем и технологий»
УТВЕРЖДАЮ
Зав. кафедрой ИБСТ
______________ С.Л. Зефиров
ОТЧЕТ
О КУРСОВОМ ПРОЕКТЕ
«Расчет информационных характеристик источников сообщений, сигналов и каналов».
Руководитель КП
Н.А.Егорова
Исполнитель КП
П.А. Пивоваров
Нормоконтролер
Т.В. Щербакова
Пенза, 2007
Реферат
Пояснительная записка 27с., 8 рис., 1 табл.
СИГНАЛ, КАНАЛ, ЭНТРОПИЯ, СООБЩЕНИЕ, АНСАМБЛЬ, ИЗБЫТОЧНОСТЬ, КВАНТОВАНИЕ, ДИСКРЕТИЗАЦИЯ, ИНФОРМАЦИЯ.
Объектом исследования являются источники сообщений, сигналы и каналы, рассматриваемые с позиции теории информации.
Цель работы – получение навыков расчёта информационных характеристик источников дискретных сообщений и дискретного канала, изучение процессов согласования дискретного источника с дискретным каналом, дискретизации и квантования.
В процессе работы проводилось изучение необходимого теоретического материала и решение задач в соответствии с пунктами задания.
В результате выполнения работы были решены все задачи в соответствии с вариантом задания, получены навыки расчёта информационных характеристик источников дискретных сообщений и дискретного канала, изучены процессы согласования дискретного источника с дискретным каналом, дискретизации и квантования.
Значимость работы – ещё раз подтверждает слова К. Шеннона, «что с информацией можно обращаться почти так же, как с такими физическими величинами, как масса или энергия».
Следует ожидать, что идеи и методы теории информации, касающиеся источников сообщений, сигналов и каналов, будут успешно использоваться и в дальнейшем, особенно при создании сложных систем, объединяющих различные по целям, функциям и даже физическому воплощению подсистемы.
Содержание
Нормативные ссылки
Введение
1 Расчет информационных характеристик источников дискретных сообщений
2 Расчет информационных характеристик дискретного канала
3 Согласование дискретного источника с дискретным каналом
4 Дискретизация и квантование
Заключение
Нормативные ссылки
В настоящем отчете использованы ссылки на следующие стандарты:
- ГОСТ 1.5 – 93 Государственная система стандартизации РФ. Общие требования к построению, изложению, оформлению и содержанию стандартов.
- ГОСТ 2.105 – 95 Единая система конструкторской документации.
- ГОСТ 2.301 – 68 ЕСКД Форматы.
- ГОСТ 7.1 – 84 Система стандартов по информации, библиотечному и издательскому делу. Библиографическое описание документа. Общие требования и правила составления.
- ГОСТ 7.32 – 2001 Система стандартов по информации, библиотечному, издательскому делу. Отчёт о научно – исследовательской работе.
Введение
Эффективная организация обмена информацией приобретает всё большее значение, прежде всего как условие успешной практической деятельности людей. Объём информации, необходимой для нормального функционирования современного общества, растёт примерно пропорционально квадрату развития производительных сил. Доля рабочей силы, занятой вопросами обеспечения информацией, начинает превышать долю рабочей силы, занятой непосредственно в сфере производства.
Информация наряду с материей и энергией является первичным понятием нашего мира и поэтому в строгом смысле не может быть определена, при этом в узком практическом смысле под информацией обычно понимают совокупность сведений об окружающем мире, являющуюся объектом хранения, передачи и преобразования. Информация передаётся и хранится в виде сообщений, а изменяющийся во времени физический процесс, отражающий передаваемое сообщение называется сигналом. А система связи, являющаяся совокупностью технических средств, используемых для передачи сообщений от источника к потребителю информации.
В данной работе объектом исследования являются источники сообщений, сигналы и каналы, рассматриваемые с позиций теории информации, круг проблем которой можно охарактеризовать как исследование методов кодирования для экономного представления сообщений различных источников и для надёжной передачи сообщений по каналам связи с шумом.
В основе теории информации лежит статистическое описание источников сообщений и каналов связи, а также базирующееся на этом описание измерения количества информации между сообщениями, определяемого только вероятностными свойствами сообщения.
На основе теории информации можно ответить на вопросы о предельных возможностях, т.е. максимально достижимых характеристиках различных систем, определить в какой мере проектируемая система близка к теоретически возможной. В некоторых случаях логика рассуждений, используемая в теории информации, подсказывает путь, на котором может быть найдено конструктивное решение для реальной системы.
В данной работе основные идеи и методы теории информации были рассмотрены и практически закреплены на примере конкретных задач, составляющих четыре раздела задания.
1. Расчёт информационных характеристик источников дискретных сообщений
1.1 Задача № 1.38
Ансамбли событий X и Y объединены, причем вероятности совместных событий равны:
; 
; 
; 
; 
; 
; 
; 
.Найти: энтропии ансамблей X и Y соответственно 
; энтропию объединенного ансамбля 
; условные энтропии ансамблей 
Решение:
1) Известны вероятности совместных событий, и с учётом соотношения
находятся безусловные вероятности p(xk) и p(yk), которые потребуются при дальнейшем решении:
; 
; 
; 
; 
.2) По формуле определения энтропии (1.4), находятся энтропии ансамблей H(X) и H(Y):
3) Для нахождения среднего количества информации, даваемое сообщением X при условии, что сообщение ансамбля Y уже известно, т.е. нахождение энтропии ансамбля H(X,Y), используется формула определения энтропии объединённого ансамбля:
т.о., в нашем случае H(X,Y) будет равна
4) Итак, была найдена энтропия объединённого ансамбля. Далее по заданию требуется определить условные энтропии ансамблей H(X/Y) и H(Y/X). Формулу условной энтропии можно получить из формулы количества информации, содержащейся Y относительно X и наоборот.
1.2 Задача № 1.66
Принимаемый сигнал может иметь амплитуду
(событие 
) или 
(событие 
), а также сдвиг фазы 
(событие 
) или 
(событие 
) режимах. Вероятности совместных событий имеют следующие значения: 
; 
; 
; 
.