Передача информации по дискретным и непрерывным каналам связи (стр. 1 из 2)

Передача информации по дискретным и непрерывным каналам связи

Производительность источника дискретных сообщений

Имеется

,

где М – обьем алфавита источника.

.

Для такого источника можем определить среднее количество информации в сообщениях (энтропию).

.

Источник работает на интервале T и генерирует за это время количество информации

.

,

скорость выдачи информации источником, если процесс эргодический.

Если источник выдал n элементарных сообщений, а длительность сообщений

тогда:

.

Определим максимальную производительность источника

.

Скорость передачи информации по дискретным каналам без помех. Оптимальное статистическое кодирование

Если отсутствуют помехи, то при согласовании источника с каналом, скорость передачи информации равна производительности источника сообщений:

.

Задачей статистического кодирования является максимизация скорости передачи информации по каналу связи.

В настоящее время используется двоичное кодирование.

Чтобы обеспечить максимальную скорость передачи информации по каналу без помех, необходимо реализовать оптимальное статистическое кодирование сообщений источника двоичным кодом. Можно доказать, что для выполнения ОСК необходимо выполнить правило:

,

где

- количество символов в комбинации двоичного кода.

Т. е. количество символов в кодовой комбинации должно равняться количеству информации в кодируемом сообщении.

Существует ряд алгоритмов статистического кодирования. Основная цель всех схем ОСК - минимизация средней длительности кодовых комбинаций. Необходимо осуществить кодирование таким образом, чтобы наиболее часто встречающиеся комбинации кодировались наиболее короткими комбинациями. Наиболее известны схемы Шеннона-Фано и Хаффмена. Характерно то, что предварительно все сообщения записываются в порядке убывания их вероятностей. Ни одна короткая комбинация не является началом более длинной. Именно это свойство дает возможность декодирования.

		Кодовые значения			Кодовые комбинации		бит
			0,5	1				1	1	1
	0,25	0	1	01	2	2
	0,125	0	0	1	001	3	3
	0,125	0	0	0	000	3	3

Рисунок - Схема кодирования Шеннона – Фано.

Оптимальное статистическое кодирование обеспечивает передачу информации по каналам связи с максимальной скоростью. Недостаток: помехи или сбои в аппаратуре, искажения символа ведут к искажению всех других комбинаций.

Необходимо вводить интервалы между кодовыми комбинациями. Величина защитного интервала между комбинациями должна быть кратна длительности импульса и не менее длительности одного импульса. Это снижает достоинства оптимального кода.

Скорость передачи информации и пропускная способность дискретных каналов с помехами

Пусть источник генерирует сообщения

Оценим скорость передачи информации

-вход, -выход

- передаваемое сообщение

- варианты принимаемых сообщений.

Если отсутствуют помехи, то имеют место однозначные переходы. Если помехи присутствуют, то имеют место ошибочные переходы.

Матрица переходных вероятностей:

Она показывает вероятность перехода переданного символа

в принятый . Максимальное значение переходных вероятностей лежит на главной диагонали матрицы - .

Количество информации определяется как:

В случае отсутствия ошибок в передаче

.

Анализируя принятые сообщения, можем построить матрицу апостериорных вероятностей.

-апостериорная (послеопытная) вероятность.

, если принято верно

Эта величина определяет, какое количество информации необходимо ещё получить, чтобы сообщение стало достоверно. Такое количество информации было потеряно в канале связи при передаче сообщения

.

Количество информации, полученное получателем:

Взаимная информация

- количество переданной информации содержащейся в при приёме :

Нас интересует среднее количество информации, доставленной на выход канала одним принятым сообщением:

- энтропия источника, т.е. среднее количество информации, которое содержится в каждом переданном символе.

- энтропия потерь, т.е. среднее количество информации, которое теряется при передаче символа.

- среднее количество информации, которое доставляется потребителю при приеме одного сообщения.

- смесь полезного сообщения с шумом

- энтропия выходного канала, среднее количество информации, которое содержится в одном выходном символе (смеси сигнала с помехой).

- энтропия шума, среднее количество информации, которое добавляется шумом.

За время

получаем количество информации:

Скорость передачи информации:

,