Расчет информационных характеристик дискретного канала (стр. 1 из 6)

Содержание

Часть 1. Теория информации

1. Система передачи дискретных сообщений

1.1 Схема дискретного канала, функции блоков, источника и приемника

1.2 Виды информации

2. Канальная матрица (КМИ; КМП; КМО) и их взаимосвязь

2.1 Свойства канальных матриц

3. Информационные характеристики источника сообщений

3.1 Количество информации

источника

3.2 Информационные потери

4. Информационные характеристики приемника

4.1 Количество информации

приемника

4.2 Информационные потери

5. Скоростные характеристики

5.1 Скорость модуляции

симв/сек;

5.2 Производительность источника

бод;

5.3 Скорость передачи

или бод;

5.4 Емкость канала

или бод;

5.5 Коэффициент эффективности дискретного канала

;

5.6 Теоремы Шеннона о критической скорости и кодированию

Часть 2. Теория кодирования

6. Оптимальное кодирование. Идея сжатия

6.1 Равномерный двоичный код (РДК), корневое бинарное дерево РДК, длина кода РДК, сообщение в РДК

6.2 Оптимальный неравномерный код ОНК Шеннона-Фано, алгоритм расчета ОНК, средняя длина, энтропия, коэффициент сжатия, коэффициент эффективности, сообщение в ОНК, критерий Фано, корневое бинарное дерево ОНК Шеннона-Фано

6.3 Оптимальный неравномерный ОНК Хаффмана, алгоритм расчета ОНК, средняя длина, энтропия, коэффициент сжатия, коэффициент эффективности, сообщение в ОНК, КБД

6.4 Эффективность ОНК

7. Помехоустойчивое кодирование. Назначение

7.1 Обнаруживающие коды

7.1.1 Обнаруживающий код четности (ОКЧ)

7.1.2 Обнаруживающий код удвоения (ОКУ)

7.1.3 Обнаруживающий код инверсией (ОКИ)

7.1.4 Обнаруживающий код Стандартный телеграфный код (ОК СТК №3) №3

7.2 Корректирующий систематический код Хэмминга: генерация, диагностика, коррекция, декодирование

7.3 Корректирующий циклический код: генерация, диагностика, коррекция, декодирование

7.4 Корректирующий мажоритарный код: генерация, диагностика, коррекция, декодирование (другие названия – код по голосованию, К-удвоения)

7.5 Эффективность помехоустойчивых кодов

8. Криптографическое кодирование. Назначение

8.1 Основы криптографического кодирования

8.2 Принципы криптографии по Шеннону

8.3 Требования к криптографическим алгоритмам

8.4 Криптографическое правило Кирхгофа

8.5 Абсолютно стойкий ключ по Шеннону

8.6 Жизненный цикл конфиденциальности данных

8.7 Критерии взлома ключа

8.8 Классификация криптографических методов

Часть 1. Теория информации

1. Система передачи дискретных сообщений

Информационные каналы бывают аналоговые (информация в непрерывном виде) и цифровые (дискретные). Широкое развитие получила цифровая техника и дискретные каналы.

1.1 Схема, функции блоков источника и приемника

Информационную систему передачи данных по каналу связи можно представить крупноблочно (Рис1).

Рис1.Крупноблочное представление информационного канала

Источник сообщения (ИС) – вырабатывает сообщения, кодеры источника преобразуют сообщения в кодовые слова, используя методы оптимального, помехоустойчивого и криптографического кодирования. Модулятор преобразует бинарные коды в электрические сигналы.

Линия связи (ЛС) – это физическая среда, в которой распространяются сигналы: кабельные, радио и спутниковые линии.

Приемник сообщения (ПС) – выполняет обратное превращение: демодулятор преобразует электрические сигналы в бинарные коды, декодеры выполняют диагностику и корректирование ошибок, снимают сжатие, помехоустойчивость и криптографическую защиту информации.

Рис.2.Схема системы передачи дискретных сообщений

Функции блоков источника:

· АЦП – алфавитно-цифровой преобразователь (аналоговая информация преобразуется в дискретную);

· Шифратор – устанавливает криптографическую защиту;

· Кодер ОНК (ОНК - оптимальный неравномерный код) - сжимает данные;

· Кодер ПЗК (ПЗК – помехозащищенный код) – устанавливает защиту от помех;

· Модулятор – преобразует цифровую информацию в электрические сигналы;

· Линии связи – телефонные, кабельные, радио, спутниковые.

Функции блоков приемника:

· Демодулятор – преобразует электрические сигналы в двоичный код;

· Декодер ПЗК – определяет наличие ошибки, вычисляет адрес ошибки, корректирует её, снимает помехоустойчивую защиту;

· Декодер ОНК – неравномерный код преобразуется в равномерный двоичный код;

· Дешифратор – снимает криптозащиту;

· ЦАП – цифро-аналоговый преобразователь (дискретную информацию преобразовывает в непрерывную).

1.2 Виды информации

В процессе прохождения по каналу информация многократно меняет свою форму, сохраняя при этом свое содержание:

1) Непрерывная информация;

2) Дискретная информация;

3) Криптокод;

4) Оптимальный неравномерный код (двоичный);

5) Помехоустойчивый код;

6) Электрические сигналы.

Расчёт количества информации символов алфавита

Для начала нам необходимо вычислить v_i– частоту появления каждого символа алфавита. Сумма v_i будет равна длине сообщения l_s.

Теперь рассчитываем P(a_i)– вероятность появления символа нашего алфавита в сообщении.

P(a_i) = v_i/l_s

Сумма таких вероятностей должна быть равна единице.

После этого мы можем найти требуемое количество информации по формуле: I(a_i) = - log(P(a_i)) [бит]

Свойства количества информации:

1. Количество информации не отрицательно:

I(a_i) ≥ 0

2. Чем выше вероятность, тем меньшее количество информации содержит символ.

Рис.3. График к свойству 2

3. Если вероятность символа равна 1, то количество информации этого символа равно 0:

Р(a_i) = 1 ⇒I(a_i) = 0

4. Аддитивность. Количество информации нескольких символов равно сумме количеств информаций каждого:

I(a_1, a_2, a₃) = I(a₁) + I(a₂) + I(a₃)

Энтропия дискретного ансамбля сообщения

Энтропия – среднее количество информации на символ сообщения.

Расчёт энтропии алфавита

Для вычисления энтропии алфавита нам понадобится l_а - количество символов алфавита.

Максимальная энтропия алфавита будет равна:

H_max(А)= log l_a [бит/символ]

Причём нужно отметить, что логарифм мы берём по основанию 2.

Расчёт энтропии сообщения

Для нахождения энтропии сообщения нам требуется вычислить такое значение:

H (A) = -∑(P(a_i)*logP(a_i)) [бит/символ]

Расчёт максимальной энтропии

Максимальную энтропию считаем по формуле:

H_max(А)= log l_s[бит/символ]

Свойства энтропии:

1. Энтропия не отрицательна:

Н(A) ≥ 0

2. Энтропия равна нулю тогда и только тогда, когда вероятность символа равна 1.

Н(A) = 0 ⇔Р(a_i) =1

3. Энтропия ограничена:

H (A) ≤ log l_s[бит/символ]

где l_s – количество символов в сообщении.

4. Максимальная энтропия равна:

H_max(А ) = log l_s[бит/символ]

Рис.4. График к свойству 4

Расчётная таблица результатов

В данную таблицу мы внесем все наши результаты расчётов и, как результат, построим график количества информации и график энтропии.

S= (У жизни есть чувство юмора)

А= (У,ж,и,з,н,е,с,т,ь,ч,в,о,ю,м,р,а, .)

i	ai	vi	P(ai)	I(ai)	H
1	У	2	0,077	3,700	0,285
2	ж	1	0,038	4,700	0,181
3	и	2	0,077	3,700	0,285
4	з	1	0,038	4,700	0,181
5	н	1	0,038	4,700	0,181
6	е	1	0,038	4,700	0,181
7	с	2	0,077	3,700	0,285
8	т	2	0,077	3,700	0,285
9	ь	1	0,038	4,700	0,181
10	ч	1	0,038	4,700	0,181
11	в	2	0,077	3,700	0,285
12	о	2	0,077	3,700	0,285
13	ю	1	0,038	4,700	0,181
14	м	1	0,038	4,700	0,181
15	р	1	0,038	4,700	0,181
16	а	1	0,038	4,700	0,181
17	_	4	0,154	2,700	0,415
Суммы	26	1,000	3,931

H(А)= logl_a= log16 = 4 [бит/символ]

H_max(A)= log22= 4,4594 [бит/символ]

2. Канальные матрицы (КМИ, КМП, КМО) и их взаимосвязь

Канальная матрица определяет действие помех на дискретном канале.

Канальные матрицы бывают трёх видов: канальная матрица источника, канальная матрица приёмника и канальная матрица объединения.

Канальная матрица источника (КМИ)

Канальная матрица источника состоит из условных вероятностей принимаемых сигналов

относительно переданных сигналов , которые отражают действие помех на канал.