Расчет информационных характеристик дискретного канала (стр. 3 из 6)

4. Аддитивность. Количество информации нескольких символов равно сумме количеств информаций каждого.

I(b_1, b_2, b₃) = I(b₁) + I(b₂) + I(b₃)

Энтропия – среднее количество информации на символ сообщения (средневзвешенное).

[бит/символ]

Свойства энтропии

1. Энтропия неотрицательна:

Н(А) ≥ 0

2. Энтропия равна нулю тогда и только тогда, когда вероятность символа равна 1:

Н(a_i) = 0 ⇔р(a_i) =1

3. Энтропия ограничена

H (B) =< log n[бит/символ]

где n – количество символов в сообщении.

4. Максимальная энтропия равна

H_max(B) = log n[бит/символ]

4.2Информационные потери

Существует два вида условной энтропии, которые определяют действия помех на дискретном канале – это частная условная энтропия (ЧУЭ) и общая условная энтропия (ОУЭ).

Частная условная энтропия приемника (ЧУЭП) сообщений определяет потери информации каждого принятого сигнала

_.

H(A/ b_j) = −

p(a_i/b_j)logp(a_i/b_j) (j = 1,2…n) [бит/символ]

Общая условная энтропия приемника (ОУЭП) определяет средние потери информации на символ

при приеме ансамбля {B, p( )}:

[бит/символ]

5. Скоростные характеристики

5.1 Скорость модуляции

[симв/сек]

[симв/сек],

где

- длительность передачи одного сигнала

Если длительность передачи сигналов различна, то вычисляется среднее время передачи одного сигнала.

5.2 Производительность источника

бод;

Производительность источника - количество бит, вырабатываемых в единицу времени - 1 секунду.

[бод]

5.3 Скорость передачи

или бод;

Скорость передачи источника:

[бит/сек], [бод]

Скорость передачи приёмника:

[бит/сек], [бод]

5.4 Емкость канала

или бод;

Емкость канала (пропускная способность канала) - это максимальное

количество бит, передаваемое в единицу времени – секунду.

Пропускная способность – максимальная скорость передачи.

C=maxR

Емкость канала источника:

[бит/сек], [бод]

Емкость канала приёмника:

[бит/сек], [бод]

5.5 Коэффициент эффективности дискретного канала

Чем больше коэффициент эффективности дискретного канала стремится к единице, тем эффективнее канал и тем меньше информационные потери на нём.

5.6 Теоремы Шеннона о критической скорости и кодировании

1) Теорема о критической скорости:

Теорема определяет критическую скорость передачи

, зависящую только от распределения вероятности, при которой существует способ передачи со скоростью R ( ), при котором возможно восстановление исходного сообщения ( ), где С – пропускная способность канала, Н(А) – энтропия источника;

2) Теорема о кодировании:

Если H’(A) – производительность источника - меньше емкости канала (

), то существует способ кодирования и декодирования, при котором вероятность ошибки будет сколь угодно мала и наоборот.

Пример расчёта скоростных характеристик для канальной матрицы источника.

1. Исходные данные

Дана матрица условных вероятностей, которые отражают действие помех дискретного канала связи.

Сумма вероятностей каждой строки равна 1,00.

Время передачи символа τ = 0,0002 сек. Передано 250 символов.

Безусловные вероятности появления символов на выходе:

p(a₁)=0.25, p(a₂)=0.35, p(a₃)=0.15, p(a₄)=0.25

2. Расчёты

1) Количество информации I(a_i )каждого символа a₁, a₂, a₃ дискретного сообщения :

(i=1,2,3) [ бит]

[бит]

[бит]

[бит]

[бит]

2)Среднее количество информации, переданное одним символом определяет энтропия источника сообщений Н(А):

[бит/символ]

H(A) = -(0,25*(-2) + 0,35*(-1,51) + 0,15*(-2,73) + 0,25*(-2) = -(-0,5 - 0,53 – 0,41 – 0,5) = 1,94 [бит/символ]

3)Максимальная энтропия источника сообщений H_max(A)

H_max(A)= log N=log 4=2 [бит/символ]

где N-количество символов в алфавите сообщения.

4)Информационные потери при передаче каждого символа a_i определяет частная условная энтропия H(B/a_i ):

[бит/символ]

H(B/a₁ )= -(0,9*(-0,15) + 0,05*(-4,32) + 0,03*(-5,05)+0,02*(-5,64) =

-(-0,1368 – 0,2161 – 0,1518 – 0,1129) = 0,6175 [бит/символ]

H(B/a₂ )= -(0,1*(-3,32) + 0,84*(-0,25) + 0,06*(-4,05)+0) =

-(-0,3321 – 0,2112 – 0,2435 – 0) = 0,787 [бит/символ]

H(B/a₃ )= -(0 + 0,01*(-6,64) + 0,98*(-0,03)+0,01*(-6,64)) =

-(-0 – 0,0664 – 0,0286 – 0,0664) = 0,1614 [бит/символ]

H(B/a₄ )= -(0 + 0 + 0,01*(-6,64)+0,99*(-0,0145)) =

-(-0– 0 – 0,0664 – 0,0144) = 0,081[бит/символ]

5)Средние потери информации при передаче одного символа определяет общая условная энтропия источника Н(B/А):

H(B|A) = 0,25*0,6175 + 0,35*0,787 + 0,15*0,1614 + 0,25*0,081 = 0,1543 + 0,2755 + 0,0242 + 0,02 = 0,4743 [бит/символ]

6)Общие потери информации в канале святи при передаче сообщения, состоящего из 250 символов  I

 I = k H (B / A) = 2500,737476 = 184 [бит]

где k – количество символов в переданном сообщении.

7) Среднее количество информации, принятое приемником на один символ, определяется энтропией приемника Н(B)

[бит/символ]

p(b₁) = 0,9*0,25 + 0,35*0,1 + 0 + 0 = 0,225 + 0,035 = 0,26

p(b₂) = 0,05*0,25 + 0,84*0,35 + 0,01*0,15 +0 = 0,0125+0,294+0,0015 =0,35

p(b₃) = 0,03*0,25 + 0,06*0,35 + 0,98*0,15+0,01*0,25 = 0,0075+0,021+ 0,147+0,0025 = 0,178

p(b₄) = 0,02*0,25 + 0 + 0,01*0,15 + 0,99*0,25 = 0,005 + 0+0,0015+ 0,2475=0,254

H(B) = -(0,26*(-1,94) + 0,35*(-1,7) + 0,178*(-2,49) + 0,254*(-1,97)) = -

-(-0,5 – 0,5234 – 0,4432 – 0,5) = 1,974 [бит/символ]

8) Максимальная энтропия приемника, H_max(B)

H_max(B)= logN = log 4 =2 [бит/символ]

9)Среднее количество принятой приемником информации, на один символ с учетом потерь информации, I (A, B)

I (A, B) = H (B) – H (B / A) =

- = 1,5 [бит/символ]

10) Скорость модуляции дискретного канала, n

n=

= =500 [бод]

11) Продуктивность дискретного канала сообщений, H’(A)

H’(A)=

[бод]

H’(A) =

= 970,3227 [бод]

12) Скорость передачи информации, R

R =

R= (1,974 - 0,4743)/0,002 = 749,8676 [бод]

13) Пропускная способность (емкость) дискретного канала связи определяется максимальной скоростью передачи: C=max R

С=

C=

= 762,8716 [бод]