Расчет информационных характеристик источников сообщений, сигналов и каналов (стр. 2 из 4)
Вычислить количество информации получаемой о фазовом сдвиге сигнала, если станет известной его амплитуда.
Решение:
Количество информации вычисляется по формуле:
Величина I(Y,X) показывает, сколько в среднем бит информации о реализации ансамбля Y дает наблюдение реализации ансамбля Z. Подставив в эту формулу в выражение для вычисления энтропии и условной энтропии:
Учитывая, что
,последнее выражение можно записать в виде:
Вычисляются необходимые величины.
p(y1) = p(x1, y1) + p(x2, y1) = 0.47 + 0.27 = 0.74
p(y2) = p(x1, y2) + p(x2, y2) = 0.17 + 0.09 = 0.26
p(x1) = p(x1, y1) + p(x1, y2) = 0.47 + 0.17 = 0.64
p(x2) = p(x2, y1) + p(x2, y2) = 0.27 + 0.09 = 0.36
Все величины подставляются в формулу:
1.3 Задача № 1.84
Дискретный источник выбирает сообщения из ансамбля
.Длительности сообщений соответственно равны: tu1=0,96 c, tu2=0,44 c, tu3=0,67 c, tu4=0,39 c. Определить производительность источника.
Решение:
Производительность источника рассчитывается по формуле,
где T – время, затрачиваемое в среднем на каждое сообщение при передаче, и определяемое в соответствии со следующим выражением:
а энтропия источника H(U) в соответствии с формулой (1.4) [1] равна:
Итак, производительность источника равна:
2. Расчёт информационных характеристик дискретного канала
2.1 Задача № 2.23
На вход дискретного симметричного канала, показанного на рисунке 2, без памяти поступают двоичные символы
и 
с априорными вероятностями p(U1)=0,75 и p(U2)=0,25. 
Рисунок 2 – Дискретный симметричный канал
Переходные вероятности
в таком канале задаются соотношением 
,где p=0,1 – вероятность ошибки. Определить все апостериорные вероятности
.Решение:
- переходные вероятности того, что на выходе будет символ zj при условии, что на входе был символ ui. 
- апостериорные вероятности того, что на входе канала имел место символ ui при условии, что на выходе наблюдается zj.По формуле Байеса:
Итак,
2.2 Задача № 2.48
Двоичный источник с равновероятными элементами имеет производительность U’=1500 бит в секунду. При передачи по каналу в среднем один из 100 символов принимается ошибочно. Определить скорость передачи инфориации по данному каналу.
Решение:
U1 Z1 “1”
U2 Z2 “0”
Рисунок 3 – Дискретный канал
Ситуация в канале характеризуется данным рисунком 3. В среднем один из 100 символов принимается ошибочно, поэтому вероятность ошибки будет составлять ро=1/100=0,01. Тогда вероятность правильного принятия будет вычисляться из следующего выражения: 1-р0=1-0,01=0,99.
Таким образом, канал описывается распределением вероятностей:
P(Z1/U1)=P(Z2/U2)=0,99
P(Z1/U2)=P(Z1/U2)=0,01
P(U1)=P(U2)=0,5- дано по условию
Скорость передачи информации вычисляется по формуле:
I’(U,Z)=H’(U)-H’(U/Z),
а энтропия будет равна 1 биту, так как
0,5log2+0,5log2=1
H’(U)=VC*H(U), где VC=1500 c-1
I’(U,Z)=H’(U)-H’(U/Z)
H’(U/Z)=VC*H(U/Z)
Условные вероятности можно найти по формуле Байеса:
H(U/Z)=-P(Z1)[P(U1/Z1)log2P(U1/Z1)+P(U2/Z1)log2P(U2/Z1)]-P(Z2)[P(U1/Z2)log2P(U1/Z2)+ P(U2/Z2)log2P(U2/Z2)]
H(U/Z)=-(0.5+0.5)(-2*0.99log(0.99)-2*0.01*log(0.01))=0.16
H’(U/Z)=VC*H(U/Z)=1500*0,16=241 (бит)
I’(U,Z)=H’(U)-H(U/Z)=1500-241=1259(бит/с)
3. Согласование дискретного источника с дискретным каналом
3.1 Задача № 3.23
Закодировать двоичным кодом Фано ансамбль сообщений {ai}:
{0.08, 0.001, 0.06, 0.09, 0.017, 0.18, 0.4, 0.06, 0.003, 0.027, 0.014, 0.068}
Закодировать произвольную комбинацию, состоящую из 5 символов из ансамбля{ai}. Определить потенциальный минимум среднего количества символов кода, приходящихся на одно сообщение ансамбля {ai} и среднее количество символов, разработанного кода Фано, приходящихся на одно сообщение из ансамбля {ai}. Рассчитать эффективность разработанного кода.
Решение.
Кодируется кодом Фано заданный ансамбль сообщений следующим образом.
Таблица 1 - Кодирование ансамбля сообщений {ai} двоичным кодом Фано
| сообщение | вероятность | код |
| а7 | 0,4 | 00 |
| а6 | 0,18 | 01 |
| а4 | 0,09 | 100 |
| a1 | 0,08 | 1010 |
| а12 | 0,068 | 1011 |
| а3 | 0,06 | 1100 |
| а8 | 0,06 | 1101 |
| а10 | 0,027 | 1110 |
| а5 | 0,017 | 11110 |
| а11 | 0,014 | 111110 |
| а9 | 0,003 | 1111110 |
| a2 | 0,001 | 1111111 |
Сообщения источника располагаются в порядке не возрастания их вероятностей, делятся на две части так, чтобы суммарные вероятности сообщений в каждой части были по возможности равны. Сообщениям первой части приписывается в качестве первого символа нуль, а сообщениям второй части единица. Затем каждая из этих частей (если она содержит более одного сообщения) опять делится на две примерно равные части и в качестве второго символа для первой из них берется 0, а для второй 1. Этот процесс повторяется до тех пор, пока в каждой из полученных частей не останется по одному сообщению.
После использования полученных комбинаций символов, закодируется произвольная комбинация, состоящая из 5 символов из ансамбля {ai}: 101011111110010011110.
Среднее количество символов, приходящихся на одно сообщение, определяется по формуле 2.9 курса лекций:
,где ms – количество позиций, а ps – вероятность сообщения из ансамбля {ai}.
Определяется минимальное среднее количество символов, приходящихся на одно сообщение, по формуле
,
где M – объем алфавита кода, равный 2, а H(U) энтропия источника.
Далее находится энтропия:
Затем вычисляется величина ψ-эффективность кода, которая характеризует степень близости неравномерного статистического кода к оптимальному.
