Для определения потерь в дискретном канале связи используется канальная матрица (матрица переходных вероятностей), позволяющая определить условную энтропию характеризующую потерю информации на символ сообщения.
Пропускная способность дискретного канала при наличии помех равна максимально допустимой скорости передачи информации, причем максимум разыскивается по всем распределениям вероятностей p(x) на X и, поскольку, энтропия максимальна для равномерного распределения (для равновероятных символов сообщения), то выражение для пропускной способности имеет вид:
. (11)
Как видно из формулы, наличие помех уменьшает пропускную способность канала связи.
.Определить:
1.Энтропию источника информации – H(X).
2.Безусловную энтропию приемника информации – H(Y).
3. Общую условную энтропию – H(Y/X).
4.Скорость передачи информации, если время передачи одного символа первичного алфавита t = 0,1 мс.
5.Определить потери информации в канале связи при передаче 500 символов алфавита.
6.Среднее количество принятой информации.
7.Пропускную способность канала связи.
Решение:
1.Энтропия источника сообщений равна
2.Вероятности появления символов на входе приемника
Проверка:
Энтропия приемника информации равна
3.Общая условная энтропия равна
4.Скорость передачи информации равна:
=(1,85–0,132)/0,0001=17,18 Кбит/с.
5.Потери информации в канале связи при передаче 500 символов алфавита равны:
500×0,132=66 бит. 6.Среднее количество принятой информации равно:
=500×(1,85–0,132)=859 бит.
7.Пропускная способность канала связи
(2–0,132)/0,0001=18,68 Кбит/с. 2.3 Пропускная способность бинарного, симметричного канала
Бинарным дискретным каналом называется канал, по которому передается только два элементарных дискретных символа (т.е. используется двоичный код).
Симметричным дискретным каналом называется канал, в котором. вероятности не зависят от передаваемых символов, т.е. вероятности правильной передачи одинаковы (p(x1)= p(x2)) и вероятности ошибочной передачи одинаковы (p(y1 /x2)= p(y2/x1)).
Рассмотрим двоичный дискретный канал, по которому передаются дискретные символы «0» и «1» (m=2). Если передаваемые символы независимы и равновероятны (p(x1)= p(x2)=1/2), то сигнал имеет максимальную энтропию (Hmax(X)=1), при этом p(1/0) = p(0/1).
Если Pош– вероятность ошибки то 1‑Рош – вероятность правильного приема. Диаграмма передачи двоичных сигналов по симметричному калу приведена на рис. 2.
p(y1/ x1)= 1‑Рош
x1не искаженy1
искаженp(y1/x2) =Pош
искаженp(y2/x1) =Pош
x2не искаженy2
p(y2 / x2)= 1‑Рош
Рис. 2. Диаграмма переходных вероятностей симметричного канала
Условная энтропия для симметричного канала равна
Пропускная способность для двоичного, симметричного канала
(12)Это уравнение Шеннона для симметричного двоичного канала.
Наличие ошибки приводит к уменьшению пропускной способности.
Так при pош = 0,01 пропускная способность равна C = 0,9/t= 0,9Cmax.
Основная теорема Шеннона о кодировании для дискретного канала с помехами: Для дискретного канала с помехами существует такой способ кодирования, который позволяет осуществлять безошибочную передачу информации, если производительность источника ниже пропускной способности
Пример. Определить скорость передачи по двоичному, симметричному каналу связи
, если шумы в канале вносят ошибки, таким образом, что в среднем 4 символа из 100 принимаются неверно (т.е. «1» вместо «0» и наоборот). Решение:
Составим таблицу вероятностей:
p(x0) = 0,5; p(y0/ x0) = 0,96;
p(x1) = 0,5; p(y1/ x0) = 0,04;
p(y0) = 0,5; p(y0/ x1) = 0,04;
p(y1) = 0,5; p(y1/ x1) = 0,96.
Пропускная способность для двоичного, симметричного канала
3. Пропускная способность непрерывного канала связи
Непрерывный канал передачи информации содержит совокупность средств для передачи непрерывных сигналов, при этом вместо кодирующих и декодирующих устройств используются различного рода преобразователи (модуляция и т.д.). Входные и выходные сигналы в непрерывном канале связи представляют ансамбли непрерывных функций с соответствующими плотностями распределений вероятности.
Если на вход непрерывного канала связи поступает непрерывный сигнал X(t) длительностью T, то вследствие воздействия помех f(t) выходной сигнал Y(t) будет отличаться от входного. При этом количество информации в сигнале Y(t) о сигнале X(t) равно:
. (13)Непрерывный сигнал, можно рассматривать как дискретный при
. Он может быть представлен в виде решетчатой функции, при этом на приемной стороне по отдельным взятым отсчетам через интервал Dt может быть восстановлен исходный непрерывный сигнал.Шаг квантования Dt = T/n, где n– число точек отсчета. В соответствии с теоремой Котельникова Dt = 1/2fc, гдеfc- частота среза а n = 2Tfc – база сигнала.
При этом в выражении (13) для взаимной информации вместо разности энтропии можно записать разности соответствующих дифференциальных энтропий отдельных отсчетов
.
Пропускная способность непрерывного канала связи
(14)Для дискретного канала связи максимальное значение скорости передачи соответствует равновероятным символам алфавита. Для непрерывного канала связи, когда заданной является средняя мощность сигнала, максимальная скорость обеспечивается при использовании нормальных центрированных случайных сигнала.
Если сигнал центрированный (mx= 0) т.е. без постоянной составляющей при этом мощность покоя равна нулю (P0 = 0). Условие центрированности обеспечивает максимум дисперсии при заданной средней мощности сигнала
.
(10)
. (11)