Каналы связи (стр. 3 из 4)
Если сигнал имеет нормальное распределение, то априорная дифференциальная энтропия каждого отсчета максимальна.
Поэтому при расчете пропускной способности непрерывного канала считаем, что по каналу передается непрерывный сигнал с ограниченной средней мощностью – Pc и аддитивная помеха (y = x+f) также с ограниченной средней мощностью – Pnтипа белого (гауссова) шума.
Так как помеха аддитивна, то дисперсия выходного сигнала равна
.Для того, чтобы энтропия была максимальна для сигнала с ограниченной мощностью, он должен быть гауссовым, при этом
.Для того чтобы помеха была максимальна, она тоже должна быть гауссова
.При этом пропускная способность непрерывного канала должна быть равна пропускной способности сигнала
. (15)Таким образом, скорость передачи информации с ограниченной средней мощностью максимальна, если и сигнал, и помеха являются гауссовыми, случайными процессами.
Пропускную способность канала можно изменять, меняя ширину спектра сигнала – fcего мощность – Pc. Но увеличение ширины спектра увеличиваетмощность помехи – Pn, поэтому соотношение между полосой пропускания канала и уровнем помех выбирается компромиссным путем.
Если распределение f(x) источника непрерывных сообщений отличается от нормального, то скорость передачи информации – С будет меньше. Используя, функциональный преобразователь, можно получать сигнал с нормальным законом распределения.
Обычно pc/pп >>1, при этом пропускная способность непрерывного канала равна Сп = FкDк. Связь между емкостью и пропускной способностью канала связи имеет вид Vк = Tк Fк Dк = Tк Сп.
Теорема Шеннона для непрерывного канала с шумом. Если энтропия источника непрерывных сообщений сколь угодно близка к пропускной способности канала, то существует метод передачи, при котором все сообщения источника будут переданы со сколь угодно высокой верностью воспроизведения.
Пример. По непрерывному каналу связи, имеющим полосу пропускания Fk = 1 кГц, передается полезный сигнал X(t), представляющий собой нормальный случайный процесс с нулевым математическим ожиданием и дисперсией
= 4 мВ. В канале действует независимый от сигнала гауссов шум F(t) с нулевым математическим ожиданием и дисперсией 
= 1 мВ.Определить:
– дифференциальную энтропию входного сигнала;
– дифференциальную энтропию выходного сигнала;
– условную дифференциальную энтропию;
– количество информации в одном непрерывном отсчете процесса Y(t) относительно отсчетаX(t);
– скорость передачи информации по непрерывному каналу с дискретным временем;
– пропускную способность непрерывного канала связи;
– определить емкость канала связи, если время его работы T = 10 м;
– определить количество информации, которое может быть передано за 10 минут работы канала;
– показать, что информационная емкость непрерывного канала без памяти с аддитивным гауссовым шумом при ограничении на пиковую мощность не больше информационной емкости такого же канала при той же величине ограничения на среднюю мощность.
Решение:
Дифференциальная энтропия входного сигнала
= 3,05 бит/отсчет.
Дифференциальная энтропия выходного сигнала
=3,21 бит/отсчет.
Условная дифференциальная энтропия
= 2,05 бит/отсчет.
Количество информации в одном непрерывном отсчете процесса Y(t) относительно отсчета X(t) определяется по формуле
I(X, Y) = h(x) – h(x/y) = h(y) – h(y/x) = 3,21–2,05 = 1,16 бит/отсчет.
Скорость передачи информации по непрерывному каналу с дискретным временем определяется по формуле
=
= 2×103× [3,21–2,05] = 2320 бит/с
Пропускная способность непрерывного канала с помехами определяется по формуле
=2322 бит/с.
Докажем, что информационная емкость непрерывного канала без памяти с аддитивным гауссовым шумом при ограничении на пиковую мощность не больше информационной емкости такого же канала при той же величине ограничения на среднюю мощность.
Математическое ожидание для симметричного равномерного распределения
Средний квадрат для симметричного равномерного распределения
Дисперсия для симметричного равномерного распределения
При этом, для равномерно-распределенного процесса
.Дифференциальная энтропия сигнала с равномерным распределением
.Разность дифференциальных энтропий нормального и равномерно распределенного процесса не зависит от величины дисперсии
= 0,3 бит/отсч.Таким образом, пропускная способность и емкость канала связи для процесса с нормальным распределением выше, чем для равномерного.
Определим емкость (объем) канала связи
Vk= TkCk= 10×60×2322 = 1,3932 Мбит.
Определим количество информации, которое может быть передано за 10 минут работы канала
10×60×2322=1,3932 Мбит.Задачи
1. В канал связи передаются сообщения, составленные из алфавита x1,x2и x3 с вероятностями p(x1)=0,2; p(x2)=0,3и p(x3)=0,5.
Канальная матрица имеет вид:
при этом 
.Вычислить:
1.Энтропию источника информации H(X) и приемника H(Y).
2. Общую и условную энтропию H(Y/X).
3. Потери информации в канале при передаче к символов (к = 100).
4. Количество принятой информации при передаче к символов.
5. Скорость передачи информации, если время передачи одного символаt = 0,01 мс.
2. По каналу связи передаются символы алфавита x1, x2, x3и x4 с вероятностями
. Определить количество информации принятой при передаче 300 символов, если влияние помех описывается канальной матрицей: 
.3. Определить потери информации в канале связи при передаче равновероятных символов алфавита, если канальная матрица имеет вид
.Определить скорость передачи информации, если время передачи одного символа t = 0,001 сек.
4.Определить потери информации при передаче 1000 символов алфавита источникаx1, x2 и x3 с вероятностями p 
=0,2; p 
=0,1 и p( 
)=0,7, если влияние помех в канале описывается канальной матрицей:
.5. Определить количество принятой информации при передаче 600 символов, если вероятности появления символов на выходе источника X равны:
а влияние помех при передаче описывается канальной матрицей: 
.