Канальная матрица (КМ) – квадратная матрица размером
, ее элементами кроме диагональных являются вероятности появления букв передаваемого сообщения. В диагонали записывается дополнение до единицы по строке.Для определения размера матрицы необходимо решить неравенство:
(3.1)где m – количество символов в сообщении
Следовательно, получаем квадратную матрицу размером
, в которую вписываем буквы сообщения. А | К | С |
Е | Н | Е |
Н | К | О |
_ | И | _ |
Рис. 3.1. Канальная матрица
Элементами КМ являются сигналы bj при условии формирования сигналов ai, поэтому она заполняется в соответствии с таблицей, представленной в приложении.
Элементы диагонали рассчитываются следующим образом:
Р(b1/a1) = 1– Р(b2/a1) – Р(b3/a1)– Р(b4/a1) = 0.921
Р(b2/a2) = 1– Р(b1/a2) – Р(b3/a2) – Р(b4/a2) = 0.909
Р(b3/a3) = 1– Р(b1/a3) – Р(b2/a3) – Р(b4/a3) = 0.885
Р(b4/a4) = 1– Р(b1/a4) – Р(b2/a4) – Р(b3/a4) = 0.712
Таким образом, получаем заполненную КМ:
0.921 | 0.062 | 0.028 | 0.045 |
0.072 | 0.909 | 0.053 | 0.072 |
0.053 | 0.028 | 0.885 | 0.09 |
0.175 | 0.062 | 0.175 | 0.712 |
Рис. 3.2. Канальная матрица P(bj/ai)
3.2. Расчет матриц совместного появления сигналов ai, bj и относительных вероятностей
Расчет энтропии объединения базируется на знании статистических характеристик КС. Основной характеристикой КС в данном случае является матрица вероятностей взаимного появления событий P(ai, bj).
Элементы данной матрицы рассчитаны по следующей формуле:
P(ai, bj) = P(ai)*P(bj/ai) (3.2)
Допустим, сигналы ai появляются c равной вероятностью. В таком случае имеет место формула:
P(ai) = const = 1/i (3.3)
Исходя из этого:
P(a1) = P(a2) = P(a3) = P(a4) = 1/4
Получаем матрицу P(ai) размером
:Рис. 3.3. Матрица равновероятного появления сигнала ai
Таким образом, в соответствии с формулой 3.2 получаем следующую таблицу:
0.230 | 0.015 | 0.007 | 0.011 |
0.018 | 0.227 | 0.013 | 0.018 |
0.013 | 0.007 | 0.220 | 0.022 |
0.043 | 0.015 | 0.043 | 0.178 |
Рис. 3.4. Матрица совместного появления сигналов ai, bj
Из формулы для определения вероятностей совместного появления событий можно выразить формулу для нахождения относительных вероятностей P(bj/ai):
(3.4)Таким образом, можно построить матрицу относительных вероятностей P(bj/ai).
0.756 | 0.056 | 0.024 | 0.048 |
0.059 | 0.859 | 0.045 | 0.078 |
0.042 | 0.026 | 0.777 | 0.096 |
0.141 | 0.056 | 0.151 | 0.178 |
Рис. 3.6. Матрица относительных вероятностей P(bj/ai)
Элементы матрицы с вероятностями появления сигналов bj, показывающей, с какой вероятностью появляются сигналы bj в сообщении, будут рассчитываться по следующей формуле:
(3.5)Согласно этой формуле, матрица будет выглядеть следующим образом:
0.304 | 0.264 | 0.283 | 0.229 |
Рис. 3.5. Матрица вероятностей появления сигналов bj
3.3. Расчет полных условных энтропий
Если существует статистическая связь между символами алфавита источника и приемника, то энтропия приемника по отношению к источнику определится по формуле:
(3.6)H(B/A) = 0.979 бит/символ
Энтропия источника по отношению к приемнику рассчитается аналогично:
(3.7)H(A/B) = 1.134 бит/символ
Энтропия совместных А и В будет в таком случае найдена по следующей формуле:
(3.8)H(AB) = 3.134 бит/2 символа
Размерность [бит/2 символа] означает, что взаимная энтропия представляет собой неопределенность возникновения пары символов, т.е. неопределенность на два символа.
Опираясь на формулы 3.2 и 3.4, можно показать, что энтропия появления событий АВ будет также рассчитываться как:
H(AB) = H(B) – H(A/B) (3.9)
Из данной формулы можно выразить формулы для определения энтропии источника и приемника:
H(A) = H(AB) – H(B/A) (3.10)
Н(А) = 2.155 бит/символ
H(B) = H(AB) – H(A/B) (3.11)
Н(В) = 2 бит/символ
3.4. Расчет количества информации, переданной по КС
При передаче информации одним символом снимается неопределенность Н. Если в сообщении присутствует n символов, то количество информации рассчитается по формуле:
I = nH (3.12)
Используя введенные количественные меры неопределенности, количество информации, переданной по КС, можно определить тремя способами.
1 способ:
I(AB) = (H(A) – H(A/B)) * m (3.13)
В данном случае энтропия H(A/B) характеризует потери информации со стороны приемника.
I(AB) = 11.231 бит
2 способ:
I(AB) = (H(B) – H(B/A)) * m (3.14)
I(AB) = 11.231 бит
Энтропия H(B/A) характеризует влияние помех.
3 способ:
I(AB) = (H(A) + H(B) – H(AB)) * m (3.15)
I(AB) = 11.231 бит
3.5. Расчет пропускной способности КС
Кроме информационных характеристик в виде количества передаваемой информации и энтропии вводят в рассмотрение избыточность системы кодирования и динамические характеристики КС, основной из которых является пропускная способность КС, которая определяет количество информации, которая передается по КС за единицу времени.
(3.16)где Т – время, за которое передается сообщение по КС
С = 1.1 кбит/с
Итак, для определения пропускной способности КС было рассчитано количество информации в передаваемом сообщении, влияние помех на канал и потери со стороны приемника.
В данном случае для передачи сообщения, содержащего 11.2 бит, за 10 мс требуется КС с пропускной способностью 1.1 кбит/с.
Необходимо обосновать полосу пропускания КС для передачи информации от датчика, вырабатывающего сигнал, заданный в п. 1.
В п. 1 для заданного источника (датчика) информации подготовлено сообщение в виде М = (dt, T, x1, x2, …, xn). Из анализа значений {x1, x2, …, xn} заданного сигнала, описанного выражением (1.1), необходимо определить xmin, xmax.