Смекни!
smekni.com
Физика

Энтропия. Теория информации (стр. 7 из 8)

Р1 + Р2 + … Р6 = 1/6 + 1/6 + … + 1/6 = 1

6 раз

В рассматриваемом нами процессе обучения, приводящем к дифференцировке значений вероятностей реакций Pi , состав­ляющих полную группу N, условие (3.8) свидетельствует о том, что увеличение вероятностей каких -то реакций может происходить только за счет уменьшения всех остальных вероятностей (чтобы сумма была по-прежнему равна 1, см. рис. 1, случай б).

В предельном случае одна из N вероятностей может возрасти до 1, тогда все остальные вероятности станут равны 0 (рис. 1).

В случае текста предельному случаю дифференцировки соот­ветствует вероятность одной буквы (например, «е»), равная 1. Вероятности всех остальных букв при этом равна нулю. Это значит, что текст вырождается в повторение одной буквы

е е е е е ...

Этот случай соответствует жесткой детерминации (незатухающий строго периодический процесс).

Соответствующее жесткой детерминации распределение вероятностей, при котором некая вероятность Рк равна 1, а все остальные - равны 0, в общем виде запишется как

Рк=1 (3.9)

Р1 = Р2 = . . .= Рк-1 = Рк+1=. . .= 0 (3.10)


а)

Р1 Р2

Pn

б)

в)

Равномерное распределение вероятностей

Нr = Hmax

Дифференцировка вероятностей при соблюдении условия

i=N

S pi = 1

i=1

Hmax > Hr > 0

Предельный случай дифференцировки вероятностей

Нr = 0


Рис. 1


При подстановке этих значений в функцию энтропии :

Hr =

i = N

pi log pi

(3.11)

S

i = 1

получаем :

Hr=0 (3.12)

Подставляя (3.9) в (3.4), получаем :

D IS = Hmax (3.13)

Все стадии перехода от состояния максимальной энтропии, описываемого условиями (3.4), (3.5), (3.6), к состоянию жесткой детерминации, которому соответствуют условия ( 3.9 ) + (3.13) можно представить в виде дуги, соединяющей исходное состояние Н с конечным состоянием К (рис. 2).

На рис.3 изображена расширяющаяяся иерархическая спи­раль, которая может служить моделью формирования иерархических упорядоченных структур.

Пусть нижний уровень этой спирали (п = 0) соответствует на­чальному алфавиту, состоящему из N0 различных элементов (букв, атомов, нуклеотидов и др.).


рис. 3

Тогда на уровне N = 1 из этого алфавита можно составить N1«слов». Если каждое слово состоит из K1 букв, то из N0 букв можно составить число слов, равное:

N1 = N0K1 (3.14)

Соответственно, на уровне п = 2 из N1 «слов» можно соста­вить количество «фраз», равное:

N2=N1K2=N0K1K2 (3.15)

где Кг - число входящих в каждую «фразу» «слов»

Для упрощения математических выражений мы уже приняли одно допущение, сказав, что все слова содержат одинаковое ко­личество букв (К1), а все фразы содержат одинаковое количество слов (К2). Очевидно, что в реальных системах (например, в письменных текстах ) эти условия не соблюдаются. Однако для выполнения общих свойств нашей информационно -энтропийной модели подобные упрощения вполне допустимы, поэтому мы введем еще одно допущение:

K1 = К2 = К (3.16)

Подставив (3.16) в (3.15), мы получим :

N2=N0K2 (3.17)


Проводя аналогичные операции для любой (п-ой) ступени при условии:

K1 = K2 = … = Кп = К,

получим:

Nn = N0K2 (3.18)

Рассмотрим пример, иллюстрирующий увеличение разнообразия (числа различимых элементов) с переходом на более высокие уровни изображенной на рис . 3.3 спирали в соответствии с форму­лами (3.14) + (3.18).

Если алфавит (уровень п = 0) содержит 30 букв (N0 = 30), а каждое «слово» искусственного текста состоит из 6 букв (К = 6), то общее число таких «слов» составит:

N1 = N0K1 = 306 = 729 ·106

Среди указанного количества «слов» большинство составят бессмысленные или даже непроизносимые «слова» (из 6-ти глас­ных, 6-ти согласных и т.п.).

Но если хотя бы 0,01% от общего числа буквенных комбинаций составят осмысленные слова, общий лексикон составит 72 900 слов.

Еще более прогрессивно возрастает число комбинаций с переходами на более высокие уровни n = 2, п = 3 и т.д.

Для определения возрастания информационной емкости по мере перехода на более высокие уровни изображенной на информаци­онно-энтропийной спирали напомним , что максимальное количес­тво структурной информации A/s' накапливается при переходе от Нr′ = Нmax к Нr′′ = 0, т.е. равно:

D IS = Нr′ – Нr′′ = Hmax

Величина максимальной энтропии для п - ой ступени определя­ется как:

Нпmax = log Nn = Кn log N0 (3.19)

Сопоставляя величину Нпгнх с величиной энтропии ступени n = О

H0max = log N0 (3.20)

убеждаемся, что в результате перехода с уровня n = 0 на уро­вень n , максимальная энтропия возросла в Кn раз :

Нпmax =Кn Н0max (3.21)

При переходе от исходного состояния Н в конечное состояние К энтропия уменьшается от Нr = Нmax до Нr = 0, а величина на­капливаемой системой информации соответственно возрастает от I=0 до D IS = Нmax (см. рис 1).

При переходе с уровня n = О на уровень n в соответствии с увеличением энтропии в Кn раз увеличивается значение DISmax то есть возрастает потенциальная емкость:

(D ISmax)0 = Kn(D ISmax)0 (3.22)

В качестве примера подсчитаем с помощью формулы (3.22), как будут возрастать размеры витков спирали по мере увеличения номера ступени п .

Приняв условно диаметр витка при n = 0 за 1 см., получим размеры вышележащих витков, сведенные в таблицу 2.

Таблица 2

п

1

2

3

4

5

6

Диаметры витков в см.

1

6

36

216

1296

7776

Таблица 2 дает наглядное представление о степени прогрес­сивности роста информационной емкости по мере перехода на вышележащие витки. Нетрудно заметить, что при n = 3 , размеры витка (36 см.) близки к размерам раскрытой книжки, при n = 5 – к размерам довольно просторной залы (с диаметром 12,96 м ) , а при п = 6 – к размерам городской площади (с диаметром 77,76 м ).

Вследствие роста информационной емкости система, подни­маясь в процессе развития на все более высокие уровни иерархической спирали и постоянно стремясь к состоянию жесткой детерминации, оказывается тем дальше от этого состояния (в смысле потенциальной возможности накопления информации), чем больше витков в этой спирали ей удается пройти.

Как уже отмечалось, системы в своем развитии, как правило, не достигают состояния жесткой детерминации. Условием их динамичного равновесия оказывается сочетание частично детерминированных , а частично вариабельных (вероятностых) внутренних связей. Соотношение степени детерминации и вариабельности внутренних связей может быть выражено количес­твенно как отношение величины остаточной энтропии Нr к количес­тву накопленной и сохраняемой структурной информации D IS:

 
назад
читать дальше
1
2
3
4
5
6
7
8
НАПИШИТЕ НАМ
Copyright © Smekni.com. All rigths reserved.