Імовірнісні методи ощадливого кодування інформації (стр. 2 из 6)

Нехай

матриця з позитивними елементами , що має рядків і стовпців і нехай . Для кожної матриці можна визначити функцію

, (1)

де

- транспонована матриця, елементи якої є зворотними значеннями елементів матриці .

При фіксованих значеннях елементів матриці

функція (1) буде залежати від компонентів вектора . Бажаючи підкреслити цей факт, будемо для використати також позначення . Можна показати, що має основні властивості ентропії. Якщо рядка матриці різні за структурою значень своїх елементів, то максимальне значення (1) досягається на векторі , відмінному від рівномірного . Компоненти вектора мають цікаву властивість: дві максимальні за своїми значеннями компонента відповідають двом об'єктам (рядкам матриці ), які найбільшою мірою відрізняються друг від друга структурою значень своїх елементів (найбільш деструктивні). Це властивість вектора можна використати при розробці алгоритмів класифікації.

Возможность використання властивостей вектора

для рішення завдання кластеризации даних квітів ірису на три класи - virginic, versicol й setosa з покажемо на прикладі. На мал. 1 показаний графік значень компонент вектора для всієї вибірки. Як видно найбільші значення компонентів вектора відповідають двом елементам: [7,2 3,6 6,1 2,5]; [4,3 3,0 1,1 0,1].

На першому кроці з використанням міри близькості

виявилося можливим розбити всю сукупність характеристик квітів ірису на два кластери по ступені їхньої близькості до виділених елементів по алгоритму. Отримані в результаті кластери, перший - квіти virginic й versicol, другий - квіти setosa. На другому кроці після проведення аналогічної процедури для даних першого кластера спостерігалися 9 помилок, які розподілилися між класами (квітами) як 5 до 4.

Рис.1 Графік зміни компонент вектора

для всієї вибірки характеристик квітів ірису.

Загальні результати класифікації, представлені у вигляді матриці переплутування

.

Їх можна віднести до одним із кращих результатів кластеризации квітів ірису, що демонструє можливість використання інформаційних властивостей вектора

для побудови алгоритмів класифікації багатомірних даних. Можна продовжити дослідження в цьому напрямку для різних вирішальних правил у процедурах класифікації, однак, залишаючи осторонь деталі, підкреслимо, що запропонований спосіб виявлення розходжень є основою для розробки ефективних алгоритмів розпізнавання.

Повернемося до основної мети нашого дослідження з формування інформаційного критерію. Розглянемо окремий випадок, коли матриця

складається з одного вектора-стовпця . Для цього випадку представимо формулу у вигляді

.

Легко перевірити, що

1.

;

2.

3.

.

На підставі цих властивостей будемо функцію (4) називати мірою розходжень компонент вектора

або інформаційною мірою, оскільки, там, де є розходження, там є й інформація. Далі, визначимо

і шуканий інформаційний критерій

,

де (

) і ( ) -заелементні операції розподілу й множення відповідно.

Область

визначається умовами розв'язуваного завдання. Приведемо приклади використання формули (7). Почнемо із простого випадку. Нехай перетворення полягає в заміні вихідного вектора вектором . Тоді область обмежень визначиться співвідношеннями , а величина - рівністю

,

звідки треба, що максимально можлива кількість інформації втримується в тотожному перетворенні й дорівнює

,

що й випливало очікувати.

Розглянемо більше складні й практично важливі приклади.

1.2 Оцінка інформативності ознак

У теорії розпізнавання образів оцінку інформативності ознаки одержують як відношення результатів розпізнавання об'єктів контрольної вибірки в повному просторі ознак до результатів розпізнавання, проведеного без обліку оцінюваної ознаки. Із цього визначення треба, що оцінка інформативності ознаки, мабуть, залежить від вирішального правила. Крім того, ця оцінка залежить від обсягу навчальної вибірки, де показано, що для одержання її достовірного значення, об'єктів у кожному класі повинне бути в десятки разів більше числа досліджуваних ознак.

З погляду змісту поняття «інформативність», можна дати наступне визначення: інформативна ознака - це ознака, що має близькі значення на елементах (об'єктах) одного класу й істотно різні значення на елементах різних класів.

Звідси треба, що для ефективного рішення завдання розпізнавання в алгоритмах класифікації необхідно перейти до використання ознак, що володіють відзначеною властивістю. Область припустимих значень

визначимо в такий спосіб. Представимо всю сукупність елементів навчальної вибірки, що припускаємо відомої, у вигляді рядків матриці . Нехай - число розпізнаваних класів, - номер класу, якому відповідає значення -го ознаки на -ом елементі вибірки. Тоді інформативність -го ознаки (стовпця матриці ) можна оцінити на основі рішення завдання з областю визначення у вигляді

.

Відзначимо, що обумовлена в такий спосіб інформативність ознаки

не залежить від одиниць його виміру й ураховує тільки відносні значення розподілу ознак на елементах класів розпізнавання.