Київський національний університет
імені Тараса Шевченка
Клюшин Дмитро Анатолійович
УДК 519.234.3+519.234.7
НЕПАРАМЕТРИЧНІ МЕТОДИ РОЗПІЗНАВАННЯ
З ГАРАНТОВАНИМ РІВНЕМ ЗНАЧУЩОСТІ
01.05.01 – теоретичні основи інформатики та кібернетики
АВТОРЕФЕРАТ
дисертації на здобуття наукового ступеня
доктора фізико-математичних наук
Київ – 2008
Дисертацією є рукопис.
Робота виконана на кафедрі
обчислювальної математики
Київського національного університету імені Тараса Шевченка
Науковий консультант
Член-кореспондент НАН України,
доктор фізико-математичних наук,
професор ЛЯШКО Сергій Іванович,
Київський національний університет імені Тараса Шевченка, завідувач кафедри
Офіційні опоненти
Доктор фізико-математичних наук, професор Кнопов Павло Соломонович, Інститут кібернетики ім.В.М. Глушкова НАН України, завідувач відділу
Доктор фізико-математичних наук Гасаненко Віталій Олексійович, Інститут математики НАН України, провідний науковий співробітник
Доктор фізико-математичних наук, професор
Бєлов Юрій Анатолійович, Київський національний
університет імені Тараса Шевченка, завідувач кафедри
Захист відбудеться “__27_” _11__________ 2008 р. о 14
годині на засіданні спеціалізованої вченої ради Д 26.001.09
Київського національного університету імені Тараса Шевченка,
Київ, 03680, пр. акад. Глушкова, 2, корп.6, факультет кібернетики, ауд.40
З дисертацією можна ознайомитися у Науковій бібліотеці
Київського національного університету імена Тараса Шевченка,
Київ, вул. Володимирська, 58
Автореферат розісланий “__23_” ____10_______ 2008 року
Учений секретар спеціалізованої вченої ради В.П. Шевченко
Актуальність теми. Математичне дослідження популяцій об'єктів неможливе без з’ясування чи носять дані випадковий характер, наскільки коректним є застосування обраного методу статистичного аналізу, чи є досліджувана популяція неоднорідною і наскільки вірогідними є отримані результати.
Виявленню випадкового характеру досліджуваних даних присвячені роботи багатьох математиків (R. von Mises, A. Wald, A. Church, P. Martin-Lof, G. Chaitin, А.М. Колмогоров, В.І. Арнольд та інших). У працях цих математиків були досліджені різні аспекти випадковості, проте у прикладних дослідженнях розроблені математичні моделі випадкових подій наштовхуються на серйозні перешкоди, зв'язані з їх абстрактним характером.
Не менш актуальною є задача перевірки непараметричних статистичних гіпотез, до якої зводиться, наприклад, класифікація на основі навчаючих вибірок. Критерії для перевірки гіпотез такого типу були запропоновані в роботах W. Dixon, H. Mathisen, A. Wald, J. Wolfowitz, S. Wilks, F. Wilcoxon, H. Mann, D. Whitney, М.В. Смірнова й інших авторів. Незважаючи на величезний обсяг теоретичних досліджень, проведених у цій області, існує багато проблем, зв'язаних з вірогідністю висновків, зроблених на основі запропонованих критеріїв.
Методи побудови довірчих інтервалів для невідомої імовірності описані в роботах E. Wilson, S. Vollset, C. Blyth, H. Still, S. Beal, R. Mee, O. Miettinen, N. Nurminen, S. Wallenstein та інших. Втім, при деяких сполученнях ймовірності й об’єму вибірки довірчий рівень цих інтервалів зменшується нижче необхідного. Точні довірчі інтервали при малих обсягах вибірки розглянуті в роботах С. Clopper, J. Pearson, T. Stern, E. Crow, S. Clunies-Ross, C. Blyth, H. Still, G. Cassella, S. Yoo, H. David, L. Brown, T. Cai, A. DasGupta та інших дослідників. Проте вони засновані на припущенні про незалежність двох біноміальних часток, що на практиці часто не виконується, а деякі з них мають недостатньо високу імовірність покриття.
Багато задач вимагають аналізу однорідності досліджуваної генеральної сукупності. Дослідження цієї властивості щільно зв’язано з поняттям одномодальності функції розподілу випадкової величини за О.Я. Хінчиним. Цій темі були присвячені роботи D. Cox, J. Hartigan, D. Muller, G. Sawitzki, B. Silwerman та інших. Застосуванню цих критеріїв заважає складність зв’язаних з ними алгоритмів.
Оцінка неоднорідності генеральної сукупності за допомогою лінійних сплайнів зводиться до розв’язання серії операторних рівнянь Фредгольма першого роду. Як правило, такі рівняння не мають класичних розв’язків. Теорія узагальнених розв’язків лінійних операторних рівнянь викладена в багатьох роботах (С.Г. Крейн, С.І. Ляшко, Ю.І. Петунін та інших). Оскільки моделі, що виникають при дослідженні неоднорідності генеральних сукупностей можуть бути як лінійними, так і нелінійними, необхідно розробити більш широку теорію узагальнених рішень, що поширювалася б як на лінійні, так і нелінійні операторні рівняння.
Отже, розробка математичної теорії випадкових подій, яка б мала практичне застосування, побудова точних довірчих інтервалів, у яких рівень значущості завжди перевищує номінальний, і розробка надійних методів оцінки неоднорідності генеральних сукупностей досі є актуальними задачами.
Зв'язок роботи з науковими програмами, планами, темами. Дисертаційна робота виконувалась у відповідності до плану наукових досліджень кафедри обчислювальної математики факультету кібернетики Київського національного університету імені Тараса Шевченка в межах таких науково-дослідних тем: “Розробка комп’ютерних методів розпізнавання образів, що використовуються в онкології”, НДР № 379 (ДР № 0193U040548), "Розробка і застосування математичних методів в медико-біологічних дослідженнях", НДР № 02БП015–01 (ДР № 0112U005258); "Моделювання та оптимізація інформаційних систем", НДР №01БФ015-06 (ДР № 0101U002178).
Мета і задачі дослідження. Метою дисертаційної роботи є створення непараметричних методів розпізнавання з гарантованим рівнем значущості. Дисертація передбачала розв’язання таких задач.
Розробка і дослідження структурної моделі випадкового експерименту.
Розробка непараметричних критеріїв еквівалентності генеральних сукупностей за допомогою мір близькості між вибірками.
Побудова непараметричних методів довірчого оцінювання основної маси генеральної сукупності за залежними спостереженнями.
Розробка статистичних критеріїв для порівняння двох ймовірностей в класичній і узагальнених схемах Бернуллі.
Розробка методів стратифікаційного аналізу генеральних сукупностей, а також розвиток теорії узагальнених розв’язків нелінійних операторних рівнянь в метричних просторах.
Застосування розроблених методів в медико-біологічних дослідженнях, зокрема, для диференціальної діагностики, для визначення степеня значущості показників і для аналізу субпопуляцій.
Об’єкт дослідження - теорія випадкових послідовностей, непараметричні критерії еквівалентності генеральних сукупностей, статистичні критерії для порівняння двох ймовірностей, предмет дослідження - структурна теорія випадкових експериментів, міри близькості між вибірками, точні довірчі інтервали для невідомої ймовірності, емпірична функція розподілу.
Методи дослідження. В дисертації використані теорія решіток, теорія напівупорядкованих просторів, методи варіаційної статистики, а також теорія узагальнених розв’язків операторних рівнянь в метричних просторах, розроблена в роботах С.І. Ляшка та Ю.І. Петуніна.
Наукова новизна одержаних результатів. Всі основні результати дисертаційної роботи є новими.
Вперше побудовано структурну модель випадкового експерименту і запропоновано критерії випадковості подій.
Запропоновано нові непараметричні критерії еквівалентності генеральних сукупностей на основі мір близькості між вибірками.
Побудовано новий довірчий інтервал для основної маси генеральної сукупності за залежними спостереженнями.
Розроблено новий статистичний критерій для порівняння двох ймовірностей в класичній і узагальнених схемах Бернуллі.
Запропоновано нові методи стратифікаційного аналізу генеральних сукупностей.
Розвинуто нову концепцію узагальнених розв’язків нелінійних операторних рівнянь в метричних просторах.
Практичне значення одержаних результатів. Результати роботи застосовуються в наукових дослідженнях, присвячених диференціальній діагностиці онкологічних захворювань, а також аналізу радіо - та хіміорезистентних ракових клітин, що проводяться в Інституті експериментальної патології, онкології та радіобіології ім.Р. Є. Кавецького НАН України. Теоретичні висновки лягли в основу спеціальних курсів з довірчого оцінювання параметрів та розпізнавання образів, які читаються на факультеті кібернетики Київського національного університету імені Тараса Шевченка.
Апробація результатів дисертації. Основні положення та результати наукових досліджень, що увійшли до дисертації, доповідалися на таких наукових конференціях, симпозіумах та семінарах: міжнародна конференція “Functional Analysis, Operator Theory, Stochastic Analysis and Statistics” (2001, Kyiv), міжнародна конференція “Моделювання та оптимізація складних систем” (2001, Київ), десята міжнародна наукова конференція імені академіка М. Кравчука (2004, Київ,), 27th International Conference on Information Technology Interfaces, ITI (2005, Cavtat, Chroatia), International Conference of Mathematics and Engineering techniques in Medicine and Biological Sciences (Las Vegas, 2001–2005), Conference on Bioinformatics & Computational Biology (2006, Las Vegas), International Conference on Scientific Computing (2007, Las Vegas).
Матеріали дисертаційного дослідження доповідалися та обговорювалися на науковому семінарі Київського національного університету імені Тараса Шевченка “Оптимальне керування лінійними розподіленими системами” (керівник проф. С.І. Ляшко), на науковому семінарі Міжнародного науково-навчального центру інформаційних технологій і систем НАН України і МОН України (керівник - канд. техн. наук В.І. Гриценко), на науковому семінарі відділу математичних методів дослідження операцій Інституту кібернетики ім.В.М. Глушкова НАН України (керівник – проф.П.С. Кнопов) і на науковому семінарі відділу теорії випадкових процесів Інституту математики НАН України (керівник – проф.А. А. Дороговцев).
Публікації. Основні результати дисертаційної роботи викладено у трьох монографіях [1–3], 32 статтях [4–35], із них 24 - у наукових провідних фахових виданнях України, що входять до переліку ВАК по фізико-математичних науках, та 8 - у виданнях інших країн. Результати роботи захищені трьома патентами на винахід [36–38] і опубліковані в збірках тез 8 наукових конференцій [39–46].