В основе организации данных OLAP лежит понятие гиперкуба или многомерного куба данных, в ячейках которого хранятся анализируемые (числовые) данные, например объемы продаж. Измерения – это совокупности значений других данных, скажем, названий товаров и названий месяцев года. В простейшем случае двумерного куба мы получаем таблицу, показывающую значения уровней продаж по товарам и месяцам. Дальнейшее усложнение модели данных возможно по нескольким направлениям:
-Увеличение числа измерений – данные о продажах не только по месяцам и товарам, но и по регионам. В этом случае куб становится трехмерным;
-усложнение содержимого ячейки – например, нас может интересовать не только уровень продаж, но и чистая прибыль или остаток на складе. В этом случае в ячейке будет несколько значений;
-введение иерархии в пределах одного измерения – общее понятие ВРЕМЯ естественным образом связано с иерархией значений: год состоит из кварталов, квартал из месяцев и т.д.
Благодаря многомерной модели данных пользователям очень легко формулировать сложные запросы, размещать данные в отчете, переходить от сводной информации к детальной или фильтровать данные, выделяя осмысленные подмножества. Например, в типичном кубе с информацией о продажах в качестве измерений выступали бы «Время», «География», «Продукт», «Канал», «Организация» и «Сценарий» (по бюджету и фактически). Типичными мерами могли бы стать «Продажи в долларах», «Продажи в единицах», «Запасы», «Численность персонала», «Доходы» и «Затраты».
В рамках каждого измерения модели данных OLAP могут быть организованы в виде иерархии, представляющей различные уровни их детализации. Например, в измерении «Время» можно выделить уровни «Годы», «Месяцы» и «Дни». Точно так же в рамках измерения «География» вы могли бы ввести уровни «Страна», «Регион», «Штат/провинция» и «Город». Каждая конкретная модель OLAP будет включать определенные значения для каждого уровня иерархии. При просмотре данных OLAP пользователь будет перемещаться вверх и вниз между уровнями данных, чтобы увидеть больше деталей или получить сводную информацию.
В зависимости от ответа на вопрос, существует ли гиперкуб как отдельная физическая структура или лишь как виртуальная модель данных, различают системы MOLAP (MultidimensionalOLAP) и ROLAP (RelationalOLAP). На заре развития технологии OLAP большинство производителей считало, что единственное возможное решение при создании OLAP‑приложений связано с использованием специализированной, нереляционной модели хранения. Позднее другие производители обнаружили, что применение определенных структур базы данных (схемы «звезда» и «снежинка»), индексации и хранения агрегатов позволяет использовать для OLAP реляционные системы управления базами данных. Такие производители назвали свою технологию RelationalOLAP(ROLAP). Поставщики более старых систем затем приняли термин MOLAP (multidimensionalOLAP– многомерная OLAP).
Недавно разработаны гибридные решения для OLAP, которые иногда называют HOLAP (hybridOLAP). Одновременно используя архитектуры ROLAP и MOLAP, они соединяют лучшие черты обоих решений – превосходную производительность и высокую масштабируемость. Один из подходов к созданию HOLAP включает в реляционную базу данных записи с детальной информацией (занимающие наибольший объем) и в то же время помещает агрегаты в отдельное хранилище архитектуры MOLAP.
Для большинства продуктов OLAPпредварительное вычисление агрегатов – это основная стратегия, обеспечивающая выигрыш в производительности. В то же время предварительная агрегация связана со значительными затратами: число агрегатов легко может превысить число исходных точек с детальной информацией, что приводит к резкому росту объема хранимых данных, причем коэффициент взрыва данных может составить около 240, так что для управления 10 Мб входных данных потребовалась бы емкость устройства хранения 2,4 Гб.
Предварительное вычисление и сохранение всех возможных комбинаций агрегатов (например, сумма всех объемов производства продуктов и уровней производства продуктов по всем периодам времени, по всем организациям, по всем каналам распространения и т.д.) в традиционных OLAP приводит к мощному взрыву данных.
Интеллектуальные информационные системы (ИИС)
Как видно из предыдущего раздела, современные базы данных включают в свой состав целый ряд механизмов и технологий, повышающих их интеллектуальные возможности. Это относится прежде всего к многомерной организации данных в хранилищах данных, организации естественно-языкового интерфейса на ограниченном фрагменте языка, реализации сценариев «что если». Все эти механизмы почерпнуты из области исследований по искусственному интеллекту.
Системы поддержки принятия решений – квазиинтеллектуальные системы, поскольку они призваны автоматизировать не сам процесс оценки предпочтительности гипотез или выбора варианта решения, а только готовят аналитические обобщенные данные для окончательного выбора решения специалистом-менеджером.
Важность этих систем для теории и практики и практики искусственного интеллекта определяется двумя обстоятельствами:
- в DSS реализуется поиск аналитических зависимостей или агрегатов, при использовании которых правила принятия решений, т.е. зависимости между наблюдаемыми данными и гипотезами становятся более простыми;
- в структуре специализированных процессоров или архитектур этих систем реализуются некоторые начальные этапы технологии обработки данных, характерных для технологии искусственного интеллекта. Это относится к организации хранения и обработки больших объемов данных в виде многомерных кубов с учетом семантических взаимосвязей
На начальных стадиях разработки методов искусственного интеллекта создание экспертных систем (ЭС), предназначенных для оценки предпочтительности гипотез на основе наблюдаемых данных, и документальных информационно-поисковых систем (ИПС) и систем управления базами данных (СУБД) шло параллельными путями, затем произошло объединение ИПС как компоненты полнотекстового поиска и реляционных СУБД. В настоящее время постреляционные СУБД включают в себя ряд компонентов из области искусственного интеллекта.
Экспертные системы представляли собою автономные программные комплексы не интегрированные с базами данных и системами аналитических вычислений. Понятие «экспертная система» закрепилось за такими автономными программами, ориентированными на определенную достаточно узкую сферу применения.
Затем стало ясно, что принципы логического вывода и баз знаний применимы к широкому кругу задач, экспертные системы стали использовать базы данных и оформляться как программные продукты, имеющие развитые средства ввода-вывода данных, хранения и ведения баз знаний, прикладные задачи и такую новую генерацию систем стали называть интеллектуальные информационные системы.
ИИС объединяют в себе возможности СУБД, лежащих в основе ИС, и технологию искусственного интеллекта, благодаря чему хранение в них экономической информации сочетается с ее обработкой и подготовкой для использования при принятии решений. Вначале ИИС, называемые также системами, основанными на знаниях, рассматривались как средство, позволяющее не экспертам принимать решения с таким же качеством, как один или более экспертов в конкретной области. Однако очень быстро стало ясно, что эта технология в действительности способна к достижению большего объема знаний и более быстрого реагирования, чем группа специалистов.
Первоначально ИИС использовали знания нескольких экспертов в каждой из областей инвестиций. В настоящее время базы знаний частично формируются посредством машинного обучения, используя методы индукции, генетические алгоритмы и некоторые другие методы извлечения знаний. Менеджер, используя такую схему, теоретически может принимать решения более эффективно и с меньшей стоимостью, чем это смог бы сделать любой индивидуальный эксперт в данной области. Наиболее очевидным преимуществом интеграции некоторых форм искусственного интеллекта в процессе принятия решений по сравнению с постоянным консультированием с группой экспертов обычно является более низкая стоимость и большее соответствие результатов задаче. В отличие от обычных аналитических и статистических моделей, ИИС позволяют получить решение трудно формализуемых слабо структурированных задач. Возможность ИИС работать со слабо структурированными данными подразумевает наличие следующих качеств:
- решать задачи, описанные только в терминах мягких моделей, когда зависимости между основными показателями являются не вполне определенными или даже неизвестными в пределах некоторого класса;
- способность к работе с неопределенными или динамичными данными, изменяющимися в процессе обработки, позволяет использовать ИИС в условиях, когда методы обработки данных могут изменяться и уточняться по мере поступления новых данных;
- способность к развитию системы в плане извлечения знаний из накопленного опыта конкретных ситуаций увеличивает мобильность и гибкость системы, позволяя ей быстро осваивать новые области применения.
Возможность использования информации, которая явно не хранится, а выводится из имеющихся в базе данных, позволяет уменьшить объемы хранимой фактуальной информации при сохранении богатства доступной пользователю информации. Направленность ИИС на решение слабо структурированных, плохо формализуемых задач расширяет область применения ИИС.
Наличие развитых коммуникативных способностей у ИИС дает возможность пользователю выдавать задания системе и получать от нее обработанные данные и комментарии на языке, близком к естественному. Система естественно-языкового интерфейса (СЕЯИ) транслирует естественно-языковые структуры на внутримашинный уровень представления знаний. Включает морфологический, синтаксический, семантический анализ и соответственно в обратном порядке синтез. Программа интеллектуального интерфейса воспринимает сообщения пользователя и преобразует их в форму представления базы знаний и, наоборот, переводит внутреннее представление результата обработки в формат пользователя и выдает сообщение на требуемый носитель.