Смекни!
smekni.com

Технология хранилищ данных (стр. 10 из 11)

3.1.1 Планирование и проектирование

Этот этап включает в себя следующие задачи:

Подготовка проекта. Включает в себя составление проектного соглашения. Здесь определяются цели ХД. Составляется календарный график выполнения работ.

Сбор требований. Здесь происходит уяснение целей бизнеса. Определяются предметные области. Составляется предварительная библиотека запросов.

Определение модели данных. Составляется модель данных ХД «звезда». Определяются объекты, отношения, элементы данных, спецификации защиты. Здесь определяем измерения и меры, а также иерархию измерений.

Модель процессов загрузки. Определяются спецификации переноса данных и способы доступа к данным.

Модель приложений. Определяются способы представления информации пользователю.

Определение архитектуры. Создание технологической модели ХД. Рассмотрение альтернатив решения.

Оценка проекта. Здесь проводится анализ результатов. Анализ риска, стоимости и выгод.

Далее если оценка удовлетворительная, то переходим к следующему этапу. Если нет, то возвращаемся на один из предыдущих этапов.

Проектное предложение Составляется акт о завершении этапа. Имеется уже готовый проект.

3.1.2 Разработка

Этот этап включает в себя следующие задачи:

Построение БДНеобходимо оценить неоходимый размер

Построение, тест процесса переноса (загрузки) данных Определяем средства доступа к источнику, приемнику. Определение видов трансформации данных.

Прототипы запросов и отчетов

Оценка проекта. Здесь проводится анализ результатов.

Далее если оценка удовлетворительная, то переходим к следующему этапу. Если нет, то возвращаемся на один из предыдущих этапов.

Процедура начальной загрузки данных. Выполнение доступа к источникам, преобразование данных: унификация, изменение структуры, проверка на корректность и непротиворечивость, очистка, агрегирование.

Процедуры регулярной загрузки данных. Утверждение расписания загрузки.

Приложения

Финальное тестирование системы

Оценка проекта. Здесь проводится анализ результатов.

Далее если оценка удовлетворительная, то переходим к следующему этапу. Если нет, то возвращаемся на один из предыдущих этапов.

Документация всех процедур.

Определение инфраструктуры поддержки. Определение администраторов, регламент загрузки данных и создания резервной копии)

Обучение пользователей

3.1.3 Установка системы и эксплуатация

Инсталяция системных компонентов

Инициализация расписания процедур регулярной загрузки

Ввод в эксплуатацию

3.1.4 Анализ протекающих процессов в системе

Анализ работы системы

Подготовка отчета

Оптимизация ХД для более частых запросов

3.2 Тестовый проект по созданию витрины данных.

Исходя из вышеприведенной методологии определим этапы создания ВД:

1. Определение предметной области для данной организации.

2. Определение цели создания ВД.

3. Определение библиотеки запросов.

4. Определение объектов изучения. Выделение необходимой части из совокупности первичных источников данных

5. Создание модели ВД (звезда).

6. Определение отношений.

7. Модель процесса загрузки.

8. Модель приложения.

9. Определение архитектуры.

10. Построение базы данных.

11. Загрузка данных.

12. Тестирование. Запросы и отчеты.

А теперь выполним эту цепочку для создания ВД.

1. Определение предметной области для данной организации.

Организация представляет собой страховую компанию. Предметная область:

Страховой рынок.

2. Определение цели создания ВД.

Цель создания ВД – получение возможности наблюдать динамику изменения изучаемых параметров во времени, по продуктам и по филиалам. Причем необходима возможность задавания нерегламентированных запросов и получение отчетов в виде удобном пользователю. Получение отчетности по фирме и по филиалам.

3. Определение библиотеки запросов.

Пример необходимых запросов:

1. Как изменялась продажа продукта «Страхование имущества физ. лиц» в Кукморском филиале с 3-го квартала 1998 года по 3-й квартал 1999 года включительно?

2. Как продавался продукт «Семейное страхование жизни» во всех филиалах в 4-м квартале 1999 года.

3. …………..

4. Определение объектов изучения. Выделение необходимой части из совокупности первичных источников данных

В организации выделены следующие объекты для изучения:

- страховая сумма

- сумма поступлений взносов

- страховое поле

- количество договоров

- число застрахованных

- сумма заявленных выплат

- фактически выплаченная сумма

Для тестового проекта выбран один из наиболее важных объектов:

сумма поступлений взносов.

Затем были определены оперативные источники содержащие необходимые данные для проекта.

Исходные данные представляют собой результат работы в программе квартальной отчетности OTCHET. Программа работает под DOS. Данные находятся в таблицах формата *.dbf. Понадобились таблицы:

ATE2.DBF – справочник филиалов с их кодом АТЕ (табл. 8)

( нам понадобятся столбцы

ATE2_2 – код филиала внутри фирмы

ATE2_5 – название филиала )

ATE2_0 ATE2_1 ATE2_2 ATE2_3 ATE2_4 ATE2_5 ATE2_6 ATE2_7
2 1 1 И Агрызский Агрызский 1
2 2 2 И Азнакаевский Азнакаевск 1
2 3 3 И Аксубаевский Аксубаевс 1
2 4 4 И Актанышский Актанышс 1
2 5 5 И Алексеевский Алексеевс 1
2 6 6 И Алькеевский Алькеевс 1

Таблица.8 Фрагмент файла ATE2.DBF.

DAT_OTCH.DBF – основная таблица содержащая информацию за 1998, 1999 гг. о суммах поступлении. (табл. 9)

( нам понадобятся столбцы GD - год, KVART - квартал, ATE – код филиала,
NR – номер раздела в справочниках видов страхования

NS – номер строки в справочнике видов страхования

A6 – сумма поступлений)

GD KVART ATE NR NS A3 A4 A5 A6 A7 A8
1998 2 64 1 1,00 22 0 15262,0 749,0 23,0 0,0
1998 2 64 1 2,00 13 0 10262,0 649,0 16,0 0,0
1998 2 64 1 3,00 0 0 0,0 0,0 0,0 0,0
1998 2 64 1 4,00 0 0 0,0 0,0 0,0 0,0

Таблица. 9 Фрагмент файла DAT_OTCH.DBF

A9 A10 A11 A12
0 7386,0 2 542,0
0 70086,0 2 582,0
0 0,0 0 0,0
0 0,0 0 0,0

Таблица. 9 (окончание)

BOKOV1.DBF, BOKOV2.DBF, BOKOV3.DBF – справочники видов страхования с 1 по 3 раздел соответственно.

( нам понадобятся столбцы VID_STR – название вида страховния
NR – номер раздела

NS – номер строки )

VID_STR NS NR LOGIK B3 B4 B5 B6 B7 B8 B9
1. Д/с юридических лиц 1 1,00 1 ИСТИНА X X
Имущественное: 2 2,00 1 ИСТИНА X X
имущества фермерских 2,00 1 ЛОЖЬ
хозяйств и арендаторов 3 3,00 1 ИСТИНА X X
в т.ч. посевов (21) 4 4,00 1 ИСТИНА X X
животных (17) 5 5,00 1 ИСТИНА
транспортных средств(9,10) 6 6,00 1 ИСТИНА
прочего (15) 7 7,00 1 ИСТИНА

Таблица. 10 Фрагментфайла BOKOV1.DBF

VID_STR NS NR LOGIK B3 B4 B5 B6 B7 B8 B9 B10 B11 B12
Страхование жизни - всего 1 1,00 2 ИСТИНА
в том числе: 1,00 2 ЛОЖЬ
смешанное 2 2,00 2 ИСТИНА X X X
детей 3 3,00 2 ИСТИНА X X X
к бракосочетанию 4 4,00 2 ИСТИНА X X X
воспитанников дет. учрежд. 5 5,00 2 ИСТИНА X
пожизненное 6 6,00 2 ИСТИНА X X X
семейное 7 7,00 2 ИСТИНА
N23 за счёт физ. лиц 8 8,00 2 ИСТИНА

Таблица.11 Фрагмент файла BOKOV2.DBF

VID_STR NS NR LOGIK B3 B4 B5 B6 B7 B8 B9 B10 B11 B12
Обязательное страхование 1 1,00 3 ИСТИНА X X
имущества граждан 1,00 3 ЛОЖЬ
в том числе: 1,00 3 ЛОЖЬ
строений 2 2,00 3 ИСТИНА X X X X
животных 3 3,00 3 ИСТИНА X X X X
Обязательное страхование 3,00 3 ЛОЖЬ
пассажиров 4 4,00 3 ИСТИНА
Прочие виды обязат. страх-ния 5 5,00 3 ИСТИНА

Таблица.12 Фрагмент файла BOKOV3.DBF

5. Создание модели ВД.

Выбираем многомерную модель данных.

Определяем меры и измерения.

Измерения: Продукт, Регион, Время.

Иерархии:ПродуктРегионВремя

| | |

Группа Регион Год

| | |

Категория ФилиалКвартал

| | |

Продукт Агент Месяц

Меры: - страховая сумма

- сумма поступлений взносов

- страховое поле

- количество договоров

- число застрахованных

- сумма заявленных выплат

- фактически выплаченная сумма

Жирным шрифтом выделено, то что будет присутствовать в тестовом проекте. Мы имеем одну меру и три измерения.

Строим модель «звезду». Модель «снежинка» здесь не подходит, так как необходимость в ней бывает тогда, когда нужно денормализовать одну или несколько таблиц измерений. В нашем случае нечего денормализовывать.