Особенности метода кластерный анализ при большом количестве наблюдений кластерный анализ метод (стр. 3 из 5)
В результате этой процедуры пользователь получает отчет "Объясненная суммарная дисперсия", по которой видно число отобранных факторов - это те компоненты, собственные значения которых превосходят единицу.
Полученные значения факторов, которым обычно присваиваются названия fact1_1, fact1_2 и т.д., используем для проведения кластерного анализа методом k-средних. Для проведения быстрого кластерного анализа выберем в меню Analyze (Анализ) / Classify (Классифицировать) / K-Means Cluster: (Кластерный анализ методом k-средних).
В диалоговом окне K Means Cluster Analysis (Кластерный анализ методом k-средних) необходимо поместить факторные переменные fact1_1, fact1_2 и т.д. в поле тестируемых переменных. Здесь же необходимо указать количество кластеров и количество итераций.
В результате этой процедуры получаем отчет с выводом значений центров сформированных кластеров, количестве наблюдений в каждом кластере, а также с дополнительной информацией, заданной пользователем.
Алгоритм k-средних делит совокупность исходных данных на заданное количество кластеров. Для возможности визуализации полученных результатов следует воспользоваться одним из графиков, например, диаграммой рассеивания. Традиционная визуализация возможна для ограниченного количества измерений, ибо, как известно, человек может воспринимать только трехмерное пространство. Если мы анализируем более трех переменных, следует использовать специальные многомерные методы представления информации, о них будет рассказано в одной из последующих лекций курса.
Итеративные методы кластеризации различаются выбором параметров:
1. начальной точки
2. правилом формирования новых кластеров
3. правилом остановки
В пакете SPSS, например, при необходимости работы как с количественными (например, доход), так и с категориальными (например, семейное положение) переменными, а также если объем данных достаточно велик, используется метод Двухэтапного кластерного анализа, который представляет собой масштабируемую процедуру кластерного анализа, позволяющую работать с данными различных типов.
На первом этапе работы записи предварительно кластеризуются в большое количество суб-кластеров. На втором этапе полученные суб-кластеры группируются в необходимое количество. Если это количество неизвестно, процедура сама автоматически определяет его. [5. с-75-77]
В общем случае все этапы кластерного анализа взаимосвязаны, и решения, принятые на одном из них, определяют действия на последующих этапах.
Аналитику следует решить, использовать ли все наблюдения либо же исключить некоторые данные или выборки из набора данных.
По мнению многих специалистов, выбор метода кластеризации является решающим при определении формы и специфики кластеров.
Анализ результатов кластеризации. Этот этап подразумевает решение таких вопросов: не является ли полученное разбиение на кластеры случайным; является ли разбиение надежным и стабильным на под выборках данных; существует ли взаимосвязь между результатами кластеризации и переменными, которые не участвовали в процессе кластеризации; можно ли интерпретировать полученные результаты кластеризации.
Проверка результатов кластеризации. Результаты кластеризации также должны быть проверены формальными и неформальными методами. Формальные методы зависят от того метода, который использовался для кластеризации.
Неформально включают следующие процедуры проверки качества кластеризации:
1. анализ результатов кластеризации, полученных на определенных выборках набора данных
2. кросс-проверка
3. проведение кластеризации при изменении порядка наблюдений в наборе данных
4. проведение кластеризации при удалении некоторых наблюдений
5. проведение кластеризации на небольших выборках
Один из вариантов проверки качества кластеризации - использование нескольких методов и сравнение полученных результатов. Отсутствие подобия не будет означать некорректность результатов, но присутствие похожих групп считается признаком качественной кластеризации. [2. с-2-3].
2.6. Кластеризация в Data Mining
Кластеризация в Data Mining приобретает ценность тогда, когда она выступает одним из этапов анализа данных, построения законченного аналитического решения. Аналитику часто легче выделить группы схожих объектов, изучить их особенности и построить для каждой группы отдельную модель, чем создавать одну общую модель на всех данных. Таким приемом постоянно пользуются в маркетинге, выделяя группы клиентов, покупателей, товаров и разрабатывая для каждой их них отдельную стратегию.
Очень часто данные, с которыми сталкивается технология Data Mining, имеют следующие важные особенности:
1. высокая размерность (тысячи полей) и большой объем (сотни тысяч и миллионы записей) таблиц баз данных и хранилищ данных (сверхбольшие базы данных)
2. наборы данных содержат большое количество числовых и категорийных атрибутов
Все атрибуты, или признаки объектов делятся на числовые (numerical) и категорийные (categorical). Числовые атрибуты – это такие, которые могут быть упорядочены в пространстве, соответственно категорийные – которое не могут быть упорядочены. Например, атрибут "возраст" – числовой, а "цвет" – категорийный. Приписывание атрибутам значений происходит во время измерений выбранным типом шкалы, а это, вообще говоря, представляет собой отдельную задачу.
Большинство алгоритмов кластеризации предполагают сравнение объектов между собой на основе некоторой меры близости (сходства). Мерой близости называется величина, имеющая предел и возрастающая с увеличением близости объектов. Меры сходства "изобретаются" по специальным правилам, а выбор конкретных мер зависит от задачи, а также от шкалы измерений. В качестве меры близости для числовых атрибутов очень часто используется евклидово расстояние, вычисляемое по формуле
Для категорийных атрибутов распространена мера сходства Чекановского-Серенсена и Жаккара. Потребность в обработке больших массивов данных в Data Mining привела к формулированию требований, которым должен удовлетворять алгоритм кластеризации:
· Минимально возможное количество проходов по базе данных
· Работа в ограниченном объеме оперативной памяти компьютера
· Работу алгоритма можно прервать с сохранением промежуточных результатов, чтобы продолжить вычисления позже
·Алгоритм должен работать, когда объекты из базы данных могут извлекаться только в режиме однонаправленного курсора
Алгоритм, удовлетворяющий данным требованиям (особенно второму), будем называть масштабируемым (scalable). Масштабируемость – важнейшее свойство алгоритма, зависящее от его вычислительной сложности и программной реализации. Алгоритм называют масштабируемым, если при неизменной емкости оперативной памяти с увеличением числа записей в базе данных время его работы растет линейно. На заре становления теории кластерного анализа вопросам масштабируемости алгоритмов внимания практически не уделялось. Предполагалось, что все обрабатываемые данные будут умещаться в оперативной памяти, главный упор всегда делался на улучшение качества кластеризации. Трудно соблюсти баланс между высоким качеством кластеризации и масштабируемостью. Поэтому в идеале в арсенале Data Mining должны присутствовать как эффективные алгоритмы кластеризации микромассивов (microarrays), так и масштабируемые для обработки сверхбольших баз данных (large databases).[10. с-7].
Глава 3. Опрос, посвященный психологическому состоянию личности
Я попросила ответить на предложенные вопросы 40 человек в возрасте от 18 до 60 лет.
Загружаем полученные данные в программу SPSS.
3.1. Факторный анализ
| Мера адекватности и критерий Бартлетта | ||
| Мера выборочной адекватности Кайзера-Мейера-Олкина. | ,448 | |
| Критерий сферичности Бартлетта | Прибл. хи-квадрат | 539,764 |
| ст.св. | 190 | |
| Знч. | ,000 | |
| Матрица повернутых компонентa | |||||||
| Компонента | |||||||
| 1 | 2 | 3 | 4 | 5 | 6 | 7 | |
| VAR00007 | ,918 | ||||||
| VAR00005 | ,726 | ||||||
| VAR00008 | ,706 | ||||||
| VAR00004 | ,698 | ||||||
| VAR00017 | ,930 | ||||||
| VAR00016 | ,792 | ||||||
| VAR00011 | -,527 | ||||||
| VAR00014 | ,813 | ||||||
| VAR00013 | ,781 | ||||||
| VAR00012 | ,687 | ||||||
| VAR00015 | ,638 | ||||||
| VAR00020 | ,928 | ||||||
| VAR00019 | ,901 | ||||||
| VAR00018 | ,585 | ,652 | |||||
| VAR00009 | ,811 | ||||||
| VAR00010 | ,749 | ||||||
| VAR00002 | ,876 | ||||||
| VAR00003 | ,779 | ||||||
| VAR00001 | -,757 | ||||||
| VAR00006 | ,702 | ||||||
| Метод выделения: Анализ методом главных компонент. Метод вращения: Варимакс с нормализацией Кайзера. | |||||||
| a. Вращение сошлось за 9 итераций. | |||||||
Из матрицы компонент видно, что вопросы под номерами 11, 10, 9, 18, 19, 17, 16, 20 сочетаются и, когда их обработать, вырисовывается определенная картина моей анкеты. Тоже самое можно сказать про вопросы под номерами 5, 7, 8, 4, 13, 12, 6, 14. Эти группы вопросов ясно вырисовывают нам психологический портрет интервьюера.
Проведенные мною исследования показали, что психологическое состояние личности на прямую зависит от потребностей и привязанностей данной личности.
Люди, выбирающие агрессивные виды спорта, настаивающие только на своем мнении в споре, те, кто не уступает место на дороге и в жизни ведут себя агрессивно и не уступают оппоненту.