Система Gopher была разработана для упрощения процесса локализации FTP-ресурсов Internet и для более удобного представления сведений о содержании хранящихся на FTP-серверах файлов. Система Gopher дает возможность в удобной форме (в виде меню) представлять пользователям об имеющихся файлах и их содержании. Меню Gopher-серверов могут содержать ссылки на другие Gopher- и FTP-серверы. Таким образом, пользователь получает возможность “путешествовать” по Internet, не обращая внимания на местонахождение интересующих его ресурсов, и получать доступ к этим ресурсам.
Система Veronica используется для поиска информации в Gopher-пространстве по заголовкам пунктов меню. После ввода ключевого слова, система Veronica выясняет, встречается ли оно в меню на каком-либо Gopher-сервере, и в качестве результатов поиска выдает список заголовков пунктов меню, содержащих ключевое слово. Поскольку система Veronica не является автономной поисковой программой, а тесно связана с системой Gopher, она обладает тем же, что и система Gopher, недостатком: далеко не всегда по заголовку можно сказать, что собой представляет тот или иной информационный ресурс. Достоинства системы заключается в том, что нет необходимости узнавать, где расположена найденная информация, достаточно выбрать требуемую запись из списка.
Понятие информационных поисковых систем.
Автоматизированная поисковая система – система, состоящая из персонала и комплекса средств автоматизации его деятельности, реализующая информационную технологию выполнения установленных функций.
Опыт и практика создания систем в различных сферах деятельности позволяет дать более широкое и универсальное определение, которое полнее отражает все аспекты их сущности.
Под информационной системой в дальнейшем понимается – организованная совокупность программно – технических и других вспомогательных средств, технологических процессов и функционально – определённых групп работников, обеспечивающих сбор, представление и накопление информационных ресурсов в определённой предметной области, поиск и выдачу сведений, необходимых для удовлетворения информационных потребностей установленного контингента пользователей – абонентов системы.
Особенности поисковых систем.
В работе поисковый процесс представлен четырьмя стадиями: формулировка (происходит до начала поиска); действие (начинающийся поиск); обзор результатов (результат, который пользователь видит после поиска); и усовершенствование (после обзора результатов и перед возвращением к поиску с иной формулировкой той же потребности). Более удобная нелинейная схема поиска информации состоит из следующих этапов:
1. Фиксация информационной потребности на естественном языке;
2. Выбор поисковых сервисов сети и формализация записи информационной потребности на конкретных информационно-поисковых языках (ИПЯ);
3. Выполнение созданных запросов;
4. Предварительная обработка полученных списков ссылок на документы;
5. Обращение по выбранным адресам за искомыми документами;
6. Предварительный просмотр содержимого найденных документов;
7.Сохранение релевантных документов для последующего изучения;
8. Извлечение из релевантных документов ссылок для расширения запроса;
9. Изучение всего массива сохраненных документов;
10. Если информационная потребность не полностью удовлетворена, то возврат к первому этапу.
Процесс поиска имеет чрезвычайно глубокий дидактический аспект – так, установлено что применение диалоговых информационных систем приводит к формированию у рядовых пользователей такого стиля информационно-поисковой деятельности, который обычно свойственен наиболее выдающимся ученым.
В большинстве случаев информационная потребность возникает после изучения какой-либо новой информации, полученной пользователем. Часто возникает ситуация, когда пользователь уже обладает некоторым массивом документов по искомой тематике. Предлагается использовать эти документы для автоматизированного составления поискового запроса с помощью специализированной системы управления документами (СУД) [6] (система находится в стадии разработки).
Система должна осуществлять индексацию всех документов пользователя. В процессе индексации все слова, содержащиеся в документах, разбиваются по следующим семантическим классам: стоп-слова; наиболее частотные слова бытового (разговорного) языка; общекультурная терминология; общенаучная терминология; известные системе термины предметной области; неизвестные слова. Разбиение осуществляется на основе соответствующих словарей, которые должны быть составной частью системы. К неизвестным словам будут отнесены в первую очередь многие специальные слова предметной области. Туда же попадут новообразованные термины и слова, содержащие ошибки.
На основе индекса осуществляется построение векторного представления документов, после чего СУД производит иерархическую кластеризацию множества документов, в результате чего получается разбиение этого множества на тематические группы. В ходе диалога с пользователем происходит выбор одного или нескольких наиболее релевантных кластеров документов и задание характеристик поискового процесса.
Поисковый запрос следует строить на основе вектора центроида выбранного кластера. Оптимальный размер запроса составляет от 8-12 до 25-30 терминов [7]. Последняя подготовительная операция, осуществляемая СУД заключается в записи запроса на ИПЯ.
Структура сети.
Как известно, наиболее простой способ расширения информационного поиска в сети Интернет применен в метапоисковых системах и заключается в увеличении количества используемых первичных ИПС. Этот механизм должен быть реализован в любой разрабатываемой системе. Задача распределения ресурсов поисковой системы по различным ИПС глобальной сети должна решаться адаптивно, на основании учета доли ссылок признанных релевантными во время предыдущих сеансов поиска.
Второй блок автоматизированной поисковой системы отправляет созданный запрос и осуществляет сортировку и отбор полученных ссылок, после чего обращается по выбранным адресам и получает из сети некоторое множество документов, также содержащих гиперссылки.
В исследовании [8] показано, что распространенное мнение о хаотичности информационного наполнения глобальной сети и об отсутствии какой-либо структуры связей является заблуждением. Выявлено наличие так называемых “сообществ” – хорошо связанных групп сайтов, содержащих материалы близкой тематики. Выделяются “центральные” страницы – содержащие большие списки ссылок и страницы, на которые ведут многие ссылки, – “авторитетные” страницы. Таким образом, целью 8-го этапа поиска является обнаружение таких групп и выявление среди их членов наиболее “авторитетных”. Как показано в [9], алгоритм решения этой задачи достаточно прост.
Обработка результатов поиска.
После получения в результате поиска в сети некоторого множества документов, среди них необходимо выделить наиболее релевантные. Наличие “сообществ” не облегчает эту задачу. Можно выделить следующие несколько классов наиболее частых ситуаций.
1. Отсутствие в исследуемом сегменте сети искомой информации. Подобная ситуация описана в [10]. В этом случае следует перейти к другому сегменту, т. е. обычно исследовать ресурсы, созданные на других языках.
2. Найденные “сообщества” содержат информацию не по требуемой тематике, а главным образом по другим, близким к искомой.
3. Обнаружено слишком большое количество информационных ресурсов.
В последних двух случаях необходимо осуществить автоматический перебор всех найденных документов и определить степень близости их к исходному запросу. Более 20 метрических мер близости, пригодных для сравнения документов в векторном представлении, рассмотрены в работе [11]. Оптимальное решение задачи ранжирования достигается путем применения системы, основанной на агентно-ориентированном подходе.
Во многих случаях поиска в новой области, когда общий уровень пользователя недостаточно высок, желательно осуществлять фильтрацию выдаваемой информации по стилю текста так, чтобы начальное ознакомление с материалом происходило с использованием популярных и научно-популярных текстов.
Для уменьшения объема рассматриваемых материалов следует также осуществить фильтрацию результатов поиска по типу источников. Так очевидно, что документы, расположенные на научных сайтах, на коммерческих, или на серверах СМИ будут существенно различаться по своему характеру.
Структура работы поисковых систем.
Работа поискового указателя происходит в три этапа, из которых два первых являются подготовительными и незаметны для пользователя. Сначала поисковый указатель собирает информацию из WorldWideWeb. Для этого используют специальные программы, аналогичные браузеры. Они способны скопировать заданную Web-страницу на сервер поискового указателя, просмотреть ее, найти все гипетэссылки, которые на ней имеютте ресурсы, которые найдены там, снова разыскать имеющиеся в них гиперссылки и т. д. Подобные программы называют червяками, пауками, гусеницами, краулерами, спайдерами и другими подобными именами.' Каждый поисковый указатель эксплуатирует для этой цели свою уникальную программу, которую нередко сам и разрабатывает. Многие современные поисковые системы родились из экспериментальных проектов, связанных с разработкой и внедрением автоматических программ, занимающихся мониторингом Сети. Теоретически, при удачном входе спайдер способен прочесать все Web-пространство за одно погружение, но на это надо очень много времени, а ему еще необходимо периодически возвращаться к ранее посещенным ресурсам, чтобы контролировать происходящие там изменения и выявлять «мертвые» ссылки, т. е. потерявшие актуальность.