В этот же момент делается анализ конкурентов, исследуются их сайты, то, какие методы они применяют и какие средства необходимы для того, чтобы опередить конкурентов и выйти на первые места. Одновременно с анализом конкурентов собирается семантическое ядро.
Например, нередкой ошибкой для оптимизации является Java или Flash-меню. Поисковый робот не умеет пользоваться этими технологиями, как не умеет вводить в формы на сайте какие-либо слова (если, например, некоторые данные с сайта можно получить, только вбив в форму запроса что-либо). Поэтому внутренние страницы такого сайта никогда не будут проиндексированы. Другой пример — очень большое количество вложений в навигации по сайту (большая глубина каталога). Поисковая машина, конечно, проиндексирует все, но будет делать это крайне медленно, поскольку за каждый проход сканирует сайт лишь на определенную глубину. Еще одна ошибка — это использование непрямых ссылок (ссылки через базу данных или динамическую библиотеку), которые могут меняться со временем. Поисковая машина будет постоянно сбрасывать сайт вниз, так как будет «терять» адреса страниц. Наконец, использование идентификаторов sessid, позволяющих упростить работу сложных сайтов, в некоторых случаях вообще делает индексацию сайта невозможной. Таких ошибок огромное количество, они все описаны, но проектировать сайт с учетом работ по оптимизации проще, чем потом исправлять ошибки.
Уже после создания дизайна сайта и верстки необходимо проанализировать проделанную работу на соответствие требованиям оптимизации и внести нужные исправления. Одновременно проверяется еще раз работоспособность инструментов оптимизации, присутствующих в системе управления контентом сайта.
После открытия сайта и индексирования его в поисковых машинах задача оптимизации заключается в непрерывной проверке результатов предыдущих работ. Вторая часть работы — это покупка (реже — обмен) большого числа ссылок на сайт для увеличения индекса цитирования. Это нужно делать постоянно, более того, постоянно нужно мониторить уже поставленные ссылки. Наконец, третье — это изменения на сайте, чтобы постоянно улучшать результаты.
Для упрощения работ по оптимизации применяется специализированное программное обеспечение, используемое в основном для анализа конкурентов, проверки мест в поисковых машинах по многочисленным поисковым запросам, сбора слов и выражений. Различных программных продуктов довольно много, наиболее известными сегодня в России являются SEMonitor, SEORate, NetPromoter, CS Yazzle, хотя есть еще десятки других программ, скриптов, онлайн-сервисов и проч.
«Серые» методы оптимизации
Некоторые методы оптимизации являются «противоправными» (с точки зрения поисковых машин), однако они позволяют достичь быстрого, подчас немедленного эффекта. Эти методы все вместе называются «спамдексингом». При использовании «серых» методов оптимизации сайт в одночасье может быть «забанен» поисковой системой, и вернуть его после этого обратно в индекс будет достаточно сложным делом. В том случае, если сайт исключен из индекса за нарушения, необходимо списаться со службой поддержки поисковой системы, попросить разъяснений, возможно, внести исправления — в общем, вступить в переговоры.
Чаще всего такие методы оптимизации используют случайные компании оптимизаторов, задача которых — быстро заработать деньги и исчезнуть с рынка. Действительно, результаты работы компании в этом случае видны очень быстро, почти сразу, и не важно, что уже через несколько дней или недель эти результаты превратятся в пыль, а заказчику придется вести длительные переговоры с поисковыми системами, а потом начинать все работы по оптимизации сначала.
Не лучше ситуация, когда сотрудник компании, начитавшись разнообразных форумов, нахватавшись знаний из блогов оптимизаторов, начинает оптимизировать сайт компании, не представляя себе последствий, которые могут иметь его действия. Проблема усугубляется тем, что с модератором поисковой машины для разрешения возникшего противоречия будет общаться впоследствии все тот же человек. Последствия такого разговора непредсказуемы.
Поэтому очень полезно представлять, какие именно методы оптимизации поисковые машины относят к «серым» или «черным», Помните также, что главный инструмент борьбы с накруткой — это конкуренты, которые сами и расскажут модератору поисковой машины о найденных нарушениях.
Итак, к «серым» методам оптимизации относятся:
1) НАБИВКА — наполнение страницы ключевыми словами и выражениями, не несущими смысловой нагрузки в контексте сайта, чаще всего невидимыми для пользователя. Я уже упоминал этот термин выше. Набивка чаще всего вьгглядит как мелкий текст, состоящий из одного и того же слова или небольшого набора слов внизу страницы. Довольно часто при набивке используют такой же цвет текста, как и цвет фона. Поисковые машины автоматически отлавливают такой фокус, однако только в том случае, если он выполнен стандартными HTML-средствами, а не при помощи CSS.
Набивка — один из самых старых способов скоростной оптимизации, сегодня он не приносит впечатляющих результатов, поскольку вес частоты встречаемости в тексте выражения не столь велик, как раньше. Тем не менее этот метод часто используется, поскольку автоматические фильтры поисковых машин не всегда на него срабатывают.
Вариантом набивки является вполне «разрешенный» способ: установка ссылки на основные товарные группы на главной и всех остальных страницах, как, например, это сделано на сайте www.pleer.ru. Такой вариант оптимизации увеличивает релевантность страницы.
2) КЛОАКИНГ — демонстрация поисковому роботу, индексирующему сайт, и обычному пользователю разного контента. Другими словами, пользователь видит один сайт, а индексирующий поисковый робот — другой. Разделение происходит на уровне IP-адреса пользователя или по User Agent: специальный скрипт на сервере определяет пользователя по тем или иным критериям и подготавливает для него определенную страницу. Этот метод, носящий столь неблагозвучное название, часто используется сайтами вовсе не для обмана поисковых машин, а для облегчения жизни пользователей. Например, показ пользователю сайта на том языке, который у него установлен основным в браузере, или многие новостные сайты показывают пользователям различный набор новостей в зависимости от места, где тем не менее поисковые машины считают такое поведение некорректным и иногда банят такие сайты, несмотря на неоднозначность использования. В то же время автоматической системы определения клоакинга пока нет ни у одной поисковой машины, так что все подозрительные случаи идентифицируются модераторами или, опять же, конкурентами. Все такие случаи разбираются вручную, что несколько снижает риск автоматического отключения, хотя и модератор, бывает, ошибается;
3) ДОРВЕИ — создание большого числа отдельных независимых страниц, оптимизированных под низкочастотные запросы, которые перенаправляют посетителей на оптимизируемый сайт. Таким образом, делается оптимизация не самого сайта, а страниц, не имеющих к сайту никакого отношения, и расположенных на стороннем хостинге под другими доменными именами. Такой вид оптимизации очень хорошо заметен тем, кто активно пользуется поисковыми машинами, хотя его формы могут быть очень причудливы. Это автоматически пробрасывающие на совершенно другой сайт пустые страницы с единственной ссылкой, содержащей введенный пользователями запрос, ведущий неизвестно куда, целые страницы с перечнем ссылок, подчас не имеющих никакого отношения к тому, что вы искали. Дорвеи — это нетематические страницы, предназначенные исключительно для того, чтобы «пробросить» посетителя на нужный адрес.
Последнее время дорвеи чаще используются для прямого перенаправления посетителей на рекламные ссылки. Собирая бесплатные переходы по низкочастотным запросам в поисковых машинах, они отправляют пользователей на страницы, набитые рекламой, например на страницы «Бегуна».
Поисковые машины очень жестко борются с дорвеями, поскольку они действительно сильно ухудшают результаты поиска, замусоривают его своими бесчисленными клонами. Сегодня дорвеи создаются автоматически при помощи скриптов, способных создать тысячи и сотни тысяч страниц за считанные часы, и эта проблема для поисковых машин очень актуальна. Чтобы понять масштабы бедствия, достаточно вспомнить два случая, произошедших в 2006 г. Примерно в середине года выдача Google оказалась буквально завалена несколькими миллионами дорвеев, созданных одним предприимчивым белорусским оптимизатором. Некоторые из созданных им страниц функционируют до сих пор, принося кому-то трафик. А в начале весны 2006 г. в одном из интервью главный редактор Яндекса Елена Колмановская заметила, что количество дорвеев, появившихся в индексе поисковой машины за последние два месяца, превышает их количество за все предыдущие годы работы. Именно в 2006 г. работы дорвей-щиков резко усилились, и эта ситуация удручает и сегодня.
В случаях частотных поисковых запросов (тех, что спрашивают тысячи, десятки и сотни тысяч раз в месяц) дорвеи не видны пользователю, они не поднимаются на первую десятку страниц выдачи (и даже на первую сотню). Причина, конечно, в активности оптимизаторов, которые используют куда более серьезные методы, чем те, что заложены в дорвеи. А вот для низкочастотных запросов, где активность оптимизаторов невелика, а часто вообще отсутствует, дорвеи процветают. Здесь их можно встретить чуть ли в не в каждой выдаче.
К сожалению, пока не существует однозначного и эффективного способа определения дорвеев и удаления их из поискового индекса. Некоторые очевидные варианты определяются и удаляются роботами, еще некоторое количество страниц удаляется благодаря жалобам пользователей, но технологии не стоят на месте не только у поисковых машин, но и у спамеров. Пока дорвеи эту битву выигрывают.