По современным меркам – это довольно новая поисковая система и у нее еще все впереди, учитывая то, какими возможностями обладает компания Microsoft.

Среди тройки лидеров поисковых систем Microsoft Live выглядит немного не готовой к современным реалиям и требованиям к качеству поиска. Со временем, думаю, эта ситуация немного улучшится.

Отношение к контенту сайта

Пожалуй, в этой поисковой системе внутреннее наполнение сайта как нигде больше имеет влияние на релевантность и позиции в выдаче. Здесь очень важна плотность ключевых слов, и чем больше, тем лучше. Но есть тоже некий порог. Учитывая то, что сейчас у Live самые частые апдейты и мы можем наблюдать все изменения текста и их влияние на выдачу практически каждую неделю, то говорить о каких-то экзотических алгоритмах пока рано. Здесь пока нет таких понятий, как новый сайт, старость сайта – все сайты ранжируются одинаково.

Отношение к внешним ссылкам на сайт

На данный момент рано говорить о каких-то устоявшихся алгоритмах в этом плане у Live. Разработчики постоянно что-то совершенствуют. Но уже четко просматривается то, что никаких фильтров на одинаковые ссылки и ссылки с одинаковых ip пока нет. Если хотите быть высоко в Live, просто ставьте ссылки с текстом, который точно есть на сайте в тексте и Title. За счет самых быстрых апдейтов ссылочной базы среди большой тройки поисковиков мы можем наблюдать результаты своего труда практически каждую неделю.

Борьба с поисковым спамом

Нельзя сказать, что компания Microsoft не ведет разработки в этом плане. Они есть, даже есть публикации на эту тему.

Например, они разрабатывают свою систему, которая будет искать поисковый спам во внешних факторах. Сотрудники исследовательского отдела тщательно анализируют мировые тенденции спама, смотрят, как борются с этим делом другие поисковые системы.

Думаю, в будущем все эти исследования принесут свои плоды: поисковым спамерам будет труднее влиять на результаты поиска этой системы, и, как следствие, – улучшится качество поиска.

Это вторая по популярности поисковая система в мире. Компания Yahoo имеет большую предысторию к собственному поисковому движку и возможности. Как показывает история, это стабильный представитель второго места. Учитывая то, что компания занимается не только поиском, то быть вторым по поиску и первым в других областях не так уж и плохо.

Отношение к контенту сайта

По аналогии с Google, данная поисковая система без труда определяет клоакинг, редиректы и напичканные ключевыми словами страницы. Небольшое отличие в том, что увеличение плотности ключевых слов ведет к увеличению позиций в Yahoo. Допустимые пределы у этой поисковой системы где-то в 2 раза выше, чем у Google. Но если в Google надо очень постараться, чтобы сайт полностью за это забанили, то в ситуации с Yahoo разговор будет коротким – бан всего сайта, а в некоторых случаях и ip адреса.

Отношение к дублированному контенту, естественное, – это плохо. Но вот реализация алгоритмов немного другая. Если в Google вы в большинстве случаев не сможете за это получить бан, то в Yahoo – это абсолютно реально, и надо будет еще доказать, кто прав. Но сами алгоритмы определения дубликатов смотрятся немного несовременно – очень много времени проходит на определение. Возможно, это связанно с сезонными апдейтами Yahoo. Почти все параметры, такие как вес обратных ссылок и других факторов пересчитываются и выбрасываются в основной поиск раз в 3 месяца. Текстовые, внутристраничные, факторы обновляются намного чаще, но там, где их влияние не столь решающее, мы не будем видеть никаких изменений в выдаче до сезонного апдейта.

Еще одна небольшая особенность – Yahoo учитывает содержимое мета-тега description. Его важность очень маленькая, но все же сейчас он учитывается. Возможно, в будущем этот дефект будет устранен.

Отношение к внешним ссылкам на сайт

В отличие от Google, Yahoo не так критична к одинаковым текстам ссылок на ваш сайт. Но если Google умеет распознавать синонимы, падежи, сокращения, то здесь вам нужно стараться ставить ссылки с точным вхождением слов, которые есть на сайте.

За массовый искусственный рост обратных ссылок, за участие в системах автоматического обмена ссылками можно получить бан. Вы можете также быть исключены из индекса просто за то, что другие сайты нарушали лицензию на поиск, а вы просто на них ссылались, или ваш сайт размещен на том же ip адресе.

Какой-либо эффект от простановки тех или иных ссылок можно наблюдать не так часто, как хотелось бы. Апдейты в Yahoo происходят гораздо реже, чем у других поисковых систем.

Борьба с поисковым спамом

Нельзя сказать, что Yahoo не борется с поисковым спамом, но если сравнивать с Google, то может показаться, что их попытки не настолько успешны. Опять же, повторюсь, возможно, это связано с очень редкими апдейтами. Очень радует служба поддержки Yahoo. Если вы вдруг увидите какие-то сомнительные сайты в выдаче, сообщаете им, и очень оперативно эти сайты пропадают. Да, но вот только в Google этих сайтов вы можете никогда и не увидеть – они, как говорится, «погибают на подлете».

Процесс индексации можно ускорить, если вручную подать заявку на добавление сайта в поисковую систему. Ниже приведены ссылки на страницы добавления сайтов в наиболее популярных поисковых системах:

При добавлении сайтов в поисковые машины необходимо учитывать ряд их особенностей. Например, для добавления сайта в поисковую систему Google необходимо, чтобы на ресурс стояла хотя бы одна внешняя ссылка. Тогда поисковый робот Google сам найдет ваш ресурс. Некоторые поисковые машины используют алгоритмы других поисковиков, а также учитывают наличие сайтов в определенных каталогах. Например, тот же Google и ряд других поисковых машин используют базу данных каталога DMOZ (http://dmoz.org/). Отечественная поисковая машина Mail.ru использует алгоритмы Яндекса.

К сожалению, не всегда индексация ресурса проходит идеально. Нередко возникают проблемы, которые препятствуют индексации части и даже всего веб-сайта. Либо ресурс полностью вылетает из индекса. Очень часто причиной таких явлений становятся ошибки, допущенные во время разработки проекта.

Специалисты выделают три типа ошибок, которые препятствуют нормальной индексации сайта:

Использование конструкций, препятствующих индексации

Засорение индекса дубликатами страниц

Препятствия индексированию сайта

К ошибкам первого типа относят использование скриптов и флэш для создания меню. Дело в том, что поисковые машины не умеют индексировать содержимое скриптов и Flash. Поэтому спрятанные в них ссылки они также не найдут и не перейдут по ним на другие документы. Если на вашем сайте использовано такое меню, выход - продублировать навигацию текстовыми ссылками, например, внизу страницы. Впрочем, ситуация с Flash сейчас немного лучше. Часть поисковые машин, к числу которых относятся Яндекс и Рамблер, научились индексировать Flash. Но остаются системы, которые не могут этого делать.

Популярная в прошлом ошибка - использование фреймов. Они позволяют разделить экран пользователя на несколько областей и в каждой открыть определенный документ. Использование фреймов замедляет индексацию документа. Также встает вопрос авторитетности того или иного документа. Если на главной странице открываются три разных html-файла, то неизвестно, какой из них поисковая машина посчитает главной страницей. Использование фреймов приносит множество проблем.

Осторожно следует подходить к использованию редиректа, который автоматически направляет посетителя с одной страницы на другую. Редирект на стороне клиента однозначно воспринимается поисковыми машинами как спам. Дело в том, что такой редирект часто используют владельцы дорвеев. Редирект на стороне сервера не относится к запрещенным технологиям, но также может вызвать проблемы. Например, с учетом внешних ссылок на документ.

Не всегда поисковые машины корректно индексируют динамические страницы. К их числу относятся страницы, в адресе которых находится знак вопроса, либо их разрешение отлично от .htm или .html. Некоторые поисковые системы накладывают ограничения на индексацию подобных документов и учет ссылок на них.

Засорение индекса дубликатами страниц происходит чаще всего при использовании идентификаторов сессии. В случае их применения каждому посетителю присваивается уникальный код, который дублируется в адресе страницы. Идентификаторы позволяют собирать информацию о поведении посетителей на сайте, но в то же время затрудняют индексацию ресурса. При каждом визите поисковый робот получает одни и те же страницы с разными адресами (из-за идентификаторов) и в поисковой машине копятся дубликаты страниц. В итоге сайт могут пессимизировать либо удалить из индекса большую часть документов. Сегодня идентификаторы потеряли свою актуальность - существует множество других инструментов для сбора статистики. Тем не менее, если на вашем сайте используются идентификаторы, необходимо избавиться от них или прописать запрет на присвоение идентификаторов поисковым роботам. Ошибки возникают в случае неправильно настроенного сервера. При обращении поискового робота к документу сервер сообщает в заголовке код, например, 200 (все OK). Есть другие коды: 301 (документ перемещен), 302 (временно перемещен), 404 (не найден). Проблемы возникают, если сервер передает код 200 (все ОК) для несуществующих страниц.В случае очень крупных сайтов возникает еще одна проблема. Поисковые роботы за один визит индексируют определенное количество документов. Если ресурс содержит тысячи страниц, то на их индексацию потребуется несколько визитов ботов и соответственно больше времени. Владельцу сайта, наоборот, хочется увидеть все страницы в индексе как можно скорее. Решить проблему можно созданием поддоменов, например, отдельного поддомена для форума. Для каждого поддомена выделяется своя квота индексации и в итоге за один визит обрабатывается больше документов. Другое решение - запретить для индексации малоинформативные страницы. Тогда в индекс попадут только самые интересные для посетителей и поисковых машин документы.

С увеличением объема информации, представленной в интернете, возник вопрос эффективного и быстрого поиска необходимых данных. Вначале данную функцию выполняли веб-каталоги - упорядоченные по тематике списки ссылок. Их составляли вручную, нередко привлекая в качестве модераторов добровольцев. От качества и количества представленных в каталоге сайтов зависела его популярность. С течением времени люди придумали более эффективный способ искать информацию - при помощи поисковых систем.

Интернет - это гипертекстовая среда, и можно предположить, что все страницы и документы связаны между собой ссылками. Если есть сайт, то хотя бы одна ссылка должна вести на него. Соответственно, переходя по ссылкам от одного сайта к другому и сохраняя представленную на них информацию, можно занести в базу данных все сведения, находящиеся в интернете. По этому принципу стали работать поисковые машины. Специальные программы - поисковые роботы - находили сайты и передавали их на обработку. На первом этапе создания поисковых машин вручную составлялись списки индексации, чтобы облегчить роботам нахождение всех значимых сайтов. В дальнейшем это перестало быть необходимым. В идеале, переходя по ссылкам, можно найти все документы. Но на практике так не получается. Содержание сети быстро меняется, и отслеживать все изменения в режиме реального времени не удается. Базы данных даже самых крупных поисковых систем охватывают максимум половину информации, представленной в сети.

Прародителем поисковых роботов стала программа Archie (Арчи). Она сканировала анонимные FTP сервера и фиксировала названия находящихся там файлов. Арчи работал в интернете еще тогда, когда в глобальной паутине не было и сотни серверов HTTP! Первый поисковым роботом в современном значении этого слова стал Вандерер (Wanderer). А первые поисковые машины возникли в интернете в середине 90-х годов. Среди поисковиков того времени можно назвать Excite, Lycos, Infoseek. Самой популярной и совершенной считалась AltaVista. Она использовала собственного поискового робота и обладала удобным дизайном. Надо отметить, что дизайнерские решения, которые впервые применила AltaVista, в дальнейшем нашли свое отражение в большинстве популярных поисковых машин, включая Google.

Со временем поисковые машины начали конкурировать между собой, появились новые подходы к поиску информации. В частности, некоторые системы начали интегрировать результаты поиска по индексу и какому-либо популярному каталогу, например, Yahoo. Самая популярная ныне поисковая машина Google появилась в 1998 году. Российские поисковые машины также начали работать в середине 90-х годов. Например, Рамблер и Апорт открылись в 1996 году. Некоторое время каталог Рамблер Топ 100 был самым популярным ресурсом в Рунете. Поисковая машина "Яндекс" появилась в 1997. На сегодня данная система обладает самой большой базой документов среди аналогичных проектов в Рунете.