Войдите в ОК

Эта заметка посвящена разбору ответов на вопросы по индексации Яндексом страниц сайта. Вопросов весьма много, но все они похожи. Думаю, данная статья и будет ответом на все из них.

Как правило, подобные вопросы приходят от новичков в таком виде: Яндекс не индексирует страницы кроме главной, а с Google всё в порядке — почему, что делать?

Так что если вы недавно создали свой первый сайт, отправили его в инструменты вебмастера Yandex и Google и в Гугле всё проиндексировалось быстро, а в Яндексе какие-то задержки — нужно просто подождать. Обычно до месяца, в среднем — 2 недели.

Теперь рассмотрим более тяжёлые случаи. Рассматриваются, прежде всего, «белые и хорошие» веб-ресурсы, не попавшие под фильтры, санкции поисковиков, а недавно созданные, но имеющие проблемы с индексацией Яндексом.

Почему Яндекс не индексирует сайт (в то время как с Google всё Ok)

1) Robots.txt

Не закрыт ли вход на ваш сайт — посмотрите подробный материал про файл Robots.txt. Вероятность того, что вход поисковым роботам закрыт «случайно» близка к нулю, но всё-таки проверить можно.

2) Тег noindex

Тег «noindex» какой-нибудь код «/noindex» используется для того, чтобы какой-нибудь код не попал в индекс Яндекса. На некоторых веб-ресурсах бывает ошибка: где-нибудь в шапке сайта этот noindex открыли, а закрыть забыли В результате весь код страницы получается «спрятанным» от робота.

3) Язык сайта

Всё-таки Yandex ориентирован больше на Рунет, поэтому могут быть проблемы с индексацией, если язык вашего сайта отличен от языков стран СНГ. Но даже если и так, то следует обратиться в Службу поддержки вебмастеров.

Если и Яндекс, и Google и другие ПС сайт не индексируют

В дополнение к предыдущему. Если замечаете, что есть какие-то проблемы и с другими ПС, то следует кое-что проверить.

4) Мета-тег Robots

Если вдруг на странице есть что-нибудь такое: 

то такая страница не будет индексироваться. Смотрите подробнее о мета-теге Robots.

5) Кривая HTML-разметка

Если нарушена вложенность тегов, например, есть что-то такое:

то у поисковых роботов могут возникнуть проблемы с разбором содержимого страницы. В результате страница или не проиндексируется вовсе, или будет ухудшено её ранжирование.

6) Время загрузки сайта

У всех поисковых роботов есть лимит по обращениям к веб-страницам. Если после нескольких обращений страница не отреагировала, то робот так и не узнает, что же нужно было поместить в свой индекс.

Это не значит, что для успешной индексации необходима загрузка страниц за доли секунды, но хотя бы 4 секунды — уже хорошо. Посмотрите, как проверить скорость загрузки страниц сайта.

На время загрузки сайта влияет также качество хостинга. Если с вашим хостингом не всё в порядке — посмотрите универсальную инструкцию по переезду на новый хостинг.

7) Ошибки сервера с кодом 4xx и 5xx

Прежде всего, это ошибка 500 — внутренняя ошибка сервера. Её возникновение связано, опять же, с качеством хостинга, а также с корректностью серверных скриптов на сайте.

Ну и ошибка 404 (страница не найдена) для существующих на самом деле страниц. Бывает и такое: страница есть, всё с ней нормально, но выдаёт она код 404. Поэтому поисковый робот (думая, что её нет) не индексирует её.

Для справки — посмотрите здесь какой должна быть страница 404.

8 ) Не настроена склейка домена с www и без www

Это не всегда вызывает проблемы, но лучше бы, чтоб ваш веб-ресурс открывался по однозначному адресу — одно из двух

• http://site.ru
• http://www.site.ru

Для Яндекса настроить всё это можно в файле Robots.txt или указать главное зеркало в панели вебмастера. Но лучший вариант — правильно настроить 301-й редирект в файле .htaccess. Уже готовый файл .htaccess есть в 3-м уроке этого СЕО-курса.

9) Самое неприятное — домен с «плохой» историей

Возможно, вам удалось подобрать такое доменное имя для своего сайта, которое в прошлом заслужило отрицательный авторитет у поисковых роботов.

Например, это был дорвей или adult-ресурс. Или он очень активно торговал ссылками с автобирж (Sape и др.), за что получил бан в Яндексе/Гугле (ну или что-то помягче, но тоже ничего хорошего).

В общем, если на этом домене был сайт, злоупотреблявший Black-SEO методами, то к вашему ресурсу поисковики будут некоторое время относиться по-особому и долго не будут индексировать по-нормальному.

Так, например, было с web-ru.net. Мне показалось, что это неплохое доменное имя и я сразу купил его, не проверив его историю (как это делается — читайте про историю домена и как её узнать).

Домен был куплен 29 октября 2011, первые публикации начались в ноябре. Но до 27 декабря в индексе была только одна страница. Причём Яндекс как будто дважды проиндексировал главную страницу:

Если у вас в панели Яндекс.Вебмастер есть подобные глюки — то связано это, скорей всего, с плохой доменной историей.

В моём случае web-ru.net влетел в индекс поисковиков (как Гугла, так и Яндекса) лишь под новый год (2012).

Ранее на данном домене располагался какой-то автомобильный ресурс, очень активно торгующий ссылками с автобирж, имеющий вредоносный код и ещё делающий что-то плохое

В общем, это наверное всё, из-за чего Яндекс не будет индексировать нормальный, человеческий сайт. Повторюсь, здесь я не упоминаю о фильтрах и разных наказаниях, их может быть много и приобретаются они уже по мере развития ресурса.

Если же с вашим сайтом всё нормально (исходя из 9 описанных выше пунктов), то нужно подождать.

Но никогда не следует стесняться писать в поддержку Яндекса — люди там отзывчивые и отвечают всегда (хотя время ответа может затянуться и на пару недель).

Обращение в поддержку может, например, вывести ресурс из пугающего многих вебмастеров АГС и т.п.

А по поводу индексации просто пишем:

Мне кажется, с моим проектом всё нормально, он новый, недавно созданный, но Яндекс почему-то не индексирует сайт. Что мне делать?

Вот и всё. Отвечают конкретно или же многозначительно намекают