Содержание
- 0.1 Дубли
- 0.2 Некорректный ответ сервера
- 0.3 Запрещающие метатеги
- 0.4 HTTP-заголовоки X-Robots-Tag
- 0.5 Блокировка Yandex бота в .htaccess
- 1 Несовершенства внутренней оптимизации
- 2 Новые сайты «не любит» Яндекс
- 3 Выводы
- 4 Начнем с простого: сайт полностью скрыт
- 5 От простого к сложному: не все страницы в поиске
- 6 Итог
- 7 Почему Яндекс не индексирует сайт (в то время как с Google всё Ok)
- 8 Если и Яндекс, и Google и другие ПС сайт не индексируют
- 6.11.2019Оа С.
Дубли
Если проблема не с целым сайтом, а всего лишь с одним или несколькими его важными документами, то причина может крыться в наличии дублей. Часто у страницы может просто быть дубль – страница с таким же содержанием, которая либо автоматически создана несовершенствами админки, либо умышленно (но редко встречается).
Некорректный ответ сервера
Здесь речь даже не о стандартных случаях, когда у сайта проблемы с доступностью, то есть вы видите реальную 404-тую страницу, вместо главной, или частые уведомления о 5**-тых ошибках. А о том, что визуально сайт работает, но на самом деле сервер отдаёт 404-тый код поисковому роботу. Такие неочевидные ошибки можно выявить через инструмент «Проверка ответа сервера» в панели Яндекс.Вебмастера.
Запрещающие метатеги
Метатеги носят строгий характер для поисковых роботов, поэтому вам стоит тщательно проверить код неиндексируемых страниц на наличие таких конструкций:
Проверять наличие запрета можно через плагин, например, SEO Meta in 1 Click
HTTP-заголовоки X-Robots-Tag
В http-ответах сервера могут передаваться запрещающие заголовки.
Существует масса инструментов для проверки ответа сервера и передаваемых в нём заголовков. Один из таких сервисов bertal.ru или тот же «Проверка ответа сервера» в панели для вебмастеров от Яндекса.
Что делать если интернет есть, а страницы в браузере не открываются?Блокировка Yandex бота в .htaccess
Здесь нужно проверять log-файлы сайта и анализировать, какие роботы посещают страницу. Как удобно анализировать log-файлы при помощи Power BI читайте в нашей статье.
Несовершенства внутренней оптимизации
Фильтр
</h2>
Сайт зафильтрован: чаще всего он в индексе, но не получает ожидаемого трафика. Здесь нужно проверять предупреждения в разделе «Диагностика» – «Безопасность и нарушения».
Если фильтр автоматический, то уведомлений в Вебмастере не будет. Выявить его можно только примерно. Определить, наложен ли фильтр, может помочь наш цикл статей.
Наличие дублей
Одинаково вероятная причина плохого ранжирования как для новых, так и для старых сайтов. Наличие дублей в целом негативно влияет на оценку сайта поисковиком, путает робота, который вынужден выбирать среди нескольких документов наиболее релевантный.
Проверить наличие технических дублей можно при помощи парсинга.
Выбирайте удобный для себя парсер при помощи нашей обзорной статьи «Обзор ТОП-6 парсеров сайтов».
Увидеть проблему с дублями можно в разделе «Страницы в поиске» – «Исключённые страницы» – фильтр «Дубли».
Как убрать Яндекс Дзен со стартовой страницы в пару кликов!
Неуникальный контент
Проблема с позициями может возникать, если ваш сайт повторяет контент других сайтов. Когда информационный ресурс не содержит добавочной ценности и намерен просто занимать место на серверах поисковиков, то у Яндекса нет оснований предоставлять ему место в ТОПах. Подробнее о ценности уникального контента для поисковых систем в статье.
Недостаточно полная внутренняя оптимизация страницы
Как выбрать конкурентов узнайте из нашей статьи – «Как найти новые точки роста поискового трафика».
После вычисления конкурентов проведите сравнительный анализ полноты внутренней оптимизации своего сайта с конкурентами.
Внимание обращайте на такие основные элементы, задающие релевантность документа: Title, H1, анкоры внутренних ссылок, Alt-текст. Сравните, насколько полно оптимизированы ваши страницы, нет ли переспама.
Особое внимание стоит уделить seo-текстам на категориях интернет-магазинов:
- Во-первых, есть ли в них необходимость – здесь ответит анализ конкурентов из ТОПа.
- Во-вторых, насколько полезным является текст для пользователя. Здесь нужно прочитать текст и оценить, потеряет ли страница смысл, если текст удалить?
- В-третьих, естественно ли внедрены ключи в текст.
Пример спамного текста, который приводит к Бадену:
Помните, что в случае с Яндексом – от seo-текста лучше отказаться. В случае в Google – лучше согласиться на него (если он есть у конкурентов).
Почему в браузерах не открывается youtube: разбор причин и способы решения проблемыНекорректные данные в сохранённой копии
Проблемное ранжирование сайта может быть обусловлено тем, что поисковик не видит какой-то контент, который виден пользователю. Либо, наоборот, может содержать избыточный, дублирующийся контент.
Поэтому проверяйте сохранённую копию страницы, особенно её текстовый вариант.
На примере ниже страница, текст которой открывается через кнопку «Подробнее».
А вот как эта же страница выглядит в текстовой сохранёнке Яндекса.
То есть полный вариант текста показывается роботу дважды.
Новые сайты «не любит» Яндекс
Среди сеошного сообщества последние полгода ходит слух об аналоге «Песочницы» для новых сайтов. Суть в том, что новые сайты не ранжируются Яндексом. Что такое «не ранжируются» – не находятся даже в ТОП-500 тематики со слабой конкуренцией.
Для примера. Сайт был оптимизирован по технической части, внутренней и велись работы по внешней. Всё это не давало результата на протяжении 3 месяцев. Яндекс упорно не ранжировал сайт более чем по 200 целевым ключам.
Первые результаты появились только в середине сентября при том, что для индексации сайт был открыт ещё в июле.
То есть путь нашего целевого сайта к первым ТОПовым позициям составлял всего лишь три месяца. Но есть случаи, когда Яндекс пускает в первую десятку новые сайты только после шести месяцев. Здесь остаётся только запастись терпением и работать над комплексом факторов – внутренние, внешние, коммерческие и поведенческие. Последние особенно важны, если Яндекс использует свой алгоритм Многорукий бандит для вашего сайта.
Такая история возможна и для информационных ресурсов, и для коммерческих. В нашем примере был сайт услуг.
Выводы
Что делать, если Яндекс упорно игнорирует ваши работы над сайтом? Выжимка рекомендаций для владельцев сайтов:
</ul>
- Новый сайт не индексируется – проверьте технические запреты на индексирование.
- Новый сайт индексируется, но несколько месяцев не заходит в ТОП-100 Яндекса – проведите более глубокий анализ на технические дубли, полноту внутренней оптимизации. Перед запуском сайта рекомендуем проверить его с помощью «SEO чек-лист: что проверять перед запуском сайта?».
- Сайт с историей не индексируется – обновляйте контент, отправляйте на принудительную переиндексацию страницы.
- Сайт с историей не занимает желаемые позиции – смотреть пункт 2. Нужно также проверять полноту внутренней оптимизации посадочных страниц.
Если у Вас возникли проблемы с индексацией в Яндексе, обращайтесь к нам!
Заказать лечение сайта
Еще по теме:
Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
</ol>
Вы можете задаваться вопросом: почему я сделал сайт, а поисковики всё равно не видят его?
Давайте разберемся, что можно сделать.
Начнем с простого: сайт полностью скрыт
Если ваш сайт отсутствует в поиске и вы хотите разобраться, почему так происходит, начните с причин, которые проще всего проверить.
1. Убедитесь, что поисковик знает о сайте
Индексация наступает естественным образом, когда поисковик сам приходит на ваш сайт по ссылкам с других ресурсов.
Зайдите в поисковую систему Яндекс или Google и введите в стройку поиска site:https://promoexpert.pro (вместо нашего сайта введите свой). Если выдача поиска показала страницы вашего сайта, то он проиндексирован.
<center>
</center>
А можно прямым текстом сказать: «пора индексировать мой сайт!». Это делается для каждого поисковика в отдельности с помощью соответствующего сервиса:
- Сообщите Яндексу о новом сайте после регистрации на Яндекс.Вебмастер.
- Добавьте ваш сайт в сервис «Google для веб-мастеров».
Это очень полезные ресурсы. Вы сможете не только отправить запрос на индексацию сайта, но и следить за этим процессом, получать уведомления об ошибках, а также советы по улучшению технической стороны сайта.
Рекомендуем завести аккаунты и в том, и в другом сервисе.
2. Проверьте файл robots.txt
Файл robots.txt (размещается в корневом каталоге вашего сайта: site.ru/robots.txt) предназначен для того, чтобы давать инструкции роботам-индексаторам из поисковых систем.
С его помощью вы можете скрыть страницы вашего сайта от индексации (например, личный кабинет, корзину покупателя и другие).
Однако если вы видите в robots.txt строки:
User-agent: * Disallow: /
— значит роботам запрещено посещать ваш сайт.
Дело в том, что веб-студии запрещают поисковикам заходить на ещё неготовый сайт — чтобы он был скрыт от поиска. Ведь лучше, если люди придут смотреть на готовый проект, чем на стройку. Намерения — благие.
Затем этот файл просто забывается (а иногда — оставляется из обиды и «вредности»). Заказчик не может понять, в чем же он ошибся при продвижении сайта. При этом посещаемость сайта формируется только с «визиток».
Срочно удалите этот файл, если он содержит только эти строки. Затем отправьте запрос на индексацию сайта из пункта 1, чтобы сайт начал отображаться в поисковиках.
3. Сайт может быть под фильтром
Возможно, ваш сайт по каким-то причинам попал под фильтры поисковой системы.
Если на сайт наложен стандартный фильтр (покупные ссылки, плохие тексты), то это легко узнать в разделе «Безопасность и нарушения» в Яндекс Вебмастере.
Если вы видите такую картину как на рисунке ниже, то нужен глубокий анализ. На рисунке мы видим падение трафика с поисковиков примерно в 4 раза. Раз трафик упал с обоих поисковиков — скорее всего, это не фильтр. А что-то не так с сайтом.
Сначала нужно установить на какие страницы сайта был трафик. В системе статистики посмотрите раздел «Страницы входа» в периоде, когда трафик был в пике. Затем, если вы удалили эти страницы или стерли с них тексты, нужно всё восстановить. Как узнать, что было на старых страницах? Через Вебархив.
Если ничего непонятно — делегируйте анализ нам. Заполните форму ниже для краткого бесплатного аудита. Или читайте далее.
Бесплатный аудит сайта онлайн
Проверяем сайт по 11+ ключевым SEO-параметрам
От простого к сложному: не все страницы в поиске
Теперь о случаях, которые требуют больше внимания. Что делать, если сайт лишь частично показывается в результатах?
4. Неуникальные тексты
Яндекс может наложить санкции за плохой контент. Источник Яндекс Помощь.
<center>
</center>
Чужой текст на вашем сайте
За слишком «жадное» заимствования (плагиат) поисковик может наложить санкции и исключить из выдачи.
Для разных типов текстов поисковыми системами допускается разная уникальность:
- новости и описания одинаковых товаров могут иметь уникальность порядка 50%,
- другие тексты (особенно описание услуг) должны быть уникальными на 80-90%.
Если вы заказываете тексты, проверяйте их уникальность. Например, с помощью сервиса text.ru.
Ваш текст на чужом сайте (защищаемся от Яндекса)
Google относительно добросовестно следит за авторством текстов, а Яндекс может поставить сайт плагиатора выше, чем сайт настоящего автора — обидно.
Нужно как-то объяснить Яндексу, что автор — вы.
Есть несколько способов:
- Отправить свой текст с помощью формы «Оригинальные тексты» (раздел «Содержание сайта») в Яндекс Вебмастере.
- Сделать копию публикации в социальной сети Google Plus — чтобы зафиксировать дату (помогает в общении с техподдержкой Яндекса).
- Записать CD или распечатать тексты и отправить себе на почту с уведомлением — чтобы также зафиксировать дату (может помочь даже на суде, если вскрыть конверт прямо там).
5. Страницы-дубликаты
Когда одному и тому же пользовательскому запросу релевантно больше 1 страницы, мы ставим поисковую систему перед выбором: какую страницу показать?
Поисковик разрубает этот «гордиев узел» — он выбрасывает обе страницы из выдачи. Так что с «растеканием релевантности» нужно бороться.
Как можно проверить сайт на наличие страниц-дубликатов?
- Если страниц мало, сделайте список страниц и их заголовков.Обратите внимание на дублирующиеся значения в заголовках. Скорее всего, это и есть дубликаты.
- Если страниц много (платный способ), воспользуйтесь специальным сервисом (например, SaitReport.ru).
Система SaitReport определяет дублирование контента на сайте.
<center>
</center>
После того, как вы их найдете, задайте сайту более четкую структуру. Помните, на запрос пользователя должна отвечать 1 страница (не более).
Итог
Мы рассмотрели 5 самых распространенных причин того, почему сайт может пропасть из поисковой выдачи.
Одинаковых сайтов нет. Каждый случай требует индивидуального подхода.
Если вы испытываете затруднения с сайтом, оставьте заявку. Мы свяжемся с вами и подскажем, как решить проблему. Это бесплатно
</span>
Почему плохо с индексацией в Яндексе?
Эта заметка посвящена разбору ответов на вопросы по индексации Яндексом страниц сайта. Вопросов весьма много, но все они похожи. Думаю, данная статья и будет ответом на все из них.
Как правило, подобные вопросы приходят от новичков в таком виде: Яндекс не индексирует страницы кроме главной, а с Google всё в порядке — почему, что делать?
Так что если вы недавно создали свой первый сайт, отправили его в инструменты вебмастера Yandex и Google и в Гугле всё проиндексировалось быстро, а в Яндексе какие-то задержки — нужно просто подождать. Обычно до месяца, в среднем — 2 недели.
Теперь рассмотрим более тяжёлые случаи. Рассматриваются, прежде всего, «белые и хорошие» веб-ресурсы, не попавшие под фильтры, санкции поисковиков, а недавно созданные, но имеющие проблемы с индексацией Яндексом.
Почему Яндекс не индексирует сайт (в то время как с Google всё Ok)
1) Robots.txt
Не закрыт ли вход на ваш сайт — посмотрите подробный материал про файл Robots.txt. Вероятность того, что вход поисковым роботам закрыт «случайно» близка к нулю, но всё-таки проверить можно.
2) Тег noindex
Тег «noindex» какой-нибудь код «/noindex» используется для того, чтобы какой-нибудь код не попал в индекс Яндекса. На некоторых веб-ресурсах бывает ошибка: где-нибудь в шапке сайта этот noindex открыли, а закрыть забыли В результате весь код страницы получается «спрятанным» от робота.
3) Язык сайта
Всё-таки Yandex ориентирован больше на Рунет, поэтому могут быть проблемы с индексацией, если язык вашего сайта отличен от языков стран СНГ. Но даже если и так, то следует обратиться в Службу поддержки вебмастеров.
Если и Яндекс, и Google и другие ПС сайт не индексируют
В дополнение к предыдущему. Если замечаете, что есть какие-то проблемы и с другими ПС, то следует кое-что проверить.
4) Мета-тег Robots
Если вдруг на странице есть что-нибудь такое:
то такая страница не будет индексироваться. Смотрите подробнее о мета-теге Robots.
5) Кривая HTML-разметка
Если нарушена вложенность тегов, например, есть что-то такое:
то у поисковых роботов могут возникнуть проблемы с разбором содержимого страницы. В результате страница или не проиндексируется вовсе, или будет ухудшено её ранжирование.
6) Время загрузки сайта
У всех поисковых роботов есть лимит по обращениям к веб-страницам. Если после нескольких обращений страница не отреагировала, то робот так и не узнает, что же нужно было поместить в свой индекс.
Это не значит, что для успешной индексации необходима загрузка страниц за доли секунды, но хотя бы 4 секунды — уже хорошо. Посмотрите, как проверить скорость загрузки страниц сайта.
На время загрузки сайта влияет также качество хостинга. Если с вашим хостингом не всё в порядке — посмотрите универсальную инструкцию по переезду на новый хостинг.
7) Ошибки сервера с кодом 4xx и 5xx
Прежде всего, это ошибка 500 — внутренняя ошибка сервера. Её возникновение связано, опять же, с качеством хостинга, а также с корректностью серверных скриптов на сайте.
Ну и ошибка 404 (страница не найдена) для существующих на самом деле страниц. Бывает и такое: страница есть, всё с ней нормально, но выдаёт она код 404. Поэтому поисковый робот (думая, что её нет) не индексирует её.
Для справки — посмотрите здесь какой должна быть страница 404.
8 ) Не настроена склейка домена с www и без www
Это не всегда вызывает проблемы, но лучше бы, чтоб ваш веб-ресурс открывался по однозначному адресу — одно из двух
- http://site.ru
- http://www.site.ru
Для Яндекса настроить всё это можно в файле Robots.txt или указать главное зеркало в панели вебмастера. Но лучший вариант — правильно настроить 301-й редирект в файле .htaccess. Уже готовый файл .htaccess есть в 3-м уроке этого СЕО-курса.
9) Самое неприятное — домен с «плохой» историей
Возможно, вам удалось подобрать такое доменное имя для своего сайта, которое в прошлом заслужило отрицательный авторитет у поисковых роботов.
Например, это был дорвей или adult-ресурс. Или он очень активно торговал ссылками с автобирж (Sape и др.), за что получил бан в Яндексе/Гугле (ну или что-то помягче, но тоже ничего хорошего).
В общем, если на этом домене был сайт, злоупотреблявший Black-SEO методами, то к вашему ресурсу поисковики будут некоторое время относиться по-особому и долго не будут индексировать по-нормальному.
Так, например, было с web-ru.net. Мне показалось, что это неплохое доменное имя и я сразу купил его, не проверив его историю (как это делается — читайте про историю домена и как её узнать).
Домен был куплен 29 октября 2011, первые публикации начались в ноябре. Но до 27 декабря в индексе была только одна страница. Причём Яндекс как будто дважды проиндексировал главную страницу:
Yandex ошибся в рассчётах
Если у вас в панели Яндекс.Вебмастер есть подобные глюки — то связано это, скорей всего, с плохой доменной историей.
В моём случае web-ru.net влетел в индекс поисковиков (как Гугла, так и Яндекса) лишь под новый год (2012).
Ранее на данном домене располагался какой-то автомобильный ресурс, очень активно торгующий ссылками с автобирж, имеющий вредоносный код и ещё делающий что-то плохое
В общем, это наверное всё, из-за чего Яндекс не будет индексировать нормальный, человеческий сайт. Повторюсь, здесь я не упоминаю о фильтрах и разных наказаниях, их может быть много и приобретаются они уже по мере развития ресурса.
Если же с вашим сайтом всё нормально (исходя из 9 описанных выше пунктов), то нужно подождать.
Но никогда не следует стесняться писать в поддержку Яндекса — люди там отзывчивые и отвечают всегда (хотя время ответа может затянуться и на пару недель).
Обращение в поддержку может, например, вывести ресурс из пугающего многих вебмастеров АГС и т.п.
А по поводу индексации просто пишем:
Мне кажется, с моим проектом всё нормально, он новый, недавно созданный, но Яндекс почему-то не индексирует сайт. Что мне делать?
Вот и всё. Отвечают конкретно или же многозначительно намекают
—>
-
Как продать сайт на бирже Telderi — продажа сайта под АГС…олько сайт, но ещё и по отдельности — либо домен, либо файлы сайта. Да, и -
Сравнение партнерок в edu-нишеЗаработок на особенном edu образовательном трафике давно не новый… -
Что такое внешние ссылки на сайт? Как проверить бэклинки (входящие ссылки)?…, некоторые их бэклинков можно проверять с помощью сервисов -
Обзор партнёрской программы Leo.CashПринадлежащая к рекламным сетям Leo.Cash, зарекомендовала себя как одна из лучши… -
Курс Быстрое создание сайтаДрузья! Пишите, пожалуйста, вопросы здесь, в комментариях, а не лично мне на emai…
- https://siteclinic.ru/blog/internal-optimization/pochemu-yandeks-ne-vidit-sajt/
- https://promoexpert.pro/blog/pochemu-ne-viden-moj-sajt/
- https://web-ru.net/prodvizhenie-sajta/seo/pochemu-yandex-ne-indeksiruet-sajt-chto-delat.html
Загрузка...
Что делать, если при запуске Google Chrome открывается нежелательный сайт
Почему Яндекс браузер долго запускается
Почему не работает ВК в Яндекс браузере – причины и что делать?
Что быстрее Google Chrome или Yandex Browser: сравнительная характеристика различий