Получить новую статью

Вставьте здесь свой адрес:

Delivered by FeedBurner

Подписаться на статьи рубрики
Подписаться на статьи рубрики
Подписаться на статьи рубрики
БЫТОВАЯ ТЕХНИКА
новинки, содержание, ремонт
Подписаться на статьи рубрики
СЕРВИСЫ ОНЛАЙН
описание, рекомендации
Подписаться на статьи рубрики
ДИЗАЙН ВЕБ САЙТОВ
советы, показ, нюансы

users online

В веб мастере имеется полная картина, как идёт индексация в Google моего сайта согласно директивам robots.txt. Имейте в виду, в веб мастер Google должен быть ваш аккаунт с индексация в Google регистрацией, сайт должен пройти подтверждение на авторство и тогда вперёд. Есть раздел – страница Search Console, где показана индексация в Google моего сайта.

индексация в Google

индексация в Google

Оказывается, из проиндексированных 128 страниц, 58 заблокированных ресурсов, а реально существующих на этот момент 75. Почти все страницы заблокированы. Далее становится понятно, что эти ресурсы (например, ява скрипты) размещаются кусочками на почти всех страницах сайта. Да, это и видно при открытии заблокированного ресурса на странице Search Console веб мастера от Google.

В результате, поисковый робот сканирует страницу, доходит до закрытого ресурса и останавливается. Страница становиться не до индексированной и соответственно в поиск не попадает никогда (почти).

Cправка — Search Console

Чтобы правильно обработать и индексировать вашу страницу, роботу Google необходим доступ к ее ресурсам – файлам JavaScript и CSS, изображениям и т. д.

Если файл robots.txt сайта не позволяет просканировать все эти ресурсы, возникают ошибки. Из-за этого рейтинг сайта в Google Поиске становится низким.

Если интересует подробный механизм, как идёт индексация в Google вашего сайта, нажмите фото ниже и читайте оригинал: (нажмите для увеличения, ещё раз для уменьшения).

индексация в Google

Смотрю далее, что блокирует ресурсы. Оказывается мой robots.txt. Каким образом?
Если посмотреть выше robots.txt , он начинается с выражения: User-agent: *

Это указание солидарно для поисковых систем Yandex и Google одновременно.

Придётся расписать директивы для каждой ПС отдельно с учётом выше приведенных замечаний директив для тегов и категорий, файлов JavaScript и CSS, Вот этот robots.txt сегодняшнего дня, смотрите ниже.

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /tag
Disallow: /category
Disallow: /author/andrey

User-agent: Googlebot
Allow: /

Host: infookno.ru

Sitemap: http://infookno.ru/sitemap.xml

При этом виде robots.txt главный поисковый робот Googlebot не встречает сопротивления оного в индексации любой страницы, то есть, заблокированных ресурсов нет, следовательно, ошибок сканирования нет. Ура! Страницы с ошибками отправил на повторное сканирование, но результат будет не скоро. Только после пере-обхода индексации роботами.

Посмотреть, как выглядит файл robots.txt на любом сайте можете дописать в адресной сроке главной страницы /robots.txt и браузер нарисует robots.txt любого сайта.

Опять я рано стал радоваться. Надежде, что заблокированных ресурсов нет, не суждено сбыться в моём случае.
Пришлось снова обратиться к Веб мастеру Google. И даже на форум веб мастеров от Google. Только тогда, со второй попытки, я убрал все заблокированные ресурсы с сайта.

Как это было сделано, лучше пробежаться по следующей статье: "Заблокированные ресурсы от Google".

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Используем интернет для заработка: Электронная книга

Не крутой, но пожизненный доход при наличии Internet и мобильный телефон.