Получить новую статью

Вставьте здесь свой адрес:

Delivered by FeedBurner

Подписаться на статьи рубрики
Подписаться на статьи рубрики
Подписаться на статьи рубрики
БЫТОВАЯ ТЕХНИКА
новинки, содержание, ремонт
Подписаться на статьи рубрики
СЕРВИСЫ ОНЛАЙН
описание, рекомендации
Подписаться на статьи рубрики
ДИЗАЙН ВЕБ САЙТОВ
советы, показ, нюансы

users online

Заблокированные ресурсы, как уже говорилось в предыдущей статье, возникают в результате недоступности поисковых роботов Google к некоторым частям скриптов, Заблокированные ресурсытаблицам стилей, отвечающих за внешний вид страницы и отражающих её функционал.

Сейчас уже большинству пользователей известен вред от заблокированных ресурсов, хотя они имеют высокий, средний и низкий степень «вредности». Проблема одна, страницы не попадают в индекс Google. Рассказываю историю по своей сути всеобщую.

Понятие «Заблокированные ресурсы» введено с марта 2015 года разработчиками Google и отражено в документе «Отчёт о заблокированных ресурсах». В основу положено сравнение, с одной стороны, отражения страницы веб браузером и с другой стороны, как её видит Поисковый робот.

Разница во взглядах определяется правилами Robots.txt сайта. Напомню внешний вид написания Robots.txt моего сайта имеет вид:

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /tag
Disallow: /category
Disallow: /author/andrey

User-agent: Googlebot
Allow: /

Host: infookno.ru

Sitemap: http://infookno.ru/sitemap.xml

Для поисковой системы Google предусмотрено правило User-agent: Googlebot с директивой Allow: /. Она гласит – сканировать всё! Что ещё надо от веб мастера?

Доступ любому поисковому боту от Google (Googlebot, Googlebot-News, Googlebot-Image, Googlebot-Video, Googlebot-Mobile, Mediapartners-Google, Ads bot-Google) был открыт полностью.

Но, тут то и «собака зарыта», всё равно проверяю в разделе Search Console для веб мастеров Заблокированные ресурсы и вижу такую картинку (картинки увеличиваются):

заблокированные-ресурсы0

Картинка показывает 57 заблокированных страниц на моём хосте http;//infookno.ru/. Фактически все страницы сайта заблокированы. Хочу узнать, что это за страницы и как они выглядят. Щелчок именно по цифре 57 и открывается весь список страниц с заблокированными ресурсами, смотрите ниже:

заблокированные-ресурсы1

Конкретно ещё раз лезу в глубину ресурса и щелчок по первой строчке и теперь заблокированный ресурс в конкретном виде ниже:

заблокированные-ресурсы2

А как же выглядит заблокированная страница? Перехожу во вкладку «Сканирование», далее, «Посмотреть как Googlebot», копирую этот адрес и вставляю в окошко строки «Получить и отобразить» и нажимаю его.
Несколько секунд идёт сканирование с отображением индикатора и по окончании появляется «Готово» и чек-бокс рядом.

заблокированные-ресурсы3

А теперь, главное, щелчок по чек боксу и открывается такое окно:

заблокированные-ресурсы4

Смотрите и почувствуйте разницу отражения страницы роботом и браузером.

В моём случае, надо же такое, я и не предполагал, что посетитель видит в правом сайд баре рекламу скриптовую, установленную на моём сайте со стороны, а скрин слева Gogglebot, не видит эту рекламу. Мало того, и счётчик Яндекс метрика тоже не виден боту.

Вывод 1 . Мой Robots.txt правильно построен, а заблокированные ресурсы есть и страницы не проходят индексацию.

Ищу причину. Возвращаюсь во вкладку «Заблокированные ресурсы», к списку заблокированных ресурсов и уже нажимаю саму строчку с заблокированным ресурсом.

Открывается окно с рекомендациями как разблокировать ресурс:
заблокированные-ресурсы5

Меня интересует рекомендация №3. Остальные уже сделаны. Нажать по «Проверить robots» и у меня появляется такая информация:

заблокированные-ресурсы5б

Вот тут то и конец проблеме.
Вывод 2. Изменить фалы Robots.txt этих хостов я физически не могу. А просить Яндекс разблокировать свой хост бессмысленно, как и рекламную фирму.

Поэтому, очень просто, удаляю Яндекс счётчик, стороннюю скриптовую рекламу и капут.
Заблокированные ресурсы исчезли как дым. Сайт пошёл как дети в школу на индексацию без проблем.

На всякий случай проверяю свой Robots.txt во вкладке: «Инструмент проверки файла robots.txt» и вижу:

заблокированные-ресурсы7
Ошибок «0».   Без комментариев.

Но рекомендую зайти в раздел: «Вид в поиске». Там есть проблема из другой оперы под названием: «Структурированные данные».  Об этом уже в другой статье будем  наглядно рассматривать на примере этого сайта  "Микроразметка данных сайта – Google маркер".

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *