Получить новую статью

Вставьте здесь свой адрес:

Delivered by FeedBurner

Подписаться на статьи рубрики
Подписаться на статьи рубрики
Подписаться на статьи рубрики
БЫТОВАЯ ТЕХНИКА
новинки, содержание, ремонт
Подписаться на статьи рубрики
СЕРВИСЫ ОНЛАЙН
описание, рекомендации
Подписаться на статьи рубрики
ДИЗАЙН ВЕБ САЙТОВ
советы, показ, нюансы

users online

Как избежать проблем в индексации страниц поисковыми системами, маневрируя построением robots.txt, если не особо понимаешь саму схему построения robots.txt или robots.txtвообще не понимаешь что к чему.

Моя история построения файла robots.txt имеет отношение к сайту на движке WP http://infookno.ru/. Сначала я установил robots.txt по совету своего наставника безо всякого раздумья такого вида:
User-agent: *
Disallow: /wp-includes
Disallow: /wp-feed
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes

Host: infookno.ru
Sitemap: http://infookno.ru/sitemap.xml

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

Объяснялось, что это самые необходимые директивы для ПС Yandex и Google.
Вкратце, говорилось, что Yandex нуждается в обязательном указании директивами, что именно можно, а что никак не желательно обходить роботами.

Причём, акцент ставился на том, что роботам Google практически бесполезно ставить заслоны от индексирования. Хотя, оператор User-agent: * предписывает правила для обоих ПС Yandex и Google.

Моё любопытство работой robots.txt сводилось к частому просмотру хода индексации роботами Яндекса. Учитывая, что сайту всего 6 месяцев, оказалось, загружено порядка 600 страниц. А в реальности чисто страниц всего то 25.

Хотелось порадоваться такому вниманию от Яндекса. Но, трезвый взгляд настораживает, откуда такое количество. Пришлось обратиться к веб мастеру Яндекса, где, и сказано, что вся индексация молодых сайтов происходит не так быстро как хочется, точнее до двух и более месяцев, и на оборот, количество загруженных страниц в разы больше реально существующих.

Особенности моей борьбы за индексацию сайта http://infookno.ru/ на движке WP, поисковой системой Yandex читайте далее в статье «Robots.txt и индексация в Yandex».

4 комментария: Robots.txt глазами новичка

  • Сергей говорит:

    на самом деле движок WP ( кстати, далеко не самый лучший движок )  и WordPress ( самый популярный движок в мире ) это абсолютно разные системы управления сайтом, у вас -Wordpress, а WP это студийный движок от студии Web Planet ( отсюда и аббревиатура WP )  хотя да, новички иногда  сокращают название WordPress до двух букв

  • Андрей говорит:

    Сергей, ваша информация станет хорошей подсказкой всем, кто так считает. Спасибо.

  • дмитрий говорит:

    Но я не много не соглашусь с Сергеем, да Вордпресс разработан данной компанией, но опять таки два нюанса. Первый для WP разработано много расширений т.е. плагинов, второй нюанс сам движок по своему составу имеет легкий интерфейс в отличии от той же Джумлы или Друпал. В третьих он быстро и легко индексируется поисковыми системами. Согласен есть минусы в данном движке но и плюсов тоже хватает.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Используем интернет для заработка: Электронная книга

Не крутой, но пожизненный доход при наличии Internet и мобильный телефон.