Получить новую статью

Вставьте здесь свой адрес:

Delivered by FeedBurner

Подписаться на статьи рубрики
Подписаться на статьи рубрики
Подписаться на статьи рубрики
БЫТОВАЯ ТЕХНИКА
новинки, содержание, ремонт
Подписаться на статьи рубрики
СЕРВИСЫ ОНЛАЙН
описание, рекомендации
Подписаться на статьи рубрики
ДИЗАЙН ВЕБ САЙТОВ
советы, показ, нюансы

users online

Robots.txt

Как избежать проблем в индексации страниц поисковыми системами, маневрируя построением robots.txt, если не особо понимаешь саму схему построения robots.txt или robots.txtвообще не понимаешь что к чему.

Моя история построения файла robots.txt имеет отношение к сайту на движке WP http://infookno.ru/. Сначала я установил robots.txt по совету своего наставника безо всякого раздумья такого вида:
User-agent: *
Disallow: /wp-includes
Disallow: /wp-feed
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes

Host: infookno.ru
Sitemap: http://infookno.ru/sitemap.xml

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

Читать далее