Файл robots.txt для WordPress

Продолжая серию постов об оптимизации работы с движком WordPress поговорим о файле robots.txt. Файл robots.txt имеет огромное значение при раскрутке и продвижении вашего ресурса, именно с помощью этого файла можно указать основное зеркало сайта, прописать путь к карте сайта для оптимальной индексации страниц сайта, закрыть ненужные для индексации категории и отдельные страницы.

Структура самого движка WordPress такова, что при накоплении материалов, автоматически создается куча ненужных дублей страниц – по нескольких разных урлах сайта одинаковое содержимое контента, что крайне негативно сказывается на самом сайте и вполне возможно, что ресурс может попасть под АГС или вообще в бан. Чтобы такого не произошло, мы разберем файл robots.txt и я приведу оптимальный вариант для движка WordPress.

Оптимальный вариант файла robots.txt для WordPress

User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */2012/*
Disallow: */comments
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Host: www.ваш_сайт.ru
Sitemap: http://www.ваш_сайт.ru/sitemap.xml

User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */2012/*
Disallow: */comments
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Host: www.ваш_сайт.ru

Строка User-agent: отвечает за поисковую систему, для которой применяются правила. Символ * определяет правила для всех поисковых систем, кроме тех, которые явно указаны в директиве User-agent:

Строка Allow: разрешает поисковой системе индексировать содержимое, указанное в этой строке.

Disallow: запрещает поисковой системе индексировать содержимое указанное в этой строке.

Host: указывает на главное зеркало сайта, именно эта строка отвечает за определение главного зеркала вашего сайта. Указываете адрес сайта без приставки http://, но с www, или без www в зависимости от вашего основного зеркала сайта.

Sitemap: указывает на путь к карте сайта.

Вы можете скачать уже готовый вариант файла robots.txt (файл robots.txt размещается в корне сайта и должен быть доступен по адресу http://ваш_сайт/robots.txt), только изменив урл сайта в директиве Host: и указав путь к карте сайта в директиве Sitemap: