Файл robots.txt для WordPress
Продолжая серию постов об оптимизации работы с движком WordPress поговорим о файле robots.txt. Файл robots.txt имеет огромное значение при раскрутке и продвижении вашего ресурса, именно с помощью этого файла можно указать основное зеркало сайта, прописать путь к карте сайта для оптимальной индексации страниц сайта, закрыть ненужные для индексации категории и отдельные страницы.
Структура самого движка WordPress такова, что при накоплении материалов, автоматически создается куча ненужных дублей страниц – по нескольких разных урлах сайта одинаковое содержимое контента, что крайне негативно сказывается на самом сайте и вполне возможно, что ресурс может попасть под АГС или вообще в бан. Чтобы такого не произошло, мы разберем файл robots.txt и я приведу оптимальный вариант для движка WordPress.
Оптимальный вариант файла robots.txt для WordPress
User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */2012/*
Disallow: */comments
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Host: www.ваш_сайт.ru
Sitemap: http://www.ваш_сайт.ru/sitemap.xml
User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */2012/*
Disallow: */comments
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Host: www.ваш_сайт.ru
Строка User-agent: отвечает за поисковую систему, для которой применяются правила. Символ * определяет правила для всех поисковых систем, кроме тех, которые явно указаны в директиве User-agent:
Строка Allow: разрешает поисковой системе индексировать содержимое, указанное в этой строке.
Disallow: запрещает поисковой системе индексировать содержимое указанное в этой строке.
Host: указывает на главное зеркало сайта, именно эта строка отвечает за определение главного зеркала вашего сайта. Указываете адрес сайта без приставки http://, но с www, или без www в зависимости от вашего основного зеркала сайта.
Sitemap: указывает на путь к карте сайта.
Вы можете скачать уже готовый вариант файла robots.txt (файл robots.txt размещается в корне сайта и должен быть доступен по адресу http://ваш_сайт/robots.txt), только изменив урл сайта в директиве Host: и указав путь к карте сайта в директиве Sitemap:
и получай самую свежую информацию на свой e-mail!
Свежая информация в сфере SEO:
Благодарю, вставлю на свой блог
Александр, я вот за время существования своего блога 1,4 года, два раза менял робот текст. Если сейчас ещё раз поменяю, не навредит ли это моему блогу.
Смотря что поменяете 😉
Ого какой большой роботс.
У вас до сих пор он установлен или уже изменен?
Роботс изменён, уменьшился в два раза.
Да у некоторых и по длиннее в данный момент присутствуют
Смотрел курс Борисова так он уже показывал новый файл
Александр можете посмотреть на мой фаил и сказать поравильный он на данный момент или нет?
Да, все правильно.
Александр, спасибо, мучали сомнения
Сколько читаю блогеров, столько вариантов этого роботса вижу. Интересно, существует ли вообще единственный верный?
Каждый редактирует этот файл под себя.
По-моему, Гугл игнорирует запреты, которые ему в Роботсе прописывают, и все равно выдает в поиске эти страницы.
Ещё вроде в роботсе сейчас прописывают индексацию рисунков.
Ну конечно нужно рисунки прописывать.
Спасибо за ответ, а то сомневался.
Да не за что
В принципе я сам об этом не давно узнал.
Сейчас буду прописывать индексацию рисунков.
А что у вас за ресурс?
Дайте ссылку полюбопытствовать
Как только, так сразу.
Ну понятно все с вами,нету еще.