Проблемы в Sape.ru и компонент sh404SEFПривет друзья, вчера добавив сайт в Сапу, столкнулся с такой проблемой – робот сапы не хотел индексировать страницы, которых на сайте было около 1500. Робот упорно не хотел индексировать страницы, и проблему частично я решил – создав 4 карты сайта в формате html (Сапа не индексирует карты сайтов в xml-формате) и дав на них ссылки с главных страниц. Результат это действие принесло хороший, да действительно, робот прихватил страницы все страницы, которые были в картах сайтов, но практически всем им присвоил статус – 403 ошибки, то есть ответ сервера для робота сапы выдавал 403 ошибку (блокировал доступ к этим страницам роботу Сапы).

Обратившись в поддержку, и проведя с ними длительную беседу, ничего конкретного так и не понял, советовали разные варианты, но все оказались не по делу. А причина оказалась совсем простая – компонент sh404SEF со встроенной функцией безопасности блокировал попытки обращения робота Сапы к индексируемым страницам, что и повлекло за собой ответ 403 ошибки.

Проблема решилась отключением функции безопасности во вкладке – Компоненты- sh404SEF- sh404SEF Конфигурация-Безопасность – все переключатели ставим в положение Нет и жмем кнопку Сохранить.

параметры безопасности

параметры анти-флуда

Все стало на свои места, робот Сапы прихватил страницы – и присвоил им рабочее состояние в 200 статус.

Вот такие иногда бываю нюансы.

  1. 5
  2. 4
  3. 3
  4. 2
  5. 1
(1 голос, в среднем: 5 из 5)