Проблемы в Sape.ru и компонент sh404SEF
Привет друзья, вчера добавив сайт в Сапу, столкнулся с такой проблемой – робот сапы не хотел индексировать страницы, которых на сайте было около 1500. Робот упорно не хотел индексировать страницы, и проблему частично я решил – создав 4 карты сайта в формате html (Сапа не индексирует карты сайтов в xml-формате) и дав на них ссылки с главных страниц. Результат это действие принесло хороший, да действительно, робот прихватил страницы все страницы, которые были в картах сайтов, но практически всем им присвоил статус – 403 ошибки, то есть ответ сервера для робота сапы выдавал 403 ошибку (блокировал доступ к этим страницам роботу Сапы).
Обратившись в поддержку, и проведя с ними длительную беседу, ничего конкретного так и не понял, советовали разные варианты, но все оказались не по делу. А причина оказалась совсем простая – компонент sh404SEF со встроенной функцией безопасности блокировал попытки обращения робота Сапы к индексируемым страницам, что и повлекло за собой ответ 403 ошибки.
Проблема решилась отключением функции безопасности во вкладке – Компоненты- sh404SEF- sh404SEF Конфигурация-Безопасность – все переключатели ставим в положение Нет и жмем кнопку Сохранить.
Все стало на свои места, робот Сапы прихватил страницы – и присвоил им рабочее состояние в 200 статус.
Вот такие иногда бываю нюансы.
и получай самую свежую информацию на свой e-mail!
Свежая информация в сфере SEO:
У меня была подобная ситуация, долго разбирался — но в конце понял.
Спасибо помогло Sape начал индексировать после отключения sh404SEF
Большое, человеческое спасибо за этот пост!!
Долго ковырялся, наконец нашел.
Друзья, будьте внимательны к кодам ответа. Пользователь видит вашу страницу со статусом 200 ОК, а вот Поисковые системы, также как и сапа, видят 403!!!
Отключайте встроенные функции безопасности sh404sef.
Эта ошибка также возникает на любой автоматической программе сканирования сайта(автосоздание сайтмэпа и прочие сео утилиты).
Совершенно верно.
Для чего то нужны встроенные функции безопасности, не просто так их внедрили.
Эта функция защиты от атак.
А чего они вредят тогда?
Да уже не вредят.Не доработано было
Не понял, бывает что пользователю сайт отдаёт страницу, а роботу нет? Как бороться с этим на обычном сайте без sh404SEF. Как проверить хотя бы.
Удалите дополнение и обновите движок до последней версии.
Чего это сапа не индексирует карты сайтов в xml-формате. Карта в xml-формат специально для роботов делается.
Так и есть, не индексирует, так поддержка отвечает, можете ей этот вопрос задать.
Так где то в предыдущей статье об этом написано.