Ошибки индексации могут быть связаны со скриптом Антибот, а могут и не быть... Антибот может стать причиной проблем и ошибок индексации в трех случаях:
- Если в таблице № 3 правил скрипта Антибот удалено правило, связанное с Яндекс ботом.
- IP посетителей определяется неправильно, например когда стоит анти-ддос.
- Если возникла критическая PHP ошибка в скрипте Антибот.
1) Если разрешение доступа (ALLOW правило) для всех Яндекс ботов убрано из третьей таблицы правил Антибота, то боты будут попадать в STOP или BLOCK логи, а также получать серверный заголовок X-Robots-Tag: noindex, запрещающий индексацию. Решение проблемы: добавить бота в белый список, как это было по умолчанию, при установке Антибота.
2) IP посетителей определяется неправильно, например когда стоит анти-ддос или сервер неправильно настроен. В логе вы увидите одни и теже IP у всех посетителей, IP при этом будет принадлежать вашему хостингу или анти-ддос сервису. Яндекс бот будет попадать в FAKE лог, видеть страницу блокировки и запрет индексации от серверного заголовка X-Robots-Tag: noindex. Решение проблемы: настроить правильное определение IP.
3) Если возникла критическая PHP ошибка в скрипте Антибот. Например если вы сменили PHP версию на ту, в которой нет необходимых классов или переехали на новый хостинг, на котором чего-то не хватает. И вы и Яндекс бот увидите PHP ошибки вместо сайта, скорее всего это будет ошибка 500.
Проблемы, которые не связаны с Антиботом:
Робот не смог получить доступ к файлу robots.txt сайта или файл не существует. Но robots.txt это статичный текстовый файл, Антиботом об не защищается и не может мешать доступу к нему. Тоже самое касается других статичных файлов (картинок например), в которых нет php подключения скрипта Антибота.
Страница сайта недоступна для робота: код ответа страницы «401 Unauthorized» (как на скрине выше). В данном примере виноват Cloudflare, который заблокировал боту Яндекса доступ.
Другие не стандартные коды ошибок, о которых рапортует Яндекс Вебмастер - проверить в конфиге Антибота значения настроек «Header Check Page» и «Header Block Page», если там указан не такой код ответа, значит это тоже не относится к Антиботу. Если код ответа сервера как у вас в конфиге, тогда нужно более углубленно изучать ситуацию, почему Яндекс бот его получает.
Информация обновлена: 24.12.2025 - 14:44.