О боте RiskInsightBot

Кто это

RiskInsightBot — краулер сервиса risk-insight. Он открывает общедоступные страницы сайта по запросу пользователя, заказавшего проверку в правомерном интересе: владельца сайта, его уполномоченного лица или клиента, изучающего сайт подрядчика. Бот собирает только то, что видно любому посетителю: страницы, опубликованные документы, cookie и подключённые скрипты. Собранные данные используются исключительно для формирования отчёта конкретному заказчику и не публикуются.

Как его узнать

В логах бот представляется User-Agent:

RiskInsightBot/1.0 (+https://risk-insight.ru/bot)

Как он себя ведёт

• Соблюдает правила из robots.txt безусловно, включая директиву Crawl-delay.
• Работает строго пассивно: не отправляет формы, не кликает по баннерам и кнопкам, не проходит авторизацию.
• Не обходит капчи и технические блокировки.
• Ограничивает частоту запросов (1–2 запроса в секунду на домен).
• Ограничивает число страниц за одну проверку.
• Корректно обрабатывает коды 429 и 403, снижая нагрузку.

Как запретить обход

Добавьте в файл robots.txt вашего сайта следующие строки:

User-agent: RiskInsightBot
Disallow: /

Запрет в robots.txt мы уважаем безусловно: закрытые страницы не анализируются, и сам по себе запрет никак не трактуется в отчётах. Если нужно запретить проверку вашего домена немедленно и удалить уже сохранённые данные — напишите нам на abuse@risk-insight.ru. Мы внесём домен в список исключений.