PulseBot

PulseBot — краулер сервиса «Пульс». Он снимает главную и контактные страницы публичных сайтов делового Рунета, чтобы отслеживать изменения: смену CMS, установку и снятие виджетов, переезды хостинга.

Как мы себя ведём

• идентифицируемся честно: PulseBot/1.0 (+https://pulsebot.ru/bot)
• уважаем robots.txt и Crawl-delay; директива User-agent: PulseBot · Disallow: / полностью исключает сайт
• пауза между запросами к одному хосту — не меньше 2 секунд, обычно 1–4 страницы за визит
• каденция: топ-сегменты — еженедельно, остальное — реже
• не обходим защиты, не трогаем авторизованные зоны, не собираем персональные данные физлиц

Вопросы и исключение сайта

Напишите нам — адрес появится здесь после запуска кабинета. Пока быстрее всего исключить сайт через robots.txt.