Какие боты ходят на сайты
Значительная часть трафика небольших сайтов — не люди. Одни боты нужны и полезны: поисковые роботы Яндекса и Google индексируют страницы. Другие вредят:
- Боты накрутки поведенческих факторов заходят из поиска, имитируют просмотр и уходят. Сайт может попасть под фильтр, а позиции становятся нестабильными.
- Кликеры переходят по рекламе и тратят бюджет.
- Парсеры копируют цены и тексты.
- Спам-боты заполняют формы мусорными заявками.
Все они попадают в Метрику как обычные визиты. Отчёты показывают рост трафика, которого на деле нет, а конверсия сайта выглядит хуже, чем есть.
Как выносится вердикт
Каждый признак добавляет баллы, живое поведение их снижает. Один слабый сигнал, например VPN, не делает посетителя ботом.
листал, звонил
один слабый признак
подозрительный
явный бот
Что делает антибот
Скрипт КликСтоп запускается у каждого посетителя после загрузки страницы и собирает технические сигналы. Сервер оценивает их вместе с репутацией IP-адреса и историей визитов и выносит вердикт. Поисковых роботов Яндекса, Google, Bing и Mail.ru мы распознаём отдельно и проверяем по DNS, чтобы не путать их с ботами, которые подделывают их имя.
Для аналитики
Каждый визит получает в Метрике параметр с вердиктом и цель. Сегмент «люди» показывает настоящую посещаемость и конверсию, сегмент «боты» — откуда и когда они приходят.
Для рекламы
Цель «бот» используется в Директе как условие ретаргетинга с корректировкой −100%. Боты, уже побывавшие на сайте, перестают видеть объявления.
Для отчётов
В кабинете — доля ботов по дням и источникам, причина пометки у каждого визита, выгрузки ClientID для Яндекс Аудиторий и IP-адресов.
Почему не капча
Капча раздражает людей и снижает конверсию, а современные боты решают её через сервисы распознавания за доли копейки. КликСтоп работает незаметно для посетителя: ничего не нужно нажимать, сайт выглядит как обычно.
Ограничения
Мы честно говорим, чего сервис не делает. Сейчас он не закрывает ботам доступ к сайту, а определяет их и исключает из рекламы и аналитики; блокировка в разработке. Боты на домашних и мобильных IP-адресах, которые точно имитируют поведение человека, определяются только частично — это предел для любого сервиса такого рода.