Клоакинг в TDS

Как работает система выявления ботов и клоакинг?

Боты выявляются по следующим критериям:

  1. Нахождение IP во внутренней базе;
  2. Наличие в UserAgent'е сигнатуры бота из внутренней базы;
  3. Отсутствие UserAgent'а;
  4. Нахождение IP в пользовательском списке;
  5. Наличие в UserAgent'е сигнатуры из пользовательского списка.

Во всех кампаниях предусмотрена опция «Действие для ботов». Если выбрано «Пропустить к потокам», тогда можно фильтровать ботов на уровне потоков.

Как настроить клоакинг на сайте с помощью Keitaro TDS?

Это решение поможет редиректить пользователей, оставляя ботов на сайте.

  1. Создайте кампанию. Действие для ботов выберите Показать текст, текст заполнять не нужно;
  2. Создайте поток с редиректом на нужный сайт;
  3. Зайдите на страницу «Дополнительно > Помощник подключения кампании». Выберите «Другое» > «Keitaro API»;
  4. Установите полученный код на сайте в самом верху (до тега <html>).

По каким признакам определяются боты?

1. По сигнатуре UserAgent. Проверяется по встроенной и пользовательской базе сигнатур.

2. По базе IP ботов. Проверяется по встроенной и пользовательской базе IP-адресов.

3. По пустому UserAgent'у. Считать ботам все устройства без UserAgent'а.

Механизмы определения ботов регулируются на странице Настройки.

Как обновить базу ботов?

Как дополнить список IP ботов?

На странице настройки, во вкладке «Боты» есть возможность редактирования дополнительного списка. Список может содержать как отдельные IP, так и CIDR.

78.12.31.1
92.12.1.0/24

Внимание! Маски и интервалы не поддерживаются!

Что такое сигнатуры ботов?

Сигнатура бота — это часть строки в UserAgent'е. Например, для Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) сигнатура Googlebot.

Как добавить сигнатуры ботов?

На странице Настройки > Боты. Сигнатуры прописывается через запятую:

ahref, mail.ru, ...

Пустой UserAgent как признак бота

Считать ботом всех, у кого пустой UserAgent.

Как настраивать действие для ботов?

В настройках кампании выберите необходимое действие для ботов.

  • Показать 404 Not Found — показывает пустую страницу и статус «404 Not Found»;
  • Отправить на URL — отправка ботов на определенную страницу;
  • Показать текст — показ текста ботам;
  • Пропустить — боты, как обычные пользователи, пройдут к потокам.

Как ловить ботов по провайдеру?

База провайдеров не поставляется с Keitaro TDS, т. к. это серьезное нарушение лицензии Maxmind (производителя базы GeoISP).

Вы можете приобрести лицензию или найти иной способ её получить. Ключ лицензии нужно ввести на странице Настройки > Интеграция. Инструкция ручному подключению файла GeoISP.dat — ручная_установка_и_обновление_maxmind_geo_isp.

После подключения базы, в потоках сможете пользоваться фильтром «Провайдер».