🛡️ Защита от ботов от cs-commerce.com

Дорогие друзья, вас приветствует компания CS-Commerce Software Solutions!

Представляем новый модуль — Защита от ботов. Он ставит перед витриной собственную проверку браузера — без капчи и без сторонних сервисов. Каждый новый посетитель один раз проходит фоновую проверку: браузер решает небольшую задачу примерно за секунду, после чего посетитель запоминается и дальше ходит по магазину без задержек. Парсеры, сканеры и бот-сети, которые грузят сервер и портят статистику, на этой проверке отсеиваются. Модуль для тех, кто не может или не готов ставить магазин за Cloudflare.

Как это работает

  • Всё выполняется на вашем сервере: задачу выдаёт и проверяет сам магазин, данные посетителей никуда не уходят. Подозрительным запросам достаётся задача сложнее и кнопка «Я человек».
  • Поисковые системы проходят без проверки после подтверждения адреса запросом DNS — Google, Яндекс, Bing и другие, по названию в User-Agent прикрыться нельзя. ИИ-боты пропускаются по спискам адресов, которые публикуют их владельцы.
  • Уведомления платёжных систем, обмен с 1С, карта сайта, RSS и YML-фиды не проверяются: исключения для них настроены сразу. Свой платёжный модуль или задание cron добавляются в исключения одной строкой.
  • Фильтр запросов ещё до проверки отклоняет явные попытки взлома — SQL-инъекции, внедрение скриптов, обращения к /wp-login.php и подобным адресам.
  • Журнал объясняет каждое решение. Внизу страницы проверки показан короткий код: если покупатель пишет, что не может попасть в магазин, по этому коду в журнале видно, что произошло.
  • Страница «Подключение и состояние» сама проверяет сервер (PHP, SQLite3, HTTPS, закрыта ли папка данных, видит ли модуль настоящие адреса посетителей за прокси) и подсказывает, что исправить.

Защищается только витрина, панель администратора не проверяется. Модуль запускается строкой в index.php, которую ставит при установке. Установка обновлений CS-Cart эту строку может удалить — поэтому в модуле предусмотрена проверка и предупреждение в админке если это произошло и восстанавление можно произвести нажатием одной кнопки в настройках модуля…

Модуль совместим с CS-Cart и Multi-Vendor начиная с версии 4.3.1. Серверу нужны PHP 7.0+, расширение SQLite3 и HTTPS на витрине. От целенаправленной DDoS атаки проверка браузера не спасает но очень существенно снижает нагрузку от мусорного трафика бот сетей и парсеров.

Подробное описание настроек, исключений, журнала и типичных проблем — в документации по модулю.

Если у вас возникли вопросы или трудности, связанные с покупкой или использованием наших модулей, пожалуйста, обращайтесь в наш Центр поддержки. Это наиболее оперативный способ получить консультацию или необходимую помощь.

3 лайка

Какой хороший модуль, где ж вы были 2 года назад?! :slightly_smiling_face:

Модуль не защитит от сканеров, которые работают через headless браузеры?
У вас на сайте более полное описание и там написано “Боты без настоящего браузера дальше заслона не проходят”.

И второй вопрос - в модуле наверное нельзя выбрать ограничение по стране?

Если сканер полностью имитирует работу полноценного браузера и соответственно юзера- проверку он пройдет. Но бОльшая часть трафика использует более грубые методы. Но помимо решения js задачи работают другие функции оценки (часоста открытия страниц, передаваемые заголовки, скнирование сайта типа wp_login и т.п), в случае повышения уровня подозрительности такому боту будет предложено пройти еще раз антибот проверку с более сложным решением задачи.
Т.е полностью избавиться от автономного трафика модуль не может гарантировать, как это не гарантирует и любой другой сервис, но существенно снизить объем такого трафика модуль как раз делает.
А для парсеров имитирующих полноценную работу браузера это может стать существенной проблемой из-за которой как минимум скорость парсинга упадет в разы, а как максимум полостью исключить (все же зависит от уровня самого парсера).
Изначально разрабатывали модуль для своего сайта, т.к мы не можем работать под cloudflare а мусорный трафик сильно нагружал сервер, участились атаки на сервер в поисках уязвимостей. На сегодняшний день мусорный трафик упал в 100 раз, т.е модуль уже отлажен на нашем собственном сайте.
Мы даже отключили капчу гугл на сайте и не получили ни одной отправленной ботом формы.

Все верно, как и ваши клиенты, помню мы не могли даже получить обнову из за cloudflare, как отключали сразу обнова долетала.

Спасибо за подробный ответ.
Согласен, что большинство ботов поймает.
Хочу обратить внимание, что ИМ часто страдают от таких сервисов как 7/z-price.
И они даже капчу КФ проходят без проблем. Залетают на сайт кучей запросов частенько и кладут его.
Поэтому в идеале таки внедрить какую то еще свою капчу, которая будет требовать действий от пользователей для “очень подозрительных” запросов.

Фильтра по странам нет? Проверяет всех всех на входе?

Фильтра по странам в модуле нет. “Хочу обратить внимание, что ИМ часто страдают от таких сервисов как 7/z-price.” Если и капчу CF проходят то вероятно их мало что может остановить, разве что блокировка их подсетей если они ходят одним и тем же диапазоном IP

1 лайк

Здравствуйте! Рассматриваем покупку вашего модуля Bot Protection. Хотим понять, насколько он поможет в нашем сценарии.

У нас CS-Cart 4.20.1 Ultimate, PHP 8.1, две витрины (для России и для Казахстана) , работающие на одном origin-сервере. Перед магазином уже стоит оплачиваемый нами сервис StormWall, у казахстанской витрины дополнительно reverse proxy. На origin nginx восстанавливает реальные IP посетителей. Но этого не хватает.

Мы сталкиваемся с распределённым автоматическим обходом, который перегружает PHP/MySQL. В последнем инциденте подозрительная группа выполнила около 112 тысяч запросов с 31 тысячи IP за 8 часов . Запрашивали каталог, комбинации фильтров и сортировок, поиск, login, формы и AJAX. Ранее был инцидент с более чем 517 тысячами запросов к product_features.add_product .

StormWall блокирует часть атакующего трафика, но до магазина продолжает доходить достаточно запросов для перегрузки. Лимит на один IP недостаточен при таком количестве адресов. В ранее настроенных правилах также были исключения для штатного AJAX, а на RU по последней подтверждённой конфигурации часть запросов выходила из цепочки до счётчика частоты.

Самостоятельное управление HTTP ACL на нашем стартовом тарифе недоступно, а дальнейшая настройка требует существенно более дорогого тарифа. Поэтому ищем дополнительную защиту, которая отсечёт автоматический обход до загрузки CS-Cart , сохранив работу покупателей, поисковиков и интеграций.

Перед покупкой просим уточнить:

  1. Поможет ли модуль именно против такого распределённого обхода? Что происходит, если бот использует полноценный headless-браузер, проходит проверку и затем массово запрашивает страницы? Есть ли ограничения последующих запросов по браузеру/cookie и защита от распределённой нагрузки, помимо ограничения выдачи проверок одному IP?
  2. Защищены ли прямые обращения к AJAX и другим обработчикам? Интересуют products.search , product_features.add_product , product_reviews.get_new_post_form , ab__stickers.get_stickers , csc_popup_notices.cspn_get_popups , geo_maps.shipping_estimation . Может ли параметр is_ajax=1 или AJAX-заголовок обойти проверку? Можно ли задавать исключения по точному dispatch , а не целому контроллеру?
  3. Что происходит с AJAX и POST при истечении проверки? Сохраняются ли корзина, поисковый запрос, отзыв и оформление заказа? Не теряется ли содержимое формы и не возникает ли повторная отправка после проверки?
  4. Какие есть результаты нагрузочных тестов? Интересуют стоимость отклонённого и пропущенного запроса, допустимый поток запросов и поведение SQLite при большом числе одновременных PHP-процессов. Может ли блокировка SQLite привести к пропуску трафика без проверки? Как владелец узнает о таком отключении защиты?
  5. Как устроены DNS-проверки поисковых роботов? Кешируются ли положительные и отрицательные результаты, ограничены ли время ожидания и количество проверок? Не сможет ли поток запросов с поддельными User-Agent поисковиков сам создать нагрузку через DNS-проверки?
  6. Можно ли использовать только восстановленный nginx REMOTE_ADDR , не включая чтение модулем X-Forwarded-For /X-Real-IP ? Поддерживается ли наша цепочка прокси на обеих витринах?
  7. Как предотвращаются ложные срабатывания на покупателей? Особенно для популярных версий Chrome, офисных сетей с общим IP и мобильных пользователей, меняющих сеть. В документации описано повышение подозрительности одной версии браузера из множества сетей — насколько управляем этот механизм?
  8. Есть ли полноценный режим наблюдения всей защиты , без блокировок и показа проверки покупателям, или «только журнал» относится исключительно к фильтру подозрительных запросов? Как рекомендуете проверять совместимость с платежами, обменом 1С, API, фидами и внешним мониторингом Uptime Kuma, учитывая HTTP 503 на странице проверки?
  9. Какой способ подключения рекомендуете для nginx/PHP-FPM и обновлений CS-Cart? Как обнаружить прекращение защиты после обновления без входа администратора? Требуются ли дополнительные настройки nginx и отдельное задание очистки данных?
  10. Подтвердите совместимость и полную стоимость для нашей редакции, двух рабочих витрин RU/KZ и тестового домена Dev. Можно ли сначала испытать модуль на Dev? Действует ли возврат в течение 30 дней, если проверка покажет недостаточное снижение нагрузки или проблемы с полезным трафиком?

Понимаем, что модуль не заменяет внешнюю DDoS-защиту. Хотим оценить его как дополнительный слой к StormWall именно против описанного обхода и понять его ограничения до покупки.

Доброе утро!
Интересный набор вопросов, постараюсь на все ответить так как ответы будут полезны всем заинтересованным:

  1. Модуль помогает против скриптов без браузера: каждый новый IP до загрузки CS-Cart получает страницу проверки, и запросы к PHP/MySQL не доходят. Эту проверку headless-браузер проверку пройдет. Но Против бот-сети действуют два дополнительных механизма: 1. кука перестаёт действовать, если её предъявляют из более чем 10 сетей. 2. если один User-Agent проходит проверку из 100 и более сетей за сутки, ему показывается проверка с кнопкой и более сложная задача. (Т.е потенциально этой бот сети придеться проходить много проверок, жесткой блокировки у нас нет)
  2. Проверяются все запросы через index.php, включая перечисленные dispatch. is_ajax=1 и AJAX-заголовки проверку не обходят. Исключения задаются по контроллеру или по фрагменту пути, по точному dispatch не делали.
  3. AJAX- или POST-запрос получает страницу проверки с кодом 503, отправляемые данные POST - формы после проверки нужно будет отправлять повторно. Сессия (включая корзину) не затрагиваются и продолжают работать как обычно. Кука действует 7 дней, и для действующей куки повторной проверки нет.
  4. Инициализация модуля на витрине автономна, происходит до загрузки cs-cart, и не требует обращений к mysql. Время уже прошедшего посетителя занимает в среднем около 0,0005 с. SQLite работает в режиме WAL с ожиданием блокировки на запись до 3 с. При ошибке хранилища запрос пропускается без проверки и записывается в журнал. Сама защита при этом не отключается, предупреждение видно в админке.
  5. DNS-проверка бтово. Подтверждённые роботы кэшируются на 14 дней.
  6. IP посетителя. По умолчанию используется только REMOTE_ADDR, заголовки X-Forwarded-For/X-Real-IP не читаются (если не включить спец параметр в настройках модуля). Поэтому ваша схема с восстановлением IP в nginx абсолютно рабочая для обоих витрин.
  7. Посетитель с валидной кукой проходит из нескольких сетей. Все пороги настраиваются в админке, включая отключение повышения подозрительности по User-Agent.
  8. Режим «только журнал» есть только у фильтра подозрительных запросов. Режима без показа проверки для всей защиты нет. Для платёжных обработчиков, обмена с 1С, фидов и RSS исключения уже заданы а для всех других сервисов вам вручную нужно добавить адреса в исключения
  9. Модуль сам добавляет строку в начало index.php (если хвтатить на это прав). Очистка данных можно выполнять как из админки так и по крон. Если после обновления CS-Cart строка в index.php пропала, админка показывает предупреждение. Фактически после каждого апдейта cs-cart нужно проверять этот момент, собсвенно потому его и озвучиваем.
  10. Модуль уверенно поддерживает версии от 4.12, php начиная от 7.0. Настройки общие для всех витрин. Цена для Ultimate $198.

У нас 30 дней на возврат на все модули, так что вы можете приобрести, попробовать в работе, если решение вас не спасает - в течение 30 дней после покупки вы всегда можете запросить отмену заказа и возврат средств.

2 лайка

Спасибо за подробные ответы! Правильно ли понимаем, что после успешного прохождения проверки модуль не ограничивает частоту запросов этого браузера к страницам и AJAX? То есть headless-бот с действующей cookie может продолжать интенсивный обход до утраты доверия?

И есть ли результаты нагрузочного теста именно массовой выдачи проверок: RPS, задержки, загрузка PHP-FPM и частота ошибок SQLite? Особенно интересует, не возникает ли под нагрузкой массовый пропуск запросов из-за ожидания блокировки SQLite.

  1. Да, после успешной проверки модуль не ограничивает частоту запросов. Но доверие теряется, когда cookie предъявляют из более чем 10 разных сетей или когда запрос с этого адреса попадает под фильтр атак (SQL-инъекции, XSS, команды ОС, обращения к путям чужого ПО и несуществующим файлам и т. п.
  2. Страница проверки в SQLite только читает. Запись идёт только когда браузер запрашивает задачу и отправляет решение. На нашем сервере результаты таковы: При 10 тыс. проверок в секунду начинают возникать разовые пропуски записи - а это уже уровень крупной DDoS-атаки, при которой сервер ляжет по другим причинам гораздо раньше.
1 лайк

image
Пользуюсь аналогичным сервисом, но сторонним, и вот с ним статистика такая, что подавляющее большинство клиентов вынуждены нажимать кнопку “Я не робот” и лишь малая часть автоматически проходит проверку, а как дела с вашей проверкой на вашем сайте? есть примерная статистика соотношения автоматических проверок к появлениям кнопки? Наших клиентов к сожалению кнопка “Я не робот” довольно сильно раздражает.

Наш модуль блокирует сайт проверочной кнопкой только после нарушения. Т.е клиент открывает сайт впервые - ему моргнет на 1 секунду страница с фразой Идет проверка браузера после чего сайт сразу открывается. Кнопка же начинает отображатся если было нарушение (что это вызывает я описывал выше). Но если пользователь использует тот же user-agent который использует и бот сеть которая превысила задагнный лимит (по умолчанию в модуле стоит значение 100 за сутки) - то для этих пользователей сразу начнет показываться страница с кнопкой. По сути все это будет зависеть от заданных настроек и от характера поведения бот сети.

Еще раз повторюсь, мы не пытаемся конкурировать с профессиональными сервисами с защитой от ддос атак. Если у вас есть возможность работать с cloudflare - это лучшее что может быть, если у вас есть финансы и возможность работать с локальными сервисами которые справляются - то это так же будет отличным решением. Мы предлагаем альтернативу но не замену этим сервисам, которая реально может работать для среднестатистического интеренет магазина страдающего от наплыва ботов, но не для высоконагруженых проектов страдающих от ддос атак.

КФ фигня для защиты. Как я выше и писал. Умные боты прорываютя запросто.
Уровень защиты не выше чем в вашем модуле.
Таже самая проверка на расчеты в браузере.
Из плюсов только, что некоторые страны можно вообще отрубить.
Кому интересно, то я на форуме пару раз писал сервис, который помогает получше.
Но там подписка тоже.
А тут решение, которое поможет от большинства ботов за недорого.

Коллеги, есть же тестовый период 10 дней. Берите и пробуйте на своих сайтах.

тестовый это манибэк ? Сначала купить нужно? Спасибо!

Нет же. Ставить их менеджер модулей и через него поям в админке сайта ставите демо.
Неужели у вас еще нет модулей ЦС Коммерсе? Это же топчик.

У меня есть их модули, но без менеджера модулей )

Тестовый период из менеджера модулей доступен только Premium подписчикам, но постоянным клиентам которые уже что-то ранее покупали предоставляем тестовый период по запросу. Новым клиентам, к сожалению, тестовый период до покупки не предоставляется, но манибэк 30 дней действует на все моудли и для всех клиентов.

2 лайка

Вышла версия 1.1.0

Два изменения — прямо по вопросам из этой темы.

Лимит запросов после пройденной проверки. Выше спрашивали, ограничивает ли модуль браузер, который уже прошёл проверку. Раньше не ограничивал, теперь ограничивает: проверенный браузер может сделать 120 запросов к витрине за 60 секунд, дальше доверие отзывается и проверку нужно пройти заново, уже с кнопкой. Покупатель до такого числа не доходит даже при быстром просмотре, а бот, который один раз решил задачу и пошёл обходить каталог, превышает его за минуты. Оба числа настраиваются, лимит можно выключить.

Кнопка «Я человек» у обычных покупателей. На магазинах с большой посещаемостью самая распространённая версия браузера сама превышала лимит сетей, и её пользователям показывалась кнопка вместо фоновой проверки. Теперь этот признак сам по себе даёт только более сложную фоновую задачу, а кнопка появляется, когда есть и другой признак автоматизации. При обновлении прежнее значение по умолчанию меняется само; если вы задавали своё, оно сохраняется.

Что ещё нового:

  • Блокировка адреса после серии попыток взлома. Сканер уязвимостей перебирает десятки тысяч адресов, и раньше каждый запрос отклонялся отдельно, со своей строкой в журнале. Теперь после 20 отклонённых запросов за 10 минут адрес блокируется на час: следующие запросы получают короткий отказ, не нагружают сервер и не заполняют журналы. Поисковые роботы, доверенные адреса, платёжные уведомления и покупатели, уже прошедшие проверку, под блокировку не попадают. Пороги и срок настраиваются.
  • Защита дополнительных скриптов. Некоторые модули отдают данные через собственный файл в корне магазина — например, поисковые подсказки. Такие запросы шли мимо защиты. Теперь файл можно добавить в список одной строкой, и модуль сам подключит к нему защиту. По умолчанию список пуст: если страницы магазина отдаёт кэш веб-сервера (nginx, Varnish), включать эту настройку не нужно, подробности в документации.
  • Проверка поисковых роботов больше не нагружает сервер, когда идёт поток запросов с поддельным именем робота. Роботы Google и Bing подтверждаются по спискам адресов, которые публикуют сами поисковые системы.

Обновление доступно через Центр обновлений CS-Cart. После установки зайдите в панель администратора: собственная база защиты обновляется при первом заходе, и новые лимиты начинают действовать с этого момента. Документация обновлена под версию 1.1.0.

Если у вас возникли вопросы или трудности, связанные с покупкой или использованием наших модулей, пожалуйста, обращайтесь в наш Центр поддержки.

1 лайк