Настройка сервера на РЕГ.РУ

Разработчикам Серверы и производительность
1

Здравствуйте, порекомендуйте пж администратора серверов на РЕГ.РУ
Сайт на cs-cart (много поддоменов) тормозит за счет переобхода поисковыми ботами. В вебмастере стоит скорость переобхода 0,01 в сек, но что-то периодами какие-то всплески и сайт начинает выдавать 500…
Много поддоменов, сотни тыс товаров, соответственно тысячи страниц листинга, фильтров и т.д.

2

Был выделенный сервер на рег ру. Тормоза - были. Стал разбираться. На серверах стояли обычные диски. Посчитал - добавить рейд из SSD выходило почти как стоимость самого сервера. Перешли на хостинг по максимальному тарифу VIP-4 - дешевле сервера, а скорость отдачи страниц возросла на порядок. Плюс голова не болит за двухнедельные бэкапы. Поэтому подумайте.

1 лайк
3

Спасибо за рекомендации, кого-то возможно спасет, но у меня размер файлов больше, чем лимит хостинга в 70 гб…(

1 лайк
4

Тогда да ) Тогда берите сервер с SSD сразу, возьмите ISP manager, после установки операционки на сервер ничего не ставьте, закажите сразу установку ISP. Донастроить можно будет потом, но это сильно облегчит и упростит вам жизнь

1 лайк
5

даже на быстрых ssd боты очень сильно сканируют, у меня есть список ботов которых нужно банить, добавлял их в htaccess + в конфиг nginx для бана. и самое главное забанить все подсети амазона, по ситуации еще алибабы.

6

Проще какой нибудь дебильный запрос к БД выпилить, которых там вагон, чем банить несчастных роботов:)

1 лайк
7

Да, BAD боты через htaccess тоже блокируются.
Подсказали еще решение, простое, но эффективное, это настройка блоков рекомендуемых товаров, товаров со скидками и т.д. - собрать товары вручную туда, иначе идет длительная сканировка и загрузка по подходящим условиям товарам. Нагрузка прямо хорошо упала, процентов на 40!!!.. Были блоки на главной + в товарах внизу (а их сотни тыс). Пока “атака ботов” проходит без видимости вообще. Наблюдаю)

8

ботов банить нужно однозначно) главное чтобы было кому логи смотреть)
мой список созданный с нуля для htaccess

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (SemrushBot|AhrefsBot|BLEXBot|MJ12bot|feed|link|DotBot|nbot|Amazonbot|ImagesiftBot|SeekportBot|DataForSeoBot|MegaIndexAuditBot|claudebot|Barkrowler|GPTBot|VelenPublicWebCrawler|keys-so-bot|meta-externalagent|facebookexternalhit|OAI-SearchBot) [NC]
RewriteRule .* - [F,L]
9

Всем привет!
Подскажите, модуль Антибот от АВ не решает вопрос по блокировке ботов?

10

блокировка каких ботов? что эти боты делают на вашем сайте?
есть много ботов которые сканируют ваш сайт как обычные поисковые боты.

11

обновленный список для htaccess

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (SemrushBot|AhrefsBot|BLEXBot|MJ12bot|feed|link|DotBot|nbot|Amazonbot|ImagesiftBot|SeekportBot|DataForSeoBot|MegaIndexAuditBot|claudebot|Barkrowler|GPTBot|VelenPublicWebCrawler|keys-so-bot|meta-externalagent|facebookexternalhit|OAI-SearchBot|python-requests|AwarioBot|crawler) [NC]
RewriteRule .* - [F,L]
12

Сегодня сайты часто перегружены трафиком от ботов и парсеров. Поисковые боты полезны, они индексируют сайт, а остальные лишь создают лишнюю нагрузку.

13

список таких ботов я написал + в дополнение к нему вам нужно логи посещений своего сайта посмотреть.

14

Он для другого.
Antibot.cloud можете посмотреть, если боты которые вас посещают хитрые.
А если обычные, то настроить примерно как выше посоветовали.