Настройка сервера на РЕГ.РУ

Разработчикам Серверы и производительность
1

Здравствуйте, порекомендуйте пж администратора серверов на РЕГ.РУ
Сайт на cs-cart (много поддоменов) тормозит за счет переобхода поисковыми ботами. В вебмастере стоит скорость переобхода 0,01 в сек, но что-то периодами какие-то всплески и сайт начинает выдавать 500…
Много поддоменов, сотни тыс товаров, соответственно тысячи страниц листинга, фильтров и т.д.

2

Был выделенный сервер на рег ру. Тормоза - были. Стал разбираться. На серверах стояли обычные диски. Посчитал - добавить рейд из SSD выходило почти как стоимость самого сервера. Перешли на хостинг по максимальному тарифу VIP-4 - дешевле сервера, а скорость отдачи страниц возросла на порядок. Плюс голова не болит за двухнедельные бэкапы. Поэтому подумайте.

1 лайк
3

Спасибо за рекомендации, кого-то возможно спасет, но у меня размер файлов больше, чем лимит хостинга в 70 гб…(

1 лайк
4

Тогда да ) Тогда берите сервер с SSD сразу, возьмите ISP manager, после установки операционки на сервер ничего не ставьте, закажите сразу установку ISP. Донастроить можно будет потом, но это сильно облегчит и упростит вам жизнь

1 лайк
5

даже на быстрых ssd боты очень сильно сканируют, у меня есть список ботов которых нужно банить, добавлял их в htaccess + в конфиг nginx для бана. и самое главное забанить все подсети амазона, по ситуации еще алибабы.

6

Проще какой нибудь дебильный запрос к БД выпилить, которых там вагон, чем банить несчастных роботов:)

1 лайк
7

Да, BAD боты через htaccess тоже блокируются.
Подсказали еще решение, простое, но эффективное, это настройка блоков рекомендуемых товаров, товаров со скидками и т.д. - собрать товары вручную туда, иначе идет длительная сканировка и загрузка по подходящим условиям товарам. Нагрузка прямо хорошо упала, процентов на 40!!!.. Были блоки на главной + в товарах внизу (а их сотни тыс). Пока “атака ботов” проходит без видимости вообще. Наблюдаю)

8

ботов банить нужно однозначно) главное чтобы было кому логи смотреть)
мой список созданный с нуля для htaccess

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (SemrushBot|AhrefsBot|BLEXBot|MJ12bot|feed|link|DotBot|nbot|Amazonbot|ImagesiftBot|SeekportBot|DataForSeoBot|MegaIndexAuditBot|claudebot|Barkrowler|GPTBot|VelenPublicWebCrawler|keys-so-bot|meta-externalagent|facebookexternalhit|OAI-SearchBot) [NC]
RewriteRule .* - [F,L]