Добрый день.
Подскажите пожалуйста, у cs-cart есть ограничение по товарам? Какое оно?
На сайт добавили 170К товаров и сайт просто перегружен запросами роботов Яндекса:
Если блокирую данного робота через юзер-агент, начинают приходить уведомления, что сайт отвечает ошибкой 403 (т.е. данный робот участвует в отображении страниц в поиске).
При проверке через вебмастер все ОК, код 200, но страницы вылетают из поиска…
Сам YaDirectFetcher/1.0 не реагирует никак на настройки обхода или robots.txt.
Подскажите пож, как решить данную проблему? Как увеличить пропускную способность БД или что он там перегружает запросами… И вообще, почему обычный робот яндекса убивает сайт? Что не так?
т.е. получается, что если блокирую данного робота, то сайт вылетает и не участвует в поиске. Если не блокирую, то ложится и выдает 500-ые ошибки.
Проверьте не включена ли у вас в темах перерисовка шаблона.
Модуль кеширования от cs-commerce может помочь.
Проверить лог медленных запросов на сервере.
Перерисовка шаблона?
Модуль кэширования, который вы указали - есть и включен. Не спасает…
Запросов от робота много, они с различными GET-параметрами и все в лучших традициях DDoS
У нас были проблемы ранее такие же что вы описываете, ddos атаки и боты шли с github и яндекса, серверный админ забанил самые частые и что-то там настроил если повторно один и тот же стучался банился, и сказал включить рекапку. Сайт тупо выбивал писало что витрина закрыта. После всего этого ни разу не было такого, год прошел.
А как же индексация?
У меня тоже заблокированы боты и роботы, всякие M12Jbot, Bing и прочий хлам. Тут вопросов нет.
Один вопрос по яндексу. Что его робот Ddos-ит и хрен че сделаешь. Блокирую, все норм (скрин выше), но тогда страницы вылетают из индекса, по-крайней мере приходят уведомления, что страницы начали отвечать 403. И в вебмастере предупреждения.
Ботов блокировали ненужных, которые отвечали за индексацию не банил он. А вот страницы отвечают которые у вас 403 при переходе на страницу доступны или нет?
Просто у меня как-то тоже Веб мастер таких ошибок накидал, он показывает 404 а страница доступна, написал в ТП мне сказали на момент обхода что-то там аля произошло, переобойдет и все будет нормально ошибки уйдут.
Спс, попробую перетерпеть кучу кучную уведомлений…
А страницы доступны (200 ок) через вебмастер - проверку ответа сервера. Сыпятся уведомления о недоступности и 403, а через проверку в вебмастере 200 (ок).
т.е. хотите сказать, что пусть сыпятся уведомления и все норм будет?)
На текущий момент данного робота заблокировал. Толку то, что сайт в поиске, но не доступен (500).
В поддержку яндекса пишу, но отписки, что учтем ваши пожелания и передадим информацию разработчикам. Да толку то… Неделю уже пишут однотипные ответы.
Не знаю как у вас, у меня так и было, просто переждал я. В плане общения ТП Яндекса, первое письмо от бота а после подключался человек и помогал давал советы, бил на жалость что не понимаю ничего в этом )))
Ага, я это понимаю, что это его робот.
Но почему то шлет уведомления и ошибки о поисковых ошибках.
При этом, до НГ не было что ли этого робота? Он появился в январе.
Уже хорошо.
Модуль по умолчанию показывает ботам страницы без кеша.
Попросите разработчика может он для этого бота изменит вам поведение модуля.
Смысл в этом конечно есть если бот часто посещает одни и теже страницы.
Скажите плиз с помощью чего вы поддомены делали.
И у вас на сайте что то съехало.
Как это так? В нем тогда смысла нет:) Ну и кэш в его случае не спасет, у него всегда будут страницы незакешированные, т.к. их слишком много, кэш не средство повышения производительности.
