Кстати, по ссылке из ваших логов открывается страница, на которой написано, как от этого бота избавиться :)
Кстати, по ссылке из ваших логов открывается страница, на которой написано, как от этого бота избавиться :)
Посмотрите пожалуйста robot.txt
Какие есть замечания?
Подтверждаю.
Проблема с опухшим кешем решается правкой robots.txt, описанным в 43 посте
Моментально ушли 9 Гб кеша.
А вот действительно, подскажите! У нас две витрины. Каким образом разделить robots'ы? Директивы вроде Host и Sitemap ведь различаться будут...
А вот действительно, подскажите! У нас две витрины. Каким образом разделить robots'ы? Директивы вроде Host и Sitemap ведь различаться будут...
Проблема решается на стороне сервера. Обратитесь к администратору
День добрый!
Проблема решается на стороне сервера. Обратитесь к администратору
Прикладываю ответ от службы поддержки «Спринтхоста».
Здравствуйте.
Мы можем предложить Вам следующее решение: можно создать сайт irbisbor.ru как отдельный и тогда для него будет использоваться отдельный файл robots.txt .
Если же Вам требуется, чтобы доменг irbisbor.ru действовал исключительно как алиас, Вам потребуется обратиться к профильным специалистам по разработке сайтов, чтобы они создали Вам правила для данного файла, которые выполняют функции "если обращение идет к домену irbisbor.ru , то..." и "если обращение идет к домену bkmzlit.com , то..." .
Создать сайт как отдельный ведь не получится, у нас ведь две витрины для одной лицензии приобретены. А по поводу условий «если-если» вообще не понял ничего... Как это делается и как работает?((
Спасибо!
День добрый!
Прикладываю ответ от службы поддержки «Спринтхоста».
Создать сайт как отдельный ведь не получится, у нас ведь две витрины для одной лицензии приобретены. А по поводу условий «если-если» вообще не понял ничего... Как это делается и как работает?((
Спасибо!
Не могу сказать, какую магию делали наши админы, когда делали разные robots.txt для разных витрин. Оставьте запрос, вас проконсультируют
А вот действительно, подскажите! У нас две витрины. Каким образом разделить robots'ы? Директивы вроде Host и Sitemap ведь различаться будут...
Также интересует этот вопрос.
Доброе утро. Посмотрите плз мои robot.txt,а то Яндекс ночью 32 тысячи страниц у меня нашел, хотя их 320. НУ и соответственно нагрузка на CPU составила 25%, а у меня хостингом 10% позволено, еще раз так и забанят ((((
User-agent: *Disallow: /images/thumbnails/Disallow: /addons/Disallow: /cgi-bin/Disallow: /controllers/Disallow: /core/Disallow: /index.php?dispatch=Disallow: /js/Disallow: /lib/Disallow: /skins/Disallow: /payments/Disallow: /schemas/Disallow: /shippings/Disallow: /skins/Disallow: /store_closed.htmlDisallow: /var/Disallow: /404.htmlDisallow: /config.phpDisallow: /config.local.phpDisallow: /init.phpDisallow: /prepare.phpDisallow: /store_closed.htmlDisallow: /app/Disallow: /checkout/Disallow: /profiles-update/Disallow: /orders/Disallow: /search/Disallow: /goods/Disallow: /compare/Disallow: /cart/Disallow: /order/Disallow: /user/Disallow: /?subcatsDisallow: /login/Disallow: /*sl=Disallow: /*sort_by=Disallow: /*layout=Disallow: /*currency=Disallow: /*variant_id=Disallow: /*verification_id=Disallow: /*display=Disallow: /*page=Disallow: /*more_filters=Disallow: /*subcats=Disallow: /*items_per_page=Disallow: /*return_url=Disallow: /*features_hash=Disallow: /*dispatch=authDisallow: /*dispatch=products.searchDisallow: /*dispatch=checkout.cartDisallow: /*dispatch=tags.summaryDisallow: /*dispatch=profiles.addDisallow: /*dispatch=orders.searchDisallow: /*dispatch=events.searchDisallow: /*dispatch=news.lisDisallow: /*dispatch=profiles.updateCrawl-delay: 360Sitemap: http://***.ru/sitemap.xmlHost: ***.ruUser-agent: YandexCrawl-delay: 360
Заранее спасибо.
Доброе утро. Посмотрите плз мои robot.txt,а то Яндекс ночью 32 тысячи страниц у меня нашел, хотя их 320. НУ и соответственно нагрузка на CPU составила 25%, а у меня хостингом 10% позволено, еще раз так и забанят ((((
Заранее спасибо.
у вас версия какая?
спрашиваю, потому что если правило начинается со слэша - это значит от корня веб сервера
у меня вот так
User-agent: * Disallow: /app/ Disallow: /store_closed.html Disallow: ваш_админ_скрипт.php Disallow: /login Disallow: /index.php?dispatch=products.newest& Disallow: /index.php?dispatch=products.search Disallow: /index.php?dispatch=products.quick_view Clean-param: items_per_page&sort_by&sort_order Host: www.домен.ru Sitemap: http://www.домен.ru/sitemap.xml
Clean-param работает только для яндекса.
у вас версия какая?
спрашиваю, потому что если правило начинается со слэша - это значит от корня веб сервера
у меня вот так
User-agent: * Disallow: /app/ Disallow: /store_closed.html Disallow: ваш_админ_скрипт.php Disallow: /login Disallow: /index.php?dispatch=products.newest& Disallow: /index.php?dispatch=products.search Disallow: /index.php?dispatch=products.quick_view Clean-param: items_per_page&sort_by&sort_order Host: www.домен.ru Sitemap: http://www.домен.ru/sitemap.xmlClean-param работает только для яндекса.
Алексей, добрый день. Версия 4,3,9. Понадергал в robot.txt все что нашел на форму и то, что проиндексировал Яндекс. Буду благодарен за пример правильной информации (которую можно скопировать, вставить и забыть) для robot.txt , да и другие пользователи cs-cart думаю тоже.
Алексей, добрый день. Версия 4,3,9. Понадергал в robot.txt все что нашел на форму и то, что проиндексировал Яндекс. Буду благодарен за пример правильной информации (которую можно скопировать, вставить и забыть) для robot.txt , да и другие пользователи cs-cart думаю тоже.
В принципе этот вариант я прописал после работы с яндекс вебмастером. Из ста тысяч страниц из индекса ушло примерно девять десятых
Доброе утро. Посмотрите плз мои robot.txt,а то Яндекс ночью 32 тысячи страниц у меня нашел, хотя их 320. НУ и соответственно нагрузка на CPU составила 25%, а у меня хостингом 10% позволено, еще раз так и забанят ((((
Заранее спасибо.
Вы забыли еще css заблокировать, у вас и так на мобильную версию никто уже не пойдет, добейте
Доброе утро. Посмотрите плз мои robot.txt,а то Яндекс ночью 32 тысячи страниц у меня нашел, хотя их 320. НУ и соответственно нагрузка на CPU составила 25%, а у меня хостингом 10% позволено, еще раз так и забанят ((((
Заранее спасибо
Здравствуйте.
Яндекс ночью 32 тысячи страниц у меня нашел - радуйтесь! Больше страниц в индексе - больше СЕО трафика!
Я пользуюсь безлимитным хостингом уже более 3х лет, веду 2 аккаунта, личный petkin.ru (10000 товаров) и компании petsburg.ru (45000 просмотров в месяц, около 3000 товаров, в индексе Яндекса были 9500 страниц). Можете оценить скорость работы.
Вот тут ссылка на сайт безлимитного хостинга. До этого пользовался hc.ru , spaceweb - сильно ограниченные ресурсы, серваки сразу обрубают выполнение скрипта. Также у меня возникали проблемы при обновлении CS-Carta, т.к. происходит большое количество обращений к файловой системе сервера и базе данных, и нет возможности настроить выделение ресурсов для выполнения скрипта.
На безлимитном хостинге все летает, без тормозов. Пробуйте, есть пробный период.
Как ненавязчиво, аккуратно и витиевато впарена нам рефф ссылка на безлимитный говнохостинг. Так и хочется спросить, ребяты, а че, так можно делать тут, можно я составлю список и тоже вывалю? :)
Не, я понимаю, что petkin хочет лишнюю копеечку срубить, но нахрена вот так откровенно, в теме про роботсы писать как офигенно, что яндекс схавал у тебя кучу дерьма :)
а че, так можно делать тут? :)
Делать то "можно", только здесь в основном люди приличные сидят и до такого не опускаются)
Делать то "можно", только здесь в основном люди приличные сидят и до такого не опускаются)
Ну я про что и говорю, "кто скажет, что это девочка, пусть первый кинет в меня камень"(с), все мы не без греха, но вот так, придти, и зфигачить ... У меня челюсть настолько сильно упала на клаву, что случайно напечаталось сообщение выше.
Коллеги, какое сейчас верное решение для страниц пагинации?
У меня в 4.3.5 нет в каталоге каноникл, а должно быть?
Стоит ли для пагинации ставить метатэг?
То, что в роботсе закрыто - это не значит что робот не пройдется по этим ссылкам. Это значит, что вы не хотите чтобы это попало в индекс, и всего то.
С последними апдейтами можно убрать
User-agent: Yandex Disallow: /*/page-*/Сейчас правильно выводится каноникал, и дубли не должны вылазить больше.
Не знаю как в 435, но в 439 вот так:
Заточено под гугл. Напомню, яндекс не знает что делать с rel="prev" rel="next". В какой то версии внезапно перепилили и опять в яндексе началась свистопляска с пагинацией. Так что,
User-agent: Yandex Disallow: /*/page-*/
возможно снова актуален.
Да лучше оставить закрытые страницы Disallow: //page-/ … даже если яндекс будет нормально обрабатывать их зачем плодить много страниц???