Robots.txt

Кстати, по ссылке из ваших логов открывается страница, на которой написано, как от этого бота избавиться :)

https://ahrefs.com/robot

Посмотрите пожалуйста robot.txt

Какие есть замечания?

User-agent: *
Disallow: /addons/
Disallow: /cgi-bin/
Disallow: /controllers/
Disallow: /core/
#Disallow: /images/
Disallow: /js/
Disallow: /lib/
Disallow: /payments/
Disallow: /schemas/
Disallow: /shippings/
Disallow: /skins/
Disallow: /var/
Disallow: /admin.php
Disallow: /config.php
Disallow: /config.local.php
Disallow: /prepare.php
Disallow: /store_closed.html
Sitemap: http://sait.ru/sitemap.xml
User-agent: Yandex
Disallow: /addons/
Disallow: /cgi-bin/
Disallow: /controllers/
Disallow: /core/
#Disallow: /images/
Disallow: /js/
Disallow: /lib/
Disallow: /payments/
Disallow: /schemas/
Disallow: /shippings/
Disallow: /skins/
Disallow: /var/
Disallow: /admin.php
Disallow: /config.php
Disallow: /config.local.php
Disallow: /store_closed.html
Host: sait.ru
Сайт на протоколе https

Подтверждаю.

Проблема с опухшим кешем решается правкой robots.txt, описанным в 43 посте

Моментально ушли 9 Гб кеша.

А вот действительно, подскажите! У нас две витрины. Каким образом разделить robots'ы? Директивы вроде Host и Sitemap ведь различаться будут...

А вот действительно, подскажите! У нас две витрины. Каким образом разделить robots'ы? Директивы вроде Host и Sitemap ведь различаться будут...

Проблема решается на стороне сервера. Обратитесь к администратору

День добрый!

Проблема решается на стороне сервера. Обратитесь к администратору

Прикладываю ответ от службы поддержки «Спринтхоста».

Здравствуйте.


Мы можем предложить Вам следующее решение: можно создать сайт irbisbor.ru как отдельный и тогда для него будет использоваться отдельный файл robots.txt .

Если же Вам требуется, чтобы доменг irbisbor.ru действовал исключительно как алиас, Вам потребуется обратиться к профильным специалистам по разработке сайтов, чтобы они создали Вам правила для данного файла, которые выполняют функции "если обращение идет к домену irbisbor.ru , то..." и "если обращение идет к домену bkmzlit.com , то..." .

Создать сайт как отдельный ведь не получится, у нас ведь две витрины для одной лицензии приобретены. А по поводу условий «если-если» вообще не понял ничего... Как это делается и как работает?((

Спасибо!

День добрый!

Прикладываю ответ от службы поддержки «Спринтхоста».

Создать сайт как отдельный ведь не получится, у нас ведь две витрины для одной лицензии приобретены. А по поводу условий «если-если» вообще не понял ничего... Как это делается и как работает?((

Спасибо!

Не могу сказать, какую магию делали наши админы, когда делали разные robots.txt для разных витрин. Оставьте запрос, вас проконсультируют

А вот действительно, подскажите! У нас две витрины. Каким образом разделить robots'ы? Директивы вроде Host и Sitemap ведь различаться будут...

Также интересует этот вопрос.

Доброе утро. Посмотрите плз мои robot.txt,а то Яндекс ночью 32 тысячи страниц у меня нашел, хотя их 320. НУ и соответственно нагрузка на CPU составила 25%, а у меня хостингом 10% позволено, еще раз так и забанят ((((

User-agent: *
Disallow: /images/thumbnails/
Disallow: /addons/
Disallow: /cgi-bin/
Disallow: /controllers/
Disallow: /core/
Disallow: /index.php?dispatch=
Disallow: /js/
Disallow: /lib/
Disallow: /skins/
Disallow: /payments/
Disallow: /schemas/
Disallow: /shippings/
Disallow: /skins/
Disallow: /store_closed.html
Disallow: /var/
Disallow: /404.html
Disallow: /config.php
Disallow: /config.local.php
Disallow: /init.php
Disallow: /prepare.php
Disallow: /store_closed.html
Disallow: /app/
Disallow: /checkout/
Disallow: /profiles-update/
Disallow: /orders/
Disallow: /search/
Disallow: /goods/
Disallow: /compare/
Disallow: /cart/
Disallow: /order/
Disallow: /user/
Disallow: /?subcats
Disallow: /login/
Disallow: /*sl=
Disallow: /*sort_by=
Disallow: /*layout=
Disallow: /*currency=
Disallow: /*variant_id=
Disallow: /*verification_id=
Disallow: /*display=
Disallow: /*page=
Disallow: /*more_filters=
Disallow: /*subcats=
Disallow: /*items_per_page=
Disallow: /*return_url=
Disallow: /*features_hash=
Disallow: /*dispatch=auth
Disallow: /*dispatch=products.search
Disallow: /*dispatch=checkout.cart
Disallow: /*dispatch=tags.summary
Disallow: /*dispatch=profiles.add
Disallow: /*dispatch=orders.search
Disallow: /*dispatch=events.search
Disallow: /*dispatch=news.lis
Disallow: /*dispatch=profiles.update
Crawl-delay: 360
Sitemap: http://***.ru/sitemap.xml
Host: ***.ru
User-agent: Yandex
Crawl-delay: 360

Заранее спасибо.

Доброе утро. Посмотрите плз мои robot.txt,а то Яндекс ночью 32 тысячи страниц у меня нашел, хотя их 320. НУ и соответственно нагрузка на CPU составила 25%, а у меня хостингом 10% позволено, еще раз так и забанят ((((

Заранее спасибо.

у вас версия какая?

спрашиваю, потому что если правило начинается со слэша - это значит от корня веб сервера

у меня вот так

User-agent: *
Disallow: /app/
Disallow: /store_closed.html
Disallow: ваш_админ_скрипт.php
Disallow: /login
Disallow: /index.php?dispatch=products.newest&
Disallow: /index.php?dispatch=products.search
Disallow: /index.php?dispatch=products.quick_view
Clean-param: items_per_page&sort_by&sort_order
Host: www.домен.ru
Sitemap: http://www.домен.ru/sitemap.xml

Clean-param работает только для яндекса.

у вас версия какая?

спрашиваю, потому что если правило начинается со слэша - это значит от корня веб сервера

у меня вот так

User-agent: *
Disallow: /app/
Disallow: /store_closed.html
Disallow: ваш_админ_скрипт.php
Disallow: /login
Disallow: /index.php?dispatch=products.newest&
Disallow: /index.php?dispatch=products.search
Disallow: /index.php?dispatch=products.quick_view
Clean-param: items_per_page&sort_by&sort_order
Host: www.домен.ru
Sitemap: http://www.домен.ru/sitemap.xml

Clean-param работает только для яндекса.

Алексей, добрый день. Версия 4,3,9. Понадергал в robot.txt все что нашел на форму и то, что проиндексировал Яндекс. Буду благодарен за пример правильной информации (которую можно скопировать, вставить и забыть) для robot.txt , да и другие пользователи cs-cart думаю тоже.

Алексей, добрый день. Версия 4,3,9. Понадергал в robot.txt все что нашел на форму и то, что проиндексировал Яндекс. Буду благодарен за пример правильной информации (которую можно скопировать, вставить и забыть) для robot.txt , да и другие пользователи cs-cart думаю тоже.

В принципе этот вариант я прописал после работы с яндекс вебмастером. Из ста тысяч страниц из индекса ушло примерно девять десятых

Доброе утро. Посмотрите плз мои robot.txt,а то Яндекс ночью 32 тысячи страниц у меня нашел, хотя их 320. НУ и соответственно нагрузка на CPU составила 25%, а у меня хостингом 10% позволено, еще раз так и забанят ((((

Заранее спасибо.

Вы забыли еще css заблокировать, у вас и так на мобильную версию никто уже не пойдет, добейте

Доброе утро. Посмотрите плз мои robot.txt,а то Яндекс ночью 32 тысячи страниц у меня нашел, хотя их 320. НУ и соответственно нагрузка на CPU составила 25%, а у меня хостингом 10% позволено, еще раз так и забанят ((((

Заранее спасибо

Здравствуйте.

Яндекс ночью 32 тысячи страниц у меня нашел - радуйтесь! Больше страниц в индексе - больше СЕО трафика!

Я пользуюсь безлимитным хостингом уже более 3х лет, веду 2 аккаунта, личный petkin.ru (10000 товаров) и компании petsburg.ru (45000 просмотров в месяц, около 3000 товаров, в индексе Яндекса были 9500 страниц). Можете оценить скорость работы.

Вот тут ссылка на сайт безлимитного хостинга. До этого пользовался hc.ru , spaceweb - сильно ограниченные ресурсы, серваки сразу обрубают выполнение скрипта. Также у меня возникали проблемы при обновлении CS-Carta, т.к. происходит большое количество обращений к файловой системе сервера и базе данных, и нет возможности настроить выделение ресурсов для выполнения скрипта.

На безлимитном хостинге все летает, без тормозов. Пробуйте, есть пробный период.

Как ненавязчиво, аккуратно и витиевато впарена нам рефф ссылка на безлимитный говнохостинг. Так и хочется спросить, ребяты, а че, так можно делать тут, можно я составлю список и тоже вывалю? :)

Не, я понимаю, что petkin хочет лишнюю копеечку срубить, но нахрена вот так откровенно, в теме про роботсы писать как офигенно, что яндекс схавал у тебя кучу дерьма :)

а че, так можно делать тут? :)

Делать то "можно", только здесь в основном люди приличные сидят и до такого не опускаются)

Делать то "можно", только здесь в основном люди приличные сидят и до такого не опускаются)

Ну я про что и говорю, "кто скажет, что это девочка, пусть первый кинет в меня камень"(с), все мы не без греха, но вот так, придти, и зфигачить ... У меня челюсть настолько сильно упала на клаву, что случайно напечаталось сообщение выше.

Коллеги, какое сейчас верное решение для страниц пагинации?

У меня в 4.3.5 нет в каталоге каноникл, а должно быть?

Стоит ли для пагинации ставить метатэг?

То, что в роботсе закрыто - это не значит что робот не пройдется по этим ссылкам. Это значит, что вы не хотите чтобы это попало в индекс, и всего то.

С последними апдейтами можно убрать

User-agent: Yandex
Disallow: /*/page-*/
Сейчас правильно выводится каноникал, и дубли не должны вылазить больше.

Не знаю как в 435, но в 439 вот так:

    
    
    

Заточено под гугл. Напомню, яндекс не знает что делать с rel="prev" rel="next". В какой то версии внезапно перепилили и опять в яндексе началась свистопляска с пагинацией. Так что,

User-agent: Yandex
Disallow: /*/page-*/

возможно снова актуален.

Да лучше оставить закрытые страницы Disallow: //page-/ … даже если яндекс будет нормально обрабатывать их зачем плодить много страниц???