Всем привет. Как написать хороший робот.тхт?
При множестве записей гугл плохо кеширует сайт, вот так это выглядит
https://webcache.googleusercontent.com/search?q=cache:lifefight.ru
При дефолтном роботе лучше, но соответственно больше того чего не нужно. Стоит ли прописывать для каждого агента или достаточно просто юзер агент*?
Что скажете о таком варианте?
User-agent: *
Disallow: /images/thumbnails/
Disallow: /cgi-bin/
Disallow: /app/
Disallow: /design/
Disallow: /js/
Disallow: /var/
Disallow: /store_closed.html
Disallow: /404.html
Disallow: /init.php
Disallow: /php.ini
Disallow: /prepare.php
Disallow: /sendmail/
Disallow: /*sl=
Disallow: /*currency=
Disallow: /*sort_by=
Disallow: /*layout=
Disallow: /*variant_id=
Disallow: /*display=
Disallow: /*page=
Disallow: /*return_url=
Disallow: /*more_filters=
Disallow: /*features_hash=
Disallow: /subcats=
Disallow: /?sef_rewrite=
Disallow: /tags.summary
Disallow: /wishlist.view
Disallow: /login?
Disallow: /profiles-update
Disallow: /index.php?dispatch=products.quick_view
Disallow: /index.php?dispatch=auth.recover_password
Disallow: /index.php?dispatch=events.search
Disallow: /index.php?dispatch=auth.login_form
Disallow: /index.php?dispatch=gift_certificates.add
Disallow: /index.php?dispatch=news.list
Disallow: /index.php?dispatch=orders.search
Disallow: /index.php?dispatch=profiles.update
Disallow: /index.php?dispatch=profiles.add
Disallow: /index.php?dispatch=checkout.cart
Sitemap: http://example.com/sitemap.xml
Плохой вариант
А какой хороший? На демке дефолтный стоит
User-agent: *
Disallow: /app/
Disallow: /store_closed.html
гугл нормально у вас кеширует(юни тема). Его достаточно? Или все таки есть идеальный робот для юни, если да то какой?
Откройте поисковой машине сайт для интексации (я не про параметры ссылок) а про дизайн и кеш.
А вообще, это лучше к сеошнику.
А где он еще закрыт?
ну о чем написал то, где его открыть?
А такое можно писать под каждым постом в форуме)))
Найдите несколько сайтов на CS-Cart и посмотрите какие примерно делают robots.txt. Запрещать для индексации var, design, js особо нет нужды. Гугл одно время делал рассылку, что скрипты и css должны быть открыты для индексации.
если закрыть Disallow: /js/ то гугл даже будет ругаться на ошибку так как не будет видеть сайт как он есть.
вас в общем в правильном направлении отправили 
1) находите через поиск контору которая занимается seo оптимизацией cs-cart лезете к ним в портфолио и у сайта образца сдуваете роботс. 2) тут уже была большая тема про роботс, можно было начать с нее или продолжить ее.
А у вас как? я пока так прописал
User-agent: *
Disallow: /app/
Disallow: /store_closed.html
Sitemap: https://lifefight.ru/sitemap.xml
как на демке.
у меня простыня, вам не понравится
PS понимаю что * ? * в звездочках делает ненужными другие запреты, но так исторически сложилось 
а руки исправить не доходят
Да простыня то ладно, главное чтобы функцию свою выполнял и ничего не ломал) Вообще не пойму почему еще нет нигде нормального робот.тхт для карта. Кстати тот что в начале я писал в поисковике нашел с такой подписью(robot.txt для cs cart) Это же более менее универсальная штука.
User-agent: Yandex
Disallow: /images/thumbnails/
Disallow: /cgi-bin/
Disallow: /app/
Disallow: /design/
Disallow: /js/
Disallow: /var/
Disallow: /store_closed.html
Disallow: /404.html
Disallow: /init.php
Disallow: /php.ini
Disallow: /prepare.php
Disallow: /sendmail/
Disallow: /*sl=
Disallow: /*currency=
Disallow: /*sort_by=
Disallow: /*layout=
Disallow: /*variant_id=
Disallow: /*display=
Disallow: /*page=
Disallow: /*return_url=
Disallow: /*more_filters=
Disallow: /*features_hash=
Disallow: /subcats=
Disallow: /?sef_rewrite=
Disallow: /tags.summary
Disallow: /wishlist.view
Disallow: /login?
Disallow: /profiles-update
Disallow: /index.php?dispatch=products.quick_view
Disallow: /index.php?dispatch=auth.recover_password
Disallow: /index.php?dispatch=events.search
Disallow: /index.php?dispatch=auth.login_form
Disallow: /index.php?dispatch=gift_certificates.add
Disallow: /index.php?dispatch=news.list
Disallow: /index.php?dispatch=orders.search
Disallow: /index.php?dispatch=profiles.update
Disallow: /index.php?dispatch=profiles.add
Disallow: /index.php?dispatch=checkout.cart
Host: example.com
User-agent: *
Disallow: /images/thumbnails/
Disallow: /cgi-bin/
Disallow: /app/
Disallow: /design/
Disallow: /js/
Disallow: /var/
Disallow: /store_closed.html
Disallow: /404.html
Disallow: /init.php
Disallow: /php.ini
Disallow: /prepare.php
Disallow: /sendmail/
Disallow: /*sl=
Disallow: /*currency=
Disallow: /*sort_by=
Disallow: /*layout=
Disallow: /*variant_id=
Disallow: /*display=
Disallow: /*page=
Disallow: /*return_url=
Disallow: /*more_filters=
Disallow: /*features_hash=
Disallow: /subcats=
Disallow: /?sef_rewrite=
Disallow: /tags.summary
Disallow: /wishlist.view
Disallow: /login?
Disallow: /profiles-update
Disallow: /index.php?dispatch=products.quick_view
Disallow: /index.php?dispatch=auth.recover_password
Disallow: /index.php?dispatch=events.search
Disallow: /index.php?dispatch=auth.login_form
Disallow: /index.php?dispatch=gift_certificates.add
Disallow: /index.php?dispatch=news.list
Disallow: /index.php?dispatch=orders.search
Disallow: /index.php?dispatch=profiles.update
Disallow: /index.php?dispatch=profiles.add
Disallow: /index.php?dispatch=checkout.cart
Sitemap: http://example.com/sitemap.xml
яндексу нужен host?
Disallow: /js/ - гугл не ругается? ведь он не может оценить страницу
кто может мне подсказать о чем он говорит?)
Дизайн, джеес, вар, кеш удалите из файла, разрешите гуглу видеть ваш сайт. Скажите, кто вам подсказал это закрыть??? Это же факап конкретный)))
Роботс по умолчанию лучше, чем у вас.
у меня вот такой робот стоит
User-agent: *
Disallow: /app/
Disallow: /store_closed.html
Sitemap: https://lifefight.ru/sitemap.xml
то что я писал, это пример с какого то сайта типа ,робот для cs cart"
Или вы про этот и говорите?
Давайте напишем идеальный или что это секрет что ли какой то?
