Идеальный robot.txt


#1

Всем привет. Как написать хороший робот.тхт?
При множестве записей гугл плохо кеширует сайт, вот так это выглядит
https://webcache.googleusercontent.com/search?q=cache:lifefight.ru

При дефолтном роботе лучше, но соответственно больше того чего не нужно. Стоит ли прописывать для каждого агента или достаточно просто юзер агент*?


#2

Что скажете о таком варианте?
User-agent: *
Disallow: /images/thumbnails/
Disallow: /cgi-bin/
Disallow: /app/
Disallow: /design/
Disallow: /js/
Disallow: /var/
Disallow: /store_closed.html
Disallow: /404.html
Disallow: /init.php
Disallow: /php.ini
Disallow: /prepare.php
Disallow: /sendmail/
Disallow: /*sl=
Disallow: /*currency=
Disallow: /*sort_by=
Disallow: /*layout=
Disallow: /*variant_id=
Disallow: /*display=
Disallow: /*page=
Disallow: /*return_url=
Disallow: /*more_filters=
Disallow: /*features_hash=
Disallow: /subcats=
Disallow: /
?sef_rewrite=
Disallow: /tags.summary
Disallow: /wishlist.view
Disallow: /login?
Disallow: /profiles-update
Disallow: /index.php?dispatch=products.quick_view
Disallow: /index.php?dispatch=auth.recover_password
Disallow: /index.php?dispatch=events.search
Disallow: /index.php?dispatch=auth.login_form
Disallow: /index.php?dispatch=gift_certificates.add
Disallow: /index.php?dispatch=news.list
Disallow: /index.php?dispatch=orders.search
Disallow: /index.php?dispatch=profiles.update
Disallow: /index.php?dispatch=profiles.add
Disallow: /index.php?dispatch=checkout.cart
Sitemap: http://example.com/sitemap.xml


#3

Плохой вариант


#5

А какой хороший? На демке дефолтный стоит

User-agent: *
Disallow: /app/
Disallow: /store_closed.html

гугл нормально у вас кеширует(юни тема). Его достаточно? Или все таки есть идеальный робот для юни, если да то какой?


#6

Откройте поисковой машине сайт для интексации (я не про параметры ссылок) а про дизайн и кеш.
А вообще, это лучше к сеошнику.


#7

А где он еще закрыт?


#8

ну о чем написал то, где его открыть?

А такое можно писать под каждым постом в форуме)))


#9

Найдите несколько сайтов на CS-Cart и посмотрите какие примерно делают robots.txt. Запрещать для индексации var, design, js особо нет нужды. Гугл одно время делал рассылку, что скрипты и css должны быть открыты для индексации.


#10

если закрыть Disallow: /js/ то гугл даже будет ругаться на ошибку так как не будет видеть сайт как он есть.


#11

вас в общем в правильном направлении отправили :slight_smile: 1) находите через поиск контору которая занимается seo оптимизацией cs-cart лезете к ним в портфолио и у сайта образца сдуваете роботс. 2) тут уже была большая тема про роботс, можно было начать с нее или продолжить ее.


#12

А у вас как? я пока так прописал

User-agent: *
Disallow: /app/
Disallow: /store_closed.html
Sitemap: https://lifefight.ru/sitemap.xml

как на демке.


#13

у меня простыня, вам не понравится :slight_smile:

PS понимаю что * ? * в звездочках делает ненужными другие запреты, но так исторически сложилось :wink: а руки исправить не доходят


#14

Да простыня то ладно, главное чтобы функцию свою выполнял и ничего не ломал) Вообще не пойму почему еще нет нигде нормального робот.тхт для карта. Кстати тот что в начале я писал в поисковике нашел с такой подписью(robot.txt для cs cart) Это же более менее универсальная штука.


#15

User-agent: Yandex
Disallow: /images/thumbnails/
Disallow: /cgi-bin/
Disallow: /app/
Disallow: /design/
Disallow: /js/
Disallow: /var/
Disallow: /store_closed.html
Disallow: /404.html
Disallow: /init.php
Disallow: /php.ini
Disallow: /prepare.php
Disallow: /sendmail/
Disallow: /*sl=
Disallow: /*currency=
Disallow: /*sort_by=
Disallow: /*layout=
Disallow: /*variant_id=
Disallow: /*display=
Disallow: /*page=
Disallow: /*return_url=
Disallow: /*more_filters=
Disallow: /*features_hash=
Disallow: /subcats=
Disallow: /
?sef_rewrite=
Disallow: /tags.summary
Disallow: /wishlist.view
Disallow: /login?
Disallow: /profiles-update
Disallow: /index.php?dispatch=products.quick_view
Disallow: /index.php?dispatch=auth.recover_password
Disallow: /index.php?dispatch=events.search
Disallow: /index.php?dispatch=auth.login_form
Disallow: /index.php?dispatch=gift_certificates.add
Disallow: /index.php?dispatch=news.list
Disallow: /index.php?dispatch=orders.search
Disallow: /index.php?dispatch=profiles.update
Disallow: /index.php?dispatch=profiles.add
Disallow: /index.php?dispatch=checkout.cart
Host: example.com

User-agent: *
Disallow: /images/thumbnails/
Disallow: /cgi-bin/
Disallow: /app/
Disallow: /design/
Disallow: /js/
Disallow: /var/
Disallow: /store_closed.html
Disallow: /404.html
Disallow: /init.php
Disallow: /php.ini
Disallow: /prepare.php
Disallow: /sendmail/
Disallow: /*sl=
Disallow: /*currency=
Disallow: /*sort_by=
Disallow: /*layout=
Disallow: /*variant_id=
Disallow: /*display=
Disallow: /*page=
Disallow: /*return_url=
Disallow: /*more_filters=
Disallow: /*features_hash=
Disallow: /subcats=
Disallow: /
?sef_rewrite=
Disallow: /tags.summary
Disallow: /wishlist.view
Disallow: /login?
Disallow: /profiles-update
Disallow: /index.php?dispatch=products.quick_view
Disallow: /index.php?dispatch=auth.recover_password
Disallow: /index.php?dispatch=events.search
Disallow: /index.php?dispatch=auth.login_form
Disallow: /index.php?dispatch=gift_certificates.add
Disallow: /index.php?dispatch=news.list
Disallow: /index.php?dispatch=orders.search
Disallow: /index.php?dispatch=profiles.update
Disallow: /index.php?dispatch=profiles.add
Disallow: /index.php?dispatch=checkout.cart
Sitemap: http://example.com/sitemap.xml


#16

яндексу нужен host?
Disallow: /js/ - гугл не ругается? ведь он не может оценить страницу


#17

кто может мне подсказать о чем он говорит?)


#18

Дизайн, джеес, вар, кеш удалите из файла, разрешите гуглу видеть ваш сайт. Скажите, кто вам подсказал это закрыть??? Это же факап конкретный)))

Роботс по умолчанию лучше, чем у вас.


#20

у меня вот такой робот стоит
User-agent: *
Disallow: /app/
Disallow: /store_closed.html
Sitemap: https://lifefight.ru/sitemap.xml

то что я писал, это пример с какого то сайта типа ,робот для cs cart"


#21

Или вы про этот и говорите?


#22

Давайте напишем идеальный или что это секрет что ли какой то?:face_with_raised_eyebrow::zipper_mouth_face: