Идеальный robot.txt

alexsei_8 · 24.Май.2021 17:05:41

смотрите сайты лидеров на этом движке и коммуниздите оттуда роботс. куда проще. там уже повозились сеошники, взяли даже с них за это деньги

как я понимаю роботс по умолчанию уже достаточен т к от индексации ненужные страницы закрыты непосредственно на страницах тегами нороботс нофлоу. дальше уже идут настройки конкретно вашей конфигурации, есть ли у вас вариации, фильтры отзывы и т д. Если они есть и не закрыты на страницах тогда запрет прописывается в роботсе. Эти страницы вычисляются сеошниками, либо самостоятельно. Идеальный роботс написать невозможно.

Yury_Ilin · 04.Сентябрь.2021 09:38:59

Удалось прийти к идеальному robtos? у меня такие же ошибки были ровно как у вас.

Andcord · 26.Сентябрь.2021 04:37:00

Добрый день, решил апнуть тему может кто то подскажет двигаюсь в нужном направлении ?

User-agent: *
Disallow: /app/
Disallow: /store_closed.html
Disallow: /404.html
Disallow: /init.php
Disallow: /php.ini
Disallow: /prepare.php
Disallow: /sendmail/
Disallow: /*sl=
Disallow: /*currency=
Disallow: /*sort_by=
Disallow: /*layout=
Disallow: /*variant_id=
Disallow: /*page=
Disallow: /*return_url=
Disallow: /*more_filters=
Disallow: /*features_hash=
Disallow: /*subcats=
Disallow: /*sef_rewrite=
Disallow: /*items_per_page=
Disallow: /*cid=
Disallow: /*sort_order=
Disallow: /*date=
Disallow: /*items=
Disallow: /*rating=
Disallow: /subcats=
Disallow: /?set_filter=
Disallow: /?sef_rewrite=
Disallow: /?CATALOG_FILTER_P1_MIN=
Disallow: /tags.summary
Disallow: /wishlist.view
Disallow: /login?
Disallow: /profiles-update
Disallow: /index.php?dispatch=products.quick_view
Disallow: /index.php?dispatch=auth.recover_password
Disallow: /index.php?dispatch=events.search
Disallow: /index.php?dispatch=auth.login_form
Disallow: /index.php?dispatch=gift_certificates.add
Disallow: /index.php?dispatch=orders.search
Disallow: /index.php?dispatch=profiles.update
Disallow: /index.php?dispatch=profiles.add
Disallow: /index.php?dispatch=checkout.cart
Disallow: /index.php?dispatch=call_requests.request
Disallow: /index.php?dispatch=products.newest
Disallow: /index.php?dispatch=products.bestsellers
Disallow: /index.php?dispatch=product_features.add_product

User-agent: Yandex

Disallow: /app/

Disallow: /store_closed.html

Disallow: /404.html

Disallow: /init.php

Disallow: /php.ini

Disallow: /prepare.php

Disallow: /sendmail/

Disallow: /*sl=

Disallow: /*currency=

Disallow: /*sort_by=

Disallow: /*layout=

Disallow: /*variant_id=

Disallow: /*page=

Disallow: /*return_url=

Disallow: /*more_filters=

Disallow: /*features_hash=

Disallow: /*subcats=

Disallow: /*sef_rewrite=

Disallow: /*items_per_page=

Disallow: /*cid=

Disallow: /*sort_order=

Disallow: /*date=

Disallow: /*items=

Disallow: /*rating=

Disallow: /subcats=

Disallow: /?sef_rewrite=

Disallow: /tags.summary

Disallow: /wishlist.view

Disallow: /login?

Disallow: /profiles-update

Disallow: /index.php?dispatch=products.quick_view

Disallow: /index.php?dispatch=auth.recover_password

Disallow: /index.php?dispatch=events.search

Disallow: /index.php?dispatch=auth.login_form

Disallow: /index.php?dispatch=gift_certificates.add

Disallow: /index.php?dispatch=orders.search

Disallow: /index.php?dispatch=profiles.update

Disallow: /index.php?dispatch=profiles.add

Disallow: /index.php?dispatch=checkout.cart

Disallow: /index.php?dispatch=call_requests.request

Disallow: /index.php?dispatch=products.newest

Disallow: /index.php?dispatch=products.bestsellers

Disallow: /index.php?dispatch=product_features.add_product

Clean-param: promocode&selected_section&show_not_found_notification&action&utm_source&utm_medium&utm_campaign&utm_content&admitad_uid&gclid&yclid&fbclid&_openstat&cpamit_uid&k50id&gsaid&_gs_ref&gs_cttl&sub_id&cpamit&code&call_requests&id&block_id&apclick&apsource&categories&category_hash&category_id&cbclick&click_id&cc&desktop&destination&feedback_sha1&gr&is_pagination&kc&mobile&p&page&prx&q&ref&sort_by&sort_order&source&utm_term&utn_campaign&variant_id&xp&sa&subid&aff_sub&xid&currency&adv&layout&SHOWALL_1

alexsei_8 · 26.Сентябрь.2021 13:48:45

решил обьеденить все роботсы мира?

имхо смотреть, что конкретно роботы сканируют и тогда закрывать … что то много всего

ЗЫ Disallow: /*sef_rewrite= повтор Disallow: /?sef_rewrite=

Andcord · 26.Сентябрь.2021 14:06:35

Спасибо ))

Переработал

User-agent: *
Disallow: /app/
Disallow: /store_closed.html
Disallow: /404.html
Disallow: /*sort_by=
Disallow: /*layout=
Disallow: /*variant_id=
Disallow: /*page=
Disallow: /*return_url=
Disallow: /*more_filters=
Disallow: /*features_hash=
Disallow: /*sort_order=
Disallow: /?set_filter=
Disallow: /?CATALOG_FILTER_P1_MIN=
Disallow: /wishlist.view
Disallow: /login?
Disallow: /profiles-update
Disallow: /index.php?dispatch=products.quick_view
Disallow: /index.php?dispatch=auth.recover_password
Disallow: /index.php?dispatch=events.search
Disallow: /index.php?dispatch=auth.login_form
Disallow: /index.php?dispatch=gift_certificates.add
Disallow: /index.php?dispatch=orders.search
Disallow: /index.php?dispatch=profiles.update
Disallow: /index.php?dispatch=profiles.add
Disallow: /index.php?dispatch=checkout.cart
Disallow: /index.php?dispatch=call_requests.request
Disallow: /index.php?dispatch=products.newest
Disallow: /index.php?dispatch=products.bestsellers
Disallow: /index.php?dispatch=product_features.add_product
Sitemap: https://

User-agent: Yandex

Disallow: /app/

Disallow: /store_closed.html

Disallow: /404.html

Disallow: /*sort_by=

Disallow: /*layout=

Disallow: /*variant_id=

Disallow: /*page=

Disallow: /*return_url=

Disallow: /*more_filters=

Disallow: /*features_hash=

Disallow: /*sort_order=

Disallow: /wishlist.view

Disallow: /login?

Disallow: /profiles-update

Disallow: /index.php?dispatch=products.quick_view

Disallow: /index.php?dispatch=auth.recover_password

Disallow: /index.php?dispatch=events.search

Disallow: /index.php?dispatch=auth.login_form

Disallow: /index.php?dispatch=gift_certificates.add

Disallow: /index.php?dispatch=orders.search

Disallow: /index.php?dispatch=profiles.update

Disallow: /index.php?dispatch=profiles.add

Disallow: /index.php?dispatch=checkout.cart

Disallow: /index.php?dispatch=call_requests.request

Disallow: /index.php?dispatch=products.newest

Disallow: /index.php?dispatch=products.bestsellers

Disallow: /index.php?dispatch=product_features.add_product

Clean-param: promocode&selected_section&show_not_found_notification&action&utm_source&utm_medium&utm_campaign&utm_content&admitad_uid&gclid&yclid&fbclid&_openstat&cpamit_uid&k50id&gsaid&_gs_ref&gs_cttl&sub_id&cpamit&code&call_requests&id&block_id&apclick&apsource&categories&category_hash&category_id&cbclick&click_id&cc&desktop&destination&feedback_sha1&gr&is_pagination&kc&mobile&p&page&prx&q&ref&sort_by&sort_order&source&utm_term&utn_campaign&variant_id&xp&sa&subid&aff_sub&xid&currency&adv&layout&SHOWALL_1

Andcord · 26.Сентябрь.2021 14:09:38

В основном лезет сортировка и фильтры разные

minna · 17.Октябрь.2021 19:30:34

Не стоит закрывать директивой Disallow сортировки и вариации, робот в этом случае не будет учитывать поведенческие и иные факторы на этих страницах, их нужно обрабатывать директивой Clean-param. Имхо

alexsei_8 · 17.Октябрь.2021 22:14:52

а в этом случае кэш не будет забиваться?

Andcord · 18.Октябрь.2021 02:16:23

Добрый день, а директиву Clean-param Гугл разве понимает ?

Andcord · 18.Октябрь.2021 02:22:18

User-agent: Googlebot
Disallow: /app/
Disallow: /store_closed.html
Disallow: /404.html
Disallow: /*sort=
Disallow: /*sort_by=
Disallow: /*subcats=
Disallow: /*sort_order=
Disallow: /*variation_id=
Disallow: /*product_id=
Disallow: /*features_hash=
Disallow: /*items_per_page=
Disallow: /*section=
Disallow: /*layout=
Disallow: /*return_url=
Disallow: /*currency=
Disallow: /*call_requests
Disallow: /*products.quick_view
Disallow: /*auth.login_form
Disallow: /*auth.recover_password
Disallow: /*checkout.cart
Disallow: /*checkout.checkout
Disallow: /*orders.search
Allow: /js
Sitemap: https:/sitemap.xml

User-agent: Yandex
Disallow: /app/
Disallow: /store_closed.html
Disallow: /404.html
Disallow: /*sort=
Disallow: /*sort_by=
Disallow: /*subcats=
Disallow: /*sort_order=
Disallow: /*variation_id=
Disallow: /*product_id=
Disallow: /*features_hash=
Disallow: /*items_per_page=
Disallow: /*section=
Disallow: /*layout=
Disallow: /*return_url=
Disallow: /*currency=
Disallow: /*call_requests
Disallow: /*products.quick_view
Disallow: /*auth.login_form
Disallow: /*auth.recover_password
Disallow: /*checkout.cart
Disallow: /*checkout.checkout
Disallow: /*orders.search
Sitemap: https:/sitemap.xml

User-agent: Googlebot-Image
Allow: /image

User-agent: YandexImages
Allow: /image

Вот так выглядит сейчас мой робот )

alexsei_8 · 18.Октябрь.2021 02:27:39

пишешь ее для яндекса

Allow: /image

а там случайно папка не images ?

Sitemap: https:/sitemap.xml можно один раз указывать … умышленной скрыли домен?

alexa · 18.Октябрь.2021 04:48:38

Если товаров много и их количество постоянно увеличивается, то файлов sitemap.xml может быть два, и тогда понадобится добавить в robot.txt ещё: sitemap1.xml
Например у моего их четыре.

Andcord · 18.Октябрь.2021 06:43:49

Да да images должно быть

alex_vp · 18.Октябрь.2021 06:58:53

Для гугла такие вещи в search console настраивались

Andcord · 18.Октябрь.2021 07:07:06

Добрый день, что то я такого в search console не наблюдаю

alex_vp · 18.Октябрь.2021 07:15:09

гугл очень интересно говорит об этом:

Не используйте файл robots.txt, чтобы скрыть страницу из результатов Google Поиска

alex_vp · 18.Октябрь.2021 07:47:16

Где это находится:
Прежние инструменты и отчеты - Параметры URL

Andcord · 19.Октябрь.2021 06:05:01

И правда очень интересно :))

dstrr · 03.Декабрь.2021 07:50:08

Что следует убрать и перенести в консоль гугла “Параметры URL”?

User-agent: Googlebot
Allow: /.js
Allow: /.css
Allow: /.jpg
Allow: /.gif
Allow: /*.png
Disallow: /404.html
Disallow: /init.php
Disallow: /php.ini
Disallow: /store_closed.html
Disallow: /prepare.php
Disallow: /profiles-update
Disallow: /*sl=
Disallow: /*sort_by=
Disallow: /*layout=
Disallow: /*currency=
Disallow: /*variant_id=
Disallow: /*verification_id=
Disallow: /*display=
Disallow: /*more_filters=
Disallow: /*subcats=
Disallow: /*items_per_page=
Disallow: /*return_url=
Disallow: /*features_hash
Disallow: /*dispatch=auth
Disallow: /*dispatch=products.search
Disallow: /*dispatch=checkout.cart
Disallow: /*dispatch=tags.summary
Disallow: /*dispatch=profiles.add
Disallow: /*dispatch=orders.search
Disallow: /*dispatch=events.search
Disallow: /*dispatch=news.lis
Disallow: /*dispatch=profiles.update
Disallow: /*dispatch=call_requests.request

alexa · 03.Декабрь.2021 11:27:04

Вот это точно мусор:
Allow: /.js
Allow: /.css
Allow: /.jpg
Allow: /.gif
Allow: /*.png