Robots.txt

xeddin · 31.Январь.2012 00:00:00

точно, протупил. page- нужно убрать из robots.txt.

andrew77 · 14.Апрель.2012 00:00:00

Какой все-таки оптимальный вариант robots?

Кто-то может выложить?

Спасибо

alexsei_8 · 14.Апрель.2012 00:00:00

У меня щас сам блок такой, если кто заметил ошибки или есть дополнения, сообщите. спасибо.

Disallow: /images/thumbnails/

Disallow: /addons/

Disallow: /cgi-bin/

Disallow: /controllers/

Disallow: /core/

Disallow: /index.php?dispatch=auth

Disallow: /js/

Disallow: /lib/

Disallow: /skins/

Disallow: /payments/

Disallow: /schemas/

Disallow: /shippings/

Disallow: /skins/

Disallow: /store_closed.html

Disallow: /var/

Disallow: /config.php

Disallow: /config.local.php

Disallow: /init.php

Disallow: /php.ini

Disallow: /prepare.php

Disallow: /*sl=

Disallow: /*currency=

Disallow: /*sort_by=

Disallow: /*layout=

developstores · 27.Август.2012 00:00:00

Надо добавить

Disallow: /*page=

alexsei_8 · 17.Февраль.2014 00:00:00

Подниму тему, но уже с прицелом на 4.x.x … вот примерно так получилось у меня… понятно дело, что еще прописано отдельно для яндекса гугла, указано главное зеркало и карта. Что лишнего или наоборот не хватает?

User-agent: *

Allow: /images/

Disallow: /images/thumbnails/

Disallow: /cgi-bin/

Disallow: /app/

Disallow: /design/

Disallow: /js/

Disallow: /var/

Disallow: /store_closed.html

Disallow: /404.html

Disallow: /init.php

Disallow: /php.ini

Disallow: /prepare.php

Disallow: /sendmail/

Disallow: /*sl=

Disallow: /*currency=

Disallow: /*sort_by=

Disallow: /*layout=

Disallow: /*variant_id=

Disallow: /*display=

Disallow: /*page=

Disallow: */page

Disallow: /*return_url=

Disallow: /*more_filters=

Disallow: /*features_hash=

Disallow: /subcats=

Disallow: /?sef_rewrite=

Disallow: /tags.summary

Disallow: /wishlist.view

Disallow: /login?

Disallow: /profiles-update

Disallow: /index.php?dispatch=products.quick_view

Disallow: /index.php?dispatch=auth.recover_password

Disallow: /index.php?dispatch=events.search

Disallow: /index.php?dispatch=auth.login_form

Disallow: /index.php?dispatch=gift_certificates.add

Disallow: /index.php?dispatch=news.list

Disallow: /index.php?dispatch=orders.search

Disallow: /index.php?dispatch=profiles.update

Disallow: /index.php?dispatch=profiles.add

Disallow: /index.php?dispatch=checkout.cart

#Disallow: /index.php?

vkapas · 18.Февраль.2014 00:00:00

[quote name='ALEXsei_' timestamp='1392677664' post='177695']

прописано отдельно для яндекса гугла

[/quote]

Разве отдельно?

[quote name='ALEXsei_' timestamp='1392677664' post='177695']

User-agent: *

[/quote]

alexsei_8 · 18.Февраль.2014 00:00:00

[quote name=‘vkapas’ timestamp=‘1392709436’ post=‘177724’]

Разве отдельно?

[/quote]

пропущено слово “еще” не, ну конечно можно продублировать

vkapas · 18.Февраль.2014 00:00:00

[quote name=‘ALEXsei_’ timestamp=‘1392712441’ post=‘177725’]

пропущено слово “еще” не, ну конечно можно продублировать

[/quote]

Так поделились бы и этими правилами тоже . Или специфическими для этих ПС правилами. Думаю многим будет интересно узнать.

Кстати, ни у кого не было проблемы с Google Merchant при использовании директивы Disallow?

В моём случае Google Merchant отклонял около 50% товаров, говорил “проверьте правила индексации сайта”. На тот момент robots.txt был настроен сеошниками. Я пробовал разные варианты, включая возврат стандартного robots, но проблема решилась только тогда, когда я привёл правило для Гугла к виду

User-agent: Googlebot Allow: /index.php?dispatch=xmlsitemap.view Disallow: Host: site.ru Sitemap: http://site.ru/index.php?dispatch=xmlsitemap.view

Что, конечно, не слишком-то хорошо для поисковой выдачи. Кто-нибудь решал подобную проблему?

alexsei_8 · 18.Февраль.2014 00:00:00

[quote name=‘vkapas’ timestamp=‘1392721593’ post=‘177731’]

Так поделились бы и этими правилами тоже . Или специфическими для этих ПС правилами. Думаю многим будет интересно узнать.

[/quote]

они точно такие же …

infogirl · 03.Апрель.2014 00:00:00

I really think this thread would be helpful to others if it was also in English. Is there anyway this can be translated?

Thanks.

dbazhenov · 04.Апрель.2014 00:00:00

[quote name='infogirl' timestamp='1396540666' post='180900']

I really think this thread would be helpful to others if it was also in English. Is there anyway this can be translated?

Thanks.

[/quote]

Dear infogirl,

Please let us know the matters you are interested in. It is rather difficult to translate the whole forum thread but we can help you in translating of the necessary points. You can also use Google Translate.

vanger · 29.Октябрь.2014 00:00:00

Подскажите, а что делать в плане оптимизации/настройки robots.txt под 2 домена сайтов на одном движке Cs-Cart Ultimate (2 магазина)?

с мета-тегами ПС webmaster решено движком (в шаблоне)

с sitemap.xml так же решено движком

а с robots.txt?

для SEO это же не годится, когда по запросу domain.com.ua и domain2.com.ua будет один и тот же robots.txt

dbazhenov · 29.Октябрь.2014 00:00:00

[quote name='Vanger' timestamp='1414582290' post='195585']

для SEO это же не годится, когда по запросу domain.com.ua и domain2.com.ua будет один и тот же robots.txt

[/quote]

Почему?

alexsei_8 · 29.Октябрь.2014 00:00:00

[quote name='dbazhenov' timestamp='1414586961' post='195593']

Почему?

[/quote]

там могут быть разные параметры … например host или путь к карте сайта

alex_vp · 29.Октябрь.2014 00:00:00

robots же тоже можно динамически отдавать, точно также как например та же самая xml карта сайта фрмируется динамически

alexsei_8 · 16.Декабрь.2014 00:00:00

ни че не понимаю обновился до 4.2.4 роботс по умолчанию там пустой … полезло куча мусора: фильтры, авторизации и т п. мусор содержит [font=“Arial, Helvetica, sans-serif”][color="#1a3dc1"][size=3]мета-тег noind[/size][/color][/font][font=“Arial, Helvetica, sans-serif”][color="#1a3dc1"][size=3]ex . [/size][/color][/font]Но? робот же все равно сканирует и грузит страницы?

опять актуально стало написание robots.txt … что добавить? что убавить?

User-agent: *

Disallow: /app/

Disallow: /store_closed.html

Disallow: */?subcats=

Disallow: */?features_hash=

Disallow: */?return_url=

alt-team · 17.Декабрь.2014 00:00:00

[quote name=‘ALEXsei_’ timestamp=‘1418773895’ post=‘199997’]

ни че не понимаю обновился до 4.2.4 роботс по умолчанию там пустой … полезло куча мусора: фильтры, авторизации и т п. мусор содержит [color=#1a3dc1]мета-тег noind[/color][color=#1a3dc1]ex . [/color]Но? робот же все равно сканирует и грузит страницы?

[/quote]

Ничего он не грузит, почитайте здесь. У нас не было случая, когда страницы с тегом noindex попадали в поиск. https://support.google.com/webmasters/answer/93710?hl=ru

C уважением, Alt-team.

alexsei_8 · 17.Декабрь.2014 00:00:00

[quote name=‘Alt-team’ timestamp=‘1418803604’ post=‘200020’]

Ничего он не грузит, почитайте здесь. У нас не было случая, когда страницы с тегом noindex попадали в поиск. https://support.goog…wer/93710?hl=ru

C уважением, Alt-team.

[/quote]

Спасибо. Но Гугл он то умный, а Яндекс пишет “Загружено страниц”

saboteur · 16.Март.2015 00:00:00

На одном сайте у меня была беда с индексацией мусора, вылечил вот этим:

 User-agent: Yandex Disallow: Clean-param: subcats&features_hash&currency /*

Сегодня сделал это:

 User-agent: Yandex Disallow: /*/page-*/

При этом у меня есть карта сайта, + выдается все через плагин “Alt-team: Easy scroll pagination”, т.е. все на одной странице.

Причина - периодически проседают запросы, когда Яндекс считает что page-N стала главной.

elena · 06.Апрель.2015 00:00:00

Буду благодана за помощь чайнику

Мой robots.txt выгляит пока так:

User-agent: *

Disallow: /app/

Disallow: /store_closed.html

Вопрс:

Что я должна написать, чтобы скрыть список продавцов (МультиВендор) http://my-site.ru/index.php?dispatch=companies.catalog и страницу с данными каждого продавца http://my-site/company-name/

Заранее спасибо!