В общем, он у меня такой. Что лишнего? что реально стоит добавить? или штатного роботса более чем достаточно?
User-agent: *
Disallow: /images/thumbnails/
Disallow: /addons/
Disallow: /cgi-bin/
Disallow: /controllers/
Disallow: /core/
Disallow: /index.php?dispatch=
Disallow: /js/
Disallow: /lib/
Disallow: /skins/
Disallow: /payments/
Disallow: /schemas/
Disallow: /shippings/
Disallow: /skins/
Disallow: /store_closed.html
Disallow: /var/
Disallow: /404.html
Disallow: /config.php
Disallow: /config.local.php
Disallow: /init.php
Disallow: /prepare.php
Disallow: /store_closed.html
Disallow: /?currency=
Sitemap: http://www. .ru/sitemap.xml
User-agent: Yandex
Disallow: /images/thumbnails/
Disallow: /addons/
Disallow: /cgi-bin/
Disallow: /controllers/
Disallow: /core/
Disallow: /index.php?dispatch=
Disallow: /js/
Disallow: /lib/
Disallow: /skins/
Disallow: /payments/
Disallow: /schemas/
Disallow: /shippings/
Disallow: /skins/
Disallow: /store_closed.html
Disallow: /var/
Disallow: /404.html
Disallow: /config.php
Disallow: /config.local.php
Disallow: /init.php
Disallow: /prepare.php
Disallow: /store_closed.html
Disallow: /?currency=
Host: www. .ru
еще
/?s* - согласен, нужно добавить …
а вот это?
[left][size=4]/?l[color=#1155CC][font=Arial, sans-serif]ayo[/font][/color][color=#1155CC][font=Arial, sans-serif]ut=[/font][/color][/size][/left]
[quote name='ALEXsei_' timestamp='1326323237' post='129231']
В общем, он у меня такой. Что лишнего? что реально стоит добавить? или штатного роботса более чем достаточно?
[/quote]
Да и так весь корень перечислен : )
[color=#282828][font=arial, verdana, tahoma, sans-serif]Disallow: /store_closed.html даже 2 раза.[/font][/color]
А [color=#282828][font=arial, verdana, tahoma, sans-serif]Disallow: /index.php?dispatch= - это только при условии что на сайте ЧПУ? Закрыть дубли?[/font][/color]
[quote name=‘590’ timestamp=‘1326338736’ post=‘129240’]
Да и так весь корень перечислен : )
[color=#282828][font=arial, verdana, tahoma, sans-serif]Disallow: /store_closed.html даже 2 раза.[/font][/color]
А [color=#282828][font=arial, verdana, tahoma, sans-serif]Disallow: /index.php?dispatch= - это только при условии что на сайте ЧПУ? Закрыть дубли?[/font][/color]
[/quote]
Спасибо 
с клозетом 
я действительно лоханулся по полной … вот что значит у буржуинов сдувать под копирку …
на сайте естественно чпу … а как без этого? я так понимаю яша очень положительно к этому относится если в адресе находит нужное слово
немного изменил … как тут уже обсуждалось … [color=#000000]/index.php?dispatch= закрывает все, в том числе и тэги и некоторые страницы, хоть и не важные но путь будут … в связи с чем вопрос … данное написание корректно будет? [/color]
[color=#000000]Disallow: /index.php?dispatch=auth* или тут решетка нужна?[/color]
Disallow: /images/thumbnails/
Disallow: /addons/
Disallow: /cgi-bin/
Disallow: /controllers/
Disallow: /core/
Disallow: /index.php?dispatch=auth*
Disallow: /js/
Disallow: /lib/
Disallow: /skins/
Disallow: /payments/
Disallow: /schemas/
Disallow: /shippings/
Disallow: /skins/
Disallow: /store_closed.html
Disallow: /var/
Disallow: /404.html
Disallow: /config.php
Disallow: /config.local.php
Disallow: /init.php
Disallow: /prepare.php
Disallow: /?currency=
Disallow: /?sort_by=
Disallow: /?layout=
посмотрел дубли в гугле и закрытые в яше, теперь так выглядит
[quote]немного изменил … как тут уже обсуждалось … /index.php?dispatch= закрывает все, в том числе и тэги и некоторые страницы, хоть и не важные но путь будут … в связи с чем вопрос … данное написание корректно будет?
Disallow: /index.php?dispatch=auth* или тут решетка нужна?[/quote]
Решетка? Решетка - это же комент.
В итоге запрещено все, что начинается index.php?dispatch=auth
[quote]я так понимаю яша очень положительно к этому относится если в адресе находит нужное слово[/quote]
Есть такое дело…и чем дальше, тем больше.
[quote name=‘ALEXsei_’ timestamp=‘1326345470’ post=‘129244’]
Спасибо с клозетом я действительно лоханулся по полной … вот что значит у буржуинов сдувать под копирку …
на сайте естественно чпу … а как без этого? я так понимаю яша очень положительно к этому относится если в адресе находит нужное слово
немного изменил … как тут уже обсуждалось … [color=#000000]/index.php?dispatch= закрывает все, в том числе и тэги и некоторые страницы, хоть и не важные но путь будут … в связи с чем вопрос … данное написание корректно будет? [/color]
[color=#000000]Disallow: /index.php?dispatch=auth* или тут решетка нужна?[/color]
Disallow: /images/thumbnails/
Disallow: /addons/
Disallow: /cgi-bin/
Disallow: /controllers/
Disallow: /core/
Disallow: /index.php?dispatch=auth*
Disallow: /js/
Disallow: /lib/
Disallow: /skins/
Disallow: /payments/
Disallow: /schemas/
Disallow: /shippings/
Disallow: /skins/
Disallow: /store_closed.html
Disallow: /var/
Disallow: /404.html
Disallow: /config.php
Disallow: /config.local.php
Disallow: /init.php
Disallow: /prepare.php
Disallow: /?currency=
Disallow: /?sort_by=
Disallow: /?layout=
посмотрел дубли в гугле и закрытые в яше, теперь так выглядит
[/quote]
Загрузил в яндекс проверить
/? не действует на него, у меня лично все страницы имеющие проблемы это либо имеют часть кода авторизации или связаны с фильтром на яндексе, смотрю на гугле, там же вот как раз валюты, сортировка, по этому нужно:
[color=#282828][font=arial, verdana, tahoma, sans-serif]Disallow: /?currency=[/font][/color]
[color=#282828][font=arial, verdana, tahoma, sans-serif]Disallow: /?sort_by=[/font][/color]
[color=#282828][font=arial, verdana, tahoma, sans-serif]Disallow: /?layout=[/font][/color]
[color=#282828][font=arial, verdana, tahoma, sans-serif]поставил[/font][/color]
Disallow: /*features_hash=
Disallow: /*currency=
Disallow: /*sort_by=
Disallow: /*layout=
Я долго боролся с дублями для Google. В итоге выяснил, что нужно указывать непосредственно для GoogleBot запрет на дубли страниц. Но все равно до конца на свое кол-во страниц не вышел. Robots.txt такой:
[quote]
User-agent: *
Disallow: /images/thumbnails/
Disallow: /skins/
Disallow: /payments/
Disallow: /store_closed.html
Disallow: /core/
Disallow: /lib/
Disallow: /install/
Disallow: /js/
Disallow: /schemas/
Disallow: /*currency=
Disallow: /*variant_id=
Disallow: /*display=
Disallow: /*page=
Disallow: /*return_url=
Disallow: /*dispatch=
Disallow: /*more_filters=
Disallow: /*features_hash=
Disallow: /*subcats=
User-agent: Googlebot
Disallow: /images/thumbnails/
Disallow: /skins/
Disallow: /payments/
Disallow: /store_closed.html
Disallow: /core/
Disallow: /lib/
Disallow: /install/
Disallow: /js/
Disallow: /schemas/
Disallow: /*currency=
Disallow: /*variant_id=
Disallow: /*display=
Disallow: /*page-
Disallow: /*page=
Disallow: /*return_url=
Disallow: /*dispatch=
Disallow: /*more_filters=
Disallow: /*features_hash=
Disallow: /*subcats=
Sitemap: http://mysite.com/sitemap.xml
User-agent: Yandex
Host: mysite.com
Disallow: /images/thumbnails/
Disallow: /skins/
Disallow: /payments/
Disallow: /store_closed.html
Disallow: /core/
Disallow: /lib/
Disallow: /install/
Disallow: /js/
Disallow: /schemas/
Disallow: /*currency=
Disallow: /*variant_id=
Disallow: /*display=
Disallow: /*page=
Disallow: /*return_url=
Disallow: /*dispatch=
Disallow: /*more_filters=
Disallow: /*features_hash=
Disallow: /subcats=
[/quote]
А что такое "/?s"
[quote name=‘xeddin’ timestamp=‘1326464124’ post=‘129308’]
Я долго боролся с дублями для Google. В итоге выяснил, что нужно указывать непосредственно для GoogleBot запрет на дубли страниц. Но все равно до конца на свое кол-во страниц не вышел. Robots.txt такой:
А что такое “/?s*”
[/quote]
/? - это ошибка правильно /*
xeddin
z3r0
спасибо !
2 z3r0 есть ли смысл полностью закрывать dispatch ? … там же закрываются как я понял и полезная выдача по тегам.
Если закрывать только авторизацию, эта строчка правильно написана? [color=#282828][font=arial, verdana, tahoma, sans-serif][size=3]Disallow: /index.php?dispatch=auth*[/size][/font][/color]
2 xeddin откуда у тебя [color=#282828][font=arial, verdana, tahoma, sans-serif][size=3]Disallow: /install/ ?[/size][/font][/color]
[quote name=‘ALEXsei_’ timestamp=‘1326506870’ post=‘129349’]
xeddin
z3r0
спасибо !
2 z3r0 есть ли смысл полностью закрывать dispatch ? … там же закрываются как я понял и полезная выдача по тегам.
Если закрывать только авторизацию, эта строчка правильно написана? [color=#282828][font=arial, verdana, tahoma, sans-serif][size=3]Disallow: /index.php?dispatch=auth*[/size][/font][/color]
2 xeddin откуда у тебя [color=#282828][font=arial, verdana, tahoma, sans-serif][size=3]Disallow: /install/ ?[/size][/font][/color]
[/quote]
Dispatch должен жить. Теги святое
Вот так его закрыть нужно
Disallow: /*dispatch=products.search
По авторизации тестил все вроде хорошо блок работает.
Вот это зло нужно удалить, иначе у нас товар на страницах глубже первой не попадает в индекс!
Disallow: /*page-
[quote name='z3r0' timestamp='1326498390' post='129342']
/? - это ошибка правильно /*
[/quote]
а почему- ошибка?
даже с подстановкой символов - * - любое количество символов,
? - один символ.
Даже в этой интерпретации данная строка должна прекрасно работать…
[quote name=‘Alex_VP’ timestamp=‘1326880838’ post=‘129534’]
а почему- ошибка?
даже с подстановкой символов - * - любое количество символов,
? - один символ.
Даже в этой интерпретации данная строка должна прекрасно работать…
[/quote]
если забить строку с данной комбинацию в проверку яндекса, то он никак не отреагирует на “?”. Возможно в гугле по другому … но нас то яндекс больше интересует поэтому однозначно “*”. Все правильно z3r0 обратил на это внимание.
[quote name=‘Alex_VP’ timestamp=‘1326880838’ post=‘129534’]
а почему- ошибка?
даже с подстановкой символов - * - любое количество символов,
? - один символ.
Даже в этой интерпретации данная строка должна прекрасно работать…
[/quote]
В правилах яндекса работы с robots.txt даже нет такого спец. символа “?”
[quote name=‘z3r0’ timestamp=‘1326911710’ post=‘129549’]
В правилах яндекса работы с robots.txt даже нет такого спец. символа “?”
[/quote]
Посмотрел щас и в гугуле, там тоже “?” - ничего не значит. еще раз спасибо. так в неведении и жили бы а я все думал нафига в вебмастере кнопка “проверить”
[quote name=‘ALEXsei_’ timestamp=‘1326963514’ post=‘129578’]
Посмотрел щас и в гугуле, там тоже “?” - ничего не значит. еще раз спасибо. так в неведении и жили бы а я все думал нафига в вебмастере кнопка “проверить”
[/quote]
=}}}}}}}}}}}} мы все всегда узнаем что-то новое о том, что видим каждый день ;} Я тут месяц назад узнал о ПОСТАВКАХ, теперь счастливый как хомяк ;}
кстати, а что такое Поставки?
[quote name=‘ALEXsei_’ timestamp=‘1326506870’ post=‘129349’]
2 xeddin откуда у тебя [color=#282828][font=arial, verdana, tahoma, sans-serif][size=3]Disallow: /install/ ?[/size][/font][/color]
[/quote]
или по умолчанию была или сам добавил, не помню точно.
[quote name='ALEXsei_' timestamp='1326506870' post='129349']
Вот это зло нужно удалить, иначе у нас товар на страницах глубже первой не попадает в индекс!
Disallow: /*page-
[/quote]
На каждой такой страничке есть СЕО текст и он дублируется. Например пишем СЕО текст для категории, тогда на каждой страничке этой категории этот текст будет дублироваться и попадать под фильтр и сайт в целом будет выглядеть не очень, т.к. будет низкая индексация.
[quote name='xeddin' timestamp='1327429701' post='129863']
или по умолчанию была или сам добавил, не помню точно.
[/quote]
ясно … у меня эта папка удалена.
кстати, по поводу этого:
Вот это зло нужно удалить, иначе у нас товар на страницах глубже первой не попадает в индекс!
Disallow: /*page-
все странички сайта есть в sitemap.xml, хотя я не помню, актуально ли это для Яндекса.
[quote name='xeddin' timestamp='1327696641' post='130101']
кстати, по поводу этого:
Вот это зло нужно удалить, иначе у нас товар на страницах глубже первой не попадает в индекс!
Disallow: /*page-
все странички сайта есть в sitemap.xml, хотя я не помню, актуально ли это для Яндекса.
[/quote]
А у вас перелистывание как настроено?
У меня стоит сео все отображается вот так http://ekipirovki.net/volleyball/volleyball-balls-page-4.html, без page=