Да, в robots.txt, и лучше сделать отдельную секцию для Яндекс бота, так как Гугл бот такой команды не знает и будет ругаться.
С какой пометкой Яндекс удаляет страницы из индекса? Вроде у него все страницы попадают, а такие через некоторое время удаляются с пометкой что то типа Запрет к индексированию
Яндекс и добавляет и удаляет с одной пометкой “Неканоническая”
Если добавляет , то пишет - Страница попала в поиск, поскольку во время её сканирования роботом её содержимое существенно отличалось от содержимого страницы по адресу хххх.
А удаляет - Страница проиндексирована по каноническому адресу хххх , который был указан в атрибуте rel=“canonical” в исходном коде.
у меня так
User-Agent: Yandex
Disallow: /app/
Disallow: /store_closed.html
Disallow: *admin.php
Disallow: /login
Disallow: /index.php?dispatch=products.newest&
Disallow: /index.php?dispatch=products.search
Disallow: /index.php?dispatch=products.quick_view
Clean-param: items_per_page&sort_by&sort_order&selected_section&layout
ничего лишнего не попадает…
PS layout сегодня добавил, посмотрю через сколько дней они отвалятся
Подскажите еще пожалуйста, посмотрел в свой robots там уже есть такие строчки
Disallow: /?items_per_page=
Disallow: /*?sort_by=
Стоит дублировать их в той строчке
Clean-param: items_per_page&sort_by&sort_order&selected_section
Или сделать так:
Clean-param: sort_order&selected_section т.е. убрать вот эту часть строки items_per_page&sort_by&
За ранее благодарен.
это соответствует сайт.ру/?items_per_page=10
и не соответствует
сайт.ру/index.php?items_per_page=10
сайт.ру/catalog,html?items_per_page=10
итп
Disallow: /*?sort_by=
соответствует
сайт.ру/index.php?sort_by=10
сайт.ру/catalog,html?sort_by=10
и не соответствует
сайт.ру/index.php?dispatch=catalog.view&sort_by=10
сайт.ру/catalog,html?dispatch=catalog.view&sort_by=10
проще убрать первые строки и оставить параметры в clean param для яндекса, а для гугла написать например
Disallow: *items_per_page=
Disallow: *sort_by=
но надо проверить какие страницы попадают чтобы не удалить нужное из индексации
Спасибо, изменил.
Посмотрим что дальше будет.
Здравствуйте.
В версии 4.15.2 добавили редиректы с URL, содержащих заглавные буквы.