Я понимаю, что тема поднимается уже в миллионный раз. Уверен был, что найду поиском. Поискал. Пришел к выводу, что со сменой версий закрытие многих url-ов от индексации потеряло актуальность. Не хотелось бы что-то упустить и дать роботам проиндексировать лишние страницы.
Для 4.4.3 роботс положу ниже. Буду благодарен, если появятся комментарии на тему: добавить/убрать.
Консоль Google по-моему до сих пор не умеет распознавать принадлежность информации в User-agent, то есть она выдает только общие рекомендации по ошибкам в Robots.txt, вне сависимости от того, для какого поисковика они составлены. А работать все должно нормально, ведь разграничения по секциям прописаны правильно.
Может сам автор @alex_vp вот этого поста Robots.txt ответит. Я пока не настраивал Robot.txt. Достаточно ли такой настройки для большинства или еще что-то нужно?
У меня сейчас витрина закрыта и стоит заглушка store_closed.html. Но из-за нее многие сервисы ругаются или не работают, если смотреть про оптимизацию страницы. А в документации указано, если на хостинге указано, что лежит файл robots.tx., то инструкции из CMS игнорируются.
Можно ли поступить следующим образом?
Открыть витрину.
В Robots.txt прописать Disallow: *
Т.к. сайт пока не индексируется, по поиску его не найти, только по прямому заходу. Прямой вход мне не страшен, сайт особо никто не знает
Я спокойно его тестирую, и настраиваю.
Я вообще не пойму как это все теперь работает и кто косячит, сайт или Яндекс. Раньше clean-param нормально отрабатывал, а сегодня увидел, что вебмастер каждый день игнорируя эту инструкцию добавляет страницы в индекс. Лежит файл робота в корне, в котором эта инструкция прописана, и есть настройка вадминке, где стандартные записи. Яндекс вебмастер говорит что видит именно мой файл. Но упорно индексирует страницы с закрытыми мной параметрами. завтра буду разбираться…
А что 2?
А, понял, два вопроса )
Думаю, что алгоритм верный, закрытый от индексирования сайт и не должен индексироваться, либо сервисам по оптимизации скармливать ссылку с параметром store_access_key