Https + Robots.txt


#1

Добрый день! Завел вторую витрину в cs cart ULT. Обе витрины у меня открываются через HTTPS. Далее увидел, что чтобы правильно работал robots.txt для мультивитринного режима, сам файл robots.txt нужно удалить и задавать содержимое через "Веб сайт -> SEO -> robots.txt"

Но теперь при заходе на http://mysite/robots.txt идет редирект на https://mysite/

Соотвественно вопрос: как добавить robots.txt в исключения? Нужно что бы он открывался на обоих протоколах (http/https) без редиректов?


#2

Скорее всего вопрос надо передать к хостеру, чтобы отсутствующий файл корректно мог обрабатываться CS-Cart


#3

Добрый день! спасибо за ответ.

Так, не понял причем тут хостер.

Движок сам делает редирект с любой http страницы на https. В том числе и robots.txt. Хотя этот файл должен открываться по обоим протоколам (Без редиректов). Ибо поисковики, к примеру яндекс, ждут при запросе robots.txt HTTP код "200 ОК"


#4

Добрый день! спасибо за ответ.

Так, не понял причем тут хостер.

Движок сам делает редирект с любой http страницы на https. В том числе и robots.txt. Хотя этот файл должен открываться по обоим протоколам (Без редиректов). Ибо поисковики, к примеру яндекс, ждут при запросе robots.txt HTTP код "200 ОК"

Откуда у вас такая информация? Для поисковых система сайт HTTP и HTTPS два разных сайта, зачем подсовывать туда robots.txt с директивами HTTPS ?
Если вы переживаете за правильный переход на HTTPS просто укажите это в вебмастере. Проблем не будет. Обычно переезд занимает 1-2 недели в зависимости от размеров и популярности сайта.
Если это новый сайт - сразу регистрируете вебмастер на https

#5

Добрый день! спасибо за ответ.

Так, не понял причем тут хостер.

Движок сам делает редирект с любой http страницы на https. В том числе и robots.txt. Хотя этот файл должен открываться по обоим протоколам (Без редиректов). Ибо поисковики, к примеру яндекс, ждут при запросе robots.txt HTTP код "200 ОК"

Я изначально подумал, что после удаления файла, robots.txt совсем по подтягивается. Тогда да, это редирект от CS-Cart


#6

Спасибо за ответы. Яндексом понятно, задали в вебмастере сайт с https и он через пару месяцев раздуплит и переиндексирует. Но с другими пауками вопрос, они сами ищут новые сайты, заходят через http и запрашивают robots.txt и там собственно узнают из директивы Host, что сайт работает на https. Но cs cart при запросе robots.txt через http, делает редирект на https и на главную страницу. Он себя так ведет с любой страницей, и я не понимаю почему он редиректит на главную, а не на целевую страницу.


#7

Вот, далеко ходить не надо, первые два сайта из примеров интернет-магазинов CS Car:

заходим на http://pudra.ru/-> https://pudra.ru/ (все ок, редиректит HTTP -> HTTPS)

заходим на https://pudra.ru/robots.txt(всеок, отдает через HTTPS)

заходим на http://pudra.ru/robots.txt(все ок, отдает через HTTP и не редиректит на HTTPS)

заходим на http://kofe.ru/-> https://kofe.ru/ (все ок, редиректит HTTP -> HTTPS)

заходим на https://kofe.ru/robots.txt(все ок, отдает через HTTPS)

заходим на http://kofe.ru/robots.txt(все ок, отдает через HTTP и не редиректит на HTTPS)

Но у них мультивитринности видим нет, и они показывают видимо реальный физический файл на диске (я так тоже могу), но у меня мультивитринность и для каждой витрины надо показывать свой robots.txt (а это делается путем удаления физического файла и конфигурирования в разделе "Веб сайт -> SEO -> robots.txt")

Но в этому случае начинаются странные редиректы.


#8

Ну что коллеги с моей проблемой? Пришло куча обновлений, но проблема осталась.


#9

Я думаю лучше отписать в ТП CS.