Заметил за Яндексом новую штуку, если в robots.txt усть блок
User-Agent: Yandex
то он игнорирует все инструкции в блоке для всех
User-Agent: *
такое только у меня, или это его повальное увлечение?
Так это правильно, зачем ему читать инструкции для всех, если есть специальные для него?!
2 лайка
А я так и пребывал в заблуждении, что для всех - это для всех, плюс то что для тебя )
Так уже несколько лет.
Yandex смотрит только на те инструкции, что даны под User-Agent: Yandex. Других для него не существует.
Если же специальнх инструкций для него нет, то, так и быть, он прочитает User-Agent: * и будет руководствоваться строчками из данной секции.
Также Вы можете указывать директивы конкретным роботам Яндекса. Например, основному роботу, который индексирует сайт или роботу - валидатору микроразметки. Для этого указывайте в строке User-Agent: нужный робот. Все они описаны в официальной инструкции Яндекса к файлу robots.txt
Если интересуетесь, как правильно составить robots для своего ИМ, инструкцию Яндекса читать обязательно и проверять по данной инструкции, не закрыли ли от индексации важные страницы.
selected_section=discussion как эту хрень убрать из индекса ?
Добавлю к тому обсуждению: Долго сидел на 4.3.5, месяц назад перешел на 4.7.1, несколько дней назад обновился до последней. Видимо теперь canonical правильно работает, так как из кучи проиндексированных страниц, тех, что с кучей параметров, в вебмастере вижу кучу снятых как неканонические
Всем привет! Дали новый сайт, но я не могу сохранить robots.txt из админки, пишет: Оповещение: Был обнаружен файл robots.txt. Внесённые изменения вступят в силу только после удаления файла robots.txt из корневой директории вашего магазина.**
У прошлого проекта все ок было, расположение robots.txt прошлого проекта совпадает, с новым. Как решить данную проблему, чтобы не залезать на хостинг, для правки робота?
Спасибо!
Удалите физический файл robots.txt из корня установки CS-Cart. После этого контент будет отдаваться динамически
Спасибо! Сообщил уже, чтобы оттуда удалили. Это из-за новой версии такой формат появился?
Возможно, он там и был, просто в новых версиях проверку добавили
А не подскажите такому ламеру как я, как это сделать? Заранее благодарю!
В контрольной панели хостинга найдите Файл менеджер. Обычно он открывает папку, в которой установлен магазин. Там и будет файл
Добрый день.
Подскажите как правильно закрыть сайт от индексации , но при этом была возможность проверять сайт на скорость и оптимизацию?
В robots.txt прописать:
User-agent: *
Disallow: /
Это закроет сайт от индексации.
А лучше robot держать на сервере или в админке?
Как удобно, так и держите, разницы нет)
В админке плюс в том, что на сервер лезть не надо.
а может Яндекс не видеть robots, который в админке формируется?
В Яндексе есть тест вашего робота. Можно проверить.
да, но он же проверят само содержимое этого файла, но сам файл Яндекс не может найти. Я добавил файл в корень, вроде теперь проблема по файлам robots и sitemap ушла.
