Кто вообще придумал закрывать от индексации вот эти папки?
А что вы там хотели проиндексировать?
А что вы там хотели проиндексировать?
ну как минимум css файл который формируется в папке var/cache
ну как минимум css файл который формируется в папке var/cache
Вы сейчас так пошутили? Поясните, для чего вам индексировать этот файл?
ну как минимум css файл который формируется в папке var/cache
тоже интересно )
Для сведения "Яндекс написал "Мы отказываемся от директивы Host. Теперь эту директиву можно удалять из robots.txt, но важно, чтобы на всех не главных зеркалах вашего сайта теперь стоял 301-й постраничный редирект.""
Вы сейчас так пошутили? Поясните, для чего вам индексировать этот файл?
Да вот почему http://joxi.ru/E2pej1xfBg5byA- а от сюда фильтр и понижение позиций
тоже интересно )
ответил выше, так как гуглобот не может найти файл и считает сайт недоедланным, соответственно снижая позиции
ответил выше, так как гуглобот не может найти файл и считает сайт недоедланным, соответственно снижая позиции
Подскажите, на основании каких рекомендаций, документов справки и пр. вы сделали такой вывод?
ответил выше, так как гуглобот не может найти файл и считает сайт недоедланным, соответственно снижая позиции
не может найти и запрещен для индексирования - вы путаете эти два понятия
Ну вообще то это взаимосвязанные вещи, бот не ходит по этим папкам и не видит файлы стилей, соответственно не видит разметки и остальных вещей. Ну и как минимум посмотрите на скрин, вебмастер выдает это ошибкой, а на практике (что уже мной проверено) схватите нехилый такой фильтр и понизитесь в ранжирование. Блокировать такие урлы нельзя
Ну как минимум скрин мой посмотрите, рекомендации самого вебмастера считающего эти ошибки критическими, мало?
http://fakir.name/vlijaniye-blokirovki-cssijs/
И уверяю вас это не пустое.
Подскажите пожалуйста этот пример актуален для версии 4.7.3?
http://lockki.ru/articles/cs-cart/ (не реклама, ищу пример robots.txt)
Может еще что нужно добавить?
Вы откройте на сайте CS-Cart страницу с примерами магазинов, посмотрите их версии (site.com/?version) и смотрите их роботс (site.com/robots.txt) и будет у Вас масса примеров для анализа.
Я б бы не приводил этот пример, кое где он пустой, вроде только у пудры что-то внятное Лучше смотреть на cmsmagazine и взяв несколько примеров с большим количеством строк отдать это на анализ сеошникам
1 лайк
Заметил за Яндексом новую штуку, если в robots.txt усть блок
User-Agent: Yandex
то он игнорирует все инструкции в блоке для всех
User-Agent: *
такое только у меня, или это его повальное увлечение?
Так это правильно, зачем ему читать инструкции для всех, если есть специальные для него?!
2 лайка
А я так и пребывал в заблуждении, что для всех - это для всех, плюс то что для тебя )
Так уже несколько лет.
Yandex смотрит только на те инструкции, что даны под User-Agent: Yandex. Других для него не существует.
Если же специальнх инструкций для него нет, то, так и быть, он прочитает User-Agent: * и будет руководствоваться строчками из данной секции.
Также Вы можете указывать директивы конкретным роботам Яндекса. Например, основному роботу, который индексирует сайт или роботу - валидатору микроразметки. Для этого указывайте в строке User-Agent: нужный робот. Все они описаны в официальной инструкции Яндекса к файлу robots.txt
Если интересуетесь, как правильно составить robots для своего ИМ, инструкцию Яндекса читать обязательно и проверять по данной инструкции, не закрыли ли от индексации важные страницы.
selected_section=discussion как эту хрень убрать из индекса ?