Спасибо всем за помощь! Ошибку обнаружили.
Виноваты кривые руки и строчка Disallow: /*%.
Проблема в том, что картинки у нас оказались кириллицей названы, а не латиницей. В итоге эта строчка в роботсе рубит напрочь всю графику сайта.
боты не разбираются в кодировках?
имхо, у вас какой то сложный роботс. можно зайти в cmsмагазин .. найти топовые магазины на cs-cart и сдуть у них роботс :)
seo имя аддоном задавали?
Да
Боты видят страницы карточек товаров где присутствует вкладка отзывы, урлы имеют в конце сайт.товар.html?selected_section=discussion
Боты видят страницы карточек товаров где присутствует вкладка отзывы, урлы имеют в конце сайт.товар.html?selected_section=discussion
это считается динамической ссылкой и плохо, тоже должно отфильтровываться
Изгоняя дубли, сломал себе бошку… Скажите мне, блин, ну почему
Disallow: /dispatch
Никак не действует на УРЛ
/index.php?dispatch=products.picker&display=options&picker_for=&extra=&checkbox_name=&aoc=&data_id=free_products&page=191
Яндекс говорит что можно индексировать. Соответственно льет тысячи страниц…
А, сабака, сам остю сам смеюсь… Яндекс игнорирует секцию User-agent: * если есть User-agent: Yandex !
Пять лет кормил Яндекс дублями.
А, сабака, сам остю сам смеюсь... Яндекс игнорирует секцию User-agent: * если есть User-agent: Yandex !
Пять лет кормил Яндекс дублями.
Disallow: */?dispatch= вот так правильнее. А точно игнорирует? Вроде не должен же. Может тестер не работает как надо в вебмастере? Напишите к ним в саппорт вопрос, меня тоже заинтересовало ...
Disallow: /design/
Disallow: /var/Disallow: /cache/
Кто вообще придумал закрывать от индексации вот эти папки?
Кто вообще придумал закрывать от индексации вот эти папки?
А что вы там хотели проиндексировать?
А что вы там хотели проиндексировать?
ну как минимум css файл который формируется в папке var/cache
ну как минимум css файл который формируется в папке var/cache
Вы сейчас так пошутили? Поясните, для чего вам индексировать этот файл?
ну как минимум css файл который формируется в папке var/cache
тоже интересно )
Для сведения "Яндекс написал "Мы отказываемся от директивы Host. Теперь эту директиву можно удалять из robots.txt, но важно, чтобы на всех не главных зеркалах вашего сайта теперь стоял 301-й постраничный редирект.""
Вы сейчас так пошутили? Поясните, для чего вам индексировать этот файл?
Да вот почему http://joxi.ru/E2pej1xfBg5byA- а от сюда фильтр и понижение позиций
тоже интересно )
ответил выше, так как гуглобот не может найти файл и считает сайт недоедланным, соответственно снижая позиции
ответил выше, так как гуглобот не может найти файл и считает сайт недоедланным, соответственно снижая позиции
Подскажите, на основании каких рекомендаций, документов справки и пр. вы сделали такой вывод?
ответил выше, так как гуглобот не может найти файл и считает сайт недоедланным, соответственно снижая позиции
не может найти и запрещен для индексирования - вы путаете эти два понятия
Ну вообще то это взаимосвязанные вещи, бот не ходит по этим папкам и не видит файлы стилей, соответственно не видит разметки и остальных вещей. Ну и как минимум посмотрите на скрин, вебмастер выдает это ошибкой, а на практике (что уже мной проверено) схватите нехилый такой фильтр и понизитесь в ранжирование. Блокировать такие урлы нельзя
Ну как минимум скрин мой посмотрите, рекомендации самого вебмастера считающего эти ошибки критическими, мало?
https://seoprofy.ua/blog/optimizaciya-sajtov/googlebot-css-js
http://fakir.name/vlijaniye-blokirovki-cssijs/
И уверяю вас это не пустое.
Подскажите пожалуйста этот пример актуален для версии 4.7.3?
http://lockki.ru/articles/cs-cart/ (не реклама, ищу пример robots.txt)
Может еще что нужно добавить?
Вы откройте на сайте CS-Cart страницу с примерами магазинов, посмотрите их версии (site.com/?version) и смотрите их роботс (site.com/robots.txt) и будет у Вас масса примеров для анализа.
Я б бы не приводил этот пример, кое где он пустой, вроде только у пудры что-то внятное Лучше смотреть на cmsmagazine и взяв несколько примеров с большим количеством строк отдать это на анализ сеошникам