Здравствуйте. Создали вторую витрину, но пока она в разработке закрыли, хотелось бы ее закрыть от индексирования, а Robots.txt общий для двух витрин. Подскажите, можно сделать отдельный Robots.txt для каждой витрины?
Всем привет!
robots.txt - намнооого важнее, чем может показаться на первый взгляд! С точки зрения SEO!
О её назначении и важности можно почитать на страничке Яндекса http://support.yandex.ru/support/webmaster/indexing-options/robots-txt-analyzer.xml -основного источника трафика!
Приведу супер важные параметры robots.txt:
1. Host: https://www.petsburg.ru- еще до начала обхода Вашего сайта, поисковой робот определяет главное зеркало домена именно из этого маленького файлика!
2. Sitemap: https://www.petsburg.ru/sitemap.xml- и соответственно если карта Вашего сайта прописана в robots.txt, то Ваш сайт в разы быстрее индексируется!
А теперь представьте! (кульминация)
Маленькие и добрые роботы Яндекса и Гугла начинают индексировать Ваш сайт (витрина №1). И с его robots.txt все прекрасно!
А соседние витрины при индексации подсовывают поисковым роботам robots.txt первой витрины.
И в результате, мультивитринность наносит ущерб, и дай бог, чтобы еще и под фильтры не попасть!(тоже мне придумали продуманы)
Уважаемая команда CS-CART, от имени всех пользователей, прошу Вас в приоритетном порядке решить данную задачу! Ведь CS-CART изначально позиционируется как seo ориентированный cms!
Спасибо :)
Чуть не забыл: и для полной картины, представьте себе, что витрины на разные тематики. Например, мебель и товары для животных :)
Такое масло кашу точно испортит!
Если строго выразился, то простите :)