Идеальный robot.txt


#23

смотрите сайты лидеров на этом движке и коммуниздите оттуда роботс. куда проще. там уже повозились сеошники, взяли даже с них за это деньги :slight_smile:

как я понимаю роботс по умолчанию уже достаточен т к от индексации ненужные страницы закрыты непосредственно на страницах тегами нороботс нофлоу. дальше уже идут настройки конкретно вашей конфигурации, есть ли у вас вариации, фильтры отзывы и т д. Если они есть и не закрыты на страницах тогда запрет прописывается в роботсе. Эти страницы вычисляются сеошниками, либо самостоятельно. Идеальный роботс написать невозможно.


#24

Удалось прийти к идеальному robtos? у меня такие же ошибки были ровно как у вас.