Robots.txt

Общее Общие вопросы
81

Да лучше оставить закрытые страницы Disallow: /*/page-*/ ... даже если яндекс будет нормально обрабатывать их зачем плодить много страниц???

Если disallow оставлять, тогда тэг на страницах пагинации какой лучше ? noindex, follow ?

Хотя сейчас у меня товары в sitemap прописались. Но не все, разбираюсь, новые не прописываются.

Надо у поддержки узнать, почему в 4.3.5 каноникл нет.

82

Как ненавязчиво, аккуратно и витиевато впарена нам рефф ссылка на безлимитный говнохостинг. Так и хочется спросить, ребяты, а че, так можно делать тут, можно я составлю список и тоже вывалю? :)

Не, я понимаю, что petkin хочет лишнюю копеечку срубить, но нахрена вот так откровенно, в теме про роботсы писать как офигенно, что яндекс схавал у тебя кучу дерьма :)

Ну я про что и говорю, "кто скажет, что это девочка, пусть первый кинет в меня камень"(с), все мы не без греха, но вот так, придти, и зфигачить ... У меня челюсть настолько сильно упала на клаву, что случайно напечаталось сообщение выше.

:mrgreen:

Какие вы добрые то!

И тему эту жмете да мнете, только толку то от него как от дырки бублика :mrgreen:

И правильно делаете! Закрывайте все /*/page-*/, и пусть ваши конкуренты воспользуются вашими ошибками СЕО оптимизации!

От моей ссылки больше пользы для начинающих (и не только), чем от ваших упреков :mrgreen:

Ну собственно если бы выше пишущие товарищи хостились бы безлимитно, то не кричали бы тут, что кэш у них 9 Гб, и что с ним делать!!!??? Кэш придумали не от безделья!

И что касается моего дерьма севшим Яндексом - собственно все "это" и делается для того, чтобы яндекс и сел!

А если кому интересно, как использовать /*/page-*/ во благо, а не выбрасывать в мусорку, пишите в личку.

PS: Если бы моя ссылка была бы бесполезной или нарушала бы правила форума, то её вообще удалили бЫ! Господа, проходя мимо - проходите мимо!

:mrgreen:

83

Коллеги, здравствуйте!

Смотрю, в Я.вебмастере месяц назад резко скакнуло количество загруженных страниц.

http://joxi.ru/krDLv5zhEMRXnr

На сайте 2.5 тысячи товаров, сотни 4 категорий.

Где яндекс мог найти 11 тыс страниц? Причем, это только у яндекса. У гугла всё ровно 3 тыс / 2.8 тыс.

Смотрю, в таблице загруженных страниц у яндекса 4 тысячи УРЛов с кодом HTTP 301 MOVED PERMANENTLY вида

https://сайт.ru/index.php?option=com_content&view=article&id=1882:2013-08-07-15-02-23&catid=2:2010-01-25-15-05-49&Itemid=6

или

https://сайт.ru/index.php?option=com_content&view=category&layout=blog&id=208&Itemid=212

Что это?

очень много URL с переменной layout=blog

Сам блог включен, остались статьи от демомагазина, у которых статус "скрыто"

4.3.5

Лучше б робот добавлял товары в индекс, чем этот мусор посещать.

А то товаров 3 тыс, а в поиске всего 1100 стр

http://joxi.ru/L219kZ6U8GeNZ2

Карта сайта на товары есть.

84

Эмм... Посмотрел сейчас у себя. И вижу вообще странную картину, яндекс проиндексировал страницы

название_товара.html?page=1

а также page=2 и даже page=3

Какая на фиг вторая и третья страница карточки товара???

В общем, буду разбираться ))

4.3.5

85

А можно я чуть влезу? Почему никто не делает так:

Disallow: /index.php

В чем подвох? Я не нашел подвоха... Одним махом рубятся всевозможные ненужные дубли, половину роботса.тхт можно одной строчкой заменить.

Я не смог придумать что ПОЛЕЗНОГО бы из индекса эта строчка убила бы...

86

А можно я чуть влезу? Почему никто не делает так:

Disallow: /index.php

В чем подвох? Я не нашел подвоха... Одним махом рубятся всевозможные ненужные дубли, половину роботса.тхт можно одной строчкой заменить.

Я не смог придумать что ПОЛЕЗНОГО бы из индекса эта строчка убила бы...

тэги например :)

87

тэги например :)

Какие тэги?

Я так рассуждал - сайт полностью ЧУ, поэтому все, что не ЧПУ и не нужно скармливать поисковикам.

88

Какие тэги?

Я так рассуждал - сайт полностью ЧУ, поэтому все, что не ЧПУ и не нужно скармливать поисковикам.

например эти /index.php?dispatch=tags.view&tag=

а так да, по сути истина на твоей стороне, когдато я так делал, не помню почему отказался.

PS сейчас глянул свой роботс /index.php? ниразу нигде не участвует и при этом нигде не торчит .. значит беспокоится не следует

89

Какие тэги?

Я так рассуждал - сайт полностью ЧУ, поэтому все, что не ЧПУ и не нужно скармливать поисковикам.

Да, тэги закрывать не дело, я помню как именно по ним очень быстро вылез в поиске.

Для tags.view задать SEO имя например tag, и будет счастье вида tag.html?tag=имя+тэга

90

А у нас другая проблема... В индексе нет картинок из карточек товаров((
Что мы делаем не так?
robots прикладываю:

User-agent: Yandex
Disallow: /administrator/
Disallow: /app/
Disallow: /design/
Disallow: /var/
Disallow: /component/content/43.html
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /plugins/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /images/thumbnails/
Disallow: /*com_mailto
Disallow: /*pop=
Disallow: /*lang=ru
Disallow: /*format=
Disallow: /*print=
Disallow: /*task=vote
Disallow: /*=download
Disallow: /*user/
Disallow: /*404
Disallow: /*index*
Disallow: /*sort*
Disallow: /*items*
Disallow: /*?
Disallow: /*%
Disallow: /*&
Disallow: /*tag
Disallow: /*print=1
Disallow: /*atom
Disallow: /*rss
Disallow: /*mailcontact
Disallow: /*sl=
Disallow: /*layout*
Disallow: /*currency*
Disallow: /*variant_id=
Disallow: /*verification_id=
Disallow: /*display=
Disallow: /*more_filters=
Disallow: /*subcats=
Disallow: /*return_url=
Disallow: /*features_hash*
Disallow: /*dispatch*
Disallow: /*.pdf*
Disallow: /profiles-add/
Disallow: /*cart*
Host: irbis-bor.ru
User-agent: Googlebot
Disallow: /administrator/
Disallow: /app/
Disallow: /design/
Disallow: /var/
Disallow: /component/content/43.html
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /plugins/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /images/thumbnails/
Disallow: /*com_mailto
Disallow: /*pop=
Disallow: /*lang=ru
Disallow: /*format=
Disallow: /*print=
Disallow: /*task=vote
Disallow: /*=download
Disallow: /*user/
Disallow: /*404
Disallow: /*index*
Disallow: /*sort*
Disallow: /*items*
Disallow: /*?
Disallow: /*%
Disallow: /*&
Disallow: /*tag
Disallow: /*print=1
Disallow: /*atom
Disallow: /*rss
Disallow: /*mailcontact
Disallow: /*sl=
Disallow: /*layout*
Disallow: /*currency*
Disallow: /*variant_id=
Disallow: /*verification_id=
Disallow: /*display=
Disallow: /*more_filters=
Disallow: /*subcats=
Disallow: /*return_url=
Disallow: /*features_hash*
Disallow: /*dispatch*
Disallow: /*.pdf*
Disallow: /profiles-add/
Disallow: /*cart*
User-agent: *
Disallow: /administrator/
Disallow: /app/
Disallow: /design/
Disallow: /var/
Disallow: /component/content/43.html
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /plugins/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /images/thumbnails/
Disallow: /*com_mailto
Disallow: /*pop=
Disallow: /*lang=ru
Disallow: /*format=
Disallow: /*print=
Disallow: /*task=vote
Disallow: /*=download
Disallow: /*user/
Disallow: /*404
Disallow: /*index*
Disallow: /*sort*
Disallow: /*items*
Disallow: /*?
Disallow: /*%
Disallow: /*&
Disallow: /*tag
Disallow: /*print=1
Disallow: /*atom
Disallow: /*rss
Disallow: /*mailcontact
Disallow: /*sl=
Disallow: /*layout*
Disallow: /*currency*
Disallow: /*variant_id=
Disallow: /*verification_id=
Disallow: /*display=
Disallow: /*more_filters=
Disallow: /*subcats=
Disallow: /*return_url=
Disallow: /*features_hash*
Disallow: /*dispatch*
Disallow: /*.pdf*
Disallow: /profiles-add/
Disallow: /*cart*
Sitemap: http://irbis-bor.ru/sitemap.xml
91

А у нас другая проблема... В индексе нет картинок из карточек товаров((
Что мы делаем не так?
robots прикладываю:

У вас закрыта папка images/thumbnails/

Изображения на карточке товара показываются из этой папке. Сам детальное изображение показывается только при нажатии на картинку товара (открывается в попапе или зумом). Скорее всего из-за этого не подхватываются картинки
92

А у нас другая проблема... В индексе нет картинок из карточек товаров((
Что мы делаем не так?
robots прикладываю:

а вы посмотрите адрес картинки на яндекс вебмастер, не блокируется ли она в роботсе

мне кажется, что Disallow: /*? их блокирует.

93

Да, тэги закрывать не дело, я помню как именно по ним очень быстро вылез в поиске.

Для tags.view задать SEO имя например tag, и будет счастье вида tag.html?tag=имя+тэга

seo имя аддоном задавали?

94

Спасибо всем за помощь! Ошибку обнаружили.

Виноваты кривые руки и строчка Disallow: /*%.

Проблема в том, что картинки у нас оказались кириллицей названы, а не латиницей. В итоге эта строчка в роботсе рубит напрочь всю графику сайта.

95

Спасибо всем за помощь! Ошибку обнаружили.

Виноваты кривые руки и строчка Disallow: /*%.

Проблема в том, что картинки у нас оказались кириллицей названы, а не латиницей. В итоге эта строчка в роботсе рубит напрочь всю графику сайта.

боты не разбираются в кодировках?

имхо, у вас какой то сложный роботс. можно зайти в cmsмагазин .. найти топовые магазины на cs-cart и сдуть у них роботс :)

96

seo имя аддоном задавали?

Да

97

Боты видят страницы карточек товаров где присутствует вкладка отзывы, урлы имеют в конце сайт.товар.html?selected_section=discussion


Боты видят страницы карточек товаров где присутствует вкладка отзывы, урлы имеют в конце сайт.товар.html?selected_section=discussion

это считается динамической ссылкой и плохо, тоже должно отфильтровываться

98

Изгоняя дубли, сломал себе бошку… Скажите мне, блин, ну почему

Disallow: /dispatch

Никак не действует на УРЛ

/index.php?dispatch=products.picker&display=options&picker_for=&extra=&checkbox_name=&aoc=&data_id=free_products&page=191

Яндекс говорит что можно индексировать. Соответственно льет тысячи страниц…

А, сабака, сам остю сам смеюсь… Яндекс игнорирует секцию User-agent: * если есть User-agent: Yandex !

Пять лет кормил Яндекс дублями.

99

А, сабака, сам остю сам смеюсь... Яндекс игнорирует секцию User-agent: * если есть User-agent: Yandex !

Пять лет кормил Яндекс дублями.

Disallow: */?dispatch= вот так правильнее. А точно игнорирует? Вроде не должен же. Может тестер не работает как надо в вебмастере? Напишите к ним в саппорт вопрос, меня тоже заинтересовало ...

100

Disallow: /design/

Disallow: /var/
Disallow: /cache/

Кто вообще придумал закрывать от индексации вот эти папки?