Индексация Сайта Яндексом

Всем привет!



Залил сайт запустил индексирование прошла неделя, может больше, зашел в яндекс вебмастер глянуть что да как и тут те на,



вместо 600 страниц вижу только 3, и те закрыты для индексирования.



Судя по статистике робот был на сайте не раз, и делал в каждый раз по 80-100 запросов.



Как быть?



Вроде все прописал все включил.


<br /> User-agent: Yandex<br /> Host: ladyzlata.ru<br /> Disallow: /app/<br /> Disallow: /store_closed.html<br /> <br /> User-agent: *<br /> Disallow: /app/<br /> Disallow: /store_closed.html<br /> <br /> Sitemap: http://ladyzlata.ru/sitemap.xml<br />

Неделя для Яндекса нет ни что, месяц минимум, говорят помогает закинуть денег на Яндекс.Директ и запустить в Яндекс.Маркет.

[quote name='dbazhenov' timestamp='1438682985' post='225515']

Неделя для Яндекса нет ни что, месяц минимум, говорят помогает закинуть денег на Яндекс.Директ и запустить в Яндекс.Маркет.

[/quote]



мне не помогло яндекс пока раскочегарится, месяц - два это норма.

[quote name=‘pushkarskiy’ timestamp=‘1438682197’ post=‘225512’]

Как быть?

[/quote]

В индекс сайт быстрее попадает при наличии внешних ссылок. Неуникальные или малосодержательные страницы с высокой вероятностью в индекс не зайдут никогда. Например, страница с товаром, у которого нет даже минимального описания, но есть фотография и цена — это плохая страница по мнению поисковых систем. Такая страница может на короткое время попасть в индекс, но через определенный период будет исключена или не будет ранжироваться по соответствующему её содержанию запросу. Обычно в индексе главная появляется, как тут правильно заметили, за 2-4 недели.

Негативные факторы, которые могут привести к долгой индексации и плохому ранжированию:[list]

[]отсутствие релевантных внешних ссылок: у вас их 0;

[
]долгая загрузка сайта: пытаюсь уже 3 минуты открыть и пока получил только HTML, а CSS не подгрузились, равно как и медиа, хотя пинг до сервера проходит;

[]частые перебои с доступом к сайту;

[
]отсутствие уникального содержания;

[*]cloaking, shading, заспамленность и прочая “чернуха”.

[/list]

В robots.txt не забудьте дополнительно скрыть информацию, которая может привести к компроментированию персональных данных пользователей, а также указать на предпочтительное главное зеркало через директиву host.

Вот так примерно должен выглядеть robots.txt для CS Cart (если для диспатчей даны имена, то лучши их указать).

<br /> User-agent: *<br /> Disallow: /images/thumbnails/<br /> Disallow: /app/<br /> Disallow: /design/<br /> Disallow: /js/<br /> Disallow: /var/<br /> Disallow: /store_closed.html<br /> Disallow: /index.php?dispatch=checkout.cart<br /> Disallow: /index.php?dispatch=tags.summary<br /> Disallow: /index.php?dispatch=profiles.add<br /> Disallow: /index.php?dispatch=orders.search<br /> Disallow: /index.php?dispatch=auth.login_form&return_url=<br /> Disallow: /index.php?dispatch=auth.recover_password<br /> <br /> Sitemap: http://mydomain.ru/sitemap.xml<br /> Host: mydomain.ru<br />

[quote name=‘Reds’ timestamp=‘1438715352’ post=‘225624’]

В индекс сайт быстрее попадает при наличии внешних ссылок. Неуникальные или малосодержательные страницы с высокой вероятностью в индекс не зайдут никогда. Например, страница с товаром, у которого нет даже минимального описания, но есть фотография и цена — это плохая страница по мнению поисковых систем. Такая страница может на короткое время попасть в индекс, но через определенный период будет исключена или не будет ранжироваться по соответствующему её содержанию запросу. Обычно в индексе главная появляется, как тут правильно заметили, за 2-4 недели.

Негативные факторы, которые могут привести к долгой индексации и плохому ранжированию:[list]

[]отсутствие релевантных внешних ссылок: у вас их 0;

[
]долгая загрузка сайта: пытаюсь уже 3 минуты открыть и пока получил только HTML, а CSS не подгрузились, равно как и медиа, хотя пинг до сервера проходит;

[]частые перебои с доступом к сайту;

[
]отсутствие уникального содержания;

[*]cloaking, shading, заспамленность и прочая “чернуха”.

[/list]

[/quote]





Про ссылки понял, по второму пункту тоже ко мне относится?

[quote name=‘Reds’ timestamp=‘1438715949’ post=‘225626’]

В robots.txt не забудьте дополнительно скрыть информацию, которая может привести к компроментированию персональных данных пользователей, а также указать на предпочтительное главное зеркало через директиву host.

Вот так примерно должен выглядеть robots.txt для CS Cart (если для диспатчей даны имена, то лучши их указать).

<br /> User-agent: *<br /> Disallow: /images/thumbnails/<br /> Disallow: /app/<br /> Disallow: /design/<br /> Disallow: /js/<br /> Disallow: /var/<br /> Disallow: /store_closed.html<br /> Disallow: /index.php?dispatch=checkout.cart<br /> Disallow: /index.php?dispatch=tags.summary<br /> Disallow: /index.php?dispatch=profiles.add<br /> Disallow: /index.php?dispatch=orders.search<br /> Disallow: /index.php?dispatch=auth.login_form&return_url=<br /> Disallow: /index.php?dispatch=auth.recover_password<br /> <br /> Sitemap: http://mydomain.ru/sitemap.xml<br /> Host: mydomain.ru<br />

[/quote]



Спасиб, за совет.

[quote name='ALEXsei_' timestamp='1438698929' post='225569']

мне не помогло яндекс пока раскочегарится, месяц - два это норма.

[/quote]



Странно конечно, но вот например недавно залили на сайт 55 тысяч страниц в магазин с картинкой и ценой, и яндекс проиндексировал все 55 тысяч за 2 дня, после загрузки.



Правда на том сайте есть и внешние ссылки и существует он уже лет 6, не то что ladyzlata

[quote name=‘pushkarskiy’ timestamp=‘1438734478’ post=‘225652’]



Правда на том сайте есть и внешние ссылки и существует он уже лет 6, не то что ladyzlata

[/quote]



в чем вопрос?

[quote name='pushkarskiy' timestamp='1438734261' post='225651']

[color=#660066]Disallow[/color][color=#666600]:[/color][color=#000000] [/color][color=#008800]/js/[/color]

[/CODE]

[/quote]



тут гугл письма присылал, типа хочет видеть все … точно также как и человек



[color=#000000][font=Arial, sans-serif][size=3]Мы обнаружили на Вашем сайте проблему, которая может помешать его сканированию. Робот Googlebot не может обработать код JavaScript и/или файлы CSS из-за ограничений в файле robots.txt. Эти данные нужны, чтобы оценить работу сайта. Поэтому если доступ к ресурсам будет заблокирован, то это может ухудшить позиции Вашего сайта в Поиске.[/size][/font][/color]

[quote name='ALEXsei_' timestamp='1438746903' post='225661']

тут гугл письма присылал, типа хочет видеть все … точно также как и человек



[color=#000000][font=Arial, sans-serif][size=3]Мы обнаружили на Вашем сайте проблему, которая может помешать его сканированию. Робот Googlebot не может обработать код JavaScript и/или файлы CSS из-за ограничений в файле robots.txt. Эти данные нужны, чтобы оценить работу сайта. Поэтому если доступ к ресурсам будет заблокирован, то это может ухудшить позиции Вашего сайта в Поиске.[/size][/font][/color]

[/quote]



Да про это я забыл.

[quote name='ALEXsei_' timestamp='1438746656' post='225660']

в чем вопрос?

[/quote]



Вопрос в том что на другом сайта за 2 дня все проиндексировалось и добавилось в индекс, а тут индексация прошла раз 5 а в поиске 3 страницы и те исключены из поиска.

[quote name='ALEXsei_' timestamp='1438746903' post='225661']

тут гугл письма присылал, типа хочет видеть все … точно также как и человек

[/quote]

Важное замечание, которое я не учел. Для googlebot директорию /js/ лучше оставить открытой.

[quote name='pushkarskiy' timestamp='1438734261' post='225651']

Про ссылки понял, по второму пункту тоже ко мне относится?

[/quote]

Думаю это на моей стороне ошибка была из-за кэша. Сейчас проверил — всё ок.

[quote name='pushkarskiy' timestamp='1438749859' post='225663']

Вопрос в том что на другом сайта за 2 дня все проиндексировалось и добавилось в индекс, а тут индексация прошла раз 5 а в поиске 3 страницы и те исключены из поиска.

[/quote]

Индексация != заход бота на сайт или обновление поискового индекса. Обновление обычно затрагивает от 1% до 8% поискового индекса.

Надо понимать, что у 6-летнего домена есть определенная история, на основе которой, например, поисковая система может присвоить ему условный “вес” и на основе этого параметра выделить “кредит доверия”. Новым доменам доверия нет по ряду причин: это может быть doorway, это может быть тестовый домен, неизвестно представляет ли сайт интерес для других людей (об этом свидетельствуют внешние ссылки и поведенческие факторы), будет ли он стабильно работать, не используется ли как цепь в линкфермах и т. п.

Вдобавок сделаю акцент на том, что если страница в индексе — это еще не значит, что эта страница будет ранжироваться в поиске должным образом.

День добрый с горем пополам вроде индексирование началось, но как то малость не понятно.



В гугле получили по 1 запросу 31 позицию в регионе, но под ссылкой вместо дескрипшена и ключевых слов, видны описания из формы обратного звонка.



Как так получилось?

[quote name='pushkarskiy' timestamp='1439174827' post='226161']

День добрый с горем пополам вроде индексирование началось, но как то малость не понятно.



В гугле получили по 1 запросу 31 позицию в регионе, но под ссылкой вместо дескрипшена и ключевых слов, видны описания из формы обратного звонка.



Как так получилось?

[/quote]



у нас поисковики очень часто берут с описания товара в карточке … минуя дискрипшин. тоже не понятно. причем есть сайтик на вордпрессе там все путем … по обратному звонку, у меня у самого больше вопросов … я уже тут писал, подвисает корзина, модуля нет а статус заказа остается и т д

[quote name=‘pushkarskiy’ timestamp=‘1439174827’ post=‘226161’]

В гугле получили по 1 запросу 31 позицию в регионе, но под ссылкой вместо дескрипшена и ключевых слов, видны описания из формы обратного звонка.



Как так получилось?

[/quote]

У Google описания формируются отдельно от поискового индекса. Описания обновляется реже основного индекса и первым в него может попасть неподходящий отрывок текста с сайта. Позже всё должно выглядеть немного лучше, но важно заметить, что мета-тег description может вообще не попасть в сниппет (ключевые слова туда точно не попадут — этот тег давно не используется поисковыми машинами). Например, когда description не соответствует содержанию на странице (или совпадает по содержанию с заголовком, или представляет из себя набор ключевых слов), то по приоритету в сниппет уйдет наиболее релевантный отрывок из содержания страницы, а мета-тег description робот будет игнорировать до тех пор, пока он не станет соответствовать правилам google для вебмастеров.

Всем привет!

На сайте 2.5 тыс товаров, Яндекс примерно столько страниц и находил.

А после последнего обновления появилось тысяч 8 страниц с URL *index.php?get_параметры.

https://сайт.ru/index.php?option=com_content&view=category&layout=blog&id=123&Itemid=127

Стоит же встроенный 301 редирект стоит на главную страницу.

В гугл такого нет, находит 2.9 тыс страниц.

Яндекс удалить эти урлы не даёт - не оснований для удаления :)

Как сделать, чтоб они не мешались в индексе?

PS Смотрю, эти тысячи урлов (с index.php) имеют одно общее слово - blog.

Может с ним проблема? Он остался от демо-магазина, 7 скрытых статей.