Добрый день! Подскажите пожалуйста!
Подключил к сайту вебмастер яндекса и он в статистике обхода выдает URL страниц и категорий из демки, к примеру /elektronika/, которые я естественно сразу после установки cs-cart удалил. Естественно пишет 404 Not Foung
Что сделать, чтобы яндекс их не обходил? И как он вообще о них узнал? В sitemap о них, разумеется, не слова!
Спасибо!
значит бот успел сосканировать пока удалял … если страниц нет, ничего можно не делать … походит убедится, что страницы нет
Делать какие то доп телодвижения в данном случае имхо мало продуктивно.
Мне порой кажется, что Яндекс помимо чёткого указания из сайтмапа и ссылок на страницах, использует дополнительные алгоритмы поиска контента. Например видит, что очень часто страницы (категории) имеют параметр page=… и применяет эти параметры для страниц, у которых их нет. А как еще объяснить, что у страниц товаров вебмастер постоянно находит дубли товар? page=2, товар? page=3 итд? А через день удаляет как неканонические.
3 лайка
ну да 
… еще не забыто как яндекс через свой браузер выложил все “секретные” страницы сайтов на вебасусе
Нет, такого быть не может) cs-cart купил в мае 21 года, сразу закрыл доступ, в июне удалил все демо данные, в апреле 21 открыл)
Спасибо, тогда я спокоен)
1 лайк
что подразумевается под “закрыл доступ”? если только в роботсе, то это не считается.
Закрыл витрину, и яндекс не обходил сайт на протяжении почти года
а браузер не от яндекса?
там же в статистике обхода можно увидеть когда яша увидел эти страницы … и сопоставить по времени, что вы делали в этот момент.
Нет)
Да, конечно можно! К примеру, последний раз вчера, 26.04.2022 /tissot/ N / a 404 Not Found
В том то и интерес, откуда он берет эти данные, если этих данных как бы не должно быть уже на сайте
берет из памяти бота, бот увидел страницу, и теперь ходит убеждается появилась она или нет … через пол года сотрет с памяти и перестанет заходить.
я имел ввиду посмотреть историю, чтобы понять в какой момент он ее обнаружил. если домен был старый и известен ботам, то он он мог сделать это быстро.