Модуль не скрывает ссылки добавления товара к сравнению. Антибот скрывает только блок с ссылками для перехода на страницу сравнения = https://i.ibb.co/jzK1NWR/image.png
Осмелюсь предположить, что Netpeak поймал баг и тем самым вводит в заблуждение. Грубо говоря он дискредитирует такими ошибками разработчиков темы.
Либо второй вариант.
Сайт действительно блокирует переходы ботов и поисковых систем отдавая им 404 ошибку, при этом сайт юзеров пропускает без ошибки. По такому принципу как раз работает Антибот = одним показывает, другим нет.
Во втором случае следует привлекать программиста, который сможет взглянуть на сайт как бот, чтобы зафиксировать ошибку.
Получил мгновенный ответ от техподдержки Netpeak. Они подтвердили ошибку на сайте и прислали скрин из не менее популярной программы SEO FROG на эту же ошибку = https://img.netpeaksoftware.com/vieri/6JECRP.png
И один очень важный момент: поисковая машина видит код, который вычищен от этого всего, а вот сервис анализа может быть в списке плохих ботов либо просто пользователей, которым доступен полный код страницы.
Дельное замечание. Включил скрытие блока в Макете от всех. Правильно? Переспрашиваю, потому что нетпик от лица бота гугл по прежнему нашел ссылки (папку с кешем вообще удалил), а так же другие онлайн сервисы для просмотра от бота.
Видимо на сайте поставили редирект именно на URL закодированными символами “%3F” и т.д. Если в браузере перейти по URL с символами — тогда URL редиректа такой: скриншот.
А если символы декодировать, так как они зарезервированы и их можно использовать (а программа делает именно так) и по такому URL перейти в браузере — скриншот URL редиректа уже будет другой, и он отдаёт 404 страницу. Это Netpeak Spiderи показывает → скриншот.
Все очень сложно и не понятно. Но я понял что битые страницы возникают из-за декодирования ссылок, боты их видят иначе и не могут открыть. Доказать как я это понял будет невозможно и легче их скрыть, но возникла другая проблема.
А именно проблема с проверкой. Аналогичные битые ссылки находит netpeak на демосайте unitheme.net, даже если смотреть как бот. И вот здесь непонятно, либо нетпик глючит, либо модуль антибот.
Хочу отметить, что в сохраненной копии страницы гугла, которая была приведена выше действительно ссылок comparison нет, но к моему удивлению я их в гугл копии своего сайта тоже не нашел, хотя модулем не скрывал. Фильтры как выяснилось тоже скрыты, похоже на нарыл еще один косяк, почему после обновления проседают позиции.
Слишком много ошибок для одной темы, нужно разбивать на подтемы.
Если кто не знает, то скрывать от ботов ключевые факторы по которым поисковые системы определяют, что ваш сайт является “интернет-магазином” нельзя. По факту после обновления мой сайт превратился в инфо-ресурс с однотипными текстовыми страницами (карточки товара) без функционала, который был скрыт от ботов. Наличие на сайте фильтров, компаря, избранного, корзины и тд это те ключевые факторы по которым поисковые системы определяют ценность вашего интернет-магазина. Если ничего этого нет, то грош цена такому интернет-магазина и его вытесняют другие магазина где это все есть. Вот теперь картина прояснилась, почему позиции падают. Не только из-за тонны битых ссылок lazy loads…
Я пытался, но это испорченный телефон, человек не понимает в SEO, но при этом, опираясь на оценку эксперта, делает вывод за эксперта:
"Вот теперь картина прояснилась, почему позиции падают. "
Далее я флудить не буду.
Вот проект на продвижении Нетпик и полностью штатной теме и сео пакете https://one-click.com.ua/ (все все обновления делаются день в день, владелец обновляет платформу и все модули ВСЕГДА среди первых) оцените трафик любым сервисом в динамике за год - два (там рост в 5-6 раз по органике).
Задачи удалять или дополнительно скрывать/не скрывать ссылки на кнопках не было.
Если мы получаем задачу от НЕТПИК добавить что то, чего нет, мы добавляем это в модуль (для всех пользователей это открывается в обновлении).
Касаемо 404 для бота в чистой ссылке и проблемой кодирования это нужно писать в саппорт CS-Cart (еще раз с модулем Антибот эта проблема не актуальна), я об этом сказал с самого начала.
Все остальное флуд при всем моем уважении к автору поста.
Теперь посмотрите на скрин моего сайта выше. Вам может показаться что это не играет роли для SEO, но моя задача с вами не спорить, а сделать как на one-click.com.ua
Есть мысли почему такая разница?
Есть, но в вопросах SEO вам лучше полагаться на того, кто вас продвигает и консультирует.
Если я вам постараюсь помочь, написав, что не так, вы потом сошлетесь на это при следующей неудаче, поэтому я предпочту не давать своей оценки. Используйте настройки модуля, используйте те предписания, что дает вам ответственный SEO специалист, если не хватает технических знаний требуйте консультации вашего программиста, который вас ведет. На самом деле вы же можете открывать для индексации или закрывать те или иные блоки модулем. А что делать, как правильно? С этим вопрос не к нам. Рекомендованные настройки в документации к модулю, но они вас не устраивают (весь пост об этом), тогда что еще можно добавить? Флуда не будет (извините).
Обращаю ваше внимание на то, что в приведенном вами примере страницы тоже нет в кеше ни сравнения, корзины, желаемого, ни другого (по вашему мнению чрезвычайно важного для интернет - магазина) функционала и это не мешает проекту узконишевому получать 1500 чел из органики ежедневно, бороться в выдаче с розетками и другими “монстрами”, где в техническом штате 100-300 чел разработчиков.
Разумеется. Моя обеспокоенность была вызвана битыми ссылками, но как выяснилось это не к вам. Спасибо за анализ. Далее в ходе беседы вы помогли пролить свет на проблему индексации. Мне бы теперь разобраться, почему гугл не видит фильтры, ведь я ничего не скрывал антиботом.
Побуду на пару минут Вашим программистом )). Обратите внимание на настройки блока фильтров. В нем есть возможность показывать или скрывать его для разных типов устройств. И, возможно, Ваш сайт сканирует бот для смартфонов, а блок отображается только для планшетов и ПК
Зайдите в настройки Google Console и посмотрите так ли это. Если да то и кэшированные данные смотрите на смартфоне или в соответствующем режиме десктопного браузера.
Google сообщал что всех переведет на сканирование ботом для смартфонов. Правда, на мое удивление, у одного моего клиента Google до сих пор сканирует сайт ботом для ПК. Так что такое еще бывает ))
В теме от АВ в макете категории 2 блока с фильтрами - один для ПК и планшетов, второй для смартфонов. Так что Гугл в любом случае видит блок с фильтрами товаров.