Как деактивировать создание robots.txt из базы данных?
Сам себе ответил и заодно предложил решение для языковой мультивитринности на одной установке MV и MV Plus
User-agent: *
Disallow: /cgi-bin/
Disallow: /app/
Disallow: /var/
Disallow: /store_closed.html
Disallow: /404.html
Disallow: /init.php
Disallow: /php.ini
Disallow: /prepare.php
Disallow: /sendmail/
Disallow: /*sl=
Disallow: /*currency=
Disallow: /*sort_by=
Disallow: /layout=
Disallow: /variant_id=
Disallow: /display=
Disallow: /return_url=
Disallow: /more_filters=
Disallow: /subcats=
Disallow: /?sef_rewrite=
Disallow: /tags.summary
Disallow: /wishlist.view
Disallow: /login?
Disallow: /profiles-update
Disallow: /?selected_section=
Disallow: /?page=
Disallow: /?page-
Disallow: /?combination=
Disallow: /?features_hash=
Disallow: /*index.php?dispatch=
User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /app/
Disallow: /var/
Disallow: /store_closed.html
Disallow: /404.html
Disallow: /init.php
Disallow: /php.ini
Disallow: /prepare.php
Disallow: /sendmail/
Disallow: /*sl=
Disallow: /*currency=
Disallow: /*sort_by=
Disallow: /layout=
Disallow: /variant_id=
Disallow: /display=
Disallow: /return_url=
Disallow: /more_filters=
Disallow: /subcats=
Disallow: /?sef_rewrite=
Disallow: /tags.summary
Disallow: /wishlist.view
Disallow: /login?
Disallow: /profiles-update
Disallow: /?selected_section=
Disallow: /?page=
Disallow: /?page-
Disallow: /?combination=
Disallow: /?features_hash=
Disallow: /*index.php?dispatch=
User-agent: Googlebot
Allow: *.css
Allow: *.js
Disallow: /cgi-bin/
Disallow: /app/
Disallow: /var/
Disallow: /store_closed.html
Disallow: /404.html
Disallow: /init.php
Disallow: /php.ini
Disallow: /prepare.php
Disallow: /sendmail/
Disallow: /*sl=
Disallow: /*currency=
Disallow: /*sort_by=
Disallow: /layout=
Disallow: /variant_id=
Disallow: /display=
Disallow: /return_url=
Disallow: /more_filters=
Disallow: /subcats=
Disallow: /?sef_rewrite=
Disallow: /tags.summary
Disallow: /wishlist.view
Disallow: /login?
Disallow: /profiles-update
Disallow: /?selected_section=
Disallow: /?page=
Disallow: /?page-
Disallow: /?combination=
Disallow: /?features_hash=
Disallow: /*index.php?dispatch=
Sitemap: https://site.ru/sitemap.xml
Disallow: /?combination=
Это что запрещает - не пойму?
Индексировани вариаций товаров, все адреса вариаций содержат combinatyon=
По крайней мере в 4.9 точно, в более поздних не знаю как.
в последних другие вариации … и адрес другой
Добрый день ребята
Подскажите, стоит ли еще включать модуль AB: SEOhide ,
если все технические страницы на запрет прописаны в файле который выше находится в robots.txt ?
Это устаревший модуль. По возможности лучше использовать модуль AB: Антибот.
ДА, и такой есть модуль)) как раз посмотрела
ДА, и такой есть модуль)) как раз посмотрела
Да, но Это я так понимаю разные модули?
AB: SEOhide - Модуль ограничивает возможность перехода по запрещенным к индексации страницам с помощью технологии SEOhide
Антибот - Антибот (CAPTCHA) служит для подтверждения того, что различные действия в магазине
Модуль AB: SEOhide на данный момент перестал поддерживаться. Сама технология подразумевает кодирование и декодирование контента, скачивание доп.файла с хешами, отработку JS на стороне браузера. Модуль AB: Антибот вообще не работает на стороне реальных пользователей, а для ботов попросту вырезает запрещенный контент, снижая нагрузку и делая страницы легче.
Поэтому мы не рекомендуем использовать AB: SEOhide
Ага теперь понятно). Но у меня версия пониже, поэтому данный модуль не доступен для моей версии!
Поэтому достаточно тех настроек что robots.txt или еще и должен быть включен модуль AB: SEOhide ?
Обновление пока что не планирую!!!
Ага теперь понятно). Но у меня версия пониже, поэтому данный модуль не доступен для моей версии!
Поэтому достаточно тех настроек что robots.txt или еще и должен быть включен модуль AB: SEOhide ?
Обновление пока что не планирую!!!
Достаточно в роботс закрыть ) роботы тогда не будут индексировать данные страницы
А можно пример вашего robots файла? Я так понимаю он устраивает в плане закрытия от индексации ненужного?
Allow: *.css
Allow: *.js
Disallow: /cgi-bin/
Disallow: /app/
Disallow: /var/
Disallow: /store_closed.html
Disallow: /404.html
Disallow: /init.php
Disallow: /php.ini
Disallow: /prepare.php
Disallow: /sendmail/
Disallow: /*sl=
Disallow: /*currency=
Disallow: /*sort_by=
Disallow: /layout=
Disallow: /variant_id=
Disallow: /display=
Disallow: /return_url=
Disallow: /more_filters=
Disallow: /subcats=
Disallow: /?sef_rewrite=
Disallow: /tags.summary
Disallow: /wishlist.view
Disallow: /login?
Disallow: /profiles-update
Disallow: /?selected_section=
Disallow: /?page=
Disallow: /?page-
Disallow: /?combination=
Disallow: /?features_hash=
Disallow: /*index.php?dispatch=
Проверьте, как видит ваш сайт гугл бот
Подскажите, а как можно это сделать ?