Robots.txt

Как деактивировать создание robots.txt из базы данных?

Сам себе ответил и заодно предложил решение для языковой мультивитринности на одной установке MV и MV Plus

User-agent: *
Disallow: /cgi-bin/
Disallow: /app/
Disallow: /var/
Disallow: /store_closed.html
Disallow: /404.html
Disallow: /init.php
Disallow: /php.ini
Disallow: /prepare.php
Disallow: /sendmail/
Disallow: /*sl=
Disallow: /*currency=
Disallow: /*sort_by=
Disallow: /layout=
Disallow: /variant_id=
Disallow: /display=
Disallow: /return_url=
Disallow: /more_filters=
Disallow: /subcats=
Disallow: /
?sef_rewrite=
Disallow: /tags.summary
Disallow: /wishlist.view
Disallow: /login?
Disallow: /profiles-update
Disallow: /
?selected_section=
Disallow: /
?page=
Disallow: /
?page-
Disallow: /
?combination=
Disallow: /
?features_hash=
Disallow: /*index.php?dispatch=

User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /app/
Disallow: /var/
Disallow: /store_closed.html
Disallow: /404.html
Disallow: /init.php
Disallow: /php.ini
Disallow: /prepare.php
Disallow: /sendmail/
Disallow: /*sl=
Disallow: /*currency=
Disallow: /*sort_by=
Disallow: /layout=
Disallow: /variant_id=
Disallow: /display=
Disallow: /return_url=
Disallow: /more_filters=
Disallow: /subcats=
Disallow: /
?sef_rewrite=
Disallow: /tags.summary
Disallow: /wishlist.view
Disallow: /login?
Disallow: /profiles-update
Disallow: /
?selected_section=
Disallow: /
?page=
Disallow: /
?page-
Disallow: /
?combination=
Disallow: /
?features_hash=
Disallow: /*index.php?dispatch=

User-agent: Googlebot
Allow: *.css
Allow: *.js
Disallow: /cgi-bin/
Disallow: /app/
Disallow: /var/
Disallow: /store_closed.html
Disallow: /404.html
Disallow: /init.php
Disallow: /php.ini
Disallow: /prepare.php
Disallow: /sendmail/
Disallow: /*sl=
Disallow: /*currency=
Disallow: /*sort_by=
Disallow: /layout=
Disallow: /variant_id=
Disallow: /display=
Disallow: /return_url=
Disallow: /more_filters=
Disallow: /subcats=
Disallow: /
?sef_rewrite=
Disallow: /tags.summary
Disallow: /wishlist.view
Disallow: /login?
Disallow: /profiles-update
Disallow: /
?selected_section=
Disallow: /
?page=
Disallow: /
?page-
Disallow: /
?combination=
Disallow: /
?features_hash=
Disallow: /*index.php?dispatch=

Sitemap: https://site.ru/sitemap.xml

4 лайка

Disallow: /?combination=

Это что запрещает - не пойму?

Индексировани вариаций товаров, все адреса вариаций содержат combinatyon=
По крайней мере в 4.9 точно, в более поздних не знаю как.

в последних другие вариации … и адрес другой

Добрый день ребята :hugs:
Подскажите, стоит ли еще включать модуль AB: SEOhide ,
если все технические страницы на запрет прописаны в файле который выше находится в robots.txt ?

Это устаревший модуль. По возможности лучше использовать модуль AB: Антибот.

ДА, и такой есть модуль)) как раз посмотрела

ДА, и такой есть модуль)) как раз посмотрела

Да, но Это я так понимаю разные модули?
AB: SEOhide - Модуль ограничивает возможность перехода по запрещенным к индексации страницам с помощью технологии SEOhide
Антибот - Антибот (CAPTCHA) служит для подтверждения того, что различные действия в магазине

Имел ввиду вот этот https://cs-cart.alexbranding.com/ru/antibot.html

Модуль AB: SEOhide на данный момент перестал поддерживаться. Сама технология подразумевает кодирование и декодирование контента, скачивание доп.файла с хешами, отработку JS на стороне браузера. Модуль AB: Антибот вообще не работает на стороне реальных пользователей, а для ботов попросту вырезает запрещенный контент, снижая нагрузку и делая страницы легче.

Поэтому мы не рекомендуем использовать AB: SEOhide

Ага теперь понятно). Но у меня версия пониже, поэтому данный модуль не доступен для моей версии!
Поэтому достаточно тех настроек что robots.txt или еще и должен быть включен модуль AB: SEOhide ?

Обновление пока что не планирую!!!

Ага теперь понятно). Но у меня версия пониже, поэтому данный модуль не доступен для моей версии!
Поэтому достаточно тех настроек что robots.txt или еще и должен быть включен модуль AB: SEOhide ?

Обновление пока что не планирую!!!

Достаточно в роботс закрыть ) роботы тогда не будут индексировать данные страницы

А можно пример вашего robots файла? Я так понимаю он устраивает в плане закрытия от индексации ненужного?

Allow: *.css
Allow: *.js
Disallow: /cgi-bin/
Disallow: /app/
Disallow: /var/
Disallow: /store_closed.html
Disallow: /404.html
Disallow: /init.php
Disallow: /php.ini
Disallow: /prepare.php
Disallow: /sendmail/
Disallow: /*sl=
Disallow: /*currency=
Disallow: /*sort_by=
Disallow: /layout=
Disallow: /variant_id=
Disallow: /display=
Disallow: /return_url=
Disallow: /more_filters=
Disallow: /subcats=
Disallow: /?sef_rewrite=
Disallow: /tags.summary
Disallow: /wishlist.view
Disallow: /login?
Disallow: /profiles-update
Disallow: /?selected_section=
Disallow: /?page=
Disallow: /?page-
Disallow: /?combination=
Disallow: /?features_hash=
Disallow: /*index.php?dispatch=

1 лайк

Проверьте, как видит ваш сайт гугл бот

Подскажите, а как можно это сделать ?