Robots.txt

[quote name='Елена' timestamp='1428357488' post='210497']

Буду благодана за помощь чайнику

[/quote]



Чтобы перестать быть чайником прочитайте вот это http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml все подробно и с примерами.

Читала, понимаю - как, не всегда понимаю - что.

Лучше подскажите, где чайнику прочесть где что лежит и что за что отвечает в CS-Cart. Чтобы понимать, что запрещаешь…

Потому и прошу помощи специалистов с конкретным вопросом: подскажите одну единственную строчку Disallow: / …, чтобы не индексировались страницы с данными продавцов в МультиВендоре.

Пока мне пришлось прописать каждого (26)…







Буду благодарна за ответ по существу

Подниму тему. При переходе с 4.2.4 на 4.3.1 столкнулся с проблемой, пух кэш, были глюки с бэкапом. Как я понимаю, связано это с активностью роботов, по крайней мере за неделю после обновления только по яндексу число загруженых страниц увеличилось с 6000 стр до 24000.



По видимому, обновление открыло какой то “портал” и роботы стали грузить все подряд, напрягая ресурсы хостинга.

Поэтому я переработал свой robots.txt если, что то лишнее или не хватает, пишите.



User-agent: *

Disallow: /images/thumbnails/

Disallow: /app/

Disallow: /design/

Disallow: /var/

Disallow: /404.html

Disallow: /init.php

Disallow: /php.ini

Disallow: /store_closed.html

Disallow: /prepare.php

Disallow: /profiles-update

Disallow: /*sl=

Disallow: /*sort_by=

Disallow: /*layout=

Disallow: /*currency=

Disallow: /*variant_id=

Disallow: /*verification_id=

Disallow: /*display=

Disallow: /*more_filters=

Disallow: /*subcats=

Disallow: /*items_per_page=

Disallow: /*return_url=

Disallow: /*features_hash

Disallow: /*dispatch=auth

Disallow: /*dispatch=products.search

Disallow: /*dispatch=checkout.cart

Disallow: /*dispatch=tags.summary

Disallow: /*dispatch=profiles.add

Disallow: /*dispatch=orders.search

Disallow: /*dispatch=events.search

Disallow: /*dispatch=news.lis

Disallow: /*dispatch=profiles.update

Crawl-delay: 3



Host: xxxxxxxxxx.ru

Sitemap: http://xxxxxxxxxxxxx.ru/sitemap.xml

То, что в роботсе закрыто - это не значит что робот не пройдется по этим ссылкам. Это значит, что вы не хотите чтобы это попало в индекс, и всего то.



С последними апдейтами можно убрать


<br /> User-agent: Yandex<br /> Disallow: /*/page-*/<br />



Сейчас правильно выводится каноникал, и дубли не должны вылазить больше.

[quote name='Saboteur' timestamp='1439305017' post='226404']

То, что в роботсе закрыто - это не значит что робот не пройдется по этим ссылкам. Это значит, что вы не хотите чтобы это попало в индекс, и всего то.



С последними апдейтами можно убрать


<br /> User-agent: Yandex<br /> Disallow: /*/page-*/<br />



Сейчас правильно выводится каноникал, и дубли не должны вылазить больше.

[/quote]



не исключаю. но как я понимаю там есть роботы которые ходят по ссылкам, а есть те которые потом скачивают. после того как переписал роботс, работа стабилизировалась. к тому же поддержка рекомендует в борьбе с пухнущим кэшем прописывать [color=#282828][font=arial, verdana, tahoma, sans-serif]Disallow: /features_hash … значит на, что то надеются :) хотя только этого запрета не хватило.[/font][/color]

[color=#282828][font=arial, verdana, tahoma, sans-serif]да, [/font][/color]/page-
/ у меня сейчас нету

:) ну вы как дети :)


вы думаете что есть только боты яндекса, гугла и еще пары поисковиков? Там их как собак нерезаных, зоопарк целый. И запретить им можно ходить по этим ссылкам с параметрами не роботсом, а баном в .htaccess по юзерагенту, например. Ну для полноты картины, есть боты, которые только прикрываются ЮА гугла или яндекса ))

Не стоит заморачиваться так на этом. Это уже не так сильно актуально. Единственно, надо отслеживать, чтобы в индекс не попадало это барахло, и постоянно не было тонн лишних загруженных роботом. Тогда да, можно ему явно в роботсе указать на этот косяк.

del

[quote name=‘Saboteur’ timestamp=‘1439306344’ post=‘226409’]

вы думаете что есть только боты яндекса, гугла и еще пары поисковиков? Там их как собак нерезаных, зоопарк целый.

[/quote]



да … так оно и есть … но тем не менее … практика критерий истины.



вот так выглядит активность гугла и яндекса … подьем это дата обновления на 4.3.1

https://yadi.sk/i/nncfn3P0iQim4

https://yadi.sk/i/JeaST7lLiQimC



остановка подьема это когда был прописан новый роботс. пусть я “как дети”, но другого решения за все это время не было.

ALEXsei_ , я же написал, что если индексация ботами полезных поисковиков выходит из под контроля, то правильно и нужно регулировать ее из роботса. Но, влиять на рост кеша “правилами из роботс”, это как камлать в бубен у вашего сервера …


ALEXsei_ , я же написал, что если индексация ботами полезных поисковиков выходит из под контроля, то правильно и нужно регулировать ее из роботса. Но, влиять на рост кеша "правилами из роботс", это как камлать в бубен у вашего сервера ...


не исключаю :) тогда поддержка cs-cart бубенный ансамбль :) как я понял из сообщений на буржуйской ветке форума, чтобы не рос кеш они рекомендуют закрывать ссылки в роботсе :)

тем не менее 1) кеш больше не пухнет (возможно роботы просто наелись) 2) работа сайта нормализовалась. все это совпало с изменением роботс.

не исключаю, что на выделенных серверах неограниченных обьемов такое поведение ботов не чувствуется ..
с такой проблемой ни разу не сталкивался, всегда закрывал лишние пути, но видимо в новой версии появились новые и слишком много.

0af28-clip-42kb.png

Сегодня обновилась поисковая база и у меня вылилось что на сайте аж 16 тысяч страниц. Сайт к моему удивлению как работал так и работает, тупняков я не заметил, только вот место постоянно растет.

а у меня всего 242 товара, 95 категорий, 18 вебстраниц и 110 тегов. мое предположение что это увеличение связано с тегами и количеством категорий, т.к. до того как было 30 категорий в которых теги встречались всего в 3 из них, то сейчас теги переплетаются в 70 категориях.

и?

редактируй роботс.

это боты перебирают варианты фильтров

и?

редактируй роботс.

это боты перебирают варианты фильтров

:) не могу сидеть спокойно, когда в интернете кто то не прав :)

Не надо редактировать роботс.тхт если тянут из фильтров поисковики. В коде страницы с фильтрами стоит:


Это то же самое что и запрет в роботсе.

:) не могу сидеть спокойно, когда в интернете кто то не прав :)

Не надо редактировать роботс.тхт если тянут из фильтров поисковики. В коде страницы с фильтрами стоит:


Это то же самое что и запрет в роботсе.

я понимаю тебя. но тем не менее проблема существует. практика показала, что она лечится именно через роботс. поддержка cs-cart так же рекомендует править роботс.

в свое время месяц мучался с этой проблемой, я бы с удовольствие бы тогда принял действенные рекомендации, но их не было ... поддержка cs-cart принимала в этом участие ;)

я приводил графики, как после обновления катастрофически начал пухнуть кэш .. и как проблема была решена только после правки роботс. можно долго говорить о теории, но есть практика.

я не знаю .. может в коде конкретного обновления была ошибка? ведь до обновления проблем не было ... не исключаю, что можно было разбираться че там не работает, почему страницы прут .. но я в этом не специалист, мне понятнее было править роботс ...вот как то так.

Смотри, еще раз расскажу. Роботы поисковиков ходят везде. Запрещай в роботс или нет - они пройдут везде, куда дотянутся.

В роботсе мы закрываем ИНДЕКСАЦИЮ. Т.е. сообщаем что этот хлам не надо выкладывать в выдачу поисковика.

В вебмастере яндекса будет информация - загружено стопицот тысяч страниц, в индексе 5000.

Внутренние алгоритмы яндекса могут как то оптимизировать индексирование, когда видят, что информация реально дублируется, закрыта ноиндексом постоянно и т. д. И в среднем это устаканивание занимает пару месяцев.

Вот и вся магия. Но да, если хотите контролировать процесс - можно ручками все это позакрывать.

Добрый день! Подскажите что дописать лучше в robots.txt? При индексировании просто кладут ЦПУ и хостер просто банит сайт!

У меня в робот.тхт прописано следующее:

Sitemap: http://prokesha.ru/sitemap.xml

Host: prokesha.ru

Disallow: /?currency
Disallow: /?currency=
Disallow: /*?currency=*
Disallow: /?sort_by
Disallow: /?sort_by=
Disallow: /*?sort_by=*
Disallow: /*layout=
Disallow: /*sl=
Disallow: /init.php
Disallow: /php.ini
Disallow: /*page=
Disallow: /images/thumbnails/
Disallow: /skins/
Disallow: /payments/
Disallow: /store_closed.html
Disallow: /core/
Disallow: /lib/
Disallow: /install/
Disallow: /js/
Disallow: /schemas/
Disallow: /*currency=
Disallow: /*variant_id=
Disallow: /*display=
Disallow: /*return_url=
Disallow: /*dispatch=
Disallow: /*more_filters=
Disallow: /*features_hash=
Disallow: /*subcats=
Disallow: /*dispatch=products.search

Crawl-delay: 360

User-agent: Googlebot

Disallow: /?currency
Disallow: /?currency=
Disallow: /*?currency=*
Disallow: /?sort_by
Disallow: /?sort_by=
Disallow: /*?sort_by=*
Disallow: /images/thumbnails/
Disallow: /skins/
Disallow: /payments/
Disallow: /store_closed.html
Disallow: /core/
Disallow: /lib/
Disallow: /install/
Disallow: /js/
Disallow: /schemas/
Disallow: /*currency=
Disallow: /*variant_id=
Disallow: /*display=
Disallow: /*return_url=
Disallow: /*dispatch=
Disallow: /*more_filters=
Disallow: /*features_hash=
Disallow: /*subcats=
Disallow: /*dispatch=products.search

Crawl-delay: 360

User-agent: Yandex

Disallow: /?currency
Disallow: /?currency=
Disallow: /*?currency=*
Disallow: /?sort_by
Disallow: /?sort_by=
Disallow: /*?sort_by=*
Disallow: /images/thumbnails/
Disallow: /skins/
Disallow: /payments/
Disallow: /store_closed.html
Disallow: /core/
Disallow: /lib/
Disallow: /install/
Disallow: /js/
Disallow: /schemas/
Disallow: /*currency=
Disallow: /*variant_id=
Disallow: /*display=
Disallow: /*return_url=
Disallow: /*dispatch=
Disallow: /*more_filters=
Disallow: /*features_hash=
Disallow: /*subcats=
Disallow: /*dispatch=products.search

Host: prokesha.ru

Crawl-delay: 360

User-agent: bingbot

Disallow: /?currency
Disallow: /?currency=
Disallow: /*?currency=*
Disallow: /?sort_by
Disallow: /?sort_by=
Disallow: /*?sort_by=*
Disallow: /images/thumbnails/
Disallow: /skins/
Disallow: /payments/
Disallow: /store_closed.html
Disallow: /core/
Disallow: /lib/
Disallow: /install/
Disallow: /js/
Disallow: /schemas/
Disallow: /*currency=
Disallow: /*variant_id=
Disallow: /*display=
Disallow: /*return_url=
Disallow: /*dispatch=
Disallow: /*more_filters=
Disallow: /*features_hash=
Disallow: /*subcats=
Disallow: /*dispatch=products.search

Crawl-delay: 360

Если смотреть логи последние то :

Чуть чуть из логов:

164.132.161.93 - - [12/Mar/2016:23:36:50 +0300] "GET /cerim-ru/?sort_by=bestsellers&sort_order=asc&layout=products_multicolumns&currency=USD HTTP/1.0" 500 2870 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)"
51.255.65.40 - - [12/Mar/2016:23:37:20 +0300] "GET /cerim-ru/?sort_by=bestsellers&sort_order=asc&layout=products_multicolumns&currency=USD HTTP/1.0" 500 2870 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)"
164.132.161.21 - - [12/Mar/2016:23:37:50 +0300] "GET /cerim-ru/?sort_by=bestsellers&sort_order=asc&layout=products_multicolumns&currency=USD HTTP/1.0" 500 2870 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)"
51.255.65.83 - - [12/Mar/2016:23:38:20 +0300] "GET /cerim-ru/?sort_by=bestsellers&sort_order=asc&layout=products_multicolumns&currency=USD HTTP/1.0" 500 2870 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)"
93.158.152.40 - - [12/Mar/2016:23:43:40 +0300] "GET /images/detailed/2/element_1144.jpg?t=1442310737 HTTP/1.1" 304 0 "-" "Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)"
51.255.65.77 - - [12/Mar/2016:23:43:46 +0300] "GET /ceramica-baldocer/?currency=RUB&sort_by=product&sort_order=asc&page=6 HTTP/1.0" 200 23501 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)"

164.132.161.83 - - [12/Mar/2016:23:53:21 +0300] "GET /ceramica-baldocer/?currency=USD&sort_by=timestamp&sort_order=asc&layout=products_multicolumns&page=6 HTTP/1.0" 200 23674 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)"
207.46.13.88 - - [12/Mar/2016:23:54:20 +0300] "GET /ceramica/uralkeramika/page-10/?sort_by=position&sort_order=asc HTTP/1.0" 200 31955 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
164.132.161.60 - - [12/Mar/2016:23:54:33 +0300] "GET /ceramica-baldocer/?page=5&sort_by=on_sale&sort_order=desc&layout=short_list HTTP/1.0" 200 24732 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)"
51.255.65.60 - - [12/Mar/2016:23:54:44 +0300] "GET /ceramica-baldocer/?currency=EUR&sort_by=bestsellers&sort_order=asc&layout=products_without_options&page=2 HTTP/1.0" 200 30694 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)"
164.132.161.68 - - [12/Mar/2016:23:55:47 +0300] "GET /images/detailed/2/interior_459_q7vo-nq_hoo5-v8.jpg HTTP/1.1" 200 47744 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)"
178.70.86.130 - - [12/Mar/2016:23:58:28 +0300] "GET /images/thumbnails/200/200/detailed/1/mg1.jpg?t=1450189929 HTTP/1.1" 200 9861 "-" "Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36"
178.70.86.130 - - [12/Mar/2016:23:58:31 +0300] "GET /images/thumbnails/200/200/detailed/1/gc2.jpg?t=1442345173 HTTP/1.1" 200 23020 "-" "Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36"
164.132.161.89 - - [12/Mar/2016:23:59:37 +0300] "GET /ceramica-baldocer/?items_per_page=16&sort_by=popularity&sort_order=desc&layout=products_multicolumns&currency=RUB&page=7 HTTP/1.0" 200 22955 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)"
164.132.161.42 - - [13/Mar/2016:00:00:40 +0300] "GET /ceramica-kerasol/?sort_by=product&sort_order=asc&layout=short_list&currency=EUR&page=5 HTTP/1.0" 200 23959 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)"
207.46.13.88 - - [13/Mar/2016:00:01:10 +0300] "GET /ceramica-baldocer/?sort_by=popularity&sort_order=asc&layout=products_multicolumns&page=5 HTTP/1.0" 200 23574 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
164.132.161.27 - - [13/Mar/2016:00:01:21 +0300] "GET /ceramica-baldocer/?currency=EUR&items_per_page=16&sort_by=product&sort_order=desc&layout=products_multicolumns&page=5 HTTP/1.0" 200 23470 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)"
207.46.13.88 - - [13/Mar/2016:00:01:40 +0300] "GET /ceramica/mapisa/louvre-m/?sort_by=product&sort_order=asc HTTP/1.0" 404 18064 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"

Добрый день! Подскажите что дописать лучше в robots.txt? При индексировании просто кладут ЦПУ и хостер просто банит сайт!

У меня в робот.тхт прописано следующее:

Sitemap: http://prokesha.ru/sitemap.xml

Host: prokesha.ru

Disallow: /?currency
Disallow: /?currency=
Disallow: /*?currency=*
Disallow: /?sort_by
Disallow: /?sort_by=
Disallow: /*?sort_by=*
Disallow: /*layout=
Disallow: /*sl=
Disallow: /init.php
Disallow: /php.ini
Disallow: /*page=
Disallow: /images/thumbnails/
Disallow: /skins/
Disallow: /payments/
Disallow: /store_closed.html
Disallow: /core/
Disallow: /lib/
Disallow: /install/
Disallow: /js/
Disallow: /schemas/
Disallow: /*currency=
Disallow: /*variant_id=
Disallow: /*display=
Disallow: /*return_url=
Disallow: /*dispatch=
Disallow: /*more_filters=
Disallow: /*features_hash=
Disallow: /*subcats=
Disallow: /*dispatch=products.search

Crawl-delay: 360

User-agent: Googlebot

Disallow: /?currency
Disallow: /?currency=
Disallow: /*?currency=*
Disallow: /?sort_by
Disallow: /?sort_by=
Disallow: /*?sort_by=*
Disallow: /images/thumbnails/
Disallow: /skins/
Disallow: /payments/
Disallow: /store_closed.html
Disallow: /core/
Disallow: /lib/
Disallow: /install/
Disallow: /js/
Disallow: /schemas/
Disallow: /*currency=
Disallow: /*variant_id=
Disallow: /*display=
Disallow: /*return_url=
Disallow: /*dispatch=
Disallow: /*more_filters=
Disallow: /*features_hash=
Disallow: /*subcats=
Disallow: /*dispatch=products.search

Crawl-delay: 360

User-agent: Yandex

Disallow: /?currency
Disallow: /?currency=
Disallow: /*?currency=*
Disallow: /?sort_by
Disallow: /?sort_by=
Disallow: /*?sort_by=*
Disallow: /images/thumbnails/
Disallow: /skins/
Disallow: /payments/
Disallow: /store_closed.html
Disallow: /core/
Disallow: /lib/
Disallow: /install/
Disallow: /js/
Disallow: /schemas/
Disallow: /*currency=
Disallow: /*variant_id=
Disallow: /*display=
Disallow: /*return_url=
Disallow: /*dispatch=
Disallow: /*more_filters=
Disallow: /*features_hash=
Disallow: /*subcats=
Disallow: /*dispatch=products.search

Host: prokesha.ru

Crawl-delay: 360

User-agent: bingbot

Disallow: /?currency
Disallow: /?currency=
Disallow: /*?currency=*
Disallow: /?sort_by
Disallow: /?sort_by=
Disallow: /*?sort_by=*
Disallow: /images/thumbnails/
Disallow: /skins/
Disallow: /payments/
Disallow: /store_closed.html
Disallow: /core/
Disallow: /lib/
Disallow: /install/
Disallow: /js/
Disallow: /schemas/
Disallow: /*currency=
Disallow: /*variant_id=
Disallow: /*display=
Disallow: /*return_url=
Disallow: /*dispatch=
Disallow: /*more_filters=
Disallow: /*features_hash=
Disallow: /*subcats=
Disallow: /*dispatch=products.search

Crawl-delay: 360

Если смотреть логи последние то :

Подскажите, что еще можно прописать!?

Вроде забанил ботов разных в .htaccess

## Блокировка по USER AGENT:
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [OR]
RewriteCond %{HTTP_USER_AGENT} binbot [OR]
RewriteCond %{HTTP_USER_AGENT} MJ12bot [OR]
RewriteCond %{HTTP_USER_AGENT} Java [OR]
RewriteCond %{HTTP_USER_AGENT} NjuiceBot [OR]
RewriteCond %{HTTP_USER_AGENT} Gigabot [OR]
RewriteCond %{HTTP_USER_AGENT} Baiduspider [OR]
RewriteCond %{HTTP_USER_AGENT} JS-Kit [OR]
RewriteCond %{HTTP_USER_AGENT} Voyager [OR]
RewriteCond %{HTTP_USER_AGENT} PostRank [OR]
RewriteCond %{HTTP_USER_AGENT} PycURL [OR]
RewriteCond %{HTTP_USER_AGENT} Aport [OR]
RewriteCond %{HTTP_USER_AGENT} ia_archiver [OR]
RewriteCond %{HTTP_USER_AGENT} DotBot [OR]
RewriteCond %{HTTP_USER_AGENT} SurveyBot [OR]
RewriteCond %{HTTP_USER_AGENT} larbin [OR]
RewriteCond %{HTTP_USER_AGENT} Butterfly [OR]
RewriteCond %{HTTP_USER_AGENT} libwww [OR]
RewriteCond %{HTTP_USER_AGENT} Wget [OR]
RewriteCond %{HTTP_USER_AGENT} SWeb [OR]
RewriteCond %{HTTP_USER_AGENT} LinkExchanger [OR]
RewriteCond %{HTTP_USER_AGENT} Soup [OR]
RewriteCond %{HTTP_USER_AGENT} WordPress [OR]
RewriteCond %{HTTP_USER_AGENT} PHP/ [OR]
RewriteCond %{HTTP_USER_AGENT} spbot [OR]
RewriteCond %{HTTP_USER_AGENT} MLBot [OR]
RewriteCond %{HTTP_USER_AGENT} InternetSeer [OR]
RewriteCond %{HTTP_USER_AGENT} FairShare [OR]
RewriteCond %{HTTP_USER_AGENT} Yeti [OR]
RewriteCond %{HTTP_USER_AGENT} Birubot [OR]
RewriteCond %{HTTP_USER_AGENT} YottosBot [OR]
RewriteCond %{HTTP_USER_AGENT} gold\ crawler [OR]
RewriteCond %{HTTP_USER_AGENT} Linguee [OR]
RewriteCond %{HTTP_USER_AGENT} Ezooms [OR]
RewriteCond %{HTTP_USER_AGENT} lwp-trivial [OR]
RewriteCond %{HTTP_USER_AGENT} Purebot [OR]
RewriteCond %{HTTP_USER_AGENT} User-Agent [OR]
RewriteCond %{HTTP_USER_AGENT} kmSearchBot [OR]
RewriteCond %{HTTP_USER_AGENT} SiteBot [OR]
RewriteCond %{HTTP_USER_AGENT} CamontSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ptd-crawler [OR]
RewriteCond %{HTTP_USER_AGENT} HTTrack [OR]
RewriteCond %{HTTP_USER_AGENT} suggybot [OR]
RewriteCond %{HTTP_USER_AGENT} ttCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} Nutch [OR]
RewriteCond %{HTTP_USER_AGENT} Zeus
RewriteCond %{HTTP_USER_AGENT} msnbot [OR]
RewriteCond %{HTTP_USER_AGENT} Slurp [OR]
RewriteRule ^(.*)$ – [F,L]

Подскажите, что еще можно прописать!?

Вроде забанил ботов разных в .htaccess

Забань еще по IP всех китайцев и корейцев http://okean.com/thegoods.htmlтут написано как это сделать

Забань еще по IP всех китайцев и корейцев http://okean.com/thegoods.htmlтут написано как это сделать

Это то сделаем, самое главное, что еще добавить такого!?

Что бы боты по сортировкам и фильтрам не шастали!