Robots.txt

alex_vp · 15.Май.2018 16:16:08

Добавлю к тому обсуждению: Долго сидел на 4.3.5, месяц назад перешел на 4.7.1, несколько дней назад обновился до последней. Видимо теперь canonical правильно работает, так как из кучи проиндексированных страниц, тех, что с кучей параметров, в вебмастере вижу кучу снятых как неканонические

braterski · 07.Июнь.2018 10:49:23

Всем привет! Дали новый сайт, но я не могу сохранить robots.txt из админки, пишет: Оповещение: Был обнаружен файл robots.txt. Внесённые изменения вступят в силу только после удаления файла robots.txt из корневой директории вашего магазина.**
У прошлого проекта все ок было, расположение robots.txt прошлого проекта совпадает, с новым. Как решить данную проблему, чтобы не залезать на хостинг, для правки робота?
Спасибо!

ecomlabs · 07.Июнь.2018 13:25:57

Удалите физический файл robots.txt из корня установки CS-Cart. После этого контент будет отдаваться динамически

braterski · 07.Июнь.2018 19:54:22

Спасибо! Сообщил уже, чтобы оттуда удалили. Это из-за новой версии такой формат появился?

ecomlabs · 08.Июнь.2018 06:28:00

Возможно, он там и был, просто в новых версиях проверку добавили

AlexMM · 24.Август.2018 22:08:59

А не подскажите такому ламеру как я, как это сделать? Заранее благодарю!

ecomlabs · 27.Август.2018 07:13:47

В контрольной панели хостинга найдите Файл менеджер. Обычно он открывает папку, в которой установлен магазин. Там и будет файл

mihail1 · 01.Ноябрь.2018 14:17:36

Добрый день.
Подскажите как правильно закрыть сайт от индексации , но при этом была возможность проверять сайт на скорость и оптимизацию?

albinoz · 01.Ноябрь.2018 14:44:38

В robots.txt прописать:

User-agent: *
Disallow: /

Это закроет сайт от индексации.

mihail1 · 01.Ноябрь.2018 14:46:10

А лучше robot держать на сервере или в админке?

albinoz · 01.Ноябрь.2018 14:46:36

Как удобно, так и держите, разницы нет)

В админке плюс в том, что на сервер лезть не надо.

Mick · 09.Сентябрь.2023 18:33:18

а может Яндекс не видеть robots, который в админке формируется?

AndreyJ · 09.Сентябрь.2023 19:44:45

В Яндексе есть тест вашего робота. Можно проверить.

Mick · 11.Сентябрь.2023 09:23:21

да, но он же проверят само содержимое этого файла, но сам файл Яндекс не может найти. Я добавил файл в корень, вроде теперь проблема по файлам robots и sitemap ушла.
изображение_2023-09-11_122047778

ARTUR · 09.Октябрь.2023 11:25:28

А что думаете по поводу этого robots.txt ? )))

User-agent: *
Disallow: /?
Disallow: /thanks
Disallow: /geo$
Disallow: /ai.xml
Disallow: /allshopsearch
Disallow: /catalogoffers.xml
Disallow: /export
Disallow: /index-media.html
Disallow: /offers-group.xml
Disallow: /save-settings.xml
Disallow: /mail-settings.xml
Disallow: /user//lists/
Disallow: /shop*//reviews-hidden
Disallow: /feedlist/
Disallow: /shop–/538267
Disallow: /shop–/266361/reviews
Disallow: /shop–/366769/reviews
Disallow: /shop–/126093/reviews
Disallow: /shop–/319562/reviews
Disallow: /special/ny2022-express
Disallow: /search/filters
Disallow: /partners/agency
Disallow: /api/clickproxy
Disallow: /api/client-actions
Disallow: /api/cms-editor/upload-image
Disallow: /api/cms/data
Disallow: /api/cms/render
Disallow: /api/comparison
Disallow: /api/comparison/categories/count
Disallow: /api/comparison/category
Disallow: /api/comparison/convert
Disallow: /api/comparison/product
Disallow: /api/complaints
Disallow: /api/data-collector
Disallow: /api/faq/filter
Disallow: /api/faq/tablesize
Disallow: /api/files/image
Disallow: /api/footer-subscription
Disallow: /api/grades/comments/complain
Disallow: /api/m2b-files/document
Disallow: /api/madvevents
Disallow: /api/mbo/complain-video
Disallow: /api/multisearch
Disallow: /api/notifications-settings/email
Disallow: /api/notifications-settings/get-settings
Disallow: /api/notifications-settings/set-settings
Disallow: /api/notifications/marketEmail
Disallow: /api/orders//pdf
Disallow: /api/product–
Disallow: /api/product–/offers
Disallow: /api/remote-resolve
Disallow: /api/render-lazy
Disallow: /api/report/getMoreFilters
Disallow: /api/search
Disallow: /api/settings/exp
Disallow: /api/settings/quality
Disallow: /api/settings/regSet
Disallow: /api/settings/region
Disallow: /api/social
Disallow: /api/subscription/add
Disallow: /api/subscription/bulk-add
Disallow: /api/subscription/remove
Disallow: /api/subscription/update
Disallow: /api/timers
Disallow: /api/tires/filter
Disallow: /api/user-storage
Disallow: /api/widget-batch-render
Disallow: /api/widget-render
Disallow: /cart
Disallow: /checkout
Disallow: /checkout/fast
Disallow: /compare
Disallow: /discovery
Disallow: /eats/checkout
Disallow: /eats/order
Disallow: /embed/cart/add
Disallow: /error
Disallow: /find-in-other-shop
Disallow: /gate/routes
Disallow: /legal/certificates-rules
Disallow: /live
Disallow: /mediakit-journal
Disallow: /multisearch
Disallow: /my/answers
Disallow: /my/articles
Disallow: /my/cart
Disallow: /my/feedback/orders
Disallow: /my/missions
Disallow: /my/order//edit-delivery-address
Disallow: /my/order//payment-method-change
Disallow: /my/order/call-courier
Disallow: /my/order/conditions
Disallow: /my/order/conditions/cargo
Disallow: /my/order/conditions/exclude
Disallow: /my/orders//income-receipt
Disallow: /my/orders//snapshot
Disallow: /my/orders/confirmation
Disallow: /my/orders/crossborder-documents
Disallow: /my/orders/edit-payment-options
Disallow: /my/orders/payment
Disallow: /my/purchased
Disallow: /my/questions
Disallow: /my/referee
Disallow: /my/referral
Disallow: /my/reviews
Disallow: /my/settings/notifications
Disallow: /my/tasks
Disallow: /my/videos
Disallow: /my/wishlist
Disallow: /offer
Disallow: /offer//articles
Disallow: /offer//geo
Disallow: /offer//reviews
Disallow: /offer//similar
Disallow: /offer//spec
Disallow: /outlets
Disallow: /partner
Disallow: /payment/confirmation
Disallow: /payment/status
Disallow: /pokupayte-dlya-biznesa
Disallow: /poling-payment
Disallow: /product//offers
Disallow: /product//reviews/add
Disallow: /promo//special
Disallow: /promocodes
Disallow: /settings.xml
Disallow: /shop/*/reviews/add
Disallow: /shop-info
Disallow: /shop-law-delivery-info
Disallow: /social
Disallow: /special/promo-mastercard
Disallow: /suppliers/info-by-offers
Disallow: /suppliers/info-by-order
Disallow: /wishlist

User-agent: AdsBot-Google
Disallow: /offer/*
Allow: /offer/p9aYV9MEx8x8-Uf-EPtToA?cpc=ET9IC7Yc6Nfy2OTwGmxT1Wm53ngsOFmy4iEk2SDvitOZnTHeZxw_QGOH4TIX8lwCWyS812o2IeYXfz5d8kJbihAwasNXc79n_Hf2oUuY0Oh-tqyZkcYgqMCU9ajVHLNnio60b_EOWzlAd_YTxvuR_sUygQwPEkG0otP4Mf34rqsPfoCFSjQmlJ1MISzPXtxe
Allow: /offer/nyONMurwrLGf70oL2Ip22A?cpc=ET9IC7Yc6Nf-CpkhFd5ydDH1YYoaEtmkejE75IjnJksA1gRyHcftk3hz43Khe1QEjlpFFvQ1Mh9tZIPqufNmWnxPW7ulrLTmWpC0v8HlTHr2XcRvXtUdgaUY_cZ4JExqfDgV7kjldOm7JYJhk925h84oqeAHaMl7EsRcaWkXMB3hGk_lovvqhFYSPZX88o3-

User-agent: AdsBot-Google-Mobile
Disallow: /offer/*
Allow: /offer/p9aYV9MEx8x8-Uf-EPtToA?cpc=ET9IC7Yc6Nfy2OTwGmxT1Wm53ngsOFmy4iEk2SDvitOZnTHeZxw_QGOH4TIX8lwCWyS812o2IeYXfz5d8kJbihAwasNXc79n_Hf2oUuY0Oh-tqyZkcYgqMCU9ajVHLNnio60b_EOWzlAd_YTxvuR_sUygQwPEkG0otP4Mf34rqsPfoCFSjQmlJ1MISzPXtxe
Allow: /offer/nyONMurwrLGf70oL2Ip22A?cpc=ET9IC7Yc6Nf-CpkhFd5ydDH1YYoaEtmkejE75IjnJksA1gRyHcftk3hz43Khe1QEjlpFFvQ1Mh9tZIPqufNmWnxPW7ulrLTmWpC0v8HlTHr2XcRvXtUdgaUY_cZ4JExqfDgV7kjldOm7JYJhk925h84oqeAHaMl7EsRcaWkXMB3hGk_lovvqhFYSPZX88o3-

User-agent: Googlebot
Disallow: /?
Disallow: /thanks
Disallow: /geo$
Disallow: /ai.xml
Disallow: /allshopsearch
Disallow: /catalogoffers.xml
Disallow: /export
Disallow: /index-media.html
Disallow: /offers-group.xml
Disallow: /save-settings.xml
Disallow: /mail-settings.xml
Disallow: /user//lists/
Disallow: /shop*//reviews-hidden
Disallow: /feedlist/
Disallow: /shop–/538267
Disallow: /shop–/266361/reviews
Disallow: /shop–/366769/reviews
Disallow: /shop–/126093/reviews
Disallow: /shop–/319562/reviews
Disallow: /special/ny2022-express
Disallow: /search/filters
Disallow: /partners/agency
Disallow: /api/clickproxy
Disallow: /api/client-actions
Disallow: /api/cms-editor/upload-image
Disallow: /api/cms/data
Disallow: /api/cms/render
Disallow: /api/comparison
Disallow: /api/comparison/categories/count
Disallow: /api/comparison/category
Disallow: /api/comparison/convert
Disallow: /api/comparison/product
Disallow: /api/complaints
Disallow: /api/data-collector
Disallow: /api/faq/filter
Disallow: /api/faq/tablesize
Disallow: /api/files/image
Disallow: /api/footer-subscription
Disallow: /api/grades/comments/complain
Disallow: /api/m2b-files/document
Disallow: /api/madvevents
Disallow: /api/mbo/complain-video
Disallow: /api/multisearch
Disallow: /api/notifications-settings/email
Disallow: /api/notifications-settings/get-settings
Disallow: /api/notifications-settings/set-settings
Disallow: /api/notifications/marketEmail
Disallow: /api/orders//pdf
Disallow: /api/product–
Disallow: /api/product–/offers
Disallow: /api/remote-resolve
Disallow: /api/render-lazy
Disallow: /api/report/getMoreFilters
Disallow: /api/search
Disallow: /api/settings/exp
Disallow: /api/settings/quality
Disallow: /api/settings/regSet
Disallow: /api/settings/region
Disallow: /api/social
Disallow: /api/subscription/add
Disallow: /api/subscription/bulk-add
Disallow: /api/subscription/remove
Disallow: /api/subscription/update
Disallow: /api/timers
Disallow: /api/tires/filter
Disallow: /api/user-storage
Disallow: /api/widget-batch-render
Disallow: /api/widget-render
Disallow: /cart
Disallow: /checkout
Disallow: /checkout/fast
Disallow: /compare
Disallow: /discovery
Disallow: /eats/checkout
Disallow: /eats/order
Disallow: /embed/cart/add
Disallow: /error
Disallow: /find-in-other-shop
Disallow: /gate/routes
Disallow: /legal/certificates-rules
Disallow: /live
Disallow: /mediakit-journal
Disallow: /multisearch
Disallow: /my/answers
Disallow: /my/articles
Disallow: /my/cart
Disallow: /my/feedback/orders
Disallow: /my/missions
Disallow: /my/order//edit-delivery-address
Disallow: /my/order//payment-method-change
Disallow: /my/order/call-courier
Disallow: /my/order/conditions
Disallow: /my/order/conditions/cargo
Disallow: /my/order/conditions/exclude
Disallow: /my/orders//income-receipt
Disallow: /my/orders//snapshot
Disallow: /my/orders/confirmation
Disallow: /my/orders/crossborder-documents
Disallow: /my/orders/edit-payment-options
Disallow: /my/orders/payment
Disallow: /my/purchased
Disallow: /my/questions
Disallow: /my/referee
Disallow: /my/referral
Disallow: /my/reviews
Disallow: /my/settings/notifications
Disallow: /my/tasks
Disallow: /my/videos
Disallow: /my/wishlist
Disallow: /offer
Disallow: /offer//articles
Disallow: /offer//geo
Disallow: /offer//reviews
Disallow: /offer//similar
Disallow: /offer//spec
Disallow: /outlets
Disallow: /partner
Disallow: /payment/confirmation
Disallow: /payment/status
Disallow: /pokupayte-dlya-biznesa
Disallow: /poling-payment
Disallow: /product//offers
Disallow: /product//reviews/add
Disallow: /promo//special
Disallow: /promocodes
Disallow: /settings.xml
Disallow: /shop/*/reviews/add
Disallow: /shop-info
Disallow: /shop-law-delivery-info
Disallow: /social
Disallow: /special/promo-mastercard
Disallow: /suppliers/info-by-offers
Disallow: /suppliers/info-by-order
Disallow: /wishlist

Clean-param: show-reviews&allowCollapsing&filter-express-delivery&suggest_text&parsed-glfilter&cvredirect&deliveryincluded /catalog
Clean-param: cmid&grade_value /shop-opinions.xml
Clean-param: cmid&grade_value /shop/
Clean-param: grade_value /product/
Clean-param: text /product
Clean-param: glfilter /product
Clean-param: local-offers-first
Clean-param: onstock
Clean-param: focus
Clean-param: do-waremd5
Clean-param: offerid
Clean-param: sponsored
Clean-param: redirectCount
Clean-param: from&ncrnd&srnum&clid&int_lnk&promo&retpath&suggest&track&utm_medium&utm_source&utm_campaign&utm_term&utm_content&gclid&openstat&cpc&firstReviewId&how&exc&regprice&lr&show-uid&nid&rtr&productId&no-pda-redir&canonical&cmid&comment&sort_by&grade_value&hid&catId&from_beru&loggedin&cpa&distr_type&mclid&slug&from-show-uid&vid&achievementId&contentRegion&rs&CMD&semanticId&CMP&cpa-fesh&rt&quot&pda-redir&fesh&pp&wprid&baobab_event_id&utm_source_service&icookie&action&CAT_ID&context&modelid&hyperid
Clean-param: utm_referrer&src_pof&pokupki&was_redir&adjust_t&referrer&suggest_type&cpa-perf&suggest_reqid&yadclid&yadordid&model_id&tcl&grhow&etext&req_id&eh&ecid&businessName&no-product-line&adjust_campaign&banner&placement&fmt&condition&cc&adjust&adju&adj&adjust&adjus&a&ad&r&adjust_ya_click_&promoTypes&yclid&adjust_ya_&adjust_ya_cli&utm_special_project_upsale&adjust_ya_click&adjust_ya_clic&adjust_ya_click_i&adjust_ya_cl&adjust_ya_c&ref&referr&adjust_ya_click_id&re&adjust_ya&adjust_y&refer&refe&referre&d
Clean-param: win&do-&do-wa&do-ware&do-war&do&do-warem&do-w&y&c&subid&from-promo&subid1&mark&subid2&0&from_yandex&path&cvredirect

Sitemap: https://домен/sitemap.xml
Host: https://домен

Andcord · 09.Октябрь.2023 11:41:16

Чёт там много всего лучше тогда стандартный юзать)))

ARTUR · 19.Октябрь.2023 04:38:51

На сайте используется 2 языка, скажите пожалуйста как в robots.txt закрыть полностью страниы для одного языка? Хочу чтобы только русский выходил.

Strowd60 · 22.Февраль.2024 09:52:56

Thank you for the important sharing topics.

Martha_35 · 28.Февраль.2024 08:24:25

I wanted to express my gratitude for your willingness to share your knowledge. Your expertise has been incredibly valuable to me.