Yml Экспорт Невозможно Тормозной

Во всяком случае, у меня. Один из основных модулей, и работает на отъе.. вяжись. Ну нельзя же так. Можно рюшечки на потом оставить, но, не это.

17% за час с лишним. Это, чтобы мне сгенерировать один файл, нужно почти 6 часов? Чтобы узнать, что он сгенрился с косяками и нужно еще немного сплясать и запускать генерацию заново.

Ну вообще не серьезно. Вы так и напишите, что движок на данный момент до мышей стерся, и теперь, товаров не более 100 на магазин. Так будет честнее.

154454.jpg

Товаров скока?

Как тут уже неоднократно говорилось, магазин тестировался на нагрузку до 35 000 товаров. Вообще хотите быстро - напишите скрипт, простенький совсем, который на лету за секунды будет формировать yml и отдавать - я таким уже сколько лет пользуюсь.

Во всяком случае, у меня. Один из основных модулей, и работает на отъе.. вяжись. Ну нельзя же так. Можно рюшечки на потом оставить, но, не это.

17% за час с лишним. Это, чтобы мне сгенерировать один файл, нужно почти 6 часов? Чтобы узнать, что он сгенрился с косяками и нужно еще немного сплясать и запускать генерацию заново.

Ну вообще не серьезно. Вы так и напишите, что движок на данный момент до мышей стерся, и теперь, товаров не более 100 на магазин. Так будет честнее.


А какая версия у вас?

Товаров около 30К, версия самая последняя 4.6.2 RU

Предлагать писать самому нужно на главной странице сайта cs-cart, а не стыдливо в глубине форума.

Товаров около 30К, версия самая последняя 4.6.2 RU

Предлагать писать самому нужно на главной странице сайта cs-cart, а не стыдливо в глубине форума.

Такое ощущение, что это нам надо тебе помочь, а не ты хочеш решить свою проблему.

Для более точной диагностики на расстоянии, неплохо было бы еще узнать какой у тебя сервак :)

И сколько из всей этой толпы товаров, реально экспортируется на маркет.

Предлагать писать самому нужно на главной странице сайта cs-cart, а не стыдливо в глубине форума.

У всех сотрудников CS-Cart под иконкой есть зеленая надпись, как например у меня "CS-Cart Architects". Т.е. Alex_VP участник сообщества, который поделился с вами с своим опытом.

Что касается основной проблемы.
5 часов на 30 000 товаров действительно многовато. В версии 4.5.3 мы делали мы поправили слабые места и экспорт стал работать быстрее.
В вашем случае надо изучать причину. Я подозреваю дело в либо сервере либо где то в коде есть неоптимальные выборки.

Такое ощущение, что это нам надо тебе помочь, а не ты хочеш решить свою проблему.

Для более точной диагностики на расстоянии, неплохо было бы еще узнать какой у тебя сервак :)

Сервер:

Процессор
Xeon E3-1220
Частота
4 × 3.1 ГГц
ОЗУ
8 ГБ
Диски
4 × 500 ГБ

Сколько товаров, точно не могу сказать, почему-то, не могу найти ни одного сервиса, который может сказать, сколько товаров загружено. Но, точно товаров слишком мало экспортируется. Даже если судить по объему файла, в старой версии он был втрое тяжелее.

Вот как-то так:

[INFO] Finish 24.10.2017 00:53:39
[INFO] Products exported: 9964. Products skipped: 22210

Почему пропущены продукты, тайна сия великая есть.

Скажу, что у меня сопоставимое количество продуктов, + навернуто еще дополнительная моя обработка параметров, т.е. усложнен экспорт. Экспорт каждый час.

И все это дело крутится

Память: 4 GB

Процессор: 2 core
Диск: 80 GB, SSD
Частота хз какая, не указано нигде.
Та конфигурация что у тебя - у меня похожий проц под виндой стоит, мозгов только побольше. И лопатит кучу всяких раных сервисов. Просто кучу.
Продукты поскипаны по причине того, что ты в настройках поставил поскипать их.
Чего я скажу - смотри настройки php и прочих апачей. Так не должно быть. Попробуй сделай полный бекап и запусти на другом серваке, можно даже на виртуале каком нить. Или у другого провайдера возьми на тест или несколько часов оплати.

Продукты поскипаны по причине того, что ты в настройках поставил поскипать их.

В каких настройках? На старом модуле все эти продукты нормально экспортировались. Тут, вроде тоже все перерыл, везде стоит, чтобы выгружались.

Сейчас, когда я выгружаю не полный каталог, а по разделам, то, какая-то часть скипается, но, не критичная, а вот, если ставлю, чтобы выгрузилось все, то тут уже почему-то две трети не выгружаются совсем.

Скажу, что у меня сопоставимое количество продуктов, + навернуто еще дополнительная моя обработка параметров, т.е. усложнен экспорт. Экспорт каждый час.

А сколько у тебя времени на экспорт всего каталога уходит?

Выключенные товары.

У меня стоит, (где у меня модификации счас не скажу) - Товары с ограничением по цене, по количеству, по поставщику. Товары с статусом ВЫКЛ.

Генерируется секунд за 20 вроде как.

Посмотри, может не обрабатывается товары из выключенной категории? И в любом случае у тебя при ручной генерации можно включить лог, где будет писаться причина пропуска.

Выключенные товары.

У меня стоит, (где у меня модификации счас не скажу) - Товары с ограничением по цене, по количеству, по поставщику. Товары с статусом ВЫКЛ.

Генерируется секунд за 20 вроде как.

Посмотри, может не обрабатывается товары из выключенной категории? И в любом случае у тебя при ручной генерации можно включить лог, где будет писаться причина пропуска.

Нет, рандомно из одной и той же категории часть товаров выгружается, часть нет.

А пишет:

[SKIP PRODUCT] 54149 (Ножки для ванн Lux...) - Категория скрыта
[SKIP PRODUCT] 54150 (Ножки для ванн Speci...) - Категория скрыта
[SKIP PRODUCT] 54151 (Ножки для ванн Speci...) - Категория скрыта
[SKIP PRODUCT] 54152 (Ножки для ванн Unive...) - Категория скрыта
[SKIP PRODUCT] 54153 (Ножки для ванн Unive...) - Категория скрыта
[SKIP PRODUCT] 54251 (Табурет (стул) для д...) - Категория скрыта
[SKIP PRODUCT] 54254 (Шкаф-пенал Roca Gap ...) - Категория скрыта
[SKIP PRODUCT] 54255 (Шкаф-пенал Roca Gap ...) - Категория скрыта

Только категория не скрыта.

Частое заблуждение что не скрыта - товар лежит в нескольких категориях .... проверь по ID товара, посмотри, возможно так и есть.

Нет, рандомно из одной и той же категории часть товаров выгружается, часть нет.

А пишет:

[SKIP PRODUCT] 54149 (Ножки для ванн Lux...) - Категория скрыта
[SKIP PRODUCT] 54150 (Ножки для ванн Speci...) - Категория скрыта
[SKIP PRODUCT] 54151 (Ножки для ванн Speci...) - Категория скрыта
[SKIP PRODUCT] 54152 (Ножки для ванн Unive...) - Категория скрыта
[SKIP PRODUCT] 54153 (Ножки для ванн Unive...) - Категория скрыта
[SKIP PRODUCT] 54251 (Табурет (стул) для д...) - Категория скрыта
[SKIP PRODUCT] 54254 (Шкаф-пенал Roca Gap ...) - Категория скрыта
[SKIP PRODUCT] 54255 (Шкаф-пенал Roca Gap ...) - Категория скрыта

Только категория не скрыта.

Там есть баг, если больше 5000 товаров, мы клиенту правили

http://forum.cs-cart.com/tracker/issue-6951-yml-export-issue/

Но разработчики пока не подтверждают

а почему не оставили функционал, при котором yml автоматом формируется каждый раз, когда к нему обращаются? у меня сейчас именно так (4.3.3) и проблем с актуальностью предложений нет.

а почему не оставили функционал, при котором yml автоматом формируется каждый раз, когда к нему обращаются? у меня сейчас именно так (4.3.3) и проблем с актуальностью предложений нет.

Привет, а что если я вдруг узнаю URL твоего фида и просто устрою DDOS на сервер? Десятком запросов. А так лежит готовый фид, и скачивай его сколько угодно. Это раз.

Не все сервисы могут дождаться, пока фид сформируется. Была проблема, что, к примеру, яндекс или кто то еще не дожидались окончания и уходили с ошибкой.

Там есть баг, если больше 5000 товаров, мы клиенту правили

Написал Вам по этому вопросу в ЛС, но ответа пока нет.
Попытался написать ещё - выходит The member eComLabs cannot receive any new messages.
Что бы это значило? ЧС? ))

Частое заблуждение что не скрыта - товар лежит в нескольких категориях .... проверь по ID товара, посмотри, возможно так и есть.

Нет, несколько раз перепроверял. И раньше, в старой версии модуля, все экспортировалось.

Там есть баг, если больше 5000 товаров, мы клиенту правили

http://forum.cs-cart.com/tracker/issue-6951-yml-export-issue/

Но разработчики пока не подтверждают

Спасибо большое, попробую сегодня в ночи, отпишусь, что получилось.