Импорт большого количества товаров


#21

Да и с характеристиками задача решаемая. Как минимум, мне делали доработки по массовому редактированию характеристик по определенным условиям - очень даже шустро работает. Тут то же самое, только условий нет - надо взять из файла.


Улучшенный импорт - тормозит и виснет
#22

Это радует что вы говорите что можно что нибудь собрать :+1:


#23

Хотелось бы услышать мнение разработчиков cs cart, что они думают на счёт этой темы!


#24

В 4 потока парсили с поставщика, насыщали ценами и грузили 15 млн товаров, в базу напрямую .


#25

Здравствуйте, подскажите я правильно понял, вы делали импорт сторонним скриптом? Сайт нормально держит такое количество товаров, админка как работает? Не виснет? или вы дополнительно какой то тюниг делали?


#26

убирали скрипт с админки которые контролирует наличие товаров и обновление номенклатуры вот эти виджеты http://joxi.ru/823OvZ0T9O7o02


#27

Если не затруднит можете скинуть что удалять нужно?


#28
  1. Если вся проблема в том - что бесит постоянно прикреплять файл в созданном пресете. То проще проверить и отключить на время лимиты по времени выполнения скриптов в php.ini и запустить выгрузку через терминал с использованием nohup. Процесс выполнения можно так же отслеживать через веб-интерфейс.

На скриншоте видна команда для выполнения

  1. Если ещё надо быстрее то тут уже можно попробовать грузить в несколько потоков, при этом надо анализировать какими процессами загружены ядра процессора.

  2. Ещё как вариант, можно запихнуть БД в оперативную память

    mount -t tmpfs -o size=xxG tmpfs /var/lib/mysql

Только учесть что после выключения компьютера вся база пропадёт ( то есть делать бэкап).

  1. Так как у вас процессор с буквой К то можно так же разогнать его до 5 Ггц чтобы работало пошустрее ( проследить до какой температуры нагревается процессор под нагрузкой если она в пределах нормы то всё ок)

#29

Спасибо большое!


#30

Ещё раз хочу сказать спасибо вам за совет! Дело пошло! Делаю импорт через терминал 5 потоков, файлы по 300 000 строк. В среднем в час 280000 товаров заливается, за день выгрузил 3 млн. До этого 4 млн загружал 2 месяца :face_with_monocle:


#31

Здравствуйте. столкнулся с такой же проблемой. подскажите фишку по отключению времени на обработку скриптов и увеличению скорости загрузки. Загружаю через YML Импорт товаров . Очень долго , в одной категории 50000 товаров , загружает уже неделю почти.


#32

Пишите в личку контакты


#33

Добрый день, разогнал импорт до 1 млн в час! За 4 часа выгрузил 4.5 миллиона. Импорт делал в 10 потоков, файлы по 400 тыс., с вариациями, картинками. Проблема медленного импорта была в том, то в файле указал к каждой вариации картинку, а в настройках модуля вариации снята галочка “свои изображения для вариаций” поэтому при импорте картинка сначала создавалась, а по окончании импорта удалялась, поэтому грузить в несколько потоков было не возможно, таблица cs cart images была пепеоружена и возникала блокировка и импорт тормозил. Да и ещё при импорте было задействовано 124 г оперативной памяти!


#34

Могли бы подсказать, как себя при этом чувствует сайт? Есть ли какие-то фильтры в категориях, много ли товаров в отдельно взятых категориях? Как быстро открывается? И как вы планируете обновлять цены и остатки?


#35

Здравствуйте!
А поделитесь опытом - как в итоге организовали загрузку автотоваров в CS-Cart?
Я так понимаю, Вы единственный, кому удалось победить работу с большим ассортиментом и наладить при этом импорт прайсов. В мультивендоре уже полгода не работает Commerce ML, из-за чего коробка превратилась в бесполезный кирпич и саппорт никак эту проблему не решает.


#36

Добрый день, фильтров нет, только вариации и стандартный поиск, в каждой категории примерно от 50 до 300 подкатегорий, вних ещё примерно 10-15 подкатегорий, самое большое количество артикулов в категории 1.5 млн. Работает сам сайт неплохо, но админка тормозит. Сейчас пришлось все удалить, так первые мучительные попытки импорта создали много мусора, да и дублей получилось много из за непроизвольного файла, импорт постоянно сделал, группы вариации не создавались. Вобщем был полный хаус и путаница.

вот показатели при 10 млн и ещё параллельно шёл импорт. По ценам, задачи такой остро не стоит, тема специфичная, цены договорные :sunglasses:вот ресурсы сервера, сейчас идёт импорт.


#37

Добрый день!
Пытался загрузить относительно небольшое количество товаров (более 2000), но загрузка как висела на нуле, так и висит и ничего не происходит. Кто сталкивался, как побороли?


#38

последний хром?
с последней версией проблема, тут патч выкладывали


в FF кстати проблема тоже имеет место


#39

Проблема также с установкой модулей. Сам словил.
Либо обновляться до 4.11.4 SP2, либо задействовать фикс, который предложили разработчики в виде патча


#40

Да, проблема была в хроме. Загрузил через Opera, но столкнулся с новой проблемой: пишется, что все загрузилось, но в товарах ничего не добавилось, но зато админка стала долго грузиться.