Здравствуйте форумчане, скажите пожалуйста кто нибудь сталкивался с импортом большого количества товаров? На данный момент стоит задача выгрузить 15 млн. 5 млн уже выгружено, но с каждым миллионом импорт становится все медленнее и медленнее. На старте загрузка происходила по 300-400 т в сутки. На сегодняшний день 30-40 тысяч. Сервер заряженный, 1 терабайт SSD, 64 гига оперативки., сомнений в ресурсах нет их полностью хватает. Большую часть товаров выгрузил благодаря модулю https://www.cs-commerce.com/ru/import-from-zip-archive-cs-cart-add-on.html, реально хороший модуль, файл разбивал на 1000 строк, делал архив и загружал. Уважаемые разработчики cs cart, обращался к вам официально, мне сказали что все зависит от ресурсов сервера, вопрос вообще cs cart может обрабатывать такое количество товаров? Есть какие то лимиты? Самое обидное, что это самый маленький проект, а выгружать месецами поверьте не сильно то охото.
Используемое оборудование
Процессор
Intel® Core™ i7-8700K CPU @ 3.70GHz (12 cores) 64 г оперативки. Mariadb 10.4
Со стандартным импортом трудности есть у многих - он сам по себе довольно медленный, то что вы загрузили несколько миллионов товаров - это уже очень круто.
А подскажите, просто из любопытства, какая товарная ниша? Из известных мне с огромным количеством товаров - это вариативные футболки с множеством доступных изображений, автозапчасти. Но там счет на пару миллионов товаров. А 15+ - что же это?
На данный момент веду переговоры с вашими специалистами по доработке вашего модуля, тестировал ваш продукт, действительно скорость обработки очень высокая, но модуль требует существенной доработки так как импорт связан с вариациями и группами к ними и созданию новых товаров и категорий. Вот если бы стандартный модуль работал с такой же скоростью, то счастья бы не было предела
В любом случае спасибо за совет, считаю что нужно задуматься над данной проблемой, так проблема не только у меня одного думаю может можно сделать какую то утилиту заточеную под большой объем выгрузки данных, ну или пересмотреть существующие ресурсы. Продукт правда классный, но в этом его конечно большой минус. Но как говорится нет худа без добра, за время проведённое за импортом (сентябрь по сегодняшний день) выучил php, mysql, exel, emeditor, ввиду всего происходящего пришлось стать администратором своего, сервера. Приобретено куча утилит для сортировки товаров и работы с большими файлами, работал на трех компьютерах, но увы сдвинуть этот трамвай не особо получилось
У меня из идей есть только создать несколько аналогичных пустых баз данных на временных виртальных серверах, сместить в них ID до 1-2-3-4-5 миллионов и запустить параллельный импорт. После чего объединить базы данных на основном сервере.
PS Но я не уверен что это вариант рабочий. Но просто как мысль. Тут ведь тот случай когда 9 женщин вполне могут выносить ребенка за 1 месяц.
Этот вариант я пробовал, точнее делал это на одной машине, запускал 3-6 импортов с разными интервалами, сложность в том что у меня стоит галочка в вариациях, одна картинка на группу, так вот когда загружено к примеру 1000 товаров, система сначала, создаёт 1000 картинкок, а потом их удаляет, и если этот процесс совпадает с остальными импортами то происходит затормаживание импорта в целом и скорость падает совсем. Вообще хотелось напрямую использовать этот продукт по назначению и заниматься бизнесом, а не думать как допилить его ну это лично моё мнение
400 миллионов - это в целом немаленькое количество. Я бы обратился к специалистам понимающим как работать с большими базами данных. Тут вероятно надо кастомный скрипт реализовать для импорта, или радикально оптимизировать стандартный, убрав из него все лишнее. Своими силами тут наверное вообще нигде не победить, ни в какой CMS из коробки.
Вот только что как раз пишу что с таким количеством товаров лучше сделать/заказать скрипт под себя. Я из 1С гружу обновляю цены/количество своим скриптом, на 2 тысячи товаров работает в 10 раз быстрее встроенного импорта или обмена с 1С. И писать в базу не через встроенные функции ядра, а напрямую в таблицы, предварительно разобравшись со структурой данных и как результат минуя многочисленные проверки
Здравствуйте Алекс, согласен с обновлением все гораздо проще нежели с созданием новых товаров, я про это и говорил что создать скрипт для работы напрямую с базой
Мне кажется и с вариациями всё вполне решаемо, не особо сложнее обычных товаров. По сути то они мало что в БД добавляют собой. Уж если всё остальное получится, то вариации добавить в скрипт - наверное самая малая часть.
может можно сделать какую то утилиту заточеную под большой объем выгрузки данных, ну или пересмотреть существующие ресурсы. Продукт правда классный, но в этом его конечно большой минус. Но как говорится нет худа без добра, за время проведённое за импортом (сентябрь по сегодняшний день) выучил php, mysql, exel, emeditor, ввиду всего происходящего пришлось стать администратором своего, сервера. Приобретено куча утилит для сортировки товаров и работы с большими файлами, работал на трех компьютерах, но увы сдвинуть этот трамвай не особо получилось 
