Ускорение импорта/экспорта товаров


#1

Доброго времени суток.
Проблема: импорт/экспорт товаров (со всеми данными: характеристики, изображения, цены и т,д.) в количестве, превышающем примерно 500 шт, зависает и не доходит до успешного результата.
Вопросы:

  1. Есть ли какие-то настройки хостинга, которые могут увеличить количество импортируемых/экспортируемых за раз товаров?
  2. Можно ли ускорить импорт/экспорт товаров?

#2

Ответ поддержки на эту проблему
1 Спасибо, что написали нам.

Для импорта большого количества элементов (18 тысяч записей в вашем случае), требуется большое количество памяти. 256 МБ памяти обычно достаточно для функционирования магазина в целом, но для выполнения импорта, требуется бо́льшее количество памяти. К сожалению, единственное решение этой проблемы - это увеличение параметра memory_limit.

2 Были рады вам помочь. Возможно, в будущем, алгоритмы импорта будут переделаны и станут требовать меньше памяти.


причем это я писал только лишь о импорте цен для 18000 товаров.
вам по идее 1 ГБ точно дожно хватить, смотря сколько характеристик


#3

Такое ощущение, что при экспорте все данные по всем товарам сначала формируются в один большой массив данных, потом этот массив данных еще раз обрабатывается, и только потом пишется во все тот же csv. А при импорте - ВЕСЬ файл сначала читается в память, и только потом обрабатывается. Есть прекрасная возможность построчной записи и чтения записей csv - всегда делаю только так, и даже если надо как-то использовать сводные данные - использую “некрасивое” решение в виде временных массивов, что в итоге приводит к значительному сокращению ресурсов памяти и времени… И да, очень много времени выполнения отнимает обратная связь с выводом полоски прогресса - визуализация в любом программном коде тормозит скорость выполнения программы минимум на порядок.


#4

Поменял

max_execution_time = 300
memory_limit = 1024M

на

max_execution_time = 900
memory_limit = 2048M

Надеюсь, поможет. Ещё что-то можно поменять?