Мега тормозной импорт

Сделал тут интереса ради импорт с настройкой - импортировать только новые товары. Новых товаров нет, 50000 товаров. Сколько нужно времени, чтобы сравнить 50000 товаров в самом лучшем движке для интернет магазина, минута, две? 35 минут 42 секунды. Чего он там сравнивает, у кого какие мысли?

Это еще быстро, для такого числа товаров :slight_smile:

Импорт использует кучу стандартных универсальных, а от того медленных функций, имеющих кучу лишнего функционала, рассчитанных на разовое выполнение, а не на быстрое отрабатывание при множественных повторениях. Куча лишних запросов, много лишних сравнений, запросы в этих функциях используются переусложненные, как следствие и скорость такая.

Не, я понимаю, когда файл импортируется, но когда его нужно просто сравнить, т.е. всего два значения - код на сайте и код в файле, какие там еще могут быть медленные функции? По скорости да, похоже, что он сравнивает все, до значения каждой характеристики :frowning:

что за сравнения?
импортом пройтись чтоб убрать картинки (ну надо мне) в 90 тыс товаров на хостинге
очень долго делается (наверное весь день а то и сутки). к примеру. а в csv всего три колонки.

  1. сначала он считывает весь файл
  2. делает предобработку данных всех товаров (чем больше сложных полей таких как характеристики и категории тем дольше )
  3. проверяет для каждого товара наличие обязательный полей(артикул, название вендора в мультивендоре)
  4. после делает обработку данных для конкретного товара в процессе которой он узнает, что товар не новый и пропускает дальнейшие действия , те запись в базу.

А чего бы не начать с пункта 4? Это было бы значительно быстрее.

Да, здесь тоже изобрели велосипед, вместо того, чтобы указать просто где изображения лежат и записать в базу, он все их качает, даже если они лежат локально.