Ошибка размера CSV Bulkloader

Bulkloader вызывает следующую ошибку при импорте файла CSV с большими ячейками:

[ERROR   ] Error in data source thread: field larger than field limit (131072)

Это обычная проблема для модуля csv, который можно зафиксировать с помощью

csv.field_size_limit(sys.maxint)

Как я могу заставить bulkloader выполнить это?

Ответы

Ответ 1

Попробуйте следующее:

В bulkloader.yaml add:

python_preamble:
- import: csv_fix
... # the rest of your imports

В csv_fix.py add:

import csv, sys
csv.field_size_limit(sys.maxint)