NODE.JS: FATAL ERROR-JS Сбой распределения - обработка из памяти при анализе больших файлов excel

Я использую nodejs для разбора файлов xlsx с модулем "jsxlsx_async", и значения будут храниться в mongodb. Мой код:

    xlsx(file, function(err,wb){
        if (err){
            //handling err
        }
        //get data array 
        wb.getSheetDataByName('Sheet1', function(err,data){
            if (err){
                //handling err
            }
            //handling data
            console.log(data);
        });
    });

Использование: Nodejs: v0.10.25, MongoDB: v2.2.6, ОС: win8, оперативная память: 6 ГБ.

Мои шаги: 1.read загрузил файл xlsx и сохранил эти прочитанные значения в объект JS. 2. Сохраните значения чтения в коллекциях mongodb, итерации значений на объекте JS.

Это отлично работает с меньшими файлами xlsx, но я хотел разобрать файлы xlsx размером более 50 МБ.

Моя проблема в том, где я храню все значения xlsx в одном объекте JS. Пожалуйста, предоставьте несколько идей для решения. Есть ли лучший способ прочитать xlsx по строке и сохранить значения сразу после чтения строки?

Ответы

Ответ 1

У меня была аналогичная проблема. Мне нужно прочитать огромный объект JSON из txt файла, но процесс был убит, потому что у него закончилась нехватка памяти. Что касается этой проблемы, моим решением было разбить этот огромный файл на 2 файла.

Что касается вашей проблемы, мои предложения: