Ответ 1
Мне удалось исправить ошибку, используя следующий запрос:
mongoimport --db dbName --collection collectionName --file fileName.json --jsonArray
Надеюсь, это кому-то поможет.
У меня есть json файл, состоящий из около 2000 записей. Каждая запись, которая будет соответствовать документу в базе данных mongo, будет отформатирована следующим образом:
{jobID:"2597401",
account:"XXXXX",
user:"YYYYY",
pkgT:{"pgi/7.2-5":{libA:["libpgc.so"],flavor:["default"]}},
startEpoch:"1338497979",
runTime:"1022",
execType:"user:binary",
exec:"/share/home/01482/XXXXX/appker/ranger/NPB3.3.1/NPB3.3-MPI/bin/ft.D.64",
numNodes:"4",
sha1:"5a79879235aa31b6a46e73b43879428e2a175db5",
execEpoch:1336766742,
execModify: new Date("Fri May 11 15:05:42 2012"),
startTime: new Date("Thu May 31 15:59:39 2012"),
numCores:"64",
sizeT:{bss:"1881400168",text:"239574",data:"22504"}},
Каждая запись находится в одной строке в файле JSON, и единственные разрывы строк находятся в конце каждой записи. Поэтому каждая строка в документе начинается с "{jobID:"... Я пытаюсь импортировать их в базу данных mongo, используя следующую команду:
mongoimport --db dbName --collection collectionName --file fileName.json
Однако я получаю следующую ошибку:
Sat Mar 2 01:26:12 Assertion: 10340:Failure parsing JSON string near: ,execModif
0x10059f12b 0x100562d5c 0x100562e9c 0x10025eb98 0x10000e643 0x100010b60 0x10055c4cc 0x1000014b7
0x100001454
0 mongoimport 0x000000010059f12b _ZN5mongo15printStackTraceERSo + 43
1 mongoimport 0x0000000100562d5c _ZN5mongo11msgassertedEiPKc + 204
2 mongoimport 0x0000000100562e9c _ZN5mongo11msgassertedEiRKSs + 12
3 mongoimport 0x000000010025eb98 _ZN5mongo8fromjsonEPKcPi + 1576
4 mongoimport 0x000000010000e643
_ZN6Import8parseRowEPSiRN5mongo7BSONObjERi + 2739
5 mongoimport 0x0000000100010b60 _ZN6Import3runEv + 7376
6 mongoimport 0x000000010055c4cc _ZN5mongo4Tool4mainEiPPc + 5436
7 mongoimport 0x00000001000014b7 main + 55
8 mongoimport 0x0000000100001454 start + 52
Sat Mar 2 01:26:12 exception:BSON representation of supplied JSON is too large: Failure parsing
JSON string near: ,execModif
Sat Mar 2 01:26:12
Sat Mar 2 01:26:12 imported 0 objects
Sat Mar 2 01:26:12 ERROR: encountered 1941 errors
Я не знаю, в чем проблема. Может кто-то порекомендовать решение?
Мне удалось исправить ошибку, используя следующий запрос:
mongoimport --db dbName --collection collectionName --file fileName.json --jsonArray
Надеюсь, это кому-то поможет.
попробуйте это,
mongoimport --db dbName --collection collectionName <fileName.json
Пример
mongoimport --db foo --collection myCollections < /Users/file.json
connected to: *.*.*.*
Sat Mar 2 15:01:08 imported 11 objects
Проблема связана с вашим форматом даты.
Я использовал тот же JSON с измененной датой, как показано ниже, и работал
{jobID:"2597401",
account:"XXXXX",
user:"YYYYY",
pkgT:{"pgi/7.2-5":{libA:["libpgc.so"],flavor:["default"]}},
startEpoch:"1338497979",
runTime:"1022",
execType:"user:binary",
exec:"/share/home/01482/XXXXX/appker/ranger/NPB3.3.1/NPB3.3-MPI/bin/ft.D.64",
numNodes:"4",
sha1:"5a79879235aa31b6a46e73b43879428e2a175db5",
execEpoch:1336766742,
execModify:{"$date" : 1343779200000},
startTime:{"$date" : 1343779200000},
numCores:"64",
sizeT:{bss:"1881400168",text:"239574",data:"22504"}}
надеюсь, что это поможет
Используя mongoimport вы можете добиться того же
mongoimport --db test --collection user --drop --file ~/downloads/user.json
где,
test - Database name
user - collection name
user.json - dataset file
--drop
коллекцию, если она уже существует.
Приставки:
mongoimport -d dbName -c collectionName dataFile.js
Ваш синтаксис выглядит полностью правильным:
mongoimport --db dbName --collection collectionName --file fileName.json
Убедитесь, что вы находитесь в правильной папке или укажите полный путь.
Я использовал команду ниже для экспорта DB
mongodump --db database_name --collection collection_name
и ниже команда работала для меня для импорта DB
mongorestore --db database_name path_to_bson_file
Запустите команду импорта в другом терминале. (не внутри оболочки монго.)
mongoimport --db test --collection user --drop --file ~/downloads/user.json
В окнах вы можете использовать команды Prompcmd cmd
в Ubuntu вы можете использовать свой terminal
, введя следующую команду:
mongoimport -d your_database_name -c your_collection_name /path_to_json_file/json_file_name.json
затем, когда вы откроете свою оболочку mongo, вы найдете проверить имя_базы_данных при выполнении этой команды:
show databases
Эта команда работает там, где не задана коллекция.
mongoimport --db zips "\MongoDB 2.6 Standard\mongodb\zips.json"
Mongo shell после выполнения команды
connected to: 127.0.0.1
no collection specified!
using filename 'zips' as collection.
2014-09-16T13:56:07.147-0400 check 9 29353
2014-09-16T13:56:07.148-0400 imported 29353 objects
Я попробовал что-то вроде этого, и это на самом деле работает:
mongoimport --db dbName --file D:\KKK\NNN\100YWeatherSmall.data.json
Это работает со мной, когда БД с именем пользователя и паролем
mongoimport --db YOUR_DB --collection MyCollection --file /your_path/my_json_file.json -u my_user -p my_pass
БД без пароля пользователя, пожалуйста, удалите -u my_user -p my_pass
Мой образец JSON
{
"_id" : ObjectId("5d11c815eb946a412ecd677d"),
"empid" : NumberInt(1),
"name" : "Rahul"
}
{
"_id" : ObjectId("5d11c815eb946a412ecd677e"),
"empid" : NumberInt(2),
"name" : "Rahul"
}
Если вы попытаетесь экспортировать эту тестовую коллекцию:
> db.test.find()
{ "_id" : ObjectId("5131c2bbfcb94ddb2549d501"), "field" : "Sat Mar 02 2013 13:13:31 GMT+0400"}
{"_id" : ObjectId("5131c2d8fcb94ddb2549d502"), "field" : ISODate("2012-05-31T11:59:39Z")}
с mongoexport (первая дата, созданная с помощью Date(...)
, и вторая, созданная с помощью new Date(...)
(если использование ISODate(...)
будет таким же, как во второй строке)), то вывод mongoexport будет выглядеть следующим образом:
{ "_id" : { "$oid" : "5131c2bbfcb94ddb2549d501" }, "field" : "Sat Mar 02 2013 13:13:31 GMT+0400" }
{ "_id" : { "$oid" : "5131c2d8fcb94ddb2549d502" }, "field" : { "$date" : 1338465579000 } }
Итак, вы должны использовать одну и ту же нотацию, потому что строгий JSON не имеет типа Date( <date> )
.
Также ваш JSON недействителен: все имена полей должны быть заключены в двойные кавычки, но mongoimport отлично работает без них.
Вы можете найти дополнительную информацию в mongodb документация и здесь.
Эй, я знаю, что это не очень удобно, но каждый раз, когда мне нужно импортировать несколько файлов jsons в мою базу данных mongo, я делаю несколько копий, вставляю и запускаю, пока у меня не будет достаточно !!! Если вы страдаете так же, я написал небольшой пакетный скрипт, который сделает это для меня. INTRESTED?
https://github.com/aminjellali/batch/blob/master/mongoImporter.bat
@echo off
title = Mongo Data Base importing tool
goto :main
:import_collection
echo importing %~2
set file_name=%~2
set removed_json=%file_name:.json=%
mongoimport --db %~1 --collection %removed_json% --file %~2
goto :eof
:loop_over_files_in_current_dir
for /f %%c in ('dir /b *.json') do call :import_collection %~1 %%c
goto :eof
:main
IF [%1]==[] (
ECHO FATAL ERROR: Please specify a data base name
goto :eof
) ELSE (
ECHO @author amin.jellali
ECHO @email [email protected]
echo starting import...
call :loop_over_files_in_current_dir %~1
echo import done...
echo hope you enjoyed me
)
goto :eof
Решение: -
mongoimport --db databaseName --collection tableName --file filepath.json
Пример: -
Поместите свой файл в папку администратора: -
C:\Users\admin\tourdb\places.json
Запустите эту команду на своем терминале: -
mongoimport --db tourdb --collection places --file ~/tourdb/places.json
Выход: -
[email protected] MINGW64 /
$ mongoimport --db tourdb --collection places --file ~/tourdb/places.json
2019-08-26T14:30:09.350+0530 connected to: localhost
2019-08-26T14:30:09.447+0530 imported 10 documents
Для получения дополнительной ссылки link
это должно работать внутри mongoshell
mongoimport -d databaseName -c collectionName --drop fileName.json
если вы не запустили оболочку в нужном каталоге, вы должны указать файл вместе с его путем.