Я создал коллекцию в MongoDB, состоящую из 11446615 документов.
Каждый документ имеет следующую форму:
{
"_id" : ObjectId("4e03dec7c3c365f574820835"),
"httpReferer" : "http://www.somewebsite.pl/art.php?id=13321&b=1",
"words" : ["SEX", "DRUGS", "ROCKNROLL", "WHATEVER"],
"howMany" : 3
}
httpReferer: только URL
слова: слова, проанализированные с помощью URL-адреса выше. Размер списка составляет от 15 до 90.
Я планирую использовать эту базу данных для получения списка веб-страниц, имеющих похожий контент.
Я запрошу этот сборник, используя поле words, чтобы я создал (или скорее начал создавать) индекс в этом поле:
db.my_coll.ensureIndex({words: 1})
Я начал создавать индекс около 3 часов назад, и похоже, что он не смог закончить еще через 3 часа.
Как увеличить скорость индексации? Или, может быть, я должен использовать совершенно другой подход к этой проблеме? Любые идеи приветствуются:)
Нет, индексирование медленное для больших коллекций. Вы также можете создать индексирование в фоновом режиме:
db.my_coll.ensureIndex({words:1}, {background:true});
Создание индекса в фоновом режиме будет медленнее и приведет к большему индексу. Однако он не будет использоваться до тех пор, пока индексация не будет завершена, поэтому пока вы сможете нормально использовать базу данных, и индексирование не будет блокироваться.
Фоновые индексы также имеют некоторые проблемы.
1) Если что-то должно занять больше времени из-за нагрузки на ваш сервер. 2) Если прервано по какой-либо причине, он перезапустится как сборка переднего плана
Если у вас есть набор реплик, я предпочитаю делать "скользящую индексную сборку". 1. Возьмите вторичный набор реплик 2. Строить индекс 3. Вставьте вторичную обратно в набор реплик.
Я думаю, что это самое чистое решение. Подробнее здесь - https://scalegrid.io/blog/the-perils-of-building-indexes-on-mongodb/
У нас была та же проблема с большой коллекцией (около 150 миллионов объектов). Сначала мы вставили данные, затем мы создали индекс с оценкой времени - 20 часов для всей коллекции. Это не звучит хорошо...
Итак, мы нашли решение для улучшения производительности - запустите mongo с вилками. https://docs.mongodb.com/manual/tutorial/manage-mongodb-processes/#start-mongod-as-a-daemon
$ mongod --fork ...
С вилками наш индекс был создан около 1,5 часов.