База данных Android SQLite: медленная вставка
Мне нужно проанализировать довольно большой XML файл (от примерно ста килобайт до нескольких сотен килобайт), который я использую с помощью Xml#parse(String, ContentHandler)
. В настоящее время я тестирую это с помощью 152 КБ файла.
Во время разбора я также вставляю данные в базу данных SQLite, используя вызовы, похожие на следующие: getWritableDatabase().insert(TABLE_NAME, "_id", values)
. Все это вместе занимает около 80 секунд для тестового файла 152 КБ (который сводится к вставке примерно 200 строк).
Когда я комментирую все инструкции вставки (но оставляю во всем остальном, например создание ContentValues
и т.д.), тот же файл занимает всего 23 секунды.
Нормально ли для операций с базой данных такие большие накладные расходы? Могу ли я что-нибудь сделать с этим?
Ответы
Ответ 1
Вы должны делать пакетные вставки.
псевдокод:
db.beginTransaction();
for (entry : listOfEntries) {
db.insert(entry);
}
db.setTransactionSuccessful();
db.endTransaction();
Это сильно увеличило скорость вложений в моих приложениях.
Обновление:
@Yuku предоставил очень интересное сообщение в блоге: Android с помощью inserthelper для более быстрой вставки в базу данных sqlite
Ответ 2
Так как InsertHelper, упомянутый Yuku и Brett, теперь устарел (API-уровень 17), кажется, что правильная альтернатива, рекомендованная Google, использует SQLiteStatement.
Я использовал метод вставки базы данных следующим образом:
database.insert(table, null, values);
После того, как я также испытал некоторые серьезные проблемы с производительностью, следующий код ускорил мои 500 вложений от 14,5 секунд до 270 мс, удивительно!
Вот как я использовал SQLiteStatement:
private void insertTestData() {
String sql = "insert into producttable (name, description, price, stock_available) values (?, ?, ?, ?);";
dbHandler.getWritableDatabase();
database.beginTransaction();
SQLiteStatement stmt = database.compileStatement(sql);
for (int i = 0; i < NUMBER_OF_ROWS; i++) {
//generate some values
stmt.bindString(1, randomName);
stmt.bindString(2, randomDescription);
stmt.bindDouble(3, randomPrice);
stmt.bindLong(4, randomNumber);
long entryID = stmt.executeInsert();
stmt.clearBindings();
}
database.setTransactionSuccessful();
database.endTransaction();
dbHandler.close();
}
Ответ 3
Компиляция инструкции вставки sql помогает ускорить процесс. Это может также потребовать больше усилий, чтобы укрепить все и предотвратить возможную инъекцию, так как теперь все это на ваших плечах.
Другим подходом, который также может ускорить работу, является недоименованный класс android.database.DatabaseUtils.InsertHelper. Я понимаю, что он фактически завершает скомпилированные вставки. Переход от некомпилированных транзакционных вставок к скомпилированным транзакционным вставкам составлял примерно 3-кратное увеличение скорости (2 мс на вставку до 0,6 мс на вставку) для моих больших (200 Кбайт + записей), но простых вставок SQLite.
Пример кода:
SQLiteDatabse db = getWriteableDatabase();
//use the db you would normally use for db.insert, and the "table_name"
//is the same one you would use in db.insert()
InsertHelper iHelp = new InsertHelper(db, "table_name");
//Get the indices you need to bind data to
//Similar to Cursor.getColumnIndex("col_name");
int first_index = iHelp.getColumnIndex("first");
int last_index = iHelp.getColumnIndex("last");
try
{
db.beginTransaction();
for(int i=0 ; i<num_things ; ++i)
{
//need to tell the helper you are inserting (rather than replacing)
iHelp.prepareForInsert();
//do the equivalent of ContentValues.put("field","value") here
iHelp.bind(first_index, thing_1);
iHelp.bind(last_index, thing_2);
//the db.insert() equilvalent
iHelp.execute();
}
db.setTransactionSuccessful();
}
finally
{
db.endTransaction();
}
db.close();
Ответ 4
Если в таблице есть указатель на ней, подумайте о том, чтобы удалить ее до вставки записей, а затем добавить ее обратно после того, как вы выполнили свои записи.
Ответ 5
При использовании ContentProvider:
@Override
public int bulkInsert(Uri uri, ContentValues[] bulkinsertvalues) {
int QueryType = sUriMatcher.match(uri);
int returnValue=0;
SQLiteDatabase db = mOpenHelper.getWritableDatabase();
switch (QueryType) {
case SOME_URI_IM_LOOKING_FOR: //replace this with your real URI
db.beginTransaction();
for (int i = 0; i < bulkinsertvalues.length; i++) {
//get an individual result from the array of ContentValues
ContentValues values = bulkinsertvalues[i];
//insert this record into the local SQLite database using a private function you create, "insertIndividualRecord" (replace with a better function name)
insertIndividualRecord(uri, values);
}
db.setTransactionSuccessful();
db.endTransaction();
break;
default:
throw new IllegalArgumentException("Unknown URI " + uri);
}
return returnValue;
}
Затем частная функция для выполнения вставки (все еще внутри вашего поставщика контента):
private Uri insertIndividualRecord(Uri uri, ContentValues values){
//see content provider documentation if this is confusing
if (sUriMatcher.match(uri) != THE_CONSTANT_IM_LOOKING_FOR) {
throw new IllegalArgumentException("Unknown URI " + uri);
}
//example validation if you have a field called "name" in your database
if (values.containsKey(YOUR_CONSTANT_FOR_NAME) == false) {
values.put(YOUR_CONSTANT_FOR_NAME, "");
}
//******add all your other validations
//**********
//time to insert records into your local SQLite database
SQLiteDatabase db = mOpenHelper.getWritableDatabase();
long rowId = db.insert(YOUR_TABLE_NAME, null, values);
if (rowId > 0) {
Uri myUri = ContentUris.withAppendedId(MY_INSERT_URI, rowId);
getContext().getContentResolver().notifyChange(myUri, null);
return myUri;
}
throw new SQLException("Failed to insert row into " + uri);
}