Смешивание размера партии гибернации

Эта программа выполняет десятки тысяч последовательных вставок один за другим. Я никогда раньше не использовал Hibernate. Я получаю чрезвычайно медленную производительность (если я просто подключаю и выполняю SQL вручную, я на 10-12x быстрее. Мой batch_size установлен на 50 в соответствии с несколькими учебниками гибернации.

Вот журнал из одной вставки - возможно, вы могли бы помочь мне точно понять, что происходит:

Ответы

Ответ 1

Когда вы вызываете session.save(), hibernate будет генерировать INSERT SQL. Этот INSERT SQL будет добавлен к БД во время промывки (i session.flush()).

Во время промывки, если hibernate.jdbc.batch_size установлено какое-то ненулевое значение, Hibernate будет использовать функцию пакетной обработки, введенную в API JDBC2, для выпуска SQL-пакета в SQL.

Например, если вы save() 100 записей и ваш hibernate.jdbc.batch_size установлен на 50. Во время промывки вместо следующего SQL 100 раз:

insert into TableA (id , fields) values (1, 'val1');
insert into TableA (id , fields) values (2, 'val2');
insert into TableA (id , fields) values (3, 'val3');
.........................
insert into TableA (id , fields) values (100, 'val100');

Hiberate будет группировать их в партиях по 50 и только выдавать 2 SQL в БД, например:

insert into TableA (id , fields) values (1, 'val1') , (2, 'val2') ,(3, 'val3') ,(4, 'val4') ,......,(50, 'val50')
insert into TableA (id , fields) values (51, 'val51') , (52, 'val52') ,(53, 'val53') ,(54, 'val54'),...... ,(100, 'val100')

Обратите внимание, что Hibernate будет отключать пакетную загрузку на уровне JDBC прозрачно, если первичный ключ таблицы вставки GenerationType.Identity.

Из вашего журнала: вы save() только одна запись, а затем flush(), поэтому есть только один добавочный INSERT SQL для обработки для каждого флеша. Вот почему Hibernate не может помочь вам вставлять вставки, поскольку есть только один INSERT SQL для обработки. Вы должны save() до определенного количества записей перед вызовом flush() вместо вызова flush() для каждого save().

Лучшая практика вставки пакетов выглядит примерно так:

Session session = sessionFactory.openSession();
Transaction tx = session.beginTransaction();
for  ( int i=0; i<888888; i++ ) {
  TableA record = new TableA();
    record.setXXXX();
    session.save(record)
    if ( i % 50 == 0 ) { //50, same as the JDBC batch size
        //flush a batch of inserts and release memory:
        session.flush();
        session.clear();
    }
}
tx.commit();
session.close();

Вы сохраняете и зачищаете пакет записей партиями. В конце каждой партии вы должны очистить контекст персистентности, чтобы освободить некоторую память, чтобы предотвратить исчерпание памяти, поскольку каждый постоянный объект помещается в кеш первого уровня (ваша память JVM). Вы также можете отключить кеш второго уровня, чтобы уменьшить ненужные служебные данные.

Справка:

Ответ 2

Если вы хотите использовать спящий режим для огромных заданий партии StatelessSession - это путь. Он разбивает все до самых базовых преобразований преобразования-объектов-в-SQL-операторов и устраняет все накладные расходы функций ORM, которые вы не используете, когда просто набиваете строки в оптовую базу DB.

Было бы намного проще делать предложения по вашему фактическому коду, чем журнал:)

Ответ 3

11:02:56.133 [main] DEBUG o.h.transaction.JDBCTransaction - commit

Это говорит о том, что база данных фиксируется после каждой вставки. Убедитесь, что вы не совершаете транзакцию или закрываете сеанс внутри цикла вставки. Сделайте это один раз в конце.