有没有一种方法可以让我们使用 JPA EntityManager 进行批量插入。我知道没有直接的方法可以实现这一点,但必须有某种方法来实现这种机制。
实际上,对于每个插入操作,我需要 300 毫秒,我想使用批量插入而不是单个插入来减少时间。
这是我当前正在执行的单个插入的代码
@PersistenceContext(unitName = "testing")
EntityManager eM;
Query querys = this.eM.createNativeQuery(insertQuery);
for (String s : someList) {
//setting parameters
querys.executeUpdate();
}
提前致谢。
根据事务是否包含循环,批处理通常已经在您的情况下发生。
JPA 将在其 L1 缓存中收集所有更新,并且通常在事务提交时将所有更新批量写入数据库。这与 JDBC 中的批处理并没有什么不同,您添加的每个批处理项也会暂时存储在内存中,直到您调用更新方法。
潜在的问题是,您没有硬性保证 JPA 确实会执行此批处理,并且是否在事务提交时或达到阈值时执行此操作,但我发现在实践中几乎所有情况下,特别是在涉及此类的情况下一个简单的更新循环,它确实可以进行批处理。
一个问题是,即使 JPA 确实已经进行了批处理,您仍然可能想要控制批处理大小。其他答案链接的文章为此提供了非常有用的信息。
最后,您应该意识到您的L1缓存会不断循环增长,因此如果更新数量确实很大,请定期清除它。或者,如果您的业务逻辑可以维持它,请在多个事务中进行部分更新。例如。交易 1 中的项目 0 到 100.000,交易 2 中的 100.001 到 200.000,等等
我知道这是一个相当老的问题,并且有一个公认的答案。尽管如此,我想对这个非常具体的主题“JPA 批量插入”给出一个新的答案。
@PersistenceContext
private EntityManager entityManager;
@Value("${hibernate.jdbc.batch_size}")
private int batchSize;
public <T extends MyClass> Collection<T> bulkSave(Collection<T> entities) {
final List<T> savedEntities = new ArrayList<T>(entities.size());
int i = 0;
for (T t : entities) {
savedEntities.add(persistOrMerge(t));
i++;
if (i % batchSize == 0) {
// Flush a batch of inserts and release memory.
entityManager.flush();
entityManager.clear();
}
}
// Flush one last time to catch those beyond that last full batch.
entityManager.flush();
entityManager.clear();
return savedEntities;
}
private <T extends MyClass> T persistOrMerge(T t) {
if (t.getId() == null) {
entityManager.persist(t);
return t;
} else {
return entityManager.merge(t);
}
}
来源:http://frightanic.com/software-development/jpa-batch-inserts/