使用Spring Boot，Hibernate和mysql的批处理插入无法正常工作

Question

我有一个非常烦人的问题，我已经在线阅读了所有现有文档，并阅读了与该主题相关的所有stackoverflow问题和答案，但根本无法使其正常工作！

我真的很绝望，我不知道自己想念的是什么，所以我会尽力给你我到目前为止所拥有的一切。基本上我想做的是用一个查询保存大量数据，而不是为每个对象保存多个查询。您可能会怀疑我正在使用Spring Boot，Hibernate和MySql。

因此，根据我阅读的与“使用mysql +休眠的批处理插入”相关的知识，到目前为止，我已经学到了基本事实：

1. MySQL不支持序列ID，因此我无法使用它，就像我可以将其用于PostgreSql一样
2. Hibernate不支持开箱即用的批量插入，需要添加几个应用程序属性

这是我到目前为止所拥有的：

我添加的应用程序属性：

spring.datasource.url=jdbc:mysql://localhost:32803/db?rewriteBatchedStatements=true
spring.jpa.properties.hibernate.jdbc.batch_size=50
spring.jpa.properties.hibernate.jdbc.lob.non_contextual_creation=true
spring.jpa.open-in-view=false
spring.jpa.properties.hibernate.show_sql=true
spring.jpa.properties.hibernate.use_sql_comments=true
spring.jpa.properties.hibernate.format_sql=true
spring.jpa.properties.hibernate.order_updates=true
spring.jpa.properties.hibernate.order_inserts=true
spring.jpa.properties.hibernate.batch_versioned_data=true
spring.jpa.properties.hibernate.id.new_generator_mappings=false
spring.jpa.show-sql=true
spring.jpa.properties.hibernate.type=trace
spring.jpa.properties.hibernate.dialect=org.hibernate.dialect.MySQL5Dialect
spring.jpa.properties.hibernate.current_session_context_class=org.springframework.orm.hibernate5.SpringSessionContext


@Entity
data class Person (
        @Id
        @GeneratedValue(strategy = GenerationType.AUTO)
        val id: Long?,

        var firstName: String,

        var lastName: String,

        var country: String,

        var org: Int
)

我想要一次保存很多人，如您所见，我增加了批量大小50，如果我理解正确，那意味着我将在保存的同时每50人命中一个数据库。 （如果我错了，请纠正我）

最后，我有了执行该批处理插入的存储库：

@Repository
class PersonRepositoryCustomImpl : PersonRepositoryCustom {

    @PersistenceContext
    private val entityManager: EntityManager? = null

    @Transactional
    override fun batchSave2(persons: Set<Person>) {
        val session = entityManager!!.unwrap(Session::class.java)


        persons.forEachIndexed { index, person ->
            if ( index % 50 == 0 ) {
                session!!.flush()
                session.clear()
            }

            session!!.save(person)
        }

        session.close()
    }

    @Transactional
    override fun <T : Person?> batchSave(entities: Collection<T>): Collection<T>? {
        val savedEntities: MutableList<T> = ArrayList(entities.size)
        var i = 0
        for (t in entities) {
            savedEntities.add(persistOrMerge(t))
            i++
            if (i % 50 == 0) { // Flush a batch of inserts and release memory.
                entityManager!!.flush()
                entityManager.clear()
            }
        }
        return savedEntities
    }

    private fun <T : Configuration?> persistOrMerge(t: T): T {
        return if (t!!.id == null) {
            entityManager!!.persist(t)
            t
        } else {
            entityManager!!.merge(t)
        }
    }
}

所以在这里您可以看到我已经尝试以2种几乎相同的方式使此方法起作用，但是当然两者似乎都不起作用。

为了确认我实际上是在做批量插入，我在看这个：

https://tableplus.com/blog/2018/10/how-to-show-queries-log-in-mysql.html

基本上，这应该向我展示在数据库上执行的查询，在那里我可以看到对于每个人对象我都有一个插入语句。

基本上是该查询的结果：

SELECT
    *
FROM
    mysql.general_log;

而且我可以清楚地看到我有多个插入语句，每个对象（人）都执行一个查询。

编辑：https://blog.arnoldgalovics.com/configuring-a-datasource-proxy-in-spring-boot/

我还实现了数据源代理，这证明我没有在进行批量插入：

Name:, Time:1, Success:True, Type:Prepared, Batch:False, QuerySize:1, BatchSize:0, Query:["insert into person(firstName, lastName, country, org) values (?, ?, ?, ?)"], Params:[(10,John,Johny,USA,ORG)]

我有多个这样的记录。

感谢您提供任何帮助！

Answer 1

仅在有人需要时提供答案：

长话短说，我无法使MySql +休眠批处理工作，为了进行测试，我实际上使其能够与PostgreSQL一起工作。

但是无论如何，如果有人需要使用MySql，有一种方法可以使用JDBC批处理，并且代码或多或少是非常直接的：

private String INSERT_SQL_PARAMS = "INSERT INTO item_params(p_key, p_value, item_id) values (?,?,?)"

override fun saveParams(configParams: Set<ItemParam>) {
    jdbcTemplate!!.update { connection ->
        connection.autoCommit = false
        val ps: PreparedStatement = connection.prepareStatement(INSERT_SQL_PARAMS)

        configParams.forEachIndexed { index, it ->
            ps.setLong(1, it.configurationId)
            ps.setString(2, it.pKey)
            ps.setString(3, it.pValue)
            ps.addBatch()

            if (index != 0 && index % 1000 == 0) {
                ps.executeBatch()
                connection.commit()
            }
        }

        ps.executeBatch()
        connection.commit()
        ps
    }
}