使用Scala JDBC上传大数据

Question

我正在尝试实现将大约4000万条记录上载到AWS托管的MySQL数据库的功能。但是，我的写语句在无限长的时间内停留在94％的位置。

这是我用来在连接属性中启用df_intermediate.write.mode("append").jdbc(jdbcUrl, "user", connectionProperties)和rewriteBatchedStatements的情况下上传useServerPrepStmts的命令。

此语句仅适用于小数点（50000），但无法处理这么大的点数。我还增加了MySQL方面的最大连接数。

编辑：我正在GCP n1-standard-16机器上运行它。

为什么会导致写入卡在94％的原因？

Answer 1

我不认为这与Scala确实有任何关系，您只是说要向数据库中添加许多行。快速的答案将是一次不包含所有这些，并一次提交100个。首先在非生产sql数据库上尝试一下，看看是否可行。