在spark中，有什么方法可以使静态连接到redshift数据库。

Question

我正在使用火花API spark.read.jdbc(String url,String table,java.util.Properties properties). 它用数据库表返回的模式创建一个数据框架。

每次当我调用上述API时，它都会创建一个连接请求到DB集群。有什么办法可以在上述API中传递或创建一个单人的那种东西吗？

Answer 1

Spark是懒惰评估的，因此只有当任何动作被触发时，它才会触发，例如。.load(). 我认为Spark不可能保持与Redshift的连接打开，直到下一个操作被执行。这是Spark的特点，它获取连接的时间较晚，一旦完成操作就会释放。