将jdbc连接传递给spark读取

Question

我有一个sql脚本，它创建的临时表仅对该会话有效。现在运行脚本后，我试图通过spark从表中读取数据，然后处理它。下面是我有火花读取代码的代码。

sparkSession.read().format("jdbc").option("url", 
jdbcURL).option("dbtable", tableOrQuery).option("user", 
userName).option("password", password)
      .option("driver", driverName).load();

现在我需要传递我创建的jdbc连接，以便spark可以在同一个会话中读取数据。这可能吗 ？

Answer 1

不，你不能将jdbc连接传递给spark。它将自己管理JDBC连接。

JdbcRelationProvider Create Connection

JdbcUtils connect