Pyspark可以使用JDBC来传递Alter表吗？

Question

我想使用pyspark从Databricks笔记本加载数据后，将alter table命令传递到PostgreSQL数据库。我知道我可以使用spark.read.jdbc传递查询，但是在这种情况下，一旦数据加载，我想添加一个唯一约束。目的是通过减少创建唯一索引的时间来加快将数据加载到数据库中的过程。

Answer 1

Spark是用于数据处理的框架，因此其API主要是开发用于数据源的读写操作。在你的的情况下，您有一些DDL语句要执行，而Spark不应该执行此类操作。

这将是更好的选择，将数据后的DDL操作分开在Spark SQL中处理。在这里您可以再添加一个PostgreSQL作业来执行这样的操作。