如何执行，使用 JDBC 在 Pyspark 中启动 Sql for teradata

Question

我已在 teradata JDBC 连接参数中设置 RUNSTARTUP=ON 来执行启动 sql。我不知道在哪里/如何指定启动sql来在teradata中写入spark数据帧。

我想在写入数据帧之前执行下面的启动 SQL。我请求任何人请给我提供参考代码，因为我确实需要满足要求。

启动SQL： “设置会话字符集 UNICODE 传递打开”

连接网址： conn_url = "jdbc:teradata://HostName/tmode=ANSI,charset=UTF16,RUNSTARTUP=ON"

在teradata（Pyspark）中写入Dataframe： df.repartition(1).write.format('jdbc').option('driver','com.teradata.jdbc.TeraDriver').option('url','tera_url').option('user', 'tera_user_name).option('password', tera_user_pwd).option('dbtable',TargetTeradataTableName).mode('overwrite').save()

我想在Pyspark中通过JDBC执行teradata中的启动sql。

Answer 1

我认为你可以使用

beforeBatch

选项：

# Write the DataFrame to Teradata
df.repartition(1).write \
    .format("jdbc") \
    .options("beforeBatch": "SET SESSION CHARACTER SET UNICODE PASS THROUGH ON") \
    .mode("overwrite") \
    .save()