Pyspark 在写入时用空值填充我的列

Question

我有关于 Pyspark 写作的问题，我目前正在运行以下行：

sat_prospect_credentials.write.format("delta").mode("append").save(f"{TABLE_MAP[table]}")

正在以增量格式将 Spark DataFrame 写入 Azure ADLS。我有以下问题，我有一个名为 end_date 的列，其中填充了 Null 值（这是故意的，因为这是用于 SCD 管理），但是，当我写入 DataLake 时，该列将被删除。有谁知道如何防止这种情况发生？

谢谢！

我试过 schemaOverwrite、mergeSchema 和其他选项。我不知道如何从这里开始跟进