Autoloader检查点保存

问题描述 投票:0回答:0

非空表改表后是否可以恢复checkpoint位置的内容?

我正在使用 Databricks Autoloader 加载表格。我需要更新其中一列的数据类型。但是,我相信这是不允许的,因为桌子不是空的。

于是想办法把checkpoint location的内容保留下来,然后单独建一张需要数据类型的表,把旧表的数据copy到新表中,最后,replace之前的表与新表。但是,这会删除检查点位置的内容。换表后checkpoint还能保留恢复吗?

这个问题有解决方法吗?

我对 Databricks/Autoloader/Streaming 很陌生,因此需要一些指导来解决这个问题。任何帮助表示赞赏。

谢谢

apache-spark databricks databricks-autoloader
© www.soinside.com 2019 - 2024. All rights reserved.