我正在构建与雪花集成的 DBT 模型,其中我有着陆模型(表)、暂存模型(增量)和演示模型(增量)以及演示模型之上的视图以供访问。登台模型包含转换过程,并且数据对下游没有用处,而演示文稿则包含供下游使用的转换后的数据。为了节省存储成本,我希望在一段时间后截断暂存中的数据。有办法做到这一点吗?或者是否有更好的方法来节省存储成本。或者我是否必须将数据保留在暂存中以用于数据沿袭目的?
是否需要出于数据沿袭目的保留数据只有您自己知道。
除非您拥有大量数据,否则存储成本不太可能足以保证删除数据 - 但是,同样,只有您可以做出决定。
要删除数据,只需安排一个任务来删除早于 x 天的数据