数据块中的 Delta 实时表数据验证

问题描述 投票:0回答:1

我收到了一个要求, 数据被增量复制到青铜层 live 表中。一旦数据位于青铜层中,就需要应用数据质量检查,最终数据需要加载到银级 live 表中。 我对此一无所知。有人可以帮助我如何在数据块中使用 PySpark 编写代码

databricks azure-databricks databricks-sql aws-databricks
1个回答
0
投票

您可以参考数据块文档,因为任务似乎很基本。

摄入青铜层 - Autoloader

对于青铜层到银层(应用约束)-https://learn.microsoft.com/en-us/azure/databricks/delta-live-tables/expectations

© www.soinside.com 2019 - 2024. All rights reserved.