我收到了一个要求, 数据被增量复制到青铜层 live 表中。一旦数据位于青铜层中,就需要应用数据质量检查,最终数据需要加载到银级 live 表中。 我对此一无所知。有人可以帮助我如何在数据块中使用 PySpark 编写代码
您可以参考数据块文档,因为任务似乎很基本。
摄入青铜层 - Autoloader
对于青铜层到银层(应用约束)-https://learn.microsoft.com/en-us/azure/databricks/delta-live-tables/expectations