使用 databricks 的 Delta 表中的 SCD 类型 2

Question

我想在databricks中实现SCD类型2，我知道这可以用MERGE来处理。但我有附加的历史数据，并且不确定如何实现 SCD 类型 2，因为目标表作为我的数据的初始加载样本是空的。

身份证	姓名
1	A
2	B
1	A2
3	C
3	C2

现在如何实现 SCD 类型 2，因为目标表初始加载时为空。

请用例子解释我。

Answer 1

您可以按年龄顺序并在单独的加载运行中加载记录 - 这对于大数据量来说不太可行 - 或者您手动为历史数据创建 SCD 记录，然后将它们插入到您的目标中