对数据流管道第 2 代中的数据进行匿名化

Question

我想将生产 Azure SQL 中的表子集加载到 Lakehouse 中，以进行进一步处理以进行分析。 当数据从 Azure Sql 读取并写入 Lakehouse 时，我想对数据流管道 Gen2 中的电子邮件、用户名等列进行匿名化。我该怎么做？

Answer 1

您可以使用 Presidio 和 Azure Databricks 来帮助您对敏感数据进行匿名化。 在这里，您将找到完整的分步指南，了解如何在 Azure 数据工厂 (ADF) 管道中将 Presidio 调用为 Databricks 笔记本作业，以在将结果合并到数据湖或存储之前转换输入数据集帐号。