如何屏蔽作业中所有转换的所有表？

Question

在我的Pentaho数据集成（PDI）工作流程中，我需要将数据从数据库A复制到数据库B。所以我使用复制表功能来完成它。 复制表格功能

但是，在将数据写入数据库B之前，我需要屏蔽敏感信息。问题是我必须为 300 多个转换中的每一个转换手动添加一个带有正则表达式和字段类型的“在字符串中替换”步骤。

转变

有什么办法可以在工作中进行屏蔽吗？比如在转换之前添加 JavaScript 或其他Job

Answer 1

为了继续您的想法，您可以模块化您的 ETL 项目。您可以创建一个按顺序调用两个转换的作业。一个转换可以将参数传递给下一个转换，因此您可以这样做。

另一件事是，您可以加密文件（在工作上下文中），也可以加密流线（在转换上下文中）。

最后一个考虑因素是，您可以使用数据库基础设施本身来复制数据库，有更有效的方法可以做到这一点，而不是使用 ETL 来承担此责任。

您可以使用奖章等设计模式来改进您的 ETL。希望我能帮忙。