Azure 数据流中已使用 SInk 转换后如何修改文件？

Question

使用数据流

1. 连接到源
2. 使用水槽。将所有 Excel 文件合并为一个 .csv
3. 需要修改新创建的.csv文件

现在如何修改新创建的 csv 文件并删除具有 NULL 值的行？

我需要创建一个新的（第二个）源吗？

如果我创建第二个源，它将按顺序执行还是并行执行？

Answer 1

将组合数据写入 CSV 以删除具有 NULL 值的行后，您可以使用过滤器转换。例如，如果您想要删除名为“ColumnName”的列具有 NULL 值的行，则可以添加带有条件的过滤器转换：isNotNull(ColumnName)。

除非您打算从不同的位置阅读，否则您不需要第二个来源。如果您的目标只是从合并的 CSV 中删除 NULL 行，则不需要第二个源。该流程可以在一次运行中处理它。

Azure 数据工厂中的映射数据流是根据您设置的转换顺序按顺序执行的。如果您有两个不同的源，它们可能会并行读取，但后续转换将根据您的流程设计按顺序进行。