我有两个不同的来源来读取和处理数据。我可以在单个 Gathr Pipelines 中读取这些源代码吗？

Question

我有两个不同的来源来读取和处理数据。我可以在单个 Gathr Pipelines 中读取这些源代码吗？

我尝试在管道中添加一个源，但不确定是否可以在管道中添加多个源。请大家指导一下，谢谢

Answer 1

您可以在 Gathr 的 Unlimited 和 SaaS 产品上从两个不同来源创建管道。可以使用 Union 处理器或使用 Register as Table 来完成。

联合处理器 只需将两个或多个数据源连接到联合处理器即可。配置每个组件，包括要发出合并数据的目标。

这是一个简单的例子。在 Gathr 中，您可以轻松创建最复杂的用例。

使用寄存器作为表 选择数据源并进行配置。如果您想要整合来自 HDFS、JDBC、Snowflake、S3、Redshift、文件或任何传入消息的数据，请添加注册为表处理器。随后，在将目标添加到管道之前应用进一步的转换。