数据提取:实时接收和解码消息文件(.txt)

问题描述 投票:1回答:1

我们的项目要求实时读取和解码消息文本文件。第三方使用MQ安装程序接收文件。要求是从MQ Server中提取文件,将其存储在我们的系统中,使用规范进行解码并将数据存储在Database表中。

这是建议的流程:

消息文件(.txt) - > MQ服务器 - > ?? - >解码 - >存储在DB中

问题:

  1. 第三方已经有一个MQ设置,他们已准备好将它推送给我们。我可以知道如何订阅他们的MQ系统来接收文件?是否可以使用SFTP接收文件,或者我应该在我这边设置MQ?
  2. 我们已经在Python中有一个源代码来解码文件,但不确定如何在文件被推送到我们这边时实时结束处理。
python message-queue data-integration data-ingestion
1个回答
1
投票
  1. 你应该使用SFTP吗?不,配置您的一方订阅第三方的MQ渠道。这对于最小化端到端延迟是必要的。
  2. 那有点模糊。向我们展示您到目前为止所编写的代码,它们会监听频道并发送给您的解码器。 https://stackoverflow.com/help/mcve
© www.soinside.com 2019 - 2024. All rights reserved.