我有一个 NodeJS 脚本,它读取目录中的所有文件并将消息发送到 RabbitMQ 队列以处理它们。
有129k个文件。我所做的基本上是使用
fs.readdir
读取所有文件名,遍历文件名数组并向 RabbitMQ 发送消息。而且由于某种原因,队列没有存储 129k 条消息,而只存储了 3k。
这是我的代码:
files.forEach((fileName) => {
dispatchMessage(channel, fileName)
dispatchedMessagesCount++
})
const dispatchMessage = (channel, targetPath) => {
try {
channel.sendToQueue(queue, Buffer.from(targetPath), {
persistent: true,
expiration: 10800000,
})
logEvent(`Published %s`, targetPath)
} catch (error) {
logEvent(`Error publishing %s`, targetPath)
}
}
我试图通过
expiration
属性设置一个非常大的 TTL -3hours- 但没有成功。
我在控制台输出中没有看到任何错误。
看起来 RabbitMQ 对传入消息有某种速率限制策略,但我找不到任何相关信息。
有什么想法吗?
更新:
我刚刚尝试推送 15k 条消息,代理存储了 14754。 所以这不是队列工作人员的问题,而是代理本身没有收到所有消息。