将数据从Scrapy推送到.Net应用程序的最佳方法

Question

将抓取的数据从Scrapy爬网程序推送到.Net应用程序的最佳方法/想法

设置：

1. Debian服务器运行一台不可靠的服务器
2. Windows服务器运行.Net Core应用程序服务器

[我正在考虑将RESTful API添加到我的.Net Core Service，并在每个搜寻器“完成”事件中从Scrapy推送项目数据。

基本上，当新数据项被抓取时，我希望从Scrapy服务器到我的.Net应用有某种“推送通知”。

将调用该外部API最好的地方是什么？

Answer 1

将刮掉的项目放入数据库中，并在数据库中轮询其他应用程序中的新项目

[使用RabbitMQ，AWS SQS或Kafka之类的消息传递队列