如何在FEED_URI(Scrapy)Python中传递几个参数

问题描述 投票:0回答:1

我的问题很简单-有什么方法可以传递Scrapy的多个输出源?就像我想将重复的抓取结果保存到ftp中。我是否应该为此创建其他管道目的?谢谢!

python scrapy web-crawler output
1个回答
1
投票

目前这是不可能。它有一个feature request,而在即将发布的proposed implementation版本中有一个[[may可用的Scrapy 2.0。也许您可以尝试一下提案并进行审核。

同时,是的,项目管道是一种实现方法。但是,如果您不想减慢抓取速度,则需要use deferredsopen pull request #3961中的代码可能会有所帮助,但它并非易事,特别是在您不熟悉Twisted的情况下。

还有在Spider完成本地文件生成后将文件上传到FTP的选项,这可能是实现多页进纸支持之前最直接的解决方案。

© www.soinside.com 2019 - 2024. All rights reserved.