我的问题很简单-有什么方法可以传递Scrapy的多个输出源?就像我想将重复的抓取结果保存到ftp中。我是否应该为此创建其他管道目的?谢谢!
目前这是不可能。它有一个feature request,而在即将发布的proposed implementation版本中有一个[[may可用的Scrapy 2.0。也许您可以尝试一下提案并进行审核。
同时,是的,项目管道是一种实现方法。但是,如果您不想减慢抓取速度,则需要use deferreds。 open pull request #3961中的代码可能会有所帮助,但它并非易事,特别是在您不熟悉Twisted的情况下。还有在Spider完成本地文件生成后将文件上传到FTP的选项,这可能是实现多页进纸支持之前最直接的解决方案。