我编写了一个刮刀，它从几个页面中提取数据。现在我意识到它有时会中断（例如互联网削减）并且我丢失了所有（已经）抓取的数据并且必须重新开始抓取过程。
是否有一个模块或解决方案如何缓存我已经提取的数据，以防脚本再次中断？
最好的祝福
我建议你使用scrapy库，它已经实现了几种保存数据和管理你的蜘蛛的机制。