如何从AWS Lambda运行Scrapy蜘蛛？

Question

我正在尝试从AWS Lambda中运行scrapy蜘蛛。这是我当前脚本的样子，即抓取测试数据。

import boto3
import scrapy
from scrapy.crawler import CrawlerProcess

s3 = boto3.client('s3')
BUCKET = 'sample-bucket'

class BookSpider(scrapy.Spider):
    name = 'bookspider'
    start_urls = [
        'http://books.toscrape.com/'
    ]

    def parse(self, response):
        for link in response.xpath('//article[@class="product_pod"]/div/a/@href').extract():
            yield response.follow(link, callback=self.parse_detail)
        next_page = response.xpath('//li[@class="next"]/a/@href').extract_first()
        if next_page:
            yield response.follow(next_page, callback=self.parse)

    def parse_detail(self, response):
        title = response.xpath('//div[contains(@class, "product_main")]/h1/text()').extract_first()
        price = response.xpath('//div[contains(@class, "product_main")]/'
                               'p[@class="price_color"]/text()').extract_first()
        availability = response.xpath('//div[contains(@class, "product_main")]/'
                                      'p[contains(@class, "availability")]/text()').extract()
        availability = ''.join(availability).strip()
        upc = response.xpath('//th[contains(text(), "UPC")]/'
                             'following-sibling::td/text()').extract_first()
        yield {
            'title': title,
            'price': price,
            'availability': availability,
            'upc': upc
        }

def main(event, context):
    process = CrawlerProcess({
        'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)',
        'FEED_FORMAT': 'json',
        'FEED_URI': 'result.json'
    })

    process.crawl(BookSpider)
    process.start() # the script will block here until the crawling is finished

    data = open('result.json', 'rb')
    s3.put_object(Bucket = BUCKET, Key='result.json', Body=data)
    print('All done.')

if __name__ == "__main__":
    main('', '')

我首先在本地测试了这个脚本，它正常运行，抓取数据并将其保存到'results.json'，然后将其上传到我的S3存储桶。

然后，我按照以下指南配置了我的AWS Lambda函数：https://serverless.com/blog/serverless-python-packaging/并成功导入AWS Lambda中的Scrapy库以供执行。

但是，当脚本在AWS Lambda上运行时，它不会刮取数据并仅为结果抛出错误.json不存在

任何已配置运行Scrapy或有解决方法或能指出我正确方向的人都将受到高度赞赏。

谢谢。

Answer 1

刚看到这个，同时寻找其他的东西，但是我的头顶..

Lambdas在/ tmp中提供临时存储，所以我建议设置

'FEED_URI': '/tmp/result.json'

然后

data = open('/tmp/result.json', 'rb')

关于在lambda中使用临时存储可能有各种各样的最佳实践，所以我建议花点时间阅读这些内容。