我跟着这个Scrapy Tutorial。
我已经生成了Scrapy项目,但是当我在PyCharm中打开项目时,我正在获取
没有名为scrapy的模块
import scrapy
上的错误:
import scrapy
class QuotesSpider(scrapy.Spider):
name = "quotes"
def start_requests(self):
urls = [
'http://quotes.toscrape.com/page/1/',
'http://quotes.toscrape.com/page/2/',
]
for url in urls:
yield scrapy.Request(url=url, callback=self.parse)
def parse(self, response):
page = response.url.split("/")[-2]
filename = 'quotes-%s.html' % page
with open(filename, 'wb') as f:
f.write(response.body)
self.log('Saved file %s' % filename)
我是Python的新手,我不太清楚我缺少什么。
这是我的设置:
您的配置出了问题。
卸载Scrapy(选择它并单击红色-
),然后再次安装(使用绿色+
)。
当我开始使用Scrapy时,我遇到了同样的麻烦,所以我只使用pycharm解决了这个问题。
Menu > Run > Edit
配置...配置scrapy运行cmdline Edit run config
把(脚本路径),你需要知道scrapy安装在哪里,在我的情况下它是进入/root/PycharmProjects/Spideys/venv/bin/scrapy
Put(参数)抓取引号
把(工作目录)放在我的案例中是根scrapy项目进入pycharm src项目/root/PycharmProjects/Spideys/venv/src/tutorialMayistik/tutorialMayistik
选择Show command line afterwards
...应用并确定。最后运行SPIDEY!
请!原谅我的英语,我只是在学习......