我是Python新手。我在 64 位操作系统上运行 python 2.7.3 版本 32 位。 (我尝试了 64 位,但没有成功)。
我按照教程在我的机器上安装了 scrapy。我创建了一个项目,demoz。但是当我输入
scrapy crawl demoz
时它显示错误。当我在 (C:\python27\scripts) 下点击 scrapy 命令时,我遇到了这个事情,它显示:
C:\Python27\Scripts>scrapy
Scrapy 0.14.2 - no active project
Usage:
scrapy <command> [options] [args]
Available commands:
fetch Fetch a URL using the Scrapy downloader
runspider Run a self-contained spider (without creating a project)
settings Get settings values
shell Interactive scraping console
startproject Create new project
version Print Scrapy version
view Open URL in browser, as seen by Scrapy
Use "scrapy <command> -h" to see more info about a command
C:\Python27\Scripts>
我猜他们在安装中缺少一些东西,有人可以帮忙吗..提前致谢..
您应该在 scrapy 项目文件夹中运行
scrapy crawl spider_name
命令,其中 scrapy.cfg
文件所在。
来自文档:
爬行
要让我们的蜘蛛工作,请转到项目的顶级目录并运行:
scrapy crawl dmoz
您可以使用以下命令从您创建的 scrapy 项目文件夹中运行
scrapy crawl demoz
代码
scrapy startproject tutorials
例如,如果您已经启动了名为
tutorials
的 scrapy 项目,则首先转到教程文件夹并从那里运行 crawl
命令
scrapy crawl demoz
如果您已经有一个现有项目,突然出现此错误“Scrapy 1.3.3 - 无活动项目”,在我的情况下,当我打开项目时,我看不到 scrapy.cfg 文件。我所做的是,我只是对我的项目做了一些小更改,例如删除一些额外的行并将其从 github 部署到实例,并且它起作用了!
我的问题是当我生成项目时 .py 超出了项目范围,然后我进入了 Spider 文件夹并进行了爬行。