如何设置Scrapy，Anaconda 3和PyCharm 2018.3.5

Question

我刚开始尝试使用PyCharm 2018.3.5，Anaconda 2018.12，但是我很难用Scrapy进行设置。因此，我想请大家一些帮助，以便开始运作。我正在关注以下tutorial以测试Scrapy是否与PyCharm和Anaconda一起使用。似乎并非如此。安装在具有最新更新的Windows 10计算机上完成。

我还包括安装过程的每一步，希望你能指出我出错的地方。

1. 在默认位置安装Anaconda。
2. 在默认位置安装PyCharm。
3. 安装OpenSSL（对于这个版本的PyCharm，你需要安装它，以便它找到包;链接：https://slproweb.com/products/Win32OpenSSL.html）。
4. 我继续使用以下设置启动PyCharm并创建我的第一个Scrapy项目：qazxsw poi
5. 我继续等待PyCharm完成所有事情然后我打开Anaconda Navigator，我将用它来安装scrapy和beautifulsoup4。下图显示了结果：
6. 在PyCharm中，Scrapy也可见：
7. 接下来，我进入资源管理器并导航到（请注意，这与步骤4中的目录相同）。
8. 所以，首先我尝试使用命令提示符，但这失败了：

C:\Users\admin Man\PycharmProjects\Test

我读到这是因为Anaconda Prompt对路径做了些什么。所以我在Anaconda Prompt中使用了以下命令。

两者之间的一个小问题。我想知道如何让它在cmd.exe中工作，我在Anaconda提示中做了什么而没有激活环境。我想回答这个问题会让我更好地了解Anaconda的提示。

9. 这成功了，现在我有以下目录：

10. 所以我只是在线跟踪教程并创建了以下蜘蛛。

11. 然后我设置以下配置

我试着用python控制台运行并模拟选项，但都失败了。我检查了我是否有请求包，我有2.21.0请求。

我得到的错误如下：

有谁可以解决它？另外，我也尝试将工作目录设置为其他东西，但我不知道在哪里，我当然尝试了项目目录。

实际上，我可以找到它似乎缺失的模块（见下文）：

C:\ProgramData\Anaconda3\envs\Test\python.exe C:/ProgramData/Anaconda3/envs/Test/Lib/site-packages/scrapy/cmdline.py crawl quotes
Traceback (most recent call last):
  File "C:/ProgramData/Anaconda3/envs/Test/Lib/site-packages/scrapy/cmdline.py", line 8, in <module>
    import scrapy
  File "C:\ProgramData\Anaconda3\envs\Test\lib\site-packages\scrapy\__init__.py", line 27, in <module>
    from . import _monkeypatches
  File "C:\ProgramData\Anaconda3\envs\Test\lib\site-packages\scrapy\_monkeypatches.py", line 20, in <module>
    import twisted.persisted.styles  # NOQA
  File "C:\ProgramData\Anaconda3\envs\Test\lib\site-packages\twisted\persisted\styles.py", line 21, in <module>
    from twisted.python.compat import _PY3, _PYPY
  File "C:\ProgramData\Anaconda3\envs\Test\lib\site-packages\twisted\python\__init__.py", line 11, in <module>
    from .compat import unicode
  File "C:\ProgramData\Anaconda3\envs\Test\lib\site-packages\twisted\python\compat.py", line 605, in <module>
    from http import cookiejar as cookielib
  File "C:\ProgramData\Anaconda3\envs\Test\Lib\site-packages\scrapy\http\__init__.py", line 8, in <module>
    from scrapy.http.headers import Headers
  File "C:\ProgramData\Anaconda3\envs\Test\lib\site-packages\scrapy\http\__init__.py", line 10, in <module>
    from scrapy.http.request import Request
  File "C:\ProgramData\Anaconda3\envs\Test\lib\site-packages\scrapy\http\request\__init__.py", line 8, in <module>
    from w3lib.url import safe_url_string
  File "C:\ProgramData\Anaconda3\envs\Test\lib\site-packages\w3lib\url.py", line 18, in <module>
    from six.moves.urllib.request import pathname2url, url2pathname
  File "C:\ProgramData\Anaconda3\envs\Test\lib\site-packages\six.py", line 92, in __get__
    result = self._resolve()
  File "C:\ProgramData\Anaconda3\envs\Test\lib\site-packages\six.py", line 160, in _resolve
    module = _import_module(self.mod)
  File "C:\ProgramData\Anaconda3\envs\Test\lib\site-packages\six.py", line 82, in _import_module
    __import__(name)
  File "C:\ProgramData\Anaconda3\envs\Test\lib\urllib\request.py", line 88, in <module>
    import http.client
ModuleNotFoundError: No module named 'http.client'

Process finished with exit code 1

Answer 1

总而言之，我找到了答案。这个问题与PyCharm 2018.3.5有关。我想我需要等到PyCharm 2019.1发布。

资料来源：