为什么我不能用Python的漂亮汤把Twitter报废？

Question

我不知道为什么我不能用python美丽的汤报废Twitter的个人资料。

from bs4 import BeautifulSoup
import requests
import urllib3

url = "https://twitter.com/Microsoft"
r = requests.get(url)
bs = BeautifulSoup(r.content, 'lxml')
match = bs.find_all('span')

匹配包含一个包含以下文本的元素

有些地方出了问题，但请不要担心-让我们再试一次。

我不知道为什么会这样，这是因为Twitter停止了允许Web剪贴器剪贴其内容吗？任何解决方案将不胜感激。

Answer 1

[某些网站正在使用防止网页抓取的技术。但是，刮刮Twitter数据有许多技术解决方案，如果使用这些技术解决方案，则可能与Twitter Terms of Service相抵触，其中指出：

“ ...明确禁止未经Twitter事先同意而刮擦服务”

并且您不应“ ...通过我们当前可用的已发布界面以外的任何方式（自动或其他方式）访问或搜索或尝试访问或搜索服务”

您可以通过Twitter的APIs访问Twitter数据，但Twitter可能会根据您的使用情况对其收取费用。