使用Python从URL下载HTML页面

Question

我没有在网上找到任何方式。是否可以使用BeautifulSoup或类似内容从URL地址下载完整的HTML页面文件？

谢谢你的帮助。

Answer 1

import requests

r = requests.get('http://example.com')

with open('example.html', 'wb') as f:
    f.write(r.content)

上面的块不会使用Javascript渲染任何内容。如果您需要Javascript渲染内容，那么您可以使用requests-html库（pip install requests-html）：

from requests_html import HTMLSession

session = HTMLSession()
r = session.get('http://example.com')

with open('example.html', 'wb') as f:
    f.write(r.content)