web-scraping 相关问题

Web抓取是从不易提供API或其他自动数据检索方法的网站中提取特定信息的过程。关于“如何开始使用刮擦”（例如使用Excel VBA）的问题应该*进行彻底的研究*，因为有许多功能代码示例可供使用。 Web抓取方法包括第三方应用程序，定制软件的开发，甚至是标准化方式的手动数据收集。

无法使用playwright（或Puppeteer）进行网络刮擦

有许多类似的问题（这样的问题：用剧作家抓取网站），但我没有找到并解决这个问题：我有这个网址： https://www.derstandard.at/search?n=&fd=2025-02-17&...

javascript selenium-webdriver web-scraping puppeteer playwright

回答 1 投票 0

我是一位社会科学家，具有计算方法和Python的背景非常有限的社会科学家（我主要是自学的）。这是我第一次在这里发布，所以如果我滥用任何技术条款或我的描述是冗长的，请忍受我。

selenium-webdriver web-scraping selenium-chromedriver google-colaboratory undetected-chromedriver

回答 1 投票 0

如何在python

我一直在尝试使用Python Selenium为我观看YouTube视频并收集数据。

python selenium web-scraping automation

回答 0 投票 0

如何处理其数据类型的网络刮擦错误beacuase

from playwright.sync_api import sync_playwright import json def handle_response(response): with open("copy.txt", "w", encoding="utf-8") as file: file.write(response.text()) def main(): playwright=sync_playwright().start() browser=playwright.chromium.launch(headless=True) browser.new_context(no_viewport=True) page=browser.new_page() page.on('response',lambda response:handle_response(response)) page.goto("https://www.booking.com/hotel/it/hotelnordroma.en-gb.html?aid=304142&checkin=2025-05-15&checkout=2025-05-16#map_opened-map_trigger_header_pin") page.wait_for_timeout(1000) browser.close() playwright.stop() if __name__=='__main__': main()

python web-scraping playwright playwright-python

回答 1 投票 0

如何编写HTTPS Web-Scraper的测试？

java unit-testing web-scraping testing mocking

回答 1 投票 0

以解析网页的总结果，我的现有脚本可以分析三分之一我创建了一个脚本，该脚本发布了http请求，并使用适当的参数从此网页中获取城镇，大陆，乡村和inner_link。该脚本可以解析69个容器，但是

中获取城镇，大陆，国家和inner_link。脚本可以解析69个容器，但总共有162个项目。我该如何获取其余的？

python python-3.x web-scraping python-requests

回答 1 投票 0

在从网站上刮擦数据并转换CSV后，Excel不会显示行以外的行

url=“ https://www.dsebd.org/top_20_share.php” r = requests.get（url）汤=美丽的套件（r.text，“ lxml”） table = soup.find（“ table”，class _ =“表 - 桌子 - table-bordered

python pandas dataframe web-scraping jupyter-notebook

回答 1 投票 0

无法在Web刮擦时获得链接

我想在选择“ T20I”时使用Python进行Web刮擦。为此，我需要在请求和美丽小组中提出一个特定的链接。每当我打开https://www.espncricinfo.com/cricke...

python web-scraping beautifulsoup python-requests

回答 2 投票 0

python api web-scraping web artificial-intelligence

回答 1 投票 0

转换到卷曲：

python web-scraping ssl browser fingerprint

回答 0 投票 0

使用R selenider在Linux错误-user-data-dir