Web爬虫（也称为Web爬虫）是一种以有条不紊，自动化或有序方式浏览万维网的计算机程序。 Web爬虫的其他术语是蚂蚁，自动索引器，僵尸程序，Web蜘蛛，Web机器人，或者 - 尤其是在FOAF社区中 - Web scutters。
是否有任何快速（可能是多线程）的方法来抓取我的网站（单击所有本地链接）以查找 404/500 错误（即确保 200 响应）？ 我还希望能够将其设置为仅单击...
如何在 IIS 或 web.config 中将 X-Robots-Tag HTTP 标头设置为“index; follow”？
我得到'X-Robots-Tag：noindex； nofollow' 在我的响应标头中。我希望将其设置为“index;”关注'。
我们正在开发一个供第三方应用程序使用的 Unity 插件。在我们自己的测试中，我们发现 Google Play 商店的自动抓取工具（显然称为 Robo）会激活该插件并点击
爬虫在windows下返回数据是CR LF，但在linux下不行
我正在尝试使用 symfony 爬虫链接从网站上的标签获取数据。 foreach ($tables as $table) { $response = $this->client->get($url, [ 'http_errors' =>
Symfony 爬虫在 Windows 中返回带有 CR LF 的数据，但在 Linux 中则不然
我正在尝试使用 symfony 爬虫链接从网站上的标签获取数据。 foreach ($tables as $table) { $response = $this->client->get($url, [ 'http_errors' =>
我是Python的初学者。 我尝试在 Pandas 上加载 Excel 文件并处理它。 我使用大型 Excel 文件。例如，现在我正在处理一个包含 50 列的文件。我想在蜘蛛上看到它......
我正在尝试从网站下载视频，这需要提取每个“视频网址”上的 1 个“下载网址”。 例子： “视频网址”：https://www.example.com/...
如何使用 R 或 Python 一次性提取多个站点中具有相同模式的 url？
我正在尝试从网站下载视频，这需要提取每个“视频网址”上的 1 个“下载网址”。 例子： “视频网址”：https://www.example.com/...
据我所知，谷歌不喜欢被抓取/抓取。一个月前，当我准备开始这个项目时，在 stackoverflow 上发现了一个类似的问题（现在找不到了。）。有人说你...
我正在寻求帮助，以使用 Python 和 Selenium 从具有多个选项卡的网站中提取数据并将其保存为 .csv 格式。有问题的网站是：https://www.amfiindia.com/research-
我用 athena 查询 https://commoncrawl.org/overview 数据时超时...如果成功，每次查询将花费我 1000 美元...每 TB 5 美元，200 TB（？） ……其实太多了 这是……
如何通过在网站中键入 ctrl+C 来读取或保存剪贴板中的图像列表？(python)
发送请求也被网站禁止，所以我改变了一种方式来抓取网站中的图像。 我用ctrl+c复制内容，然后用ctrl+v到office word软件，图片是
当搜索引擎（google、bing 等）抓取网站时，搜索引擎抓取网站的典型最大深度是多少。我所说的深度是指从主页开始的跳转次数。
如果我用 Ajax 完成页面上的所有操作，我该如何进行搜索引擎优化？
爬虫和ajax应用之间的关系如何？ 网络爬虫或浏览器是否读取动态创建的元标记？ 我想： 向页面添加锚点 创建永久链接...
在 Docker 中设置 Selenium Wire/Grid 使用代理时出错
我正在尝试将我的小爬虫设置为 Docker 项目。我正在使用 Selenium Wire，因此我可以一次运行多个请求。但是，现在我想设置代理，但遇到了几个问题...
如何使用selenium chromedriver和google收集>100k新闻文章URL进行数据分析？
我必须从大约 5 个网站收集大约 2017 年到 2024 年的互联网新闻文章的文本数据。这是数万/数十万篇文章。我有办法抓取其中一些 URL
我有一个代码片段，可以通过Python中的Playwright从网页的DOM树中提取可输入和可点击的节点元素（即交互式元素）。 这段代码几乎可以正常工作......
我正在尝试下载第60届金马奖放映的电影《石门》。我发现了一个流媒体链接： https://www.fofoyy.com/dianying/96937 我无法...
在必须首先进行身份验证时，是否有更快的方法来使用 scrapy 抓取预定义的 URL 列表？
我有两只scrapy Spider： Spider 1 抓取产品链接列表（~10000）并使用 feed 将它们保存到 csv 文件中。它不会访问每个链接，只会访问类别（具有多个页面......
我正在爬行https://kick.com/browse/categories，每次滚动时它都会加载某个类别的新卡片。我使用剧作家尝试了多种方法，但没有一个有效。 将不胜感激...