Web爬虫（也称为Web爬虫）是一种以有条不紊，自动化或有序方式浏览万维网的计算机程序。 Web爬虫的其他术语是蚂蚁，自动索引器，僵尸程序，Web蜘蛛，Web机器人，或者 - 尤其是在FOAF社区中 - Web scutters。
最近我一直在用BeautifulSoup用Python开发网络爬虫。现在我想知道 Java 中最受欢迎的库是哪些。我做了一些搜索，主要是看到 JTidy 和 JSoup。什么...
我需要通过代码登录购物网站。我将为此使用 Webclient。 我没有找到如何做的起点？有人可以分享一下我该怎么做的代码示例吗
如何爬行网站以搜索名称并在发现与 robots.txt 相符时返回 URL？
我正在尝试将一些网站中找到的名称的简历列表放在一起。 我有名字和相应的网站： 名称网站 ----------------- 约翰·多伊 abc.com 史蒂夫·J apple.com ...
希望创建一个机器人来抓取 API 并将数据存储在 excel/csv 文件中
嘿伙计们，这个问题有点模糊，所以我很抱歉......我只是在寻求帮助，以引导我走向正确的方向。 我想开发某种可以抓取某些内容的机器人/脚本/程序...
我有一个小爬虫/屏幕抓取脚本，半年前可以使用，但现在它不再工作了。我检查了页面源中reg表达式的html和css值，但是......
我正在构建一个购物比较引擎，我需要构建一个爬行引擎来执行日常数据收集过程。 我决定用 C# 构建爬虫。我有很多不好的经历...
我正在使用PHP创建一个网站，它需要根据用户的时区在页面上显示时间。 经过一番搜索，我找不到服务器端的方法来做到这一点，所有的解决方案......
我在 s3 中有一些国家/地区级别的分区数据，爬虫正在爬行此根文件夹并创建一个表。国家/地区代码不存在空值。但是当看雅典娜时，...
如何测试 robots.txt 是否在本地主机上的本地 Web 服务器中工作？
我将 robots.txt 文件添加到本地 Web 服务器的根目录中。 服务器上的 robots.txt 文件的 url 是 http://localhost/myserver/robots.txt。 robots.txt文件的内容是 ...
当我使用 Chrome 在此网站上发布：“http://xh.5156edu.com/index.php”时，我会被重定向到一个新页面。但是，当我使用 python request 模块来发帖时，如下所示： r =
在scrapyrt的POST文档中，我们可以传递这样的JSON请求，但是如何访问start_requests中的类别和项目等元数据？ { “要求”： { “元”：{ ...
我正在开发的网站有一个按钮。 当我使用 puppeteer 单击按钮时，它会在 ul 元素上创建 10 个以上的列表。 第一次该网站已经在 ul 元素上有 10 个列表，每当 cli...
我正在尝试使用 scrapy 和splash 抓取网站。 我想从图像中出现的响应中抓取特定的 html 代码。 这是带有标题的响应： 这是重新...
TypeError：“str”对象无法使用 driver.current_url() 调用（Python 3.6）（Selenium）
我的代码： https://pastebin.com/WKHZwAib 进口硒 从 selenium 导入 webdriver 作为 web url = 'https://www.wta.org/go-outside/hikes/hike_search?排序=&评级=0&里程:浮动:列表=0....
我终于让 IntelliJ 开始工作了。我正在使用下面的代码。它工作完美。我需要它一遍又一遍地循环，并从电子表格中提取链接，以便一遍又一遍地查找不同商品的价格...
如何使用 Selenium 和 Java 加载和收集所有评论
我有一个 Java 应用程序，它使用 Selenium Web 驱动程序从 Google Play 商店应用程序中抓取/抓取信息。我有大约 30 个来自应用程序的链接，但我在收集所有链接时遇到问题
我正在 http://www.ulta.com/makeup-eyes-eyebrows?N=26yi 上抓取所有产品详细信息。我的规则复制如下。我只从第一页获取数据，不会继续到下一页。 规则=（R...
Beautifulsoup 中的查找函数在第一个列表中返回 None
我现在练习用Beautifulsoup4解析HTML。 我在使用查找功能时遇到问题。 这是我的代码。 soup1 = BeautifulSoup(a,"html.parser") table1 = soup1.find('div', {'id':'auction_conta...
我的问题不应该太难回答，我遇到的问题是我不知道如何抓取特定关键字的网站..我对Python很陌生..所以我知道我需要添加一些更多详细信息...