selenium-webdriver 相关问题

我正在 influenster.com 上执行网页抓取，但无法抓取星级评级

我使用的链接是https://www.influenster.com/reviews/loreal-paris-elvive-extraordinary-oil-deep-nourishing-shampoo-and-conditioner-set-126-fl-oz。请指导我如何获得星星...

如何确定给定 Edge 浏览器版本的正确 Microsoft Edge WebDriver 版本

我正在尝试将正确的 Microsoft Edge WebDriver 版本与我的 Debian 系统上安装的 Microsoft Edge 浏览器版本相匹配。浏览器和

在Python中使用Selenium抓取动态网站的所有数据

我正在尝试从以下网址抓取数据 url=https://www.usaspending.gov/search/?hash=7e5e5a79e871a86ff6b69395e47ab41e 但它也包含一个滚动条，导致所有值都没有被刮掉......

为什么这个 XPath 无效？

致 stackoverflow 的尊敬的人们： 我正在尝试使用以下 XPath 通过可见文本来识别元素： //*[包含(标准化空间(string()), 'textOne')][not(.//*[包含(标准化-...

RSpec Chrome Webdriver 测试在 RSpec::Core::MultipleExceptionError 上失败：没有这样的窗口 - 无效参数：“句柄”必须是字符串

因此，没有任何充分的理由，我在无头 Chrome Selenium Webdriver 上运行的 Rails 7.2 RSpec 系统测试开始因错误而失败 RSpec::Core::MultipleExceptionError：没有这样的窗口 （会议在...

使用Python读取日本METI统计数据的xls文件

我想访问 METI 网站上的 xls 表格。但通常的方法都不起作用。以这个网页为例： https://www.enecho.meti.go.jp/statistics/petroleum_and_lpgas/pl007/results.html 还有这个文件...

如何在 Homedepot 中抓取期权组合价格

我正在尝试从 homedepot 抓取产品信息，例如价格、产品详细信息、规格、图像等。我能够抓取所有这些信息，但现在我不知道如何抓取 pr...

NoSuchElementException：消息：没有这样的元素：无法定位元素：{“method”：“css选择器”，“selector”：“.selected”}

在此处输入图像描述这是我第一次使用selenium，如果有人可以帮助解决这个问题，我将非常感激 “NoSuchElementException：消息：没有这样的元素：Unabl...

在selenium中运行与打开chrome浏览器相关的代码时遇到错误

错误： 线程“main”中的异常 java.lang.NoClassDefFoundError: dev/failsafe/Policy 在 org.seleniumhq.selenium.http/org.openqa.selenium.remote.http.ClientConfig.(

在没有selenium和API的情况下抓取linkedin配置文件

我想通过 URL 抓取 LinkedIn 个人资料 喜欢 ; https://www.linkedin.com/in/andrew-marson-90a74015/ 我想从中获取一些数据 我以前使用过 selenum 但我想让它更快 所以我想用 r...

Python Selenium 单击 webdriverwait 与 find_element

我无法理解这两个代码块之间的区别。发送点击在 webdriverwait 和 find_elements 中都有效。 代码1 从硒导入网络驱动程序 来自

名称错误：名称“选项”未定义

这是我正在尝试做的项目 https://github.com/michaelkitas/Google-Maps-Leads-Scraper-Selenium/blob/master/readme.md 从硒导入网络驱动程序 来自 selenium.webdriver.chrome。

无法使用 selenium 在带有 python 的网页上进行此搜索

我正在运行以下脚本来搜索此网页上的书籍： 从 selenium 导入网络驱动程序 从 selenium.webdriver.common.keys 导入密钥 导入时间 PATH = "C:\程序文件...

Python 和 Selenium 网页抓取错误：OSError: [WinError 193] %1 不是有效的 Win32 应用程序

我在 Python 例程中遇到了下一个错误：“OSError: [WinError 193] %1 不是有效的 Win32 应用程序。” 我安装了 Chrome 版本，版本 127.0.6533.89（Build 官方）（64 b...

如何自动从网页下载数据？

我正在尝试使用 Python 和 Selenium 自动从网站下载 Excel 文件。我尝试过 XPath，但我认为它比我的代码更复杂。就像按钮中的选择器一样。任意

Selenium / Firefox：命令“.click()”不适用于找到的元素

我试图找到解决这件事的办法，我花了很多时间，但对我来说几乎不可能做到这一点。 问题是：我在 Firefox 中使用 Selenium 和 Java。我需要找到一个元素（a

从 JavaScript 渲染的网页中抓取图片

我正在尝试从网页中抓取图片。使用JS渲染，源码中的图片链接不完整。这是图片的来源： <question vote="1"> <p>我正在尝试从网页中抓取图片。使用JS渲染，源码中的图片链接不完整。这是图片的来源：</p> <pre><code>&lt;script language=&#34;javascript&#34; type=&#34;text/javascript&#34;&gt; &lt;/script&gt; &lt;div id=&#34;ImagesSection&#34; class=&#34;ImagesSection&#34;&gt; &lt;div id=&#39;HybridImageViewPrimaryImageDiv&#39;&gt; &lt;a href=&#39;/ItemImages/000450/18190933_1_lg.jpeg&#39; class=&#34;MagicZoom&#34; data-options=&#34; zoomMode:off; cssClass: dark-bg; zoomOn: click&#34; title=&#39;Multi-Faced Doll By Cark Bergner.&#39; id=&#34;xxxyyyzzz&#34; &gt;&lt;img id=&#39;fullimage&#39; src=&#39;/ItemImages/000450/18190933_1_med.jpeg&#39; alt=&#39;Multi-Faced Doll By Cark Bergner.&#39; /&gt;&lt;/a&gt; &lt;/div&gt; &lt;div style=&#34;margin-top:15px;width:300px;&#34;&gt; &lt;button class=&#34;cfg-btn&#34; onclick=&#34;MagicZoom.prev(&#39;xxxyyyzzz&#39;);return false;&#34;&gt;Prev&lt;/button&gt; &lt;button class=&#34;cfg-btn&#34; onclick=&#34;MagicZoom.next(&#39;xxxyyyzzz&#39;) ;return false;&#34;&gt;Next&lt;/button&gt; &lt;/div&gt;&lt;div style=&#34;margin-top:15px;&#34; width=&#34;350px&#34; &gt; &lt;a data-zoom-id=&#34;xxxyyyzzz&#34; href=&#34;/ItemImages/000450/18190933_1_lg.jpeg&#34; data-image=&#34;/ItemImages/000450/18190933_1_med.jpeg&#34; &gt; &lt;img src=&#34;/ItemImages/000450/18190933_1_sm.jpeg&#34; height=&#34;60px&#34; /&gt; &lt;/a&gt; &lt;a data-zoom-id=&#34;xxxyyyzzz&#34; href=&#34;/ItemImages/000450/18190933_2_lg.jpeg&#34; data-image=&#34;/ItemImages/000450/18190933_2_med.jpeg&#34; &gt; &lt;img src=&#34;/ItemImages/000450/18190933_2_sm.jpeg&#34; height=&#34;60px&#34; /&gt; &lt;/a&gt; &lt;a data-zoom-id=&#34;xxxyyyzzz&#34; href=&#34;/ItemImages/000450/18190933_3_lg.jpeg&#34; data-image=&#34;/ItemImages/000450/18190933_3_med.jpeg&#34; &gt; &lt;img src=&#34;/ItemImages/000450/18190933_3_sm.jpeg&#34; height=&#34;60px&#34; /&gt; &lt;/a&gt; &lt;a data-zoom-id=&#34;xxxyyyzzz&#34; href=&#34;/ItemImages/000450/18190933_4_lg.jpeg&#34; data-image=&#34;/ItemImages/000450/18190933_4_med.jpeg&#34; &gt; &lt;img src=&#34;/ItemImages/000450/18190933_4_sm.jpeg&#34; height=&#34;60px&#34; /&gt; &lt;/a&gt; &lt;a data-zoom-id=&#34;xxxyyyzzz&#34; href=&#34;/ItemImages/000450/18190933_5_lg.jpeg&#34; data-image=&#34;/ItemImages/000450/18190933_5_med.jpeg&#34; &gt; &lt;img src=&#34;/ItemImages/000450/18190933_5_sm.jpeg&#34; height=&#34;60px&#34; /&gt; &lt;/a&gt; &lt;/div&gt; &lt;/div&gt; </code></pre> <p>我想提取的是以下图像：</p> <pre><code>/ItemImages/000450/18190933_1_sm.jpeg /ItemImages/000450/18190933_2_sm.jpeg /ItemImages/000450/18190933_3_sm.jpeg /ItemImages/000450/18190933_4_sm.jpeg /ItemImages/000450/18190933_5_sm.jpeg </code></pre> <p>这是我的代码：</p> <pre><code>import os import shutil import time import requests from bs4 import BeautifulSoup as bSoup from selenium import webdriver url = &#34;https://auctions.morphyauctions.com/French_Fashion_Doll_with_Unusual_Body_-LOT450029.aspx&#34; driver = webdriver.Chrome(executable_path=&#34;/mypath/&#34;) driver.get(url) iterations = 0 while iterations &lt;10: html = driver.execute_script(&#34;return document.documentElement.outerHTML&#34;) sel_soup = bSoup(html, &#39;html.parser&#39;) print (sel_soup.findAll(&#39;img&#39;)) images = [] for i in sel_soup.findAll(&#39;img&#39;): src = i[&#39;src&#39;] images.append(src) print(images) current_path = os.getcwd() for img in images: try: file_name = os.path.basename(img) img_r = requests.get(img, stream=True) new_path = os.path.join(current_path, &#39;images&#39;, file_name) with open(new_path, &#39;wb&#39;) as output_file: shutil.copyfilobj(img_r.raw, output_file) del img_r except: pass iterations +=1 time.sleep(5) </code></pre> <p>运行此代码的结果是没有保存图像。任何帮助将不胜感激。</p> </question> <answer tick="false" vote="0"> <p>图像的 html 不是由 Javascript 渲染的，所以你不需要 selenium。使用 beautifulsoup 和 <pre><code>re.compile</code></pre> 来匹配以 <pre><code>href</code></pre> 开头的 <pre><code>a</code></pre> 元素中的 <pre><code>/ItemImages/</code></pre>。</p> <p>注意它使用相对 URL，您需要将域附加到图像 URL。</p> <pre><code>base_url = &#39;https://auctions.morphyauctions.com&#39; url = base_url + &#34;/French_Fashion_Doll_with_Unusual_Body_-LOT450029.aspx&#34; html = requests.get(url).text sel_soup = BeautifulSoup(html, &#39;html.parser&#39;) images = [] for a in sel_soup.findAll(&#39;a&#39;, href=re.compile(r&#39;^/ItemImages/&#39;)): ahref = base_url + a[&#39;href&#39;] # wee need to append the domain here images.append(ahref) print(images) current_path = os.getcwd() for img in images: try: file_name = os.path.basename(img) img_r = requests.get(img) new_path = os.path.join(current_path, &#39;images&#39;, file_name) with open(new_path, &#39;wb&#39;) as output_file: output_file.write(img_r.content) except: print(ex) </code></pre> </answer> </body></html>

通过双因素身份验证测试自动化

我使用 Selenium 进行自动测试，我使用 Visual Studio 和 C#，这个自动测试必须测试一个门户，他们必须在其中输入电子邮件和密码，并访问他所在的平台...

如何在无头模式下运行未检测到的 chromedriver，而网站不会检测到它并触发验证码？

我无法在无头模式下运行此脚本： 将 unDetected_chromedriver 导入为 uc 驱动程序= uc.Chrome（无头= True，use_subprocess = False）

在 Selenium java 代码中无法检查元素

帮我检查元素 - 我搜索“Yanni Nightingale 歌曲”并想要单击 Youtube 视频。 我尝试了如下所示的各种选项在 Selenium java 代码中使用，但没有任何效果。