Selenium - 获取相关Web元素标记不断变化的信息

Question

给定一个搜索词，我正在尝试获取亚马逊在Books类别下出现的结果，并获取给定搜索词的每本书的详细信息。

我遇到了一个问题，有时我的代码能够找到结果，有时候它会失败。在进一步检查之后，我意识到这些项目有时会用<li>标签列出，而在其他时候用<div>标签列出。

下面粘贴的是用于备份我的声明的相同元素的元素和代码片段。

带<li>标签的HTML：

<li id="result_0" data-asin="0128023074" class="s-result-item celwidget  ">

带<div>标签的HTML：

<div data-asin="0128023074" data-index="0" class="sg-col-20-of-24 s-result-item sg-col-0-of-12 sg-col-28-of-32 sg-col-16-of-20 sg-col sg-col-32-of-36 sg-col-12-of-16 sg-col-24-of-28" data-cel-widget="search_result_0"><div class="sg-col-inner">

我仍然是Selenium的新手，所以为了克服这个问题，我使用下面的代码片段，我很确定有更好的方法来处理这个问题。

try:
    book = WebDriverWait(driver, 10).until(EC.visibility_of_element_located((By.ID, "result_0")))
    book_detail(book, details)
except TimeoutException:
    book = WebDriverWait(driver, 10).until(EC.visibility_of_element_located((By.XPATH, "//div[@data-index=\"0\" and @data-cel-widget=\"search_result_0\"]")))
    book_detail_by_div(book, details)

有人可以请帮助我理解为什么标签关联变化这样以及如何处理这样的情况？

Answer 1

关于为什么会发生这种情况的第一个问题，我不确定。我尝试了不同的操作系统/浏览器和窗口大小，但无法重现div元素的情况。

为了改进你的代码我有一个建议，但它可能不是你的最佳解决方案，所以你可以尝试。这将等待两种类型的元素中的任何一种一起可见，而不是等待第一种类型的10秒，然后是第二种。

try:
    book = WebDriverWait(driver, 10).until(EC.visibility_of_element_located((By.XPATH, '//*[(@id="result_0") or (@data-index="0" and @data-cel-widget="search_result_0")]')))
except TimeoutException:
    print("Did not find search result")
else:
    # So atleast one of the tag type is visible.
    # Even if the attribute is not present then it will return None.
    if book.get_attribute('id') == "result_0":
        book_detail(book, details)
    else:
        book_detail_by_div(book, details)

Answer 2

我按照问题中提供的详细信息和https://www.amazon.com搜索文本数据和分析手册显示相同的元素。

所以，你对<div>标签的观察是正确的。但是我没有在搜索结果周围找到任何相关的<li>标签。

解

要确定需要为visibility of element located()引入WebDriverWait所需的元素，您可以使用以下任一解决方案：

• 使用CSS_SELECTOR： book = WebDriverWait(driver, 20).until(EC.element_to_be_clickable((By.CSS_SELECTOR, "div.sg-col-inner h5 a:first-child")))
• 使用XPATH： book = WebDriverWait(driver, 20).until(EC.element_to_be_clickable((By.XPATH, "//div[@class='sg-col-inner']//h5//following::a[1]/span")))