我构建了这个网络爬虫来监控足球俱乐部的工作职位。我几个月前写的，直到一周前才有效。现在，它有多个问题。
无论哪种方式。我试图修复它，改变周围的东西（主要是为了摆脱看似随着时间的推移而变化的CSS选择器），现在我在这个过程中遇到了一个巨大的问题，但我不知道是什么原因导致的。
它应该打开网站，向下滚动查看职位空缺，然后找到职位，在新选项卡中打开它们，抓取数据，应用一些逻辑将它们放入 Excel 工作表中，关闭选项卡，找到下一篇，直到所有内容都被编目。
所以发生的事情是，它打开第一个链接，刮掉它（我想但不确定这是否有效，尽管我运行它时确实在终端中得到了输出，所以 95% 确定），然后中断，因为它在第 61 行找不到“linkTitle”。
我有一个旧版本的代码，可能直到一周前才可以工作，突然它不再工作了，我决定将其更改为 xpaths，因为 css 选择器显然不一致。
这段代码是怎么回事，为什么不起作用？ 为什么那里会断？
我对代码进行了更改。
原始的 https://codefile.io/f/lM454HVawf 停止工作，如上所述，所以我开始更改 Xpath 选择器的 CSS 选择器，并更改 find() 函数（因为它突然不再工作了）
line 61, in <module>
link = jobitem.find("a", class="linkTitle")
^^^^^^^^^^^^^
AttributeError: 'WebElement' object has no attribute 'find'
但是对于61号线的破坏，我真的不确定为什么会发生这种情况。如果我观察程序的工作情况，我可以看到它似乎确实找到了一个链接，打开它，抓取它，然后它在返回带有职位空缺的主选项卡之前中断。
当前代码如下所示： https://codefile.io/f/MpPBnw74o3
似乎您正在将 Selenium webelements 的解析与 beautifulsoup 解析混合在一起。
jobitem.find("a", class="linkTitle")jobitem当我运行您的代码时，没有职位列表，可能是因为此页面是动态的并且
class="item-jkL6m item-AunLv"不深入研究的另一个原因是有一个 API。更好的是，该结构将采用健壮、可靠的 json 格式，您可以通过这种方式获取数据，同时也更健壮，因为它不依赖 html。 html 可能会改变（就像脚本崩溃的情况一样），但是站点获取数据的 json 格式不会改变（或者如果改变了，快速修复）
以此为例（您必须使用站点中的参数来查看它如何影响有效负载）：
import requests
import pandas as pd
url = 'https://pcw-api.softgarden.de/widget-api/job-list/jobAds/'
headers = {
'Referer': 'https://bvb.career.softgarden.de/',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36'
}
payload = {
"userId":"adefc525-5998-4c50-88de-93be42d7d85b",
"projectId":"ece34058-a9af-457d-a8e2-02d50e895ee5",
"pageId":"28ae1960-1490-4dd2-831c-a3ceb318aa37",
"isStandalone":False,
"locale":"de",
"isActiveCustomJobPages":True,
"isUseLayoutsOfSubsidiaries":'False',
"filterStatus":{
"careerLevel":False,
"category":True,
"partnership":False,
"location":False,
"company":False
},
"pageNumber":1,
"numberOfJobsOnPage":9999999,
"listState":{
"search":"",
"location":{},
"filters":{},
"filterPredictions":{}
},
"jobListTitleNew":"Neu",
"isGetFilters":True,
"isForCurrentLocale":False
}
jsonData = requests.post(url, headers=headers, json=payload).json()
输出：仅显示它返回的 31 行中的前 5 行
print(df.head().to_string())
jobPostingId originalJobPostingId imageSrc layoutId title link date workTime careerLevel partnership location categories category linkTitle linkCareerLevel linkCategory linkLocation linkCompany linkDate linkTag src id encodedTitle new coords.lat coords.lng
0 43024814 None https://pcw-cdn.softgarden.de/presets/job-category-manager/sam42_education/education-and-social-policy-07.jpg 8971251ad5df45fa9be0ae113a9d532a Pädagogische Fachkraft ./jobs/43024814/P%C3%A4dagogische-Fachkraft/ 06.03.2024 Vollzeit Berufserfahrene None Dortmund [Bildung und Soziales] Bildung und Soziales ./jobs/43024814/P%C3%A4dagogische-Fachkraft/ ./jobs/43024814/P%C3%A4dagogische-Fachkraft/ ./jobs/43024814/P%C3%A4dagogische-Fachkraft/ ./jobs/43024814/P%C3%A4dagogische-Fachkraft/ ./jobs/43024814/P%C3%A4dagogische-Fachkraft/ ./jobs/43024814/P%C3%A4dagogische-Fachkraft/ ./jobs/43024814/P%C3%A4dagogische-Fachkraft/ //karriere.bvb.de/jobs/43024814/P%C3%A4dagogische-Fachkraft/?locale=de&sa=false 43024814 P%C3%A4dagogische-Fachkraft Neu 51.5135872 7.4652981
1 43020005 None https://pcw-cdn.softgarden.de/presets/job-category-manager/sam42_administration/administration-and-secretariat-08.jpg 8971251ad5df45fa9be0ae113a9d532a Event-Koordinator (m/w/d) Stadiontouren ./jobs/43020005/Event-Koordinator-m-w-d-Stadiontouren/ 06.03.2024 Vollzeit Berufserfahrene None Dortmund [Administration und Sekretariat] Administration und Sekretariat ./jobs/43020005/Event-Koordinator-m-w-d-Stadiontouren/ ./jobs/43020005/Event-Koordinator-m-w-d-Stadiontouren/ ./jobs/43020005/Event-Koordinator-m-w-d-Stadiontouren/ ./jobs/43020005/Event-Koordinator-m-w-d-Stadiontouren/ ./jobs/43020005/Event-Koordinator-m-w-d-Stadiontouren/ ./jobs/43020005/Event-Koordinator-m-w-d-Stadiontouren/ ./jobs/43020005/Event-Koordinator-m-w-d-Stadiontouren/ //karriere.bvb.de/jobs/43020005/Event-Koordinator-m-w-d-Stadiontouren/?locale=de&sa=false 43020005 Event-Koordinator-m-w-d-Stadiontouren Neu 51.5135872 7.4652981
2 42784959 None https://pcw-cdn.softgarden.de/presets/job-category-manager/sam42_administration/administration-and-secretariat-07.jpg 8971251ad5df45fa9be0ae113a9d532a Werkstudent (m/w/d) Empfang ./jobs/42784959/Werkstudent-m-w-d-Empfang/ 01.03.2024 Voll- oder Teilzeit Student/in None Dortmund [Administration und Sekretariat] Administration und Sekretariat ./jobs/42784959/Werkstudent-m-w-d-Empfang/ ./jobs/42784959/Werkstudent-m-w-d-Empfang/ ./jobs/42784959/Werkstudent-m-w-d-Empfang/ ./jobs/42784959/Werkstudent-m-w-d-Empfang/ ./jobs/42784959/Werkstudent-m-w-d-Empfang/ ./jobs/42784959/Werkstudent-m-w-d-Empfang/ ./jobs/42784959/Werkstudent-m-w-d-Empfang/ //karriere.bvb.de/jobs/42784959/Werkstudent-m-w-d-Empfang/?locale=de&sa=false 42784959 Werkstudent-m-w-d-Empfang 51.5135872 7.4652981
3 42618128 None https://pcw-cdn.softgarden.de/presets/job-category-manager/sam42_manualwork/manualwork-07.jpg 8971251ad5df45fa9be0ae113a9d532a Greenkeeper (m/w/d) ./jobs/42618128/Greenkeeper-m-w-d-/ 27.02.2024 Vollzeit Berufserfahrene None Dortmund [Handwerk, Dienstleistung und Fertigung] Handwerk, Dienstleistung und Fertigung ./jobs/42618128/Greenkeeper-m-w-d-/ ./jobs/42618128/Greenkeeper-m-w-d-/ ./jobs/42618128/Greenkeeper-m-w-d-/ ./jobs/42618128/Greenkeeper-m-w-d-/ ./jobs/42618128/Greenkeeper-m-w-d-/ ./jobs/42618128/Greenkeeper-m-w-d-/ ./jobs/42618128/Greenkeeper-m-w-d-/ //karriere.bvb.de/jobs/42618128/Greenkeeper-m-w-d-/?locale=de&sa=false 42618128 Greenkeeper-m-w-d- 51.5135872 7.4652981
4 42545664 None https://pcw-cdn.softgarden.de/presets/job-category-manager/sam42_marketing/marketing-01.jpg 8971251ad5df45fa9be0ae113a9d532a Junior Manager (m/w/d) eFootball ./jobs/42545664/Junior-Manager-m-w-d-eFootball/ 26.02.2024 Vollzeit Berufseinsteiger None Dortmund [Marketing und Kommunikation] Marketing und Kommunikation ./jobs/42545664/Junior-Manager-m-w-d-eFootball/ ./jobs/42545664/Junior-Manager-m-w-d-eFootball/ ./jobs/42545664/Junior-Manager-m-w-d-eFootball/ ./jobs/42545664/Junior-Manager-m-w-d-eFootball/ ./jobs/42545664/Junior-Manager-m-w-d-eFootball/ ./jobs/42545664/Junior-Manager-m-w-d-eFootball/ ./jobs/42545664/Junior-Manager-m-w-d-eFootball/ //karriere.bvb.de/jobs/42545664/Junior-Manager-m-w-d-eFootball/?locale=de&sa=false 42545664 Junior-Manager-m-w-d-eFootball 51.5135872 7.4652981