当我在木偶操纵者中以非无头模式触发.click()
事件时,没有任何反应,甚至没有错误。“非无头模式,所以我可以直观地监视被点击的内容”
const scraper = {
test: async () => {
let browser, page;
try {
browser = await puppeteer.launch({
headless: false,
args: ["--no-sandbox", "--disable-setuid-sandbox"]
});
page = await browser.newPage();
} catch (err) {
console.log(err);
}
try {
await page.goto("https://www.betking.com/sports/s/eventOdds/1-840-841-0-0,1-1107-1108-0-0,1-835-3775-0-0,", {
waitUntil: "domcontentloaded"
});
console.log("scraping, wait...");
} catch (err) {
console.log(err);
}
console.log("waiting....");
try {
await page.waitFor('.eventsWrapper');
} catch (err) {
console.log(err, err.response);
}
try {
let oddsListData = await page.evaluate(async () => {
let regionAreaContainer = document.querySelectorAll('.areaContainer.region .regionGroup > .regionAreas > div:first-child > .area:nth-child(5)');
regionAreaContainer = Array.prototype.slice.call(regionAreaContainer);
let t = []; //Used to monitor the element being clicked
regionAreaContainer.forEach(async (region) => {
let dat = await region.querySelector('div');
dat.innerHTML === "GG/NG" ? t.push(dat.innerHTML) : false; //Used to confirm that the right element is being clicked
dat.innerHTML === "GG/NG" ? dat.click() : false;
})
return t;
})
console.log(oddsListData);
} catch (err) {
console.log(err);
}
}
}
我希望它单击指定的按钮并加载页面上的一些动态数据。
在Chrome的控制台中,我收到了错误消息
Transition Rejection($id: 1 type: 2, message: The transition has been superseded by a different transition, detail: Transition#3( 'sportsMultipleEvents'{"eventMarketIds":"1-840-841-0-0,1-1107-1108-0-0,1-835-3775-0-0,"} -> 'sportsMultipleEvents'{"eventMarketIds":"1-840-841-0-0,1-1107-1108-0-0,1-835-3775-535-14,"} ))
通过执行像element.click()
(在页面上下文中)或element.value = '..'
(请参阅this answer以获得类似问题)之类的代码来表现非人类似乎对Angular应用程序来说是个问题。您希望通过使用像page.click()
这样的木偶操作器来尝试表现得更像人类,因为它们模拟“真正的”鼠标点击而不是仅触发元素的点击事件。
此外,只要单击其中一个项目,页面就会重建页面的某些部分。因此,您需要在每次单击后再次执行选择器。
要在每次单击后表现更像人类并重新查询元素,您可以将代码的后半部分更改为以下内容:
let list = await page.$x("//div[div/text() = 'GG/NG']");
for (let i = 0; i < list.length; i++) {
await list[i].click();
// give the page some time and then query the selectors again
await page.waitFor(500);
list = await page.$x("//div[div/text() = 'GG/NG']");
}
此代码使用XPath表达式来查询包含具有给定文本的另一个div
元素的div
元素。之后,在元素上模拟单击,然后再次查询页面内容以尊重DOM元素的更改。
这可能是一种不那么混乱的方式来点击这些:
for(var div of document.querySelectorAll('div')){
if(div.innerHTML === 'GG/NG') div.click()
}