我试图刮一个网站来学习python和web抓取。特别是，我试图在这个页面上搜索足球数据：https://www.whoscored.com/Regions/108/Tournaments/5/Seasons/7468/Stages/16548/PlayerStatistics/Italy-Serie-A-2018-2019
我的主要问题是如何刮取主数据表的所有页面，而不仅仅是第一个页面。我正在尝试使用selenium来解决这个问题，并在点击“下一步”按钮时分析我的浏览器发送的请求，但我遇到了一些麻烦。感谢您的关注。
单击“下一步”按钮时，使用浏览器的网络选项卡，您可以检查每次单击时发送到服务器的实际xhr（AJAX）请求。请求是这个URL：
https://www.whoscored.com/StatisticsFeed/1/GetPlayerStatistics?category=summary&subcategory=all&statsAccumulationType=0&isCurrent=true&playerId=&teamIds=&matchId=&stageId=16548&tournamentOptions=5&sortBy=Rating&sortAscending=&age=&ageComparisonType=&appearances=&appearancesComparisonType=&field=Overall&nationality=&positionOptions=&timeOfTheGameEnd=&timeOfTheGameStart=&isMinApp=true&page=2&includeZeroValues=&numberOfPlayersToPick=10
请注意“page”查询字符串参数 - 这会随您发出的每个请求而递增。此外，对每个请求的响应实际上很容易解析JSON，所以你很好。