使用JavaScript进行Python Web Scraping做回发

Question

我一直在努力：

1. 请访问：mdoe.state.mi.us/moecs/PublicCredentialSearch.aspx
2. 输入证书编号（为了便于说明，您只需搜索“戴维森”作为姓氏）。
3. 单击“专业教学证书”对应的链接。
4. 复制并粘贴结果表。

摩擦似乎与JavaScript doPostBack（）部分有关，因为它需要渲染，我相信，获取数据。

查看源代码时，请查看href部件如何识别这样的单个链接？ （对于第6个链接）：

href="javascript:__doPostBack('ctl00$ContentPlaceHolder1$gViewCredentialSearchList$ctl07$link1','')

由此：

<td class="MOECSNormal" style="border-color:Black;border-width:1px;border-style:Solid;">Professional Teaching Certificate Renewal</td><td class="MOECSNormal" style="border-color:Black;border-width:1px;border-style:Solid;">
                                            <a id="ContentPlaceHolder1_gViewCredentialSearchList_link1_5" ItemStyle-BorderColor="Black" ItemStyle-BorderStyle="Solid" ItemStyle-BorderWidth="1px" href="javascript:__doPostBack('ctl00$ContentPlaceHolder1$gViewCredentialSearchList$ctl07$link1','')">CC-XWT990004102</a>
                                        </td>

我正在寻找一种方法（通过Python）将我需要的数据放入一个表中，给出一个证书编号和证书名称（即“专业教学证书”）。

我尝试过使用PyQt4的教程，但单独安装它是创伤性的。

提前致谢！

Answer 1

您可以在浏览器中打开该页面，例如Chrome和研究如何在页面和服务器之间进行交互，通常这些信息可以在Developer工具的网络选项卡中看到，这样你就可以制定一个python脚本来执行这些步骤，也许可以使用requests库

要么

你可以使用selenium-python来模拟你的浏览器交互（包括javascript调用），直到你到达你感兴趣的数据所属的页面。