我需要以编程方式检测一个网站是否有一个电子商务平台/系统我不需要知道哪一个,我只需要知道该网站是否有一个。 (我有一个很大的网站列表,所以我可能需要抓它们)任何关于如何在不使用外部网站(如rescan.io/builtwith/etc)的情况下做到这一点的建议将不胜感激!谢谢!
你可以使用一个名为Puppeteer的包,它用于在node.js中进行web-scraping。
我不知道你想要寻找什么平台,但我想你可以尝试将你想要检查的网站列表提供给node.js进程并让Puppeteer将它们全部删除。然后你看看你得到的内容,例如在标签中查找Shopify的CDN或检查标签的关键字。
您肯定需要检查每个不同的平台,如Magento或Shopify,以获取独特的源代码,这些源代码可以清楚地将您正在查看的框架与其他工具区分开来。