由于 Twitter API 的速率限制,我想知道如何使用 Node.js 以非常非常快的方式从 Twitter 帐户中抓取关注者数量? 您认为 Node.js 是最好的解决方案吗?
我不知道它是如何工作的,但我认为也许抓取到 Twitter 移动版本(例如 https://mobile.twitter.com/android)会比计算机版本更快。
你觉得怎么样?我怎样才能做到呢?
谢谢!!
现在 Twitter v1.0 API 已被弃用,您必须使用 oauth 签名的请求。 这意味着 Twitter 知道您何时滥用该系统。
宣誓签署请求的文件: https://dev.twitter.com/docs/auth/oauth
有关速率限制的文档: https://dev.twitter.com/docs/rate-limiting/1.1
速率限制适用于 API,不适用于未经身份验证的 http 请求(只会抓取内容)。
如果您只想要关注者数量而不是单个关注者 ID/详细信息,您可以简单地使用 request 抓取页面,并使用 jQuery 使用选择器过滤结果。
例如。 https://twitter.com/foofighters
您可以运行此客户端来预览结果:
$('.js-mini-profile-stats a.js-nav[data-nav=followers] strong').attr('title')