如何解决Google新闻重定向以使用Axios获取最终文章URL? 我正在尝试使用node.js从Google新闻中删除新闻文章。我经过的问题是RSS Feed提供的链接。他们为我们提供了这种类型的链接,这是一个Google RSS链接,该链接

问题描述 投票:0回答:0

将重定向到-https://apnews.com/article/munich-zelenskyy-russia-ukraine-ukraine-stubb-finland-putin-putin-putin-trump-vance-a96cd82f82f801111ce75570D4570D45FE45E45E41625E45E41625E

I试图使用Axios遵循重定向并使用wendesp.request.res.res.responseurl提取最终URL(APNews链接),但是这种方法对于Google News Links不起作用。 Responseurl始终保持与原始的Google News URL相同。

我用木偶来做同样的事情,但这太慢且不必要。除此之外,我的目标是获取原始链接,来自OpenGraph的图像以及OpenGraph的描述。因此,我想知道是否有比木偶更快的方法,使用Axios或其他一些库。 async function getRedirectUrl(googleUrl: string): Promise<string> { try { const response = await axios.get(googleUrl, { maxRedirects: 5, validateStatus: function (status) { return status >= 200 && status < 303; } }); console.log(response.request.res.responseUrl) return response.request.res.responseUrl || googleUrl } catch (error) { console.log("Error following redirect:", error) return googleUrl } }

新闻门户网站链接由JS加载,该链接请求实际链接。您不能单独使用请求获取实际链接。您可以尝试模拟请求链,但是您需要正确获取所有参数才能获取URL。您最好的选择是木偶或类似硒的解决方案。

typescript web-scraping axios rss google-news
最新问题
© www.soinside.com 2019 - 2025. All rights reserved.