使用GET加载同一页面会随机提供2个不同的版本

问题描述 投票:0回答:1

我目前正在开发我的抓取技能,并发现某些页面有些奇怪。

例如,当加载此页面https://www.fabkids.com/faq时,我会随机获得2个不同版本的页面。

我在我的终端上使用curl https://www.fabkids.com/faq,并且区别已经开始于前6行:

版本1:

<!DOCTYPE html>
<html>
<head>


        <!-- Google Tag Manager -->

版本2:

<!DOCTYPE html><html lang="en-US"><head><script></script><meta charSet="utf-8"/><meta name="viewport" content="width=device-width, initial-scale=1"/><script>

关于产生这些差异的机制的任何想法?

reactjs web-scraping get single-page-application server-side-rendering
1个回答
0
投票

响应标题显示正在从Cloudflare服务该网站

< server: cloudflare

最有可能他们正在添加一些优化或缩小。

© www.soinside.com 2019 - 2024. All rights reserved.