我目前正在开发我的抓取技能,并发现某些页面有些奇怪。
例如,当加载此页面https://www.fabkids.com/faq时,我会随机获得2个不同版本的页面。
我在我的终端上使用curl https://www.fabkids.com/faq
,并且区别已经开始于前6行:
版本1:
<!DOCTYPE html>
<html>
<head>
<!-- Google Tag Manager -->
版本2:
<!DOCTYPE html><html lang="en-US"><head><script></script><meta charSet="utf-8"/><meta name="viewport" content="width=device-width, initial-scale=1"/><script>
关于产生这些差异的机制的任何想法?
响应标题显示正在从Cloudflare服务该网站
< server: cloudflare
最有可能他们正在添加一些优化或缩小。