Incapsula是一个Web应用程序交付平台，可用于防止抓取。
我在Python和Scrapy工作，我找到了this，但它似乎已经过时而且不能使用当前的Incapsula。我用我的target website测试了Scrapy中间件，我得到了IndexErrors，因为中间件无法提取一些混淆参数。
是否有可能适应这个回购或现在改变了Incapsula的运作方式？
我很好奇我如何能够将chrome dev工具中的请求“复制为cURL”到我的目标页面，而chrome响应包含用户内容，但curl响应是一个“incapsula事件”页面。这是为铬饼干最初清除.....
curl 'https://www.radarcupon.es/tienda/fotoprix.com'
-H 'pragma: no-cache' -H 'dnt: 1' -H 'accept-encoding: gzip, deflate, br'
-H 'accept-language: en-GB,en-US;q=0.9,en;q=0.8'
-H 'upgrade-insecure-requests: 1'
-H 'user-agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/62.0.3202.94 Chrome/62.0.3202.94 Safari/537.36'
-H 'accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8'
-H 'cache-control: no-cache' -H 'authority: www.radarcupon.es'
--compressed
我期待两者的第一个请求返回类似javascript挑战的东西，这会设置一个cookie，但它现在似乎没有这样的工作？
很难给出具体的答案，因为Incapsula有一个非常详细的规则引擎，可以用来阻止或挑战请求。 Cookie检测和Javascript支持是用于识别可疑流量的两个最常见的数据点;源自客户端IP地址（每分钟请求数，AJAX请求等）的用户代理字符串，标头和行为也可能导致Incapsula挑战流量。如果相对于站点看到的流量量没有合理配置，DDoS保护功能会积极阻止请求。