搜索引擎机器人导致java Out Of Heap Memory Space的解决方案?

问题描述 投票:0回答:1

搜索引擎机器人导致java Out Of Heap Memory Space的解决方案是什么?

如果爬虫机器人在短时间内向服务器发出数千个 HTTP 请求,则会导致“Out Of heap space”。

对于每个 Http 请求,服务器都会创建一个新会话,该会话将从 java 堆中分配一些内存。

来自机器人的http请求可以在“User-Agent”标头中设置任何内容。所以检查用户代理不是一个可行的解决方案,对吗?

检查是否是机器人的正确方法是什么?如果是bot,则不会创建会话,也不会从java堆中分配内存。

java bots out-of-memory heap-memory tomcat9
1个回答
0
投票

使用用户 ID 或令牌来验证是否允许。不要在会话中存储对象 java 或对象列表。它可以填满你的记忆并引发异常

© www.soinside.com 2019 - 2024. All rights reserved.