我需要读取 .csv 文件(2-3 百万行),并对每一行执行 http GET 并读取相关的 http 响应。
脚本/函数必须是 Java 语言。
您对如何实施有什么建议吗? 您认为多处理读取和 http 调用可能有用吗? 我应该如何记录来自 http GET 的可能错误/空响应?
谢谢
我会选择一个进程读取文件,然后并行处理每一行。
并行读取文件可能不会有太大帮助,因为它是一个串行 IO 过程。
下面的HTTP GET可以很容易地并行化,只需要创建一个ThreadExecutor即可。您可能只想读取文件并继续将条目添加到队列中。该队列将由 ThreadExecutor 消耗,它将运行(慢速)HTTP GET 并等待其响应。
这是一个简单的方法,肯定会有效。
在记录响应方面。只需获取响应,识别响应状态(40X、50X,...)并使用适当的记录器(例如 Logback (https://logback.qos.ch/))来打印结果。