onnxruntime.InferenceSession调用多个线程如何处理？

Question

我使用htop进行监控，在cpu设备中简单运行以下python代码后，大约有100个thr（线程）被调用并保留。我想减少线程数，但是如何减少呢？

import onnxruntime
from time import sleep
sleep(20)
model = onnxruntime.InferenceSession('my.onnx', providers=['CPUExecutionProvider'])

Answer 1

您可以使用 onnxruntime.SessionsOptions() 管理许多参数。例如线程数：

sess_options.intra_op_num_threads = 2

更多信息请参见此处 ONNX 文档