GPU 上的 OpenVINOInferencer

Question

我已经使用 anomalib 包（python）训练了一个模型（Padim with resnet 50_2）。召回率和精确率都很好，所以我想实现一个演示。

目前我正在使用此代码：

inferencer = OpenVINOInferencer(
    path=openvino_model_path,
    metadata=metadata_path,
    device="CPU",
)

predictions = inferencer.predict(image=image)

效果很好，但只能达到 40 fps 左右。当我尝试将它与“gpu”一起使用时，构建失败（因为我有 Nvidia）。

我的应用程序需要 1000 - 2000 fps。 （我已经能够通过 CNN 做到这一点）。

如何对GPU进行干扰？

我的训练过程输出多种模型文件类型：

- model.bin
- model.onnx
- model.xml
- metadata.json

Answer 1

OpenVINO 工具套件仅受 Intel 硬件官方支持。 OpenVINO 工具套件不支持其他硬件，包括 Nvidia GPU。

您可以使用任何支持的 Intel 硬件来与 GPU 一起运行，请参阅系统要求