OpenVINO CPU 线程数设置 - Python 代码示例

OpenVINO 设置 CPU 线程数的 Python 方式

在使用 OpenVINO 进行模型推理时，可以通过设置 CPU 线程数来优化推理性能。下面介绍如何使用 Python 代码来设置 CPU 线程数。

步骤

1. 导入所需的 Python 库

   from openvino.inference_engine import IECore
   import os
   

2. 创建 IECore 对象并设置 CPU 线程数

   ie = IECore()
   num_threads = <num_threads>
   ie.set_config({'CPU_THREADS_NUM': str(num_threads)}, 'CPU')
   

   其中，<num_threads> 为需要设置的 CPU 线程数。

3. 加载模型并进行推理

   model_xml = <path_to_model_xml>
   model_bin = os.path.splitext(model_xml)[0] + '.bin'
   net = ie.read_network(model=model_xml, weights=model_bin)
   exec_net = ie.load_network(network=net, device_name='CPU')
   

   其中，<path_to_model_xml> 为模型的 XML 文件路径。

4. 进行推理

   input_blob = next(iter(net.inputs))
   output_blob = next(iter(net.outputs))
   inputs = {input_blob: <input_data>}
   outputs = exec_net.infer(inputs=inputs)
   print(outputs[output_blob])
   

   其中，<input_data> 为输入数据。推理结果将输出到控制台。

示例

下面是一个设置 CPU 线程数为 4 的完整示例：

from openvino.inference_engine import IECore
import os

# 设置 CPU 线程数
ie = IECore()
num_threads = 4
ie.set_config({'CPU_THREADS_NUM': str(num_threads)}, 'CPU')

# 加载模型
model_xml = 'path/to/model.xml'
model_bin = os.path.splitext(model_xml)[0] + '.bin'
net = ie.read_network(model=model_xml, weights=model_bin)
exec_net = ie.load_network(network=net, device_name='CPU')

# 进行推理
input_blob = next(iter(net.inputs))
output_blob = next(iter(net.outputs))
inputs = {input_blob: input_data}
outputs = exec_net.infer(inputs=inputs)
print(outputs[output_blob])