使用 MindSpore 和 OpenCV 进行人脸识别

import cv2
import numpy as np
import mindspore
from mindspore import Tensor, load_checkpoint, load_param_into_net
from PIL import Image
from main import ResNet, BasicBlock

# 加载模型
network = ResNet(BasicBlock, [2, 2, 2, 2], num_classes=100)
model_path = 'D:/pythonProject7/ckpt/checkpoint_resnet_6-10_25.ckpt'
params = load_checkpoint(model_path)
load_param_into_net(network, params)

# 加载标签
with open('label.txt') as f:
    labels = f.readlines()
labels = [l.strip() for l in labels]

# 加载人脸检测器
face_cascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')

# 打开摄像头
cap = cv2.VideoCapture(0)

while True:
    # 读取视频帧
    ret, frame = cap.read()

    # 转换通道数
    if len(frame.shape) == 2:
        frame = cv2.cvtColor(frame, cv2.COLOR_GRAY2BGR)
    elif frame.shape[2] == 4:
        frame = cv2.cvtColor(frame, cv2.COLOR_BGRA2BGR)
    if frame.shape[2] == 1:
        frame = cv2.cvtColor(frame, cv2.COLOR_GRAY2BGR)

    # 转换为灰度图像
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)

    # 检测人脸
    faces = face_cascade.detectMultiScale(gray, 1.3, 5)

    for (x,y,w,h) in faces:
        # 提取人脸图像
        face = frame[y:y+h, x:x+w]
        face = cv2.resize(face, (224, 224))
        face = cv2.cvtColor(face, cv2.COLOR_BGR2RGB)
        face = face.transpose().astype(np.float32) / 255.
        face = Tensor(face)
        face = face.asnumpy()
        face = np.expand_dims(face, axis=0)
        face = np.transpose(face, (0, 3, 1, 2))
        face = Tensor(face)

        
        # 预测人脸所属的类别
        output = network(face)
        prediction = np.argmax(output.asnumpy())
        output = Tensor(output)

        # 在图像上标注人脸和类别
        cv2.rectangle(frame,(x,y),(x+w,y+h),(0,0,255),2)
        cv2.putText(frame, labels[prediction], (x, y-10), cv2.FONT_HERSHEY_SIMPLEX, 0.9, (0,0,255), 2)

    # 显示图像
    cv2.imshow('frame',frame)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

# 释放摄像头并关闭窗口
cap.release()
cv2.destroyAllWindows()

解决错误

代码中添加了以下代码，以确保输入图像的通道数与模型要求的通道数相同：

    if frame.shape[2] == 1:
        frame = cv2.cvtColor(frame, cv2.COLOR_GRAY2BGR)

这将确保灰度图像（通道数为 1）被转换为 RGB 格式（通道数为 3），与模型的要求一致。

代码说明

• 代码首先加载预训练的 ResNet 模型，并使用 load_checkpoint() 函数加载模型参数。
• 然后加载标签文件，用于显示识别结果。
• 使用 OpenCV 加载人脸检测器。
• 打开摄像头并读取视频帧，然后检测人脸，并将人脸图像调整大小，并转换为 RGB 格式。
• 使用加载的模型对人脸图像进行预测，并将预测结果显示在图像上。

使用说明

• 将 label.txt 文件放在与代码相同的目录下，文件包含识别类别的标签。
• 将 checkpoint_resnet_6-10_25.ckpt 文件放在与代码相同的目录下，文件包含模型参数。
• 运行代码，然后打开摄像头，摄像头将显示识别结果。
• 按 'q' 键退出程序。