击剑动作识别程序 - 基于MediaPipe和KNN的实时动作识别

击剑动作识别程序 - 基于MediaPipe和KNN的实时动作识别

该程序利用MediaPipe进行人体姿态识别，并结合KNN算法，实现对击剑动作的实时识别。支持视频文件输入，并可调整识别参数。

程序功能:

• 使用MediaPipe进行人体姿态识别
• 使用KNN算法进行动作分类
• 支持视频文件输入
• 支持调整距离阈值和邻居数量参数
• 在视频输出中显示当前帧动作、可信度和关键点角度

使用方法:

1. 选择输入视频文件
2. 调整距离阈值和邻居数量参数
3. 点击运行按钮开始识别
4. 在视频处理过程中可以按q键退出

未来改进的思路和方法:

• 更多的训练数据集：目前训练数据集还比较小，可以考虑增加更多的数据集来提高模型的准确性。
• 更多的特征提取方法：目前只使用了人体姿势关键点的角度作为特征，可以考虑增加其他特征提取方法，如运动轨迹、速度等，来提高模型的准确性。
• 更多的分类器：可以尝试使用其他分类器，如SVM、决策树等，来比较不同分类器的效果。
• 更多的应用场景：可以将该模型应用到其他击剑动作的识别中，如剑术、刀术等，来扩展应用场景。

代码示例:

import cv2
import mediapipe as mp
import math

import numpy as np
import pandas as pd
from sklearn.neighbors import KNeighborsClassifier



# 一些全局变量
label = [' '] # 识别输出标签
poses = '' # 视频输出标签
i = 0
t = 30 # 后处理帧数
posess_a = ''
posess_b = ''
version = 'V7.0'
a = 1.2 # 辅助拟合精度
distance_threshold = 121 # 设置KNN距离阈值
neighbors = 2 # 邻居
input_path = ''

# 初始化MediaPipe的人体姿势模型
mp_drawing = mp.solutions.drawing_utils
mp_pose = mp.solutions.pose

# # 打开输入视频文件
# cap = cv2.VideoCapture('5.mp4')
import tkinter as tk
from tkinter import filedialog

# 修改distance_threshold
def set_distance_threshold(value):
    global distance_threshold
    distance_threshold = int(value)




# 创建窗口
root = tk.Tk()
root.withdraw()


# 显示使用说明信息
info = f'欢迎使用击剑动作识别程序{version}\n作者：冯楠20201888\n指导教师：朱勇\n请选择输入视频文件\n支持格式：*.mp4, *.avi\n点击确认选择文件'
tk.messagebox.showinfo('使用说明', info)

# 定义选择文件函数
def select_file():
    global input_path
    root3 = tk.Tk()
    root3.title('选择文件')
    input_path = filedialog.askopenfilename(title='选择输入视频文件', filetypes=[('视频文件', '*.mp4;*.avi'), ('所有文件', '*.*')])
    root3.destroy()
    if not input_path:
        tk.messagebox.showerror('错误', '未选择输入视频文件！')
        root3.destroy()
        return
    # 更新标签显示选择的文件路径
    file_label.config(text=input_path)
def closeit():
    root2.destroy()

# 创建窗口2
root2 = tk.Tk()
root2.title('选择文件，调整参数')
root2.geometry('400x600')

# 创建标题
file_titles = tk.Label(root2, text='击剑动作识别程序', font=('宋体', 18))
file_titles.pack(pady=20)
# 创建标签
file_label = tk.Label(root2, text='未选择文件')
file_label.pack(pady=20)
file_label.config(bg='#e9ccd3')

select_button = tk.Button(root2, text='选择文件', command=select_file)
select_button.pack(pady=10)
# 创建标题
file_titles = tk.Label(root2, text='参数调整', font=('微软雅黑', 13))
file_titles.pack(pady=20)
# 创建滑动条
scale = tk.Scale(root2, from_=0, to=200, orient=tk.HORIZONTAL, length=150, label='距离阈值', command=set_distance_threshold)
scale.set(distance_threshold)
scale.pack()



def set_neighbors(val):
    global neighbors
    neighbors = int(val)
# 创建滑动条
scale = tk.Scale(root2, from_=1, to=10, orient=tk.HORIZONTAL, length=150, label='邻居数量', command=set_neighbors)
scale.set(neighbors)
scale.pack()


# 创建按钮

run_button = tk.Button(root2, text='运行', command=closeit)
run_button.pack(pady=20)

# 创建标签
file_name = tk.Label(root2, text=f'作者：冯楠2020188 物联网2班\n指导教师：朱勇\n版本：{version}', font=('Arial', 14))
file_name.pack(pady=20)
# 关闭窗口
root.destroy()
# 运行窗口
root2.attributes('-topmost', True) # 窗口在最前
root2.mainloop()

# 打开输入视频文件
print('打开输入视频文件')
cap = cv2.VideoCapture(input_path)

# 获取输入视频的帧率和分辨率
fps = int(cap.get(cv2.CAP_PROP_FPS))
width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))

# 创建输出视频文件
fourcc = cv2.VideoWriter_fourcc(*'mp4v')
out = cv2.VideoWriter(f'{input_path}_OUT.mp4', fourcc, fps, (width, height))

# 加载动作数据集



# 数据清洗
# 将每个小数据集中偏离平均值超过2倍标准差的样本删除
print('数据清洗')



# 将数据集合并为一个大的数据集




# 训练KNN分类器


root = tk.Tk()
root.withdraw()
info1 = '左上角为当前动作，绿色方块代表执剑手位置\n点击确认开始\n点击右上角x退出程序\n在视频处理过程中可以按q退出'
tk.messagebox.showinfo('即将开始', info1)
root.destroy()
# 处理视频文件中的每一帧
with mp_pose.Pose(min_detection_confidence=0.5, min_tracking_confidence=0.3) as pose:
    while cap.isOpened():
        # 读取一帧
        ret, frame = cap.read()
        # if ret is None:
        #     continue
        if not ret:
            break


        # 将帧转换为RGB格式
image = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)

        # 处理人体姿势检测
results = pose.process(image)

        # 判断是否检测到人体
if results.pose_landmarks:
            # 绘制人体骨架
            mp_drawing.draw_landmarks(
                frame, results.pose_landmarks, mp_pose.POSE_CONNECTIONS)


            # 计算腿与右手的角度


            # 获取左肩、左肘和左手腕


            # 获取左臀、左膝和左踝


            # 获取右臀、右膝和右踝


            # 获取右肩、右肘和右手腕

            # 获取左肩、左肘和左手腕 new


            #获取左髋、左膝和左踝关键点的信息

            # 获取左髋、左膝和左踝的角度

            # 获取腰部、左髋和左肩的角度

            # 获取右髋、右膝和右踝关键点的信息

            # 获取右髋、右膝和右踝的角度

            # 获取腰部、右髋和右肩的角度

            # 获取鼻子、右肩和右手腕关键点的信息

            # 获取鼻子、右肩和右手腕的角度




            # 将数据输入KNN分类器进行预测
distances, indices = knn.kneighbors([[angle, angle1, angle_dl, angle_dr, angle_tr, angle_tr, angle_tl,
                                                  angle_lka, angle_hls, angle_rka, angle_hrs, angle_nwr]])
            if distances[0][0] > distance_threshold:
                label = ['']
                confidence = 0
            else:
                label = knn.predict([[angle, angle1, angle_dl, angle_dr, angle_tr, angle_tr, angle_tl, angle_lka,
                                      angle_hls, angle_rka, angle_hrs, angle_nwr]])
                confidence = 1 - distances[0][0] / distance_threshold

            # label = knn.predict([[angle, angle1, angle_dl, angle_dr, angle_tr, angle_tr, angle_tl,angle_lka,angle_hls,angle_rka,angle_hrs,angle_nwr]])

            print([angle, angle1, angle_dl, angle_dr, angle_tr, angle_tr, angle_tl, angle_lka, angle_hls, angle_rka,
                   angle_hrs, angle_nwr])
posess_b = poses

            if label[0] == 'warm-up':
                i = t
                poses = 'warm-up'
            elif label[0] == 'hit':
                i = t
                if (angle > -20 * a and angle <= 5 * a) and ((angle_dr > 130.5 / a and angle_dr <= 155 * a) or (
                        angle_dr > 205 / a and angle_dr <= 212 * a)) and (
                        (angle_tr > 239 / a and angle_tr <= 260 * a) or (angle_tr > 147 / a and angle_tr <= 170 * a)):
                    poses = 'shi zhan poses'
                else:
                    poses = 'hit'
            elif label[0] == 'SHIZHAN POSE':
                i = t
                poses = 'shi zhan poses'
            elif label[0] == 'respect':
                i = t
                if (angle > -20 * a and angle <= 5 * a) and ((angle_dr > 130.5 / a and angle_dr <= 155 * a) or (
                        angle_dr > 205 / a and angle_dr <= 212 * a)) and (
                        (angle_tr > 239 / a and angle_tr <= 260 * a) or (angle_tr > 147 / a and angle_tr <= 170 * a)):
                    poses = 'shi zhan poses'
                else:
                    poses = 'respect'
            elif label[0] == 'gongbu':
                poses = 'gongbu'
                i = t
            else:
                if i != 0:
                    peses = poses
                    i = i - 1
                else:
                    poses = 'N/A'
                    i = t

            # 绘制头部关键点
            nose = results.pose_landmarks.landmark[mp_pose.PoseLandmark.NOSE]
            x, y = int(nose.x * width), int(nose.y * height)
            cv2.circle(frame, (x, y), 20, (220, 200, 100), -1)
            # 绘制执剑关键点
            zhijian = results.pose_landmarks.landmark[mp_pose.PoseLandmark.RIGHT_THUMB]
            x, y = int(zhijian.x * width), int(zhijian.y * height)
            cv2.rectangle(frame, (x - 20, y - 20), (x + 20, y + 20), (0, 255, 0), -1)

            # 显示可信度

            if confidence > 0:
                cv2.putText(frame, 'Current frame action:' + label[0] + ' ' + str(round(confidence, 2)), (5, 100), cv2.FONT_HERSHEY_SIMPLEX, 1,
                            (5, 200, 0), 2)
            else:
                cv2.putText(frame, 'Current frame action:' + 'N/A', (5, 100), cv2.FONT_HERSHEY_SIMPLEX, 1, (5, 200, 0), 2)



            if (possess_b != poses):
                print('dou')
            else:
                possess_a = poses



            # 在输出图片上显示角度值和动作类型
            cv2.putText(frame, 'Angle: {:.2f}'.format(angle), (5, 210),
                        cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 0, 255), 2)

            cv2.putText(frame, 'Angle_rka: {:.2f}'.format(angle_rka), (5, 225),
                        cv2.FONT_HERSHEY_SIMPLEX, 0.5, (100, 15, 255), 2)

            cv2.putText(frame, 'Angle_nwr: {:.2f}'.format(angle_nwr), (5, 240),
                        cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 100, 255), 2)
            cv2.putText(frame, 'angle_lka: {:.2f}'.format(angle_lka), (5, 255),
                        cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 255, 0), 2)

            cv2.putText(frame, 'angle_tl: {:.2f}'.format(angle_tl), (5, 270),
                        cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 150, 255), 2)

            cv2.putText(frame, 'angle_hrs: {:.2f}'.format(angle_hrs), (5, 285),
                        cv2.FONT_HERSHEY_SIMPLEX, 0.5, (100, 0, 255), 2)

            cv2.putText(frame, 'Current action:' + possess_a, (5, 60),
                        cv2.FONT_HERSHEY_SIMPLEX, 1.1, (2, 2, 255), 2)


        else:
            # 如果未检测到人体，则跳过本帧处理
            cv2.putText(frame, 'No body detected', (5, 50),
                        cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 2)

        # 将帧写入输出视频文件
        out.write(frame)

        # 显示当前帧的结果
        cv2.imshow('MediaPipe Pose Detection press q exit', frame)

        # 检测是否按下q键退出
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
# 显示使用说明信息
root = tk.Tk()
root.withdraw()
info = f'视频已输出至{input_path}_OUT.mp4'
tk.messagebox.showinfo('处理完成', info)

# 释放资源
cap.release()
out.release()
cv2.destroyAllWindows()

注意:

• 该程序需要安装MediaPipe和OpenCV库
• 训练数据集和KNN分类器部分代码需要根据实际情况进行修改
• 该程序仅供参考，可能需要根据实际情况进行调整