击剑动作实时识别系统：基于MediaPipe和KNN的算法实现
击剑动作实时识别系统：基于MediaPipe和KNN的算法实现
本算法实现了对击剑动作的实时识别，并在视频中显示当前动作类型和可信度。主要实现过程如下：
-
使用MediaPipe的姿势检测模型获取每一帧中人体的关键点信息。
-
根据关键点信息计算需要识别的动作类型所需的角度信息，包括腿与右手的角度、左臂与左腿的角度、腰部与左髋的角度、腰部与右髋的角度、鼻子与右肩的角度等。
-
将计算得到的角度信息输入到KNN分类器中进行预测，并根据预测结果输出当前动作类型和可信度。
-
在输出图片上显示角度值和动作类型，并在视频中实时显示当前帧的结果。
-
将处理后的视频输出至本地。
-
提供了一个GUI界面，用户可以选择输入视频文件、调整KNN分类器的距离阈值和邻居数量等参数。
代码示例：
import cv2
import mediapipe as mp
import math
import numpy as np
import pandas as pd
from sklearn.neighbors import KNeighborsClassifier
# 一些全局变量
label = [' '] # 识别输出标签
poses = '' # 视频输出标签
i = 0
t = 30 # 后处理帧数
posess_a = ''
posess_b = ''
version = 'V7.0'
a = 1.2 # 辅助拟合精度
distance_threshold = 121 # 设置KNN距离阈值
neighbors = 2 # 邻居
input_path = ''
# 初始化MediaPipe的人体姿势模型
mp_drawing = mp.solutions.drawing_utils
mp_pose = mp.solutions.pose
# # 打开输入视频文件
# cap = cv2.VideoCapture('5.mp4')
import tkinter as tk
from tkinter import filedialog
# 修改distance_threshold
def set_distance_threshold(value):
global distance_threshold
distance_threshold = int(value)
# 创建窗口
root = tk.Tk()
root.withdraw()
# 显示使用说明信息
info = f'欢迎使用击剑动作识别程序{version}\n作者：冯楠20201888\n指导教师：朱勇\n请选择输入视频文件\n支持格式：*.mp4, *.avi\n点击确认选择文件'
tk.messagebox.showinfo('使用说明', info)
# 定义选择文件函数
def select_file():
global input_path
root3 = tk.Tk()
root3.title('选择文件')
input_path = filedialog.askopenfilename(title='选择输入视频文件', filetypes=[('视频文件', '*.mp4;*.avi'), ('所有文件', '*.*')])
root3.destroy()
if not input_path:
tk.messagebox.showerror('错误', '未选择输入视频文件！')
root3.destroy()
return
# 更新标签显示选择的文件路径
file_label.config(text=input_path)
def closeit():
root2.destroy()
# 创建窗口2
root2 = tk.Tk()
root2.title('选择文件，调整参数')
root2.geometry('400x600')
# 创建标题
file_titles = tk.Label(root2, text='击剑动作识别程序', font=('宋体', 18))
file_titles.pack(pady=20)
# 创建标签
file_label = tk.Label(root2, text='未选择文件')
file_label.pack(pady=20)
file_label.config(bg='#e9ccd3')
select_button = tk.Button(root2, text='选择文件', command=select_file)
select_button.pack(pady=10)
# 创建标题
file_titles = tk.Label(root2, text='参数调整', font=('微软雅黑', 13))
file_titles.pack(pady=20)
# 创建滑动条
scale = tk.Scale(root2, from_=0, to=200, orient=tk.HORIZONTAL, length=150, label='距离阈值', command=set_distance_threshold)
scale.set(distance_threshold)
scale.pack()
def set_neighbors(val):
global neighbors
neighbors = int(val)
# 创建滑动条
scale = tk.Scale(root2, from_=1, to=10, orient=tk.HORIZONTAL, length=150, label='邻居数量', command=set_neighbors)
scale.set(neighbors)
scale.pack()
# 创建按钮
run_button = tk.Button(root2, text='运行', command=closeit)
run_button.pack(pady=20)
# 创建标签
file_name = tk.Label(root2, text=f'作者：冯楠2020188 物联网2班\n指导教师：朱勇\n版本：{version}', font=('Arial', 14))
file_name.pack(pady=20)
# 关闭窗口
root.destroy()
# 运行窗口
root2.attributes('-topmost', True) # 窗口在最前
root2.mainloop()
# 打开输入视频文件
print('打开输入视频文件')
cap = cv2.VideoCapture(input_path)
# 获取输入视频的帧率和分辨率
fps = int(cap.get(cv2.CAP_PROP_FPS))
width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
# 创建输出视频文件
fourcc = cv2.VideoWriter_fourcc(*'mp4v')
out = cv2.VideoWriter(f'{input_path}_OUT.mp4', fourcc, fps, (width, height))
# 加载动作数据集
# 数据清洗
# 将每个小数据集中偏离平均值超过2倍标准差的样本删除
print('数据清洗')
# 将数据集合并为一个大的数据集
# 训练KNN分类器
root = tk.Tk()
root.withdraw()
info1 = '左上角为当前动作，绿色方块代表执剑手位置\n点击确认开始\n点击右上角x退出程序\n在视频处理过程中可以按q退出'
tk.messagebox.showinfo('即将开始', info1)
root.destroy()
# 处理视频文件中的每一帧
with mp_pose.Pose(min_detection_confidence=0.5, min_tracking_confidence=0.3) as pose:
while cap.isOpened():
# 读取一帧
ret, frame = cap.read()
# if ret is None:
# continue
if not ret:
break
# 将帧转换为RGB格式
image = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
# 处理人体姿势检测
results = pose.process(image)
# 判断是否检测到人体
if results.pose_landmarks:
# 绘制人体骨架
mp_drawing.draw_landmarks(
frame, results.pose_landmarks, mp_pose.POSE_CONNECTIONS)
# 计算腿与右手的角度
# 获取左肩、左肘和左手腕
# 获取左臀、左膝和左踝
# 获取右臀、右膝和右踝
# 获取右肩、右肘和右手腕
# 获取左肩、左肘和左手腕 new
# 获取左髋、左膝和左踝关键点的信息
# 获取左髋、左膝和左踝的角度
# 获取腰部、左髋和左肩的角度
# 获取右髋、右膝和右踝关键点的信息
# 获取右髋、右膝和右踝的角度
# 获取腰部、右髋和右肩的角度
# 获取鼻子、右肩和右手腕关键点的信息
# 获取鼻子、右肩和右手腕的角度
# 将数据输入KNN分类器进行预测
distances, indices = knn.kneighbors([[angle, angle1, angle_dl, angle_dr, angle_tr, angle_tr, angle_tl,
angle_lka, angle_hls, angle_rka, angle_hrs, angle_nwr]])
if distances[0][0] > distance_threshold:
label = ['']
confidence = 0
else:
label = knn.predict([[angle, angle1, angle_dl, angle_dr, angle_tr, angle_tr, angle_tl, angle_lka,
angle_hls, angle_rka, angle_hrs, angle_nwr]])
confidence = 1 - distances[0][0] / distance_threshold
# label = knn.predict([[angle, angle1, angle_dl, angle_dr, angle_tr, angle_tr, angle_tl,angle_lka,angle_hls,angle_rka,angle_hrs,angle_nwr]])
print([angle, angle1, angle_dl, angle_dr, angle_tr, angle_tr, angle_tl, angle_lka, angle_hls, angle_rka,
angle_hrs, angle_nwr])
posess_b = poses
if label[0] == 'warm-up':
i = t
poses = 'warm-up'
elif label[0] == 'hit':
i = t
if (angle > -20 * a and angle <= 5 * a) and ((angle_dr > 130.5 / a and angle_dr <= 155 * a) or (
angle_dr > 205 / a and angle_dr <= 212 * a)) and (
(angle_tr > 239 / a and angle_tr <= 260 * a) or (angle_tr > 147 / a and angle_tr <= 170 * a)):
poses = 'shi zhan poses'
else:
poses = 'hit'
elif label[0] == 'SHIZHAN POSE':
i = t
poses = 'shi zhan poses'
elif label[0] == 'respect':
i = t
if (angle > -20 * a and angle <= 5 * a) and ((angle_dr > 130.5 / a and angle_dr <= 155 * a) or (
angle_dr > 205 / a and angle_dr <= 212 * a)) and (
(angle_tr > 239 / a and angle_tr <= 260 * a) or (angle_tr > 147 / a and angle_tr <= 170 * a)):
poses = 'shi zhan poses'
else:
poses = 'respect'
elif label[0] == 'gongbu':
poses = 'gongbu'
i = t
else:
if i != 0:
peses = poses
i = i - 1
else:
poses = 'N/A'
i = t
# 绘制头部关键点
nose = results.pose_landmarks.landmark[mp_pose.PoseLandmark.NOSE]
x, y = int(nose.x * width), int(nose.y * height)
cv2.circle(frame, (x, y), 20, (220, 200, 100), -1)
# 绘制执剑关键点
zhijian = results.pose_landmarks.landmark[mp_pose.PoseLandmark.RIGHT_THUMB]
x, y = int(zhijian.x * width), int(zhijian.y * height)
cv2.rectangle(frame, (x - 20, y - 20), (x + 20, y + 20), (0, 255, 0), -1)
# 显示可信度
if confidence > 0:
cv2.putText(frame, 'Current frame action:'+label[0] + ' ' + str(round(confidence, 2)), (5, 100), cv2.FONT_HERSHEY_SIMPLEX, 1,
(5, 200, 0), 2)
else:
cv2.putText(frame, 'Current frame action:'+'N/A', (5, 100), cv2.FONT_HERSHEY_SIMPLEX, 1, (5, 200, 0), 2)
if (possess_b != poses):
print('dou')
else:
possess_a = poses
# 在输出图片上显示角度值和动作类型
cv2.putText(frame, 'Angle: {:.2f}'.format(angle), (5, 210),
cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 0, 255), 2)
cv2.putText(frame, 'Angle_rka: {:.2f}'.format(angle_rka), (5, 225),
cv2.FONT_HERSHEY_SIMPLEX, 0.5, (100, 15, 255), 2)
cv2.putText(frame, 'Angle_nwr: {:.2f}'.format(angle_nwr), (5, 240),
cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 100, 255), 2)
cv2.putText(frame, 'angle_lka: {:.2f}'.format(angle_lka), (5, 255),
cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 255, 0), 2)
cv2.putText(frame, 'angle_tl: {:.2f}'.format(angle_tl), (5, 270),
cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 150, 255), 2)
cv2.putText(frame, 'angle_hrs: {:.2f}'.format(angle_hrs), (5, 285),
cv2.FONT_HERSHEY_SIMPLEX, 0.5, (100, 0, 255), 2)
cv2.putText(frame, 'Current action:'+possess_a, (5, 60),
cv2.FONT_HERSHEY_SIMPLEX, 1.1, (2, 2, 255), 2)
else:
# 如果未检测到人体，则跳过本帧处理
cv2.putText(frame, 'No body detected', (5, 50),
cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 2)
# 将帧写入输出视频文件
out.write(frame)
# 显示当前帧的结果
cv2.imshow('MediaPipe Pose Detection press q exit', frame)
# 检测是否按下q键退出
if cv2.waitKey(1) & 0xFF == ord('q'):
break
# 显示使用说明信息
root = tk.Tk()
root.withdraw()
info = f'视频已输出至{input_path}_OUT.mp4'
tk.messagebox.showinfo('处理完成', info)
# 释放资源
cap.release()
out.release()
cv2.destroyAllWindows()
关键功能：
- 实时姿势检测： 使用MediaPipe的姿势检测模型，实时获取视频中人体的关键点信息。
- 角度计算： 根据关键点信息，计算出用于识别动作类型的关键角度，例如腿与右手的角度、左臂与左腿的角度等。
- KNN分类： 利用KNN分类器，将计算出的角度信息作为输入，预测当前的动作类型，并给出可信度。
- GUI界面： 提供了直观的GUI界面，用户可以方便地选择输入视频文件和调整相关参数。
- 结果展示： 将识别的动作类型和可信度实时显示在视频画面上，并最终生成处理后的视频文件。
改进方向：
- 模型优化： 可以使用更强大的机器学习模型，例如深度学习模型，以提高识别的准确率。
- 动作库扩展： 可以添加更多击剑动作类型，使识别系统更加完善。
- 界面设计： 可以优化GUI界面设计，使操作更加便捷友好。
- 性能提升： 可以优化代码实现，提升程序运行效率，使识别更加实时。
应用场景：
- 击剑训练辅助工具
- 击剑比赛技术分析
- 击剑教学资源
总结：
本算法使用MediaPipe和KNN技术实现了击剑动作的实时识别，为击剑训练和比赛提供了有效的辅助工具。通过不断的改进和优化，可以将其应用于更多场景，发挥更大的价值。
原文地址: https://www.cveoy.top/t/topic/gR0q 著作权归作者所有。请勿转载和采集!