击剑动作识别程序 - 基于MediaPipe和KNN的实战应用
击剑动作识别程序 - 基于MediaPipe和KNN的实战应用
本程序利用MediaPipe人体姿态识别技术和KNN分类器，实现对击剑动作的实时识别，并进行可视化展示。提供参数调整功能，可自定义距离阈值和邻居数量，提高识别精度。
程序功能：
- 使用MediaPipe识别视频中的人体姿态。
- 计算关键部位角度，提取动作特征。
- 利用KNN分类器进行动作识别。
- 将识别结果实时显示在视频画面上。
- 支持用户自定义参数，如距离阈值和邻居数量。
程序步骤：
- 选择输入视频文件：
- 运行程序后，选择需要识别的视频文件。支持.mp4和.avi格式。
- 调整参数：
- 设置距离阈值：控制KNN算法的距离阈值，可以影响动作识别的精度。
- 设置邻居数量：控制KNN算法的邻居数量，可以影响动作识别的稳定性。
- 运行程序：
- 点击运行按钮，程序将开始识别视频中的击剑动作。
- 查看识别结果：
- 视频画面上会实时显示识别的动作类型，以及关键部位的角度信息。
代码示例：
import cv2
import mediapipe as mp
import math
import numpy as np
import pandas as pd
from sklearn.neighbors import KNeighborsClassifier
# 一些全局变量
label = [' '] # 识别输出标签
pos = '' # 视频输出标签
i = 0
t = 30 # 后处理帧数
pos_a = ''
pos_b = ''
version = 'V7.0'
a = 1.2 # 辅助拟合精度
distance_threshold = 121 # 设置KNN距离阈值
neighbors = 2 # 邻居
input_path = ''
# 初始化MediaPipe的人体姿势模型
mp_drawing = mp.solutions.drawing_utils
mp_pose = mp.solutions.pose
# # 打开输入视频文件
# cap = cv2.VideoCapture('5.mp4')
import tkinter as tk
from tkinter import filedialog
# 修改distance_threshold
def set_distance_threshold(value):
global distance_threshold
distance_threshold = int(value)
# 创建窗口
root = tk.Tk()
root.withdraw()
# 显示使用说明信息
info = f'欢迎使用击剑动作识别程序{version}\n作者：冯楠20201888\n指导教师：朱勇\n请选择输入视频文件\n支持格式：*.mp4, *.avi\n点击确认选择文件'
tk.messagebox.showinfo('使用说明', info)
# 定义选择文件函数
def select_file():
global input_path
root3 = tk.Tk()
root3.title('选择文件')
input_path = filedialog.askopenfilename(title='选择输入视频文件', filetypes=[('视频文件', '*.mp4;*.avi'), ('所有文件', '*.*')])
root3.destroy()
if not input_path:
tk.messagebox.showerror('错误', '未选择输入视频文件！')
root3.destroy()
return
# 更新标签显示选择的文件路径
file_label.config(text=input_path)
def closeit():
root2.destroy()
# 创建窗口2
root2 = tk.Tk()
root2.title('选择文件，调整参数')
root2.geometry('400x600')
# 创建标题
file_titles = tk.Label(root2, text='击剑动作识别程序', font=('宋体', 18))
file_titles.pack(pady=20)
# 创建标签
file_label = tk.Label(root2, text='未选择文件')
file_label.pack(pady=20)
file_label.config(bg='#e9ccd3')
select_button = tk.Button(root2, text='选择文件', command=select_file)
select_button.pack(pady=10)
# 创建标题
file_titles = tk.Label(root2, text='参数调整', font=('微软雅黑', 13))
file_titles.pack(pady=20)
# 创建滑动条
scale = tk.Scale(root2, from_=0, to=200, orient=tk.HORIZONTAL, length=150, label='距离阈值', command=set_distance_threshold)
scale.set(distance_threshold)
scale.pack()
def set_neighbors(val):
global neighbors
neighbors = int(val)
# 创建滑动条
scale = tk.Scale(root2, from_=1, to=10, orient=tk.HORIZONTAL, length=150, label='邻居数量', command=set_neighbors)
scale.set(neighbors)
scale.pack()
# 创建按钮
run_button = tk.Button(root2, text='运行', command=closeit)
run_button.pack(pady=20)
# 创建标签
file_name = tk.Label(root2, text=f'作者：冯楠2020188 物联网2班\n指导教师：朱勇\n版本：{version}', font=('Arial', 14))
file_name.pack(pady=20)
# 关闭窗口
root.destroy()
# 运行窗口
root2.attributes('-topmost', True) # 窗口在最前
root2.mainloop()
# 打开输入视频文件
print('打开输入视频文件')
cap = cv2.VideoCapture(input_path)
# 获取输入视频的帧率和分辨率
fps = int(cap.get(cv2.CAP_PROP_FPS))
width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
# 创建输出视频文件
fourcc = cv2.VideoWriter_fourcc(*'mp4v')
out = cv2.VideoWriter(f'{input_path}_OUT.mp4', fourcc, fps, (width, height))
# 加载动作数据集
# 数据清洗
# 将每个小数据集中偏离平均值超过2倍标准差的样本删除
print('数据清洗')
# 将数据集合并为一个大的数据集
# 训练KNN分类器
root = tk.Tk()
root.withdraw()
info1 = '左上角为当前动作，绿色方块代表执剑手位置\n点击确认开始\n点击右上角x退出程序\n在视频处理过程中可以按q退出'
tk.messagebox.showinfo('即将开始', info1)
root.destroy()
# 处理视频文件中的每一帧
with mp_pose.Pose(min_detection_confidence=0.5, min_tracking_confidence=0.3) as pose:
while cap.isOpened():
# 读取一帧
ret, frame = cap.read()
# if ret is None:
# continue
if not ret:
break
# 将帧转换为RGB格式
image = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
# 处理人体姿势检测
results = pose.process(image)
# 判断是否检测到人体
if results.pose_landmarks:
# 绘制人体骨架
mp_drawing.draw_landmarks(
frame, results.pose_landmarks, mp_pose.POSE_CONNECTIONS)
# 计算腿与右手的角度
# 获取左肩、左肘和左手腕
# 获取左臀、左膝和左踝
# 获取右臀、右膝和右踝
# 获取右肩、右肘和右手腕
# 获取左肩、左肘和左手腕 new
# 获取左髋、左膝和左踝关键点的信息
# 获取左髋、左膝和左踝的角度
# 获取腰部、左髋和左肩的角度
# 获取右髋、右膝和右踝关键点的信息
# 获取右髋、右膝和右踝的角度
# 获取腰部、右髋和右肩的角度
# 获取鼻子、右肩和右手腕关键点的信息
# 获取鼻子、右肩和右手腕的角度
# 将数据输入KNN分类器进行预测
distances, indices = knn.kneighbors([[angle, angle1, angle_dl, angle_dr, angle_tr, angle_tr, angle_tl,
angle_lka, angle_hls, angle_rka, angle_hrs, angle_nwr]])
if distances[0][0] > distance_threshold:
label = ['']
confidence = 0
else:
label = knn.predict([[angle, angle1, angle_dl, angle_dr, angle_tr, angle_tr, angle_tl, angle_lka,
angle_hls, angle_rka, angle_hrs, angle_nwr]])
confidence = 1 - distances[0][0] / distance_threshold
# label = knn.predict([[angle, angle1, angle_dl, angle_dr, angle_tr, angle_tr, angle_tl,angle_lka,angle_hls,angle_rka,angle_hrs,angle_nwr]])
print([angle, angle1, angle_dl, angle_dr, angle_tr, angle_tr, angle_tl, angle_lka, angle_hls, angle_rka,
angle_hrs, angle_nwr])
pos_b = pos
if label[0] == 'warm-up':
i = t
pos = 'warm-up'
elif label[0] == 'hit':
i = t
if (angle > -20 * a and angle <= 5 * a) and ((angle_dr > 130.5 / a and angle_dr <= 155 * a) or (
angle_dr > 205 / a and angle_dr <= 212 * a)) and (
(angle_tr > 239 / a and angle_tr <= 260 * a) or (angle_tr > 147 / a and angle_tr <= 170 * a)):
pos = 'shi zhan poses'
else:
pos = 'hit'
elif label[0] == 'SHIZHAN POSE':
i = t
pos = 'shi zhan poses'
elif label[0] == 'respect':
i = t
if (angle > -20 * a and angle <= 5 * a) and ((angle_dr > 130.5 / a and angle_dr <= 155 * a) or (
angle_dr > 205 / a and angle_dr <= 212 * a)) and (
(angle_tr > 239 / a and angle_tr <= 260 * a) or (angle_tr > 147 / a and angle_tr <= 170 * a)):
pos = 'shi zhan poses'
else:
pos = 'respect'
elif label[0] == 'gongbu':
pos = 'gongbu'
i = t
else:
if i != 0:
peses = pos
i = i - 1
else:
pos = 'N/A'
i = t
# 绘制头部关键点
nose = results.pose_landmarks.landmark[mp_pose.PoseLandmark.NOSE]
x, y = int(nose.x * width), int(nose.y * height)
cv2.circle(frame, (x, y), 20, (220, 200, 100), -1)
# 绘制执剑关键点
zhijian = results.pose_landmarks.landmark[mp_pose.PoseLandmark.RIGHT_THUMB]
x, y = int(zhijian.x * width), int(zhijian.y * height)
cv2.rectangle(frame, (x - 20, y - 20), (x + 20, y + 20), (0, 255, 0), -1)
# 显示可信度
if confidence > 0:
cv2.putText(frame, 'Current frame action:'+label[0] + ' ' + str(round(confidence, 2)), (5, 100), cv2.FONT_HERSHEY_SIMPLEX, 1,
(5, 200, 0), 2)
else:
cv2.putText(frame, 'Current frame action:'+'N/A', (5, 100), cv2.FONT_HERSHEY_SIMPLEX, 1, (5, 200, 0), 2)
if (pos_b != pos):
print('dou')
else:
pos_a = pos
# 在输出图片上显示角度值和动作类型
cv2.putText(frame, 'Angle: {:.2f}'.format(angle), (5, 210),
cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 0, 255), 2)
cv2.putText(frame, 'Angle_rka: {:.2f}'.format(angle_rka), (5, 225),
cv2.FONT_HERSHEY_SIMPLEX, 0.5, (100, 15, 255), 2)
cv2.putText(frame, 'Angle_nwr: {:.2f}'.format(angle_nwr), (5, 240),
cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 100, 255), 2)
cv2.putText(frame, 'angle_lka: {:.2f}'.format(angle_lka), (5, 255),
cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 255, 0), 2)
cv2.putText(frame, 'angle_tl: {:.2f}'.format(angle_tl), (5, 270),
cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 150, 255), 2)
cv2.putText(frame, 'angle_hrs: {:.2f}'.format(angle_hrs), (5, 285),
cv2.FONT_HERSHEY_SIMPLEX, 0.5, (100, 0, 255), 2)
cv2.putText(frame, 'Current action:'+pos_a, (5, 60),
cv2.FONT_HERSHEY_SIMPLEX, 1.1, (2, 2, 255), 2)
else:
# 如果未检测到人体，则跳过本帧处理
cv2.putText(frame, 'No body detected', (5, 50),
cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 2)
# 将帧写入输出视频文件
out.write(frame)
# 显示当前帧的结果
cv2.imshow('MediaPipe Pose Detection press q exit', frame)
# 检测是否按下q键退出
if cv2.waitKey(1) & 0xFF == ord('q'):
break
# 显示使用说明信息
root = tk.Tk()
root.withdraw()
info = f'视频已输出至{input_path}_OUT.mp4'
tk.messagebox.showinfo('处理完成', info)
# 释放资源
cap.release()
out.release()
cv2.destroyAllWindows()
未来改进的思路和方法：
1. 数据集的改进：可以增加更多的动作类型和更多的样本，以提高模型的泛化能力和准确性。
2. 特征提取的改进：可以尝试使用更多的姿势关键点，或者使用深度学习模型进行特征提取，以提高特征表达的能力和准确性。
3. 模型的改进：可以尝试使用更复杂的模型，如神经网络、决策树等，以提高模型的准确性和泛化能力。
4. 后处理的改进：可以采用更高级的后处理方法，如滤波、平滑等，以进一步提高动作识别的准确性和稳定性。
5. 系统的改进：可以将动作识别系统与其他应用场景相结合，如虚拟现实、健身辅助等，以提高系统的实用性和用户体验。
注意：
- 代码中缺少一些关键代码，如动作数据集加载、数据清洗、模型训练等，需要自行补充。
- 可以根据实际需求修改程序参数和功能。
- 程序依赖于MediaPipe和KNN库，请确保已安装。
- 程序仅供参考，不保证其准确性和稳定性。
原文地址: https://www.cveoy.top/t/topic/gRd9 著作权归作者所有。请勿转载和采集!