Python 手势识别控制电脑：使用 MediaPipe 和 PyAutoGUI 实现手势控制

import\u0020cv2\nimport\u0020mediapipe\u0020as\u0020mp\nimport\u0020pyautogui\n\nmp_hands\u0020=\u0020mp.solutions.hands\nhands\u0020=\u0020mp_hands.Hands()\npyautogui.FAILSAFE\u0020=\u0020False\n\n\ncap\u0020=\u0020cv2.VideoCapture(0)\nwhile\u0020cap.isOpened():\n\u0020\u0020ret,\u0020frame\u0020=\u0020cap.read()\n\u0020\u0020if\u0020not\u0020ret:\n\u0020\u0020\u0020\u0020break\n\n\n\u0020\u0020frame_rgb\u0020=\u0020cv2.cvtColor(frame,\u0020cv2.COLOR_BGR2RGB)\n\u0020\u0020results\u0020=\u0020hands.process(frame_rgb)\n\n\n\u0020\u0020if\u0020results.multi_hand_landmarks:\n\u0020\u0020\u0020\u0020for\u0020hand_landmarks\u0020in\u0020results.multi_hand_landmarks:\n\u0020\u0020\u0020\u0020\u0020\u0020#\u0020计算手指之间的角度\n\u0020\u0020\u0020\u0020\u0020\u0020def\u0020calculate_finger_angle(finger_landmarks):\n\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020#\u0020手指关节的索引\n\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020finger_joint_indices\u0020=\u0020[mp_hands.HandLandmark.WRIST,\n\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020mp_hands.HandLandmark.THUMB_CMC,\n\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020mp_hands.HandLandmark.THUMB_MCP,\n\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020mp_hands.HandLandmark.THUMB_IP,\n\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020mp_hands.HandLandmark.THUMB_TIP,\n\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020mp_hands.HandLandmark.INDEX_FINGER_MCP,\n\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020mp_hands.HandLandmark.INDEX_FINGER_PIP,\n\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020mp_hands.HandLandmark.INDEX_FINGER_DIP,\n\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020mp_hands.HandLandmark.INDEX_FINGER_TIP,\n\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020...\n\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020]\n\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020#\u0020计算手指之间的角度\n\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020angles\u0020=\u0020[]\n\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020for\u0020i\u0020in\u0020range(len(finger_joint_indices)-1):\n\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020joint1\u0020=\u0020finger_landmarks.landmark[finger_joint_indices[i]]\n\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020joint2\u0020=\u0020finger_landmarks.landmark[finger_joint_indices[i+1]]\n\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020angle\u0020=\u0020#\u0020计算角度的方法，可以根据需要自行编写\n\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020angles.append(angle)\n\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020\n\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020return\u0020angles\n\n\u0020\u0020\u0020\u0020\u0020\u0020#\u0020判断手指是否张开\n\u0020\u0020\u0020\u0020\u0020\u0020def\u0020is_fingers_open(finger_landmarks):\n\u0020\u0020\u0020\u0020\u0020\u0020\u0020angles\u0020=\u0020calculate_finger_angle(finger_landmarks)\n\u0020\u0020\u0020\u0020\u0020\u0020\u0020#\u0020根据手指角度判断是否张开手指\n\u0020\u0020\u0020\u0020\u0020\u0020\u0020#\u0020返回True或False\n\n\u0020\u0020\u0020\u0020\u0020\u0020...\n\n\u0020\u0020\u0020\u0020if\u0020results.multi_hand_landmarks:\n\u0020\u0020\u0020\u0020\u0020\u0020for\u0020hand_landmarks\u0020in\u0020results.multi_hand_landmarks:\n\u0020\u0020\u0020\u0020\u0020\u0020\u0020if\u0020is_fingers_open(hand_landmarks):\n\u0020\u0020\u0020\u0020\u0020\u0020\u0020\u0020pyautogui.press('space')\n\u0020\u0020\u0020\u0020\u0020\u0020...\n\ncap.release()\ncv2.destroyAllWindows()\n\n\nimport\u0020cv2\nimport\u0020mediapipe\u0020as\u0020mp\nimport\u0020pyautogui\n\nmp_hands\u0020=\u0020mp.solutions.hands\nhands\u0020=\u0020mp_hands.Hands()\npyautogui.FAILSAFE\u0020=\u0020False\n\ncap\u0020=\u0020cv2.VideoCapture(0)\nwhile\u0020cap.isOpened():\n\u0020\u0020ret,\u0020frame\u0020=\u0020cap.read()\n\u0020\u0020if\u0020not\u0020ret:\n\u0020\u0020\u0020\u0020break\n\n\u0020\u0020frame_rgb\u0020=\u0020cv2.cvtColor(frame,\u0020cv2.COLOR_BGR2RGB)\n\u0020\u0020results\u0020=\u0020hands.process(frame_rgb)\n\n\u0020\u0020if\u0020results.multi_hand_landmarks:\n\u0020\u0020\u0020\u0020for\u0020hand_landmarks\u0020in\u0020results.multi_hand_landmarks:\n\u0020\u0020\u0020\u0020\u0020\u0020#\u0020根据手势类型执行相应的操作\n\u0020\u0020\u0020\u0020\u0020\u0020pass\n\n\u0020\u0020cv2.imshow('Hand\u0020Gesture\u0020Control',\u0020frame)\n\u0020\u0020if\u0020cv2.waitKey(10)\u0020&\u00200xFF\u0020==\u0020ord('q'):\n\u0020\u0020\u0020\u0020break\n\ncap.release()\ncv2.destroyAllWindows()\n\n\n这个代码报错，报错为：INFO: Created TensorFlow Lite XNNPACK delegate for CPU.\nTraceback (most recent call last):\n File "E:/PyCharm练习/2.py", line 37, in \n if 手指张开:\nNameError: name '手指张开' is not defined\n找出解决方法内容：在代码中，需要通过手势的特征判断手指是否张开，但是当前代码中没有给出具体的判断条件，导致报错。\n\n解决方法是添加手指张开的判断条件，可以通过计算手指之间的角度或者检测特定手指关节的状态来判断手指是否张开。具体的判断条件需要根据手势识别的算法和模型来确定。\n\n以下是一个示例的判断手指张开的代码：\n\npython\n#\u0020计算手指之间的角度\ndef\u0020calculate_finger_angle(finger_landmarks):\n\u0020\u0020#\u0020手指关节的索引\n\u0020\u0020finger_joint_indices\u0020=\u0020[mp_hands.HandLandmark.WRIST,\n\u0020\u0020\u0020\u0020mp_hands.HandLandmark.THUMB_CMC,\n\u0020\u0020\u0020\u0020mp_hands.HandLandmark.THUMB_MCP,\n\u0020\u0020\u0020\u0020mp_hands.HandLandmark.THUMB_IP,\n\u0020\u0020\u0020\u0020mp_hands.HandLandmark.THUMB_TIP,\n\u0020\u0020\u0020\u0020mp_hands.HandLandmark.INDEX_FINGER_MCP,\n\u0020\u0020\u0020\u0020mp_hands.HandLandmark.INDEX_FINGER_PIP,\n\u0020\u0020\u0020\u0020mp_hands.HandLandmark.INDEX_FINGER_DIP,\n\u0020\u0020\u0020\u0020mp_hands.HandLandmark.INDEX_FINGER_TIP,\n\u0020\u0020\u0020\u0020...\n\u0020\u0020]\n\u0020\u0020#\u0020计算手指之间的角度\n\u0020\u0020angles\u0020=\u0020[]\n\u0020\u0020for\u0020i\u0020in\u0020range(len(finger_joint_indices)-1):\n\u0020\u0020\u0020\u0020joint1\u0020=\u0020finger_landmarks.landmark[finger_joint_indices[i]]\n\u0020\u0020\u0020\u0020joint2\u0020=\u0020finger_landmarks.landmark[finger_joint_indices[i+1]]\n\u0020\u0020\u0020\u0020angle\u0020=\u0020#\u0020计算角度的方法，可以根据需要自行编写\n\u0020\u0020\u0020\u0020angles.append(angle)\n\u0020\u0020\n\u0020\u0020return\u0020angles\n\n#\u0020判断手指是否张开\ndef\u0020is_fingers_open(finger_landmarks):\n\u0020\u0020angles\u0020=\u0020calculate_finger_angle(finger_landmarks)\n\u0020\u0020#\u0020根据手指角度判断是否张开手指\n\u0020\u0020#\u0020返回True或False\n\n...\n\nif\u0020results.multi_hand_landmarks:\n\u0020\u0020for\u0020hand_landmarks\u0020in\u0020results.multi_hand_landmarks:\n\u0020\u0020\u0020\u0020if\u0020is_fingers_open(hand_landmarks):\n\u0020\u0020\u0020\u0020\u0020\u0020pyautogui.press('space')\n\u0020\u0020\u0020\u0020...\n\n\n需要注意的是，以上代码只是一个示例，实际的判断方法可能需要根据具体的手势识别算法和模型进行调整和优化。\n