【分享】2022级陈宇豪、田家祺基于YOLOv5的手部智能识别系统

Tianloneword

一、作品介绍

基于迪文T5L开发屏的YOLO v5手势识别开发，结合ESP32的WiFi通信模块，实现上位机对迪文屏的手势识别数据传输。
利用YOLO v5的视觉感知技术，通过摄像头识别手势将接收到的图像进行检测，与已训练好的手势模型进行置信度匹配，辅助手部残疾患者进行康复治疗。

二、工作原理
先由上位机通过摄像头进行图像采集，将其上传至openCV进行图像预处理，再由YOLOv5进行手部检测识别手势后会生成一系列数据，并将数据通过UDP通信传给ESP32。
ESP32接收到数据后，便会将数据进行解析，然后通过串口通信将有用的数据传递给迪文屏，迪文屏便会显示对应的手势类型，实现手势识别的可视化。

三、设计思路
硬件部分：
  DNSP32S3M小开发板、T5L迪文屏、杜邦线若干（公对母）、USB摄像头
  软件部分：
  Pytorch（Python）、PyQT5、openCV、YOLO v5、ESP-IDF


演示视频：【基于YOLOv5的手部智能识别系统】 https://www.bilibili.com/video/B ... 2f55b1f20b15e89645f
Python上位机代码链接:
通过网盘分享的文件：gesture.zip
链接: https://pan.baidu.com/s/1Tbd-h_9wMdx6cQceSDBp3A 提取码: w7sh