迪文科技论坛

 找回密码
 立即注册
搜索
查看: 4|回复: 0

【分享】七步洗手检测边缘终端

[复制链接]

1

主题

0

回帖

30

积分

新手上路

Rank: 1

积分
30
发表于 2 小时前 | 显示全部楼层 |阅读模式
一、作品简介
七步洗手检测边缘终端是一台面向洗手池边、可独立放置的智能检测设备。它以迪文 EKT043_EDU 串口屏为交互与数据管理核心,以 ESP32-C3 为主控,以 MaixCAM 相机完成端侧视觉识别,以 ASR-PRO 语音模块完成唤醒与播报,配合补光灯与 3D 打印外壳,构成一台约 20 cm 见方、单根 USB 供电的桌面终端。
设备面向“内、外、夹、弓、大、立、腕”七步洗手法,能够在用户洗手的过程中逐步引导、实时显示本步用时、当场判定是否合格,并通过语音播报给出结果,同时把检测总数、成功数与失败数写入 Flash 掉电保存,并通过迪文云支持远程读取与控制。视觉识别、规则判定与结果反馈全部在设备本地完成,断网时仍可正常使用。
二、系统功能
(1)语音唤醒启动:说出“开始洗手”即可启动一轮检测,无需触碰屏幕,符合洗手场景的卫生要求。
(2)七步动作识别:相机在端侧识别当前动作属于七步中的哪一步,并累计该步骤的已用时长。
(3)逐步引导显示:屏幕按当前步骤自动切换页面,显示动作名称、真人示范和“第 N 步 / 共 7 步”进度。
(4)实时计时反馈:屏幕上实时显示本步骤已用秒数,单步累计满 10 秒视为该步达标。
(5)合格与不合格判定:第 7 步满 10 秒、相机报告合格判为合格;相机报告失败、检测中断、步骤倒退或连续 3 秒无数据判为不合格。
(6)结果反馈与语音播报:合格显示绿色对勾页、不合格显示红色叉号页,同时触发“检测完毕,洗手合格 / 不合格”语音播报。
(7)统计与掉电保存:进入结果页时自动累计总数、成功数与失败数,写入 Flash,重新上电后数值继续保留。
(8)灯光联动控制:进入动作页自动开灯补光,进入判定页后延时关灯;也可通过屏幕按钮或云端变量手动开关。
(9)云端远程管理:屏内 WiFi 连接迪文云后,可在后台查看设备在线状态、读取统计数据、写入变量控制补光灯。
三、核心器件
  
器件
  
  
主要规格
  
  
在系统中的作用
  
  
迪文 EKT043_EDU 智能屏
  
T5L0 双核 8051,4.3 英寸 IPS 电容触摸屏,800×480,16 MB NOR Flash
界面显示与交互、VP 变量、统计存储、灯光控制
  
ESP32-C3 主控
  
RISC-V 内核,2 路 UART,2.4 GHz WiFi
协议解析、会话与判定、WiFi 校时、语音脉冲触发
  
MaixCAM 视觉模块
  
SG2002,端侧部署 YOLO 模型
七步动作识别,输出步骤、秒数与检测结果
  
ASR-PRO 语音模块
  
天问 Block 图形化编程,离线语音识别
唤醒词识别、合格与不合格语音播报
  
补光 LED 与外壳
  
P1.0 驱动;3D 打印外壳 + 亚克力面板
洗手区域补光;固定相机、屏幕与模块

四、应用系统工作原理
系统按“感知—决策—交互—云”四层组织,工作过程分为六个环节:
① 上电初始化:屏内 51 固件完成变量初始化、读取已保存的统计数据并显示待机首页;主控启动串口任务与 WiFi 校时。
② 语音唤醒:ASR-PRO 识别到“开始洗手”后输出约 250 ms 低电平,ESP32-C3 捕获该信号并向MaixCAM 连发两帧启动命令。
③ 端侧识别:MaixCAM 采集手部画面,用端侧YOLO 判断当前动作属于哪一步,每100 ms 通过串口发送一帧六字节数据(检测状态、步骤、本步秒数、结果)。
④ 规则判定:ESP32-C3 解析数据后驱动屏幕切换对应动作页并显示秒数;若第 7 步累计满 10 秒或相机报告合格则判为合格,若相机报告失败、检测中断、步骤倒退或连续 3 秒无数据则判为不合格。
⑤ 结果反馈:主控发送跳页指令,屏幕显示合格或不合格页面;同时拉高对应引脚,触发语音模块播报检测结果。
⑥ 统计与云端:屏内 51 固件在进入结果页时累加统计并写入 Flash;结果页停留 8 秒后回到待机。屏内 WiFi 将统计变量同步至迪文云,后台可读取统计、查看在线状态并远程控制补光灯。
整条链路以两条 115200 bit/s 串口为骨架:相机与主控之间为 6 字节检测帧,主控与屏幕之间为 12 字节状态帧;语音模块与主控之间为电平信号。数据均为定长帧,接收端采用“滑动重同步”策略,丢字节后可在数十毫秒内自动对齐。
五、视频链接
演示视频已上传至 B 站,链接如下:
https://www.bilibili.com/video/BV1JSsa6xEd3/?vd_source=ece77fdcd27027822c419821d6ea1f57
六、图片展示
  
  
整机实物:待机首页
  
  
  
  
  
   

  
迪文云后台:设备在线与统计数据
  


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|迪文科技论坛 ( 京ICP备05033781号-1 )

GMT+8, 2026-11-20 09:48 , Processed in 0.046951 second(s), 23 queries .

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表