迪文科技论坛

 找回密码
 立即注册
搜索
查看: 2|回复: 0

【分享】关于老人情绪的智能语音交互系统

[复制链接]

1

主题

0

回帖

22

积分

新手上路

Rank: 1

积分
22
发表于 昨天 21:06 | 显示全部楼层 |阅读模式
作品简介

本作品是一套面向养老照护场景的“智慧养老关怀系统”,以EKT043B嵌入式显示开发板作为护工端人机交互终端,结合STM32传感器采集、MaixCAM视觉识别和ESP32-S3智能语音模块,将健康数据查看、情绪信息展示和语音交互整合到同一套系统中。

基本信息:系统硬件包括EKT043B嵌入式显示开发板、MaixCAM、ESP32-S3开发板、STM32F103C8T6开发板、MAX30102心率血氧传感器、AS608光学指纹识别模块、MLX90614非接触式红外测温传感器、INMP441麦克风、MAX98357A数字功放、腔体喇叭,以及面包板和杜邦线。护工端采用迪文触摸屏进行页面切换与操作,并配置Wi-Fi信息显示和迪文云接入接口。设备外壳采用独立面板展开设计,结合显示区、模块开孔与养老关怀主题图案进行布局。

核心特点:

1. 健康数据展示:健康数据页面集中显示体温、心率和血氧,室温放在主页,便于查看身体指标与周围环境信息。

2. 情绪图标联动:接收摄像头输出的姓名、情绪、身份分数和情绪分数,根据开心、难过、生气、惊讶、害怕、厌恶、平静七类情绪切换相应表情,使识别结果更加直观。

3. 智能语音交互:通过ESP32-S3、INMP441麦克风、MAX98357A数字功放和腔体喇叭构成语音输入与播放链路,护工端提供智能语音页面及音量加、音量减、小智网络重置操作入口。

4. 分页触控操作:主页、健康数据、情绪详情、智能语音与系统设置分别展示,避免信息集中在同一页面。按钮设置按压反馈,亮度页面提供滑动调节入口,背光设置作用于整个屏幕。

5. 网络信息管理:Wi-Fi页面设置SSID、SN和云端连接状态显示区域,并提供重新配网按钮。迪文云接入采用独立的网络通道,与健康数据和摄像头数据的接收通道分开。


工作原理

系统采用“多模块采集、独立通道传输、屏幕解析显示、触控交互控制”的工作方式,由不同处理单元承担相应任务。

1. 健康数据采集

MLX90614通过红外方式采集目标温度和环境温度,MAX30102采集用于心率与血氧计算的光学信号。STM32通过I²C接口读取传感器数据,并将体温、室温、心率和血氧等字段整理为串口文本发送给迪文屏。AS608作为指纹采集与匹配模块接入STM32侧,为身份校验提供硬件接口。

2. 视觉识别与数据传输

MaixCAM运行视觉识别程序,输出姓名、情绪类别、身份分数和情绪分数。迪文屏通过独立串口接收这些数据,解析相应字段后更新姓名文字、情绪文字、分数和表情图标。健康数据使用UART2接收,摄像头识别结果使用UART3接收,便于分别处理两类数据。

3. 护工端显示与页面交互

迪文屏使用DGUS页面控件显示动态数据,T5L程序负责数据解析和变量更新。主页显示时间、室温、姓名与情绪,并提供各功能页入口;健康数据页面显示体温、心率和血氧;情绪详情页面显示情绪类别及相关分数。情绪图标与情绪文字使用同一识别结果进行更新。

4. 智能语音与按键控制

INMP441将采集到的声音传入ESP32-S3语音模块,语音输出经MAX98357A数字功放驱动腔体喇叭播放。屏幕上的音量加、音量减和网络重置按钮,通过GPIO短时拉低相应按键输入、随后释放的方式模拟实体按键操作。网络重置按钮单独设置,便于与音量调节区分。

5. 系统设置与网络接口

系统设置页面提供Wi-Fi配网和亮度调节入口。亮度滑块更新屏幕背光参数,使各页面采用统一亮度。Wi-Fi页面用于显示网络与设备信息,并触发重新配网流程;迪文云产品参数与屏幕端通信接口用于后续设备绑定及数据接入。


图片展示:



设计思路

1. 从照护场景确定功能范围

围绕养老照护中的健康数据查看、情绪关注和日常语音交互组织功能。健康数据和情绪信息在主页提供概览,详细内容通过独立页面展开,减少单页信息拥挤。

2. 按任务划分硬件职责

STM32负责传感器数据采集,MaixCAM负责视觉识别,ESP32-S3负责语音交互,EKT043B负责界面显示和触控操作。各模块通过串口或GPIO连接,使传感、视觉、语音和界面能够分别开发与调试。

3. 将数据处理与界面显示分离

传感器与摄像头先输出各自的数据,屏幕端再进行字段解析、变量更新和图标映射。界面按功能分页,便于调整控件位置、字体大小及按钮反馈,也便于后续扩展显示内容。

4. 采用直观的操作方式

使用大图标、清晰文字与按钮按压效果辅助操作。情绪通过文字和表情同时表达,亮度通过滑动条调节,语音音量与重新配网采用独立按钮,减少操作含义混淆。

5. 结合外壳安排交互区域

外壳展开图统一规划面板开孔与外观图案,屏幕显示方向按安装需求配置为180°旋转,使显示内容与外壳安装方向相适配。


创新点

1. 健康信息与情绪信息结合展示

将体温、心率、血氧等健康信息与姓名、情绪识别结果放在同一护工端中,既能查看身体指标,也能关注情绪表现。

2. 情绪识别结果驱动表情变化

将摄像头输出的情绪类别映射为七种表情图标,使界面能够随识别结果变化,减少只显示文字时的理解负担。

3. 触摸屏模拟语音模块实体按键

通过屏幕GPIO模拟音量加、音量减和BOOT短按,将语音模块的常用操作集中到触摸界面,便于在安装外壳后进行操作。

4. 多处理单元协同与独立数据通道

针对传感器采集、视觉识别、语音交互和界面显示分别安排处理单元,健康数据与摄像头数据使用独立串口,形成职责清晰的模块化系统。


演示视频:https://www.bilibili.com/video/B ... e267c07e6064922dd5e


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|迪文科技论坛 ( 京ICP备05033781号-1 )

GMT+8, 2026-11-20 09:42 , Processed in 0.042004 second(s), 23 queries .

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表