迪文科技论坛

 找回密码
 立即注册
搜索
查看: 5|回复: 0

【分享】药品与耗材货架视觉盘点

[复制链接]

1

主题

0

回帖

24

积分

新手上路

Rank: 1

积分
24
发表于 昨天 21:57 | 显示全部楼层 |阅读模式
一、作品功能简介
本作品面向药房、药柜与家庭药箱中"药品摆放密集、人工盘点耗时、缺货发现晚、库存变化无迹可查"这一类实际问题,设计并实现了一套"货架识药"智能识别与库存监护系统。系统以迪文串口屏作为本地显示与操作终端,由 MaixCAM-Pro 运行 PP-OCR 文字识别模型完成药盒包装名称的端到端识别与计数,由 Keil C51 单片机固件承担串口中继、传感器采集与数据转发,并辅以光照、测距模块和实时画面回传,实现药品识别、自动计数、缺货预警、实时画面查看、库存趋势记录和人工校核等功能。
识别过程中,MaixCAM-Pro 对摄像头画面进行文字检测与识别,按行合并文字片段后与预设药品清单逐一匹配,统计每种药品在当前画面中的数量;连续多帧稳定确认后更新计数,降低单帧误识别带来的跳变。统计结果经串口上传至迪文屏,在"货架识药"页面以药品总数、缺货数量、报警阈值三组数据实时显示,低于阈值的品种触发缺货提示,并提供"人工校核"入口对遮挡、叠放造成的漏计进行修正。同时,摄像头画面以 JPEG 帧持续回传到屏幕左侧视频框,现场可直接看到识别对象与识别过程。
系统把"画面采集—文字识别—稳定计数—缺货判定—本地显示—趋势留痕—人工校核"串成一条完整闭环:视觉终端负责看得准、算得清,屏端负责看得见、改得动,固件负责传得稳、记得全。相比单纯的人工清点,本系统在密集摆放场景下给出可量化、可回看、可修正的盘点结果,为药品库存的日常管理与缺货核实提供辅助支持,而不是完全替代人工复核。

二、工作原理
系统采用"视觉识别终端+串口中继固件+人机交互屏"的协同架构,三个部分各司其职、通过约定好的串口帧和变量地址联动,工作过程可分解为以下五个环节。
(1)画面采集与文字识别。 MaixCAM-Pro 调用板载 PP-OCR 模型对摄像头画面进行文字检测与识别,得到一批带坐标的文字框;程序按纵向位置聚类、同一行内按横向位置排序并拼接,还原出药盒包装上的完整名称,再与预设药品清单逐项匹配,统计每种药品在本帧中的出现次数。清单同时兼容教材与药品两类条目,便于在不同识别对象之间切换验证。
(2)稳定计数与缺货判定。 为避免单帧抖动,系统引入"候选值+连续确认帧数"机制:仅当同一数量在连续若干帧中一致时才更新显示,数量增加和减少分别采用不同的确认帧数,兼顾响应速度与稳定性。统计出的药品总数、缺货品种数按变化上报,与设定的报警阈值比较,低于阈值即判定为缺货并触发本地提示,阈值可由使用者按需调整。
(3)实时画面回传与显示。 屏幕左侧视频框采用迪文屏"JPEG 图标叠加"控件(VP=0x8000),MaixCAM 将摄像头画面压缩为 JPEG 后按官方三字段布局写入显示缓冲区:触发字写 0x5AA5 开启显示、长度字段写数据字长、数据区从 0x8002 起顺序写入。由于本工程中屏的串口接收被 51 固件中断占用,识别结果和图像统一经固件以私有 AA 55 帧中继转发,每包控制在 47 字节以内,保证数据可靠送达;固件在整帧写入前先关闭显示、写完再开启,实现整幅画面的原子替换,避免切换瞬间的撕裂。
(4)串口中继与数据上行。 Keil C51 固件运行于迪文屏的 8051 核,负责承接 MaixCAM 发来的文本、图像与数量三类帧:文本帧经校验后写入屏端变量区供文本控件显示,数量帧解析出药品总数、缺货数量、品种数等字段写入对应变量地址,图像帧按包写入 JPEG 缓冲区并回执确认。固件同时以心跳帧上报运行状态,便于联调时判断链路是否正常。
(5)库存趋势记录与人工校核。 屏端"曲线显示"页面以白、黄、青三条曲线分别记录库存数量、在架品种数和补货脉冲,固件按固定周期把数据推入曲线通道,一键采集/停止采集可控制记录过程,并支持改颜色、改线粗和缩放查看。当识别受遮挡、叠放影响出现漏计时,使用者可通过"人工校核"入口手动修正数量,修正值与识别值一并作为最终盘点结果,保证异常情况下结果仍可控。

三、设计思路
整体设计围绕药品货架盘点与库存监护这一具体场景,采用模块化分层,把视觉识别、串口中继、数据显示与交互分开实现,再用明确的数据帧格式和变量地址把它们衔接起来,便于分组开发、单独调试和后续扩展。
硬件分工明确。 MaixCAM-Pro 独立承担图像采集与 PP-OCR 文字识别,是识别准确率的核心;Keil C51 固件运行于迪文屏 8051 核,负责串口收发、图像中继、传感器采集和曲线数据推送,把实时性要求高的底层任务与上层应用隔离;迪文串口屏负责人机交互与看板展示,完成实时画面、三组数据、缺货提示和趋势曲线的呈现;光照与测距模块提供环境照度和到位检测信号,为识别条件的判断提供辅助。各设备职责单一,出问题可快速定位到具体环节。
软件按层解耦。 感知层完成拍照、文字识别、行合并与按清单计数,并把结果打包成标准帧;中继层由固件完成帧解析、校验、变量写入和回执,屏蔽上下层之间的协议差异;交互层完成画面刷新、数据显示、缺货提示、曲线记录和人工修正;各层之间只约定帧格式与变量地址,不互相穿透调用,某一层更换实现时不影响其余部分。
本地与远程协同。 本系统以本地闭环为主:识别、判定、显示、校核均在设备端完成,保证现场即时反馈;数据在屏端变量区集中管理,既供页面控件实时读取,也预留了接入云端上报的接口,需要远程监护时可在配置中启用网络功能,把变量窗口映射到云端数据通道。现场给出第一时间的提示,屏端留存可回看的趋势,两级配合而不互相替代。
多方式交互与可视化。 界面采用较大字号、直观图标和明确按钮,突出实时画面、药品总数、缺货数量与校核入口;文字数据显示、实时画面回传和库存曲线三种形式互为补充,既能看到当前结果,也能回看库存变化趋势,减少对单一数字的依赖。曲线页提供采集控制与样式调节,使用者可按需要突出关注的指标。
实物集成与功能边界。 采用板式结构固定屏幕、摄像头与传感器模块,保证拍摄距离和受光条件相对稳定。同时明确系统适用范围:识别依赖药品包装上的文字,适用于名称清晰可见的盒装药品;外观相近或文字被遮挡、叠放的品种仍以人工校核为准;库存曲线用于反映数量变化趋势,作为管理参考而非精确财务账。把边界写清楚,比声称识别任意摆放更专业,也更便于验收。

四、设计功能
  • 药盒文字识别:MaixCAM-Pro 运行 PP-OCR 模型,检测并识别药盒包装上的名称文字,实现端到端的药品识别。
  • 文字行合并:按文字框的纵向位置聚类、横向位置排序拼接,还原完整药名,降低碎片化识别对匹配的干扰。
  • 清单匹配计数:将识别结果与预设药品清单逐项匹配,统计每种药品在当前画面中的数量,清单兼容教材与药品两类条目。
  • 稳定计数确认:采用候选值与连续确认帧数机制,数量增减采用不同确认策略,抑制单帧误识别造成的跳变。
  • 缺货预警:按变化上报药品总数与缺货品种数,与设定阈值比较,低于阈值时触发本地缺货提示,阈值可调。
  • 实时画面回传:摄像头画面压缩为 JPEG 后经串口持续推送到屏幕左侧视频框,现场可直接观察识别对象与过程。
  • JPEG 图标叠加显示:采用迪文屏官方"JPEG 图标叠加"控件与三字段缓冲区协议,整帧写入前关显示、写完再开,避免画面撕裂。
  • 串口固件中继:Keil C51 固件以私有 AA 55 帧承接文本、图像、数量三类数据,分包转发并回执确认,保证链路可靠。
  • 运行状态心跳:固件按周期上报心跳帧,联调时可据此判断设备在线与固件运行情况,便于排障。
  • 光照与测距辅助:光照模块监测现场照度、测距模块判断设备与货架的距离,为识别条件是否合适提供参考。
  • 三栏数据实时显示:"货架识药"页面以药品总数、缺货数量、报警阈值三组数据实时呈现盘点结果。
  • 库存趋势曲线:"曲线显示"页面以三条曲线记录库存数量、在架品种数和补货脉冲,支持采集/停止、改颜色、改线粗和缩放查看。
  • 人工校核修正:提供人工校核入口,对遮挡、叠放造成的漏计手动修正数量,修正值与识别值共同构成最终盘点结果。

五、视频链接
【湖南师范大学——药品与耗材货架视觉盘点作品展示-哔哩哔哩】 https://b23.tv/OszNSGu

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|迪文科技论坛 ( 京ICP备05033781号-1 )

GMT+8, 2026-11-20 09:48 , Processed in 0.089782 second(s), 23 queries .

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表