迪文科技论坛

 找回密码
 立即注册
搜索
查看: 480|回复: 1

【提问】关于浮点数,数据变量显示问题

[复制链接]

27

主题

70

回帖

328

积分

中级会员

Rank: 3Rank: 3

积分
328
发表于 2022-4-11 08:23:33 | 显示全部楼层 |阅读模式
现在处理数据变量显示浮点数,只能从数据变量输入端读取数据,自行转换为小数,再写入数据变量显示

现在出现一个问题:输入111.2,显示确是111.1,小数点位不对,输入其它的值有可能对,我直接用浮点转HEX工具转换成HEX,发送给数变量显示结果也是一下,貌似数据变量显示自己把精度搞丢了

数据变量显示配置:单精度浮点数,整数位数3,小数位数1
回复

使用道具 举报

0

主题

1276

回帖

5674

积分

论坛元老

Rank: 8Rank: 8

积分
5674
发表于 2022-4-11 09:03:16 | 显示全部楼层
浮点数 本身有误差, 111.2 转成16进制后的数据再转换回浮点数会变成111.199997,所以屏上会显示111.1
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|迪文科技论坛 ( 京ICP备05033781号-1 )

GMT+8, 2026-6-25 09:44 , Processed in 0.022443 second(s), 21 queries .

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表