VR/AR中的“眼观六路耳听八方”
交流与互动
人与人之间的交流、互动,是通过我们的语言、耳朵、鼻子、眼睛等实现的,这些都可以看作是传感器。
互联网物联网时代的来临使得人类的交流采用了新的方式:命令界面 - 图形用户界面 - 多媒体界面 - (VR)虚拟现实 - (AR)增强现实 - (MR)数字化现实+虚拟数字画面
人们总是希望机器更好的完成人类复杂繁琐的工作,也一直在各种传感器方面努力研究,追求做到更快,更逼真,更精准。
传感器分类
机器人传感器主要包括机器人视觉、力觉、触觉、接近觉、距离觉、姿态觉、位置觉等传感器。可分为内部传感器和外部传感器两大类:
内部传感器是以机器人本身的坐标轴来确定其位置,安装在机器人自身中,用来感知机器人自己的状态,以调整和控制机器人的行动。内部传感器通常由位置、加速度、速度及压力传感器等组成;外部传感器用于机器人对周围环境、目标物的状态特征获取信息,使机器人和环境发生交互作用,从而使机器人对环境有自校正和自适应能力。外部传感器通常包括触觉、接近觉、视觉、听觉、嗅觉和味觉等传感器。
AR/VR应运而生
VR—Vitual Reality,虚拟现实,是利用计算设备模拟产生一个三维的虚拟世界,提供用户关于视觉、听觉等感官的模拟,有十足的「沉浸感」与「临场感」。俗话说就是,你看到的所有东西都是计算机生成的,都是假的,纯虚拟画面。典型的输出设备就是Oculus Rift、HTC Vive等等。
AR—Augmented Reality,增强现实,是虚拟数字画面加上裸眼现实,被讨论最多的AR设备是Google Glass。
MR——MediatedReality,由“智能硬件之父”多伦多大学教授SteveMann提出,是数字化现实+虚拟数字画面。
2018 年 11 月,西安儿童医院利用微软 HoloLens 辅助完成了儿童颅内血管畸形切除手术。西安儿童医院神经外科主任表示:在传统方法中,医生在看到二维(2D)片子之后,需要通过空间想象来叠加;AR技术本质是影像技术和影像检查的重新展现,并且支持软件加减、叠加,能让手术成功率、精确率进一步提高。
VR和AR是充分发挥创造力的科学技术,为人类的智能扩展提供了强有力的手段,对生产方式和社会生活产生了巨大的深远的影响。随着技术的不断发展,其内容也势必将不断增加,在人工智能、CAD、图形仿真、虚拟通讯、遥感、娱乐、模拟训练等许多领域带来了革命性的变化。
位置传感器:眼观六路,耳听八方
AR/VR由于是眼镜形态,一旦速度太慢、没跟上用户的运动速度,就会使用户产生眩晕感,体验感糟糕。这需要一个效能比较好、高精准度的陀螺仪及加速传感器产品来解决这个问题。Hillcrest 的BNO08X正好就是一款性能很好的软件搭配硬件的九轴传感器,使得眼镜中看到的画面非常顺畅,用户停下来的时候,画面也不会摇摇晃晃。
为了显示精确的画面,当你环顾周围时,头盔必须以亚毫米级的精度跟踪你的头部运动。这是通过各种内置传感器来实现的。有了这些传感器提供的各种数据,头盔就可以实现真正的“六自由度”,跟踪头盔可以跟随头部做出的任何运动。(注:物体在空间具有六个自由度,即沿x、y、z三个直角坐标轴方向的移动自由度和绕这三个坐标轴的转动自由度)
磁力计可以测量地球的磁场,因此总是知道“磁北”在哪个方向。这样就可以确保它指向的是正确的方向,防止出现“偏移”错误——即头盔以为自己朝着某一个方向时,其实朝着的却是另一个方向。
加速度计有几个用途,一个是检测重力,让头盔知道上方是哪个方向。智能手机自动转换横竖屏,靠的就是加速度计。而且正如它的名字所说,它可以测量沿着一个轴的加速度,因此它能提供有用的数据,让头盔知道一个对象运动的速度。
陀螺仪可以跟踪沿着一条轴的微小偏移(例如你稍微倾斜头部或点头的时候),来提供更精确的物体旋转信息。三星Gear VR没有采用更先进的红外跟踪方法,而是使用了惯性测量单元(IMU),它是集磁力计、加速度计和陀螺仪为一体的“多合一”设备。与大多数智能手机不同的是,这个IMU是专门用来减少滞后现象和改善头部跟踪性能的。还有产生3D音频的耳机,这样游戏就可以添加相对于你的位置的音频提示,让你可以听到好像是来自后面、上面,甚至下面的声音。
BNO085 九轴传感器+融合算法
智能魔戒,智能手套等产品凭借多重触控界面和惯性传感器,可轻易识别并检测用户的手指动作和手臂动作,轻松操控身边各种电子设备,并提供诸如遥控、鼠标、触控板、以及增强/虚拟现实设备控制器的功能,为用户带来强大的操控体验,彻底将人们从显示屏或摄像机面前解放出来。
随着AR、VR和MR等沉浸式技术正在快速发展,一定程度上改变了消费者、企业与数字世界的互动方式。用户期望更大程度上从2D界面转移到更身临其境的3D世界,从3D捕捉更丰富、更平滑的图景,从3D获得新的体验。影响面包括商业、店内体验、聊天机器人、虚拟助理、区域规划、监控等,人们将从只使用语言的功能升级到包含视觉元素在内的全方位体验。AR将超越VR,并满足用户的需求。
BNO08X将Hillcrest Labs专有高性能MotionEngine处理软件,以及加速度计、磁力计、陀螺仪、低功耗32位ARM Cortex MO+MCU等封装在一个系统中,支持增强型传感器融合算法,特别适用于VR/AR和3D音频领域。
运行 Hillcrest 的 SH-2 固件,它包含的MotionEngine 软件提供复杂的信号处理算法来处理传感器数据,并提供精确的实时 3D 定位、航向、校准加速度和校准角速度以及更多高级上下文输出。不仅如此,Hillcrest最高质量控制器方位和位置跟踪的 6DOF IMU解决方案,即便控制器位于摄像头视野范围外,BNO08X也能从控制器和头显中获取精准的位置。BNO08X使用SHTP (传感器集线器传输协议)为UART-RVC以外的所有接口(SPI,IIC,UART-SHTP)样式进行通信, SHTP提供了一种在BNO08X和支持多通道的主机之间传递数据的方法。对于需要高动态精度、低延迟和上下文/事件分类功能的应用,建议使用BNO085。
文章来源:润欣科技Fortune微信公众号
图片新闻
最新活动更多
-
12月12日火热报名中>>> STM32全球线上峰会
-
即日-12.26火热报名中>> OFweek2024中国智造CIO在线峰会
-
1月8日火热报名中>> Allegro助力汽车电气化和底盘解决方案优化在线研讨会
-
即日-0120限时下载>>> 爱德克(IDEC)设备及工业现场安全解决方案
-
限时免费下载立即下载 >>> 2024“机器人+”行业应用创新发展蓝皮书
-
即日-2025.8.1立即下载>> 《2024智能制造产业高端化、智能化、绿色化发展蓝皮书》
推荐专题
发表评论
请输入评论内容...
请输入评论/评论长度6~500个字
暂无评论
暂无评论