HoloLens 2与美国陆军IVAS作战头显解析

很多人可能知道,去年底微软HoloLens击败Magic Leap,拿下了美国下一代陆军IVAS作战头显的订单,总数为十万台,订单金额达4.8亿美元。 该消息出来之后,不少原以为混合现实离我们还很远的人都大跌眼镜,而HoloLens 2的预订数量现在也直线上升 — 究竟是什么改变了客户们对混合现实头显的看法?上周,我们在微软Redmond园区实际使用HoloLens 2开发制作了应用,对设备本身有了更深入的了解,在这里帮助大家分析一下为什么HoloLens 2被选为IVAS作战头显的原型。

背景知识:什么是IVAS?

IVAS – Integrated Visual Augmentation System集成视觉增强系统是美国陆军下一代“眼镜系统”的名称,也叫HUD 3.0项目,是为了给士兵一套完整的单兵和班组训练、作战智能辅助系统,减少携带的设备,快速获取信息。此前的HUD 1.0主要是增强双目夜视能力,所对应的ENVG-B目前已经部分部署,形象如下:

ENVG-B

你可能猜到了,由于佩戴时干扰对战场的判断,一般士兵们并不太喜欢戴这部设备。后来的HUD 2.0由于技术进步太快被取消,而HUD 3.0的目标是除了提供夜视能力外,还要把战场的各种数字信息都投射到眼睛里,同时又不能干扰到士兵直接观察战场的能力,这样的需求就只有混合现实眼镜能够达到了。IVAS就是这样应运而生的项目。IVAS计划于2022-2023年小规模部署,2028年全军列装。

那么问题来了,为什么IVAS最后选型时定为基于HoloLens 2开发了呢?

要点一:无限制的操作交互空间

这一代HoloLens 2解决了一个此前HoloLens 1代被人长期诟病的问题:视野范围太小。在过去的几年里,我们曾给几万人试戴HoloLens一代,初次戴上就能顺利看到完整的全息影像并交互的人不超过一半,很多人都需要再次上下调整头显。这是两个问题造成的:HoloLens一代的可视角范围,尤其是上下范围过窄,只有不到20度,另外整体重量分配不平衡,第一次戴的人很容易镜子向下掉,这样就什么都看不到了。HoLoLens 2采用了新的光波导技术和MEMS激光投影,可视角范围已经达到了52度,不再是长方形,上下明显拉长,随便你怎么戴在头上,全息物体都会出现在你眼前,明显减少了试错的次数,而佩戴速度在训练中和战场上其实都是非常关键的。

HoloLens 2佩戴与操作

HoloLens 2的另一个明显特点就是高精度的深度识别摄像头。在HoloLens一代上,手势的识别是通过Kinect 3来做的,由于精度不高,只能简单捕捉“夹手指”“开花”“拖拽”等动作。在2代里,这个深度摄像头被替换成了高达百万像素的Azure Kinect传感器,它的识别精度已经达到了毫米级。我们从去年底开始测试这款传感器用于工业零件识别和人体姿态检测,效果远好于同类产品,应该说是有质的飞跃。这就让全方位的手势识别甚至是物体识别成了可能。

HoloLens 2 MRTK操作

上面这段录像是我们用HoloLens 2实时抓取的操作画面,你可以看到双手的位置被实时捕捉下来,每一根手指头的动作都被计算并还原成一个“虚拟手”来操作全息物体。这样就可以拥有近乎无限的扩展工作空间,而这在工作条件恶劣的野外、厂房中是非常必要的。未来只需要一台一体的混合现实头显,用户在有限环境中就可以结合数据平台,实时拖拽该位置各类信息进入虚拟工作空间分析,得出结论,并执行相应对策,而不再需要携带电脑和各类冗余设备。

要点二:强大的WCOS和软件生态

HoloLens 2能够入选的另一个关键是随机搭载的下一代操作系统:WCOS。

WCOS又称厕所操作系统(Windows Core OS),是微软下一代硬件设备的标配系统,具有模块化强、实时性好、能耗低的特点。HoloLens 2是第一个搭载这款操作系统并上市的硬件,下一个会是2020年的Surface Hub 2X。WCOS的界面由CSHELL(Composable Shell)提供,在不同设备上有不同展现形式。

WCOS是一款模块化的操作系统,不仅跨平台,而且根据不同设备定制能够提供近似实时的访问能力。在混合现实应用领域,一个近似实时的操作系统是绝对必要的,否则就会出现全息物体和空间不对应、延迟或漂移的现象。相比之下,安卓从底层设计上无法保证按时完成相应任务,基于安卓的眼镜很难达到可接受的混合现实效果。因此目前市面上的混合现实头显只有微软HoloLens(从Windows Holographics到WCOS)和Magic Leap(Lumin OS)两个系列。在WCOS之上配合MRTK 2,UWP开发非常快捷,我们在拿到设备后两个小时内就已经编译出了效果令人惊叹的引擎拆解应用,学习门槛相当低,和过去比,开发者可以把更多的精力放在后台的数据整合分析上,结合云服务,做出真正结合用户工作流程的产品。

要点三:传感器定制与应用开发

实际上在整个IVAS这次的招标中,共有13家供应商中标。除了HoloLens外,还有传感器供应商和应用软件开发商。FLIR热成像仪就是其中一家,这一代IVAS头显顶部安装的柱状摄像头实际上就是一台FLIR的可集成热成像仪。按照CNBC的描述,这台热成像仪应该是FLIR分辨率在640*512的产品,FOV90度以上,其实就单这个热成像仪可能就比整台HoloLens 2要贵了。另外FLIR的产品不少都是军民两用,根据技术参数有不同的出口管制,非美国盟友国家即使民用想上这个传感器都很困难。

美国陆军士兵佩戴定制版HoloLens 2及FLIR热成像仪

仔细看的话,你可以注意到在眼镜的侧面有一根线,接入了后侧的计算和电池单元,这应该是通过HoloLens 2的USB-C接口连接FLIR的热成像仪,采集数据的同时供电。热成像仪的实时性要求较高,微软并没有采用传统蓝牙的方式连接。

基于WCOS的HoloLens 2的一大特点是多种输入、输出接口标准化,而且内部驱动接口完善,稍作改动就可以兼容更多的传感器,在这个项目里陆军似乎还要求加入了GPS定位、罗盘等。

未来发展

IVAS目前的计划会对HoloLens 2进行更深度的定制,与美军作战头盔整合后形态也会发生大幅变化。我们会持续跟进这方面的进展为大家报道。

Leave a Reply

Your email address will not be published. Required fields are marked *