微软HoloLens评论-缩小AR与VR之间的鸿沟 _HoloLens

本文概述

硬件限制-Google Glass与Oculus Rift与微软HoloLens
那么微软做了什么呢？
HoloLens硬件难题
流媒体替代
HoloLens是否有用例和市场？

微软有着悠久的传统, 即通过引人注目的技术演示来增加相对乏味的产品发布消息, Windows 10也不例外。这家软件巨头利用这次机会在HoloLens上引起了很多议论, HoloLens是一款未来派头显, 可窥见增强现实(AR)的未来。但是, 微软也有壮观的硬件失败传统, 在鲍尔默(Ballmer)政权统治下达到了顶峰。还记得Kin手机吗？我也不。
出于多种原因, 推出HoloLens可能不会因此而失败。首先, HoloLens在成为商业上可行的设备之前还有很长的路要走-可能需要几个季度或几年的时间。其次, 其背后的概念是合理的, 它建立在一些有前途的新兴行业趋势上, 例如可穿戴技术和虚拟现实(VR)耳机。 HoloLens试图通过将许多功能捆绑到单个设备中来有所不同, 但是在本Microsoft HoloLens评估中, 我们将了解已经存在的功能和正在运行的功能。

文章图片
由于这是一个专为VR专业人员和其他工程师设计的工程博客, 因此我不会花很多时间回答” 什么是HoloLens？” 这个问题。并解释了AR和VR之间的区别。增强现实技术在各个行业中具有一系列潜在应用, 但在娱乐领域的应用却有限。尽管虚拟现实也有一些专业应用程序, 但它更适合娱乐。
两种技术仍然有很多局限性, 必须克服许多技术挑战才能获得大众市场的吸引力。这是一个渐进的过程, 将需要数年而不是数月。创造这种产品而又不花很多钱的技术只是还没有准备好, 但是它正在慢慢实现。
让我们看看那里有什么, 还有什么缺少。
硬件限制-Google Glass与Oculus Rift与微软HoloLens Google Glass于2012年初发布, 并于一年后开始出货, 售价为1, 500美元。高昂的价格意味着它只留给了一个很小的细分市场-早期采用者被Google的PR和营销机器称为” 探索者” 。该设备提供有限的AR功能, 并包含一个分辨率为640× 360像素的小型棱镜投影仪, 并由过时的处理器提供支持。
尽管Google Glass吸引了一段时间, 但很难将其描述为成功。热衷于追赶潮流的应用程序开发人员开始失去兴趣, 而” 探索者” 似乎在短短几个月内就克服了时尚。最新的谣言指向内部装有英特尔芯片的Google Glass新版本, 因此对于an告来说可能还为时过早。无论哪种方式, 无论你如何看, 谷歌眼镜都不是一个很大的成功。
Oculus Rift可能是目前最受关注的VR系统, 但与Google Glass不同, 它尚未启动。 Oculus VR在设备上已经使用了多年, 在此过程中, 该公司经历了两代开发套件。预计消费者版本将于2015年某个时候推出, 并具有修订的规格。 2014年3月, Oculus VR被Facebook以超过20亿美元的现金和Facebook股票收购。
三星的Gear VR提供了一种不同的方法, 因为它利用了Galaxy Note 4平板手机来代替内置屏幕, 但是它依赖于Oculus开发的某些技术。我发现模块化概念很有趣, 因为可以将类似的方法用于不同供应商的一系列移动设备, 使用户每次获得新手机时都可以有效地升级硬件。高通公司的Vuforia平台为移动设备和潜在的AR / VR应用提供了一些有希望的功能。
那么, 缺少什么呢？简单的答案可能是处理能力, 但要复杂得多。
这两个概念的问题在于它们仍然领先于时代, 并且技术仍然需要赶超。微软的HoloLens必然会遇到同样的问题, 但是微软的概念有所不同, 因此有机会克服其中至少一些问题。
Google Glass被设计为轻巧的可穿戴设备, 这导致了许多妥协。该设备在用户右眼前方的厚棱镜上具有单个显示器。考虑到视野(FOV), 分辨率非常有限。例如, 智能手表的显示屏往往具有类似的垂直分辨率, 而该设备的设备仅占据用户视野的几度。 Google Glass基于过时的片上系统(SoC), 并且电池寿命有限。
设计移动设备并不容易, 并且总是需要权衡一些。更高分辨率的显示器需要更大的GPU功率, 因此必须使用更大的SoC和功能更强大的GPU才能在更高的负载下工作, 然后这需要更大的电池, 依此类推。这是一个很好的平衡动作, AR耳机太小了, 无法容纳像高分辨率平板电脑中使用的那样的大电池。
乍一看, Oculus Rift在硬件方面似乎并没有遭受类似的缺点, 因为它在电池寿命和便携性方面没有任何妥协。它不依赖集成的SoC, 并且希望有1080p的显示效果。但是, 实际上, 这还不足以实现真实感。该设备的FOV非常大, 像素密度仍然不足。
为了克服这个问题, VR设备将不得不在将来的某个时候使用更高分辨率的4K / UHD显示器, 甚至8K显示器。这项技术几乎已经存在, 但它并不便宜, 而且几乎是可移植的。
如果要在具有尽可能高的详细设置的4K显示器上运行最新的AAA游戏, 则需要两块高端独立显卡。例如, 基于旗舰Maxwell和Hawaii一代GPU的Nvidia和AMD卡。要消除帧撕裂(使用类似于Nvidia的G-Sync或AMD的FreeSync的技术), 你需要多一点的力量, 而为双眼做合适的3D则需要更多的GPU力量。
底线是：要使用当前可用的技术为4K VR设备供电, 你至少需要两个GPU, 它们的28nm晶体管总数为12-14亿个, 消耗350W至500W的功率, 这不包括CPU和系统的其余部分。基于目前可用的GPU和CPU, 这是一个保守的估计-甚至不讨论为两个4K屏幕供电(每只眼睛一个)的想法。
【微软HoloLens评论-缩小AR与VR之间的鸿沟】Nvidia的最新移动SoC(用于Google Nexus 9的64位Tegra K1)具有192个基于开普勒架构的CUDA内核, 而不是效率更高的Maxwell。该公司当前的旗舰级独立显卡采用2048个Maxwell CUDA内核, 其运行频率高于移动Tegra SoC中的Kepler内核。
具有逼真的图形的便携式VR设备显然在未来几年内将不可用, 甚至像Oculus Rift这样的有线设备也有很长的路要走。平台的总体成本是另一个问题。能够以1080p播放可播放帧频的游戏PC相对便宜, 因为主流GPU的速度足以完成这项工作。但是在2160p时, 你需要四倍于GPU的能力, 并需要更多内存和更快的CPU。
有另一种解决此问题的方法, 我将在稍后进行讨论。
那么微软做了什么呢？还记得我之前提到的Facebook的Oculus Rift交易吗？宣布仅几天后, 就出现了微软从Osterhout Design Group(ODG)购买了与增强现实和可穿戴计算机有关的知识产权(IP)资产的消息。一些专利涵盖了具有部分透射光学元件的” 透视近眼显示眼镜” 。
换句话说, 微软购买了创建HoloLens所需的IP。据报道, 该交易涉及ODG的数十项专利, 其中包括数十项正在进行的专利申请。同时, 据说Oculus VR仅拥有一项专利, 模糊地描述了” 虚拟现实耳机” 。
微软似乎正在试图兼顾两者的优势-通常与VR设备相关联的宽视场, 以及适合AR应用程序的透明显示表面。该方法应允许HoloLens使用比VR设备少得多的处理能力, 同时由于宽视场而提供更多功能。由于显示内容的不透明性有限, 因此HoloLens可以尝试以稍低的分辨率和图像质量来代替真实感的内容。无需创建现实的幻想, 因此所涉及的硬件开销要少得多。由于背景已经存在, 因此许多现成的技术都可以使HoloLens减少或消除混叠并生成美观的合成。
这个事实限制了HoloLens在娱乐领域的吸引力, 而不是真正的VR耳机。但是, 它为工程, 医疗保健, 建筑和国防等其他行业带来了许多可能性。 HoloLens可用于协助医疗保健专业人员, 工程师, 工业机械的操作员, 士兵和执法人员。
但是, HoloLens仍在消费者领域中具有应用。微软的Phil Spencer说, HoloLens需要成为一个成功的独立产品, 并补充说该公司已经在研究将其与PC和Xbox One控制台统一使用的方法。该设备可以用作游戏者的平视显示器(HUD), 甚至可以用作健身房的健身爱好者。
HoloLens硬件难题微软尚未透露确切的硬件规格, 因此我们仍然不太清楚期望什么。没有关于显示分辨率, GPU GFLOP, 连接性或电池寿命的消息。这就留下了很多的猜测空间, 技术新闻界很乐意填充列数和点击诱饵, 但是还没有正式的东西。
就像我说过的那样, HoloLens所需的GPU功能应该不如Oculus Rift和类似的VR产品那么多。但是, 这并不意味着Microsoft可以摆脱廉价的SoC, 就像移动产品中常用的SoC一样。微软目前使用来自不同供应商的一系列芯片–集成有用于手机的4G / LTE的Qualcomm Snapdragon SoC, 用于Surface Pro平板电脑的Intel芯片(以及失效的Surface RT产品上的Nvidia SoC)以及Xbox One中的自定义AMD APU 。
出于功耗考虑, 最明显的选择是Snapdragon SoC, 类似于Lumia手机中使用的SoC。这并不意味着HoloLens的功能将不如Google Glass。 HoloLens是一个更大的设备, 可以容纳更大的电池。而且, 最新的Snapdragon SoC比Google Glass中使用的芯片组功能强大得多(后者比智能手表中使用的芯片要慢得多)。早期的基准测试表明, 高通即将推出的旗舰SoC(如Snapdragon 810)中使用的Adreno 430 GPU是强大的引擎, 能够处理4K分辨率并以1080p渲染相对复杂的3D内容。
不仅仅是纯粹的渲染性能。 GPU提供了巨大的计算潜力, 并且可以用于游戏之外。 Google将Tegra K1用于Tango项目, 该项目还处理了许多对AR或VR设备非常有用的技术-自动化, 无人驾驶汽车等。我已经提到过Vuforia, GPU行业中还有其他公司, 但是Nvidia具有使用CUDA内核的优势-多年来, 它一直是专业图形和GPGPU计算市场的市场领导者。
但是, 我们不应该被束缚在” 什么都在那里” 的思维定势中。 HoloLens上市需要一段时间, 而后代肯定会配备功能更强大的硬件。英特尔的新14nm Atoms即将面世, 而基于ARM的14nm和16nm SoC应该在几个季度后出现。新的非平面节点将允许每瓦更多的性能, 从而在不影响电池寿命的情况下大大提高了整体性能。
流媒体替代我前面提到了另一种选择–云计算和流技术可用于显示复杂的资源密集型3D内容。最新的SoC具有802.11ac无线和快速LTE调制解调器, 足以用于高分辨率流。这种方法(尤其是LTE)的缺点是滞后。
如果在PC工作站甚至Xbox One上本地呈现了其他内容, 则应限制延迟, 但是远程云呈现可能会出现问题。例如, 英伟达(Nvidia)试图通过在战略位置设置GRID服务器来解决此问题, 以通过低延迟的游戏流媒体覆盖最大的市场。仅几毫秒的额外延迟就可能损害AR应用程序中的用户体验。
移动SoC应该足以应付大多数日常任务, 例如Skype和某些有限的增强现实应用程序。但是, 如果建筑师想走进一个建筑工地, 看看使用增强现实技术完成的建筑物看起来如何, 那么HoloLens将必须有更多的硬件作为后盾。使用数十万或数百万个多边形, 高级照明效果等来渲染复杂的场景。
好处是HoloLens可以提供许多功能, 即具有相对强大的集成GPU, 可以处理许多日常任务, 例如高分辨率视频流, 浏览甚至休闲游戏。另一方面, 专业人士可以采用802.11ac或LTE来流化更复杂的内容(远程呈现)。
微软实际上可以为家庭用户和专业人士使用相同的硬件平台, 而后者将本地或云流用于更高级的资源密集型任务。
HoloLens是否有用例和市场？微软在许多不同的情况下展示了HoloLens。尽管这些演示非常有趣, 但是它们并没有为新设备确切地提出现实可行的商业用例。
我喜欢HoloLens的原因在于它介于真正的可穿戴设备(例如Google Glass)和有线VR解决方案(例如Oculus Rift)之间。 HoloLens不必足够轻便且便于携带以在街上穿着, 但同时又不必将其拴在计算机或外部电源上(两者兼有)。我也喜欢微软选择领导而不是跟随的事实。 HoloLens与现有的概念和产品有所不同；它具有创新性, 未来感和独创性-来自Redmond的新鲜空气。
但是, 这种方法还引发了有关HoloLens用例和市场规模的许多重要问题。它无法替代VR解决方案之类的显示器, 但由于其庞大的体积和外观, 因此无法在日常情况下使用。尽管你可能会看到一些通勤者和运动员使用智能眼镜, 但你可能看不到滑雪者或慢跑者戴上HoloLens头戴式耳机。
主流用户可以使用HoloLens做什么？将支持哪种软件平台和操作系统？那专业的应用程序呢？ HoloLens跨平台功能, 硬件规格, 零售价和物料清单(BOM)呢？
许多问题仍然需要回答, Microsoft可能需要一段时间才能发布所有信息。
微软将必须使用相同的硬件同时瞄准主流和专业市场。根据价格和BOM, Microsoft可以利用其Xbox用户群以及部分PC游戏市场, 将HoloLens产品推向主流用户。如果价格太高, 要销售这样的产品并不容易, 但是用户群就在那里-它愿意在新产品上花很多钱。主流市场方法还将帮助吸引更多开发人员, 从而扩展生态系统并创建新的用例。
但是, 如果HoloLens产品一定要为主流市场定价, 那么Microsoft将如何追逐专业市场, 并在此过程中赚钱呢？
多年前, 我曾经以离线3D图形为生, 并且我在HoloLens中看到了很多潜力。那里有很多3D / CAD用户, 他们中的许多人都同意。这是否意味着每个设计人员都将能够购买面向主流市场定价的HoloLens设备并将其用于工作？可能, 但可能不会。
在此空间中还有其他营销产品的方式。我已经涉足GPU领域多年了, 那段时间我学到了一两个关于该行业运作方式的知识。尽管面向游戏玩家的高端图形卡备受关注, 但Nvidia和AMD真正的摇钱树却是专业的图形和计算解决方案。他们是这个双头垄断的无名英雄。消费卡和基于同一GPU的专业卡的BOM大致相同, 但是专业卡的成本要高得多, 高出一个数量级。尽管总销量较低, 但它们提供了巨大的利润, 并产生了大量的收入和利润–你可以查看任何Nvidia季度收入报告以获取更多信息。
微软可以采取类似的方法。 HoloLens可以在两个市场上使用相同的硬件, 限制消费者模型的功能, 并通过不同的许可等级将其扩展到专业产品上。
当然, 这只是猜测, 但这就是这个市场的运作方式。微软不必重新发明轮子。