对Magic Leap的技术分析，要实现了是非常了不起的！

　　Magic Leap获阿里巴巴领投的7.935亿美元投资

　　极具科幻感的技术，就是那些让人一想起来就有梦幻感的东西，并且激励了对干出未来、奔向未来的激情。增强现实（AR）技术不仅属于此类，同时尤其值得注意的是，它可以应用到各行各业，带给各类用户目前尚无法估量的超级体验。

　　知名增强现实（AR）创业公司Magic Leap获得阿里巴巴领投的7.935亿美元投资，AR技术正又一次进入人们的视野。代表未来的明天，世界可能就不同了，参与进来将是所有有志于创造奇迹的企业和个人的梦想。

　　正如Magic Leap，Inc.创始人、总裁兼首席执行官Rony Abovitz所言，“Magic Leap在努力创造一个新世界，让数字和物理现实无缝融合在一起，带来不可思议的全新体验。”

　　不过，目前除了宣传视频，Magic Leap还未发布任何实机demo演示。虽然如此，但从Magic Leap之前亦获得谷歌等具有VISION的企业的大笔投资来看，仍有理由相信新的Mixed Reality Lightfield将很快来到大家身边。

　　对Magic Leap的技术分析

　　这些看似魔幻的场景是如何实现的呢？从Magic Leap近年来申请的专利和引进的专家来分析，其技术大致可以归纳为以下两个大方向：

　　一、光学成像

　　首先，大家都明白，无论是虚拟现实（VR）应用，还是增强现实（AR）应用，映入我们眼帘的图像基本都要经历这样的过程：光-镜头-传感器-数字化CV算法-LCD/LED显示器，最终我们看到的AR/VR内容都是通过LCD/LED显示器传入人眼。

　　LCD/LED本身在耗电、重量、体积等方面存在缺陷，是AR/VR用户体验发展的主要瓶颈之一。而MagicLeap拥有一种名为Fiber Optic Projector的核心技术，这种“投影”与传统意义上的投影相比，尺寸更小，功耗更低，可以通过一根直径1毫米、长9毫米的光纤投出几英寸彩色图像。

　　二、图像处理

　　在MagicLeap的宣传视频上，主要用电影中的CG技术来展现其理想中的AR增强场景，场面宏大，并且及时产生互动。这对视频处理需求极高，首先要捕捉三维信息，计算机必须通过传感器感知三维环境信息，这个传感器可以是普通RGB摄像头，也可以是TOF或者结构光深度摄像头。

　　其次，就是对信息进行三维场景重构。通过所获得的环境信息实时对场景进行三维重构，再通过AR领域的相关算法，将三维环境和位置信息进行图形渲染。目前重构比较理想的有：Kinect Fusion重构、LSDSemi-dense SLAM重构、DTAM重构。

　　接下来则需要计算机对重构的场景进行识别，即三维场景识别。让计算机认知到什么是地板，什么是天花板，什么是桌子，桌子的材质是什么。目前，3D场景与物体的识别尚属于起步阶段，受限数据集和采集方式，目前并没有显著的突破。因此在Magic Leap的视频中，他们巧妙地只使用了桌子，以及一些可以有效识别的物体。

　　物理建模与仿真：在识别出三维物体后，虚拟物件（小机器人）需要和物件发生交互（例如碰撞），则需要对三维物体的材质进行识别。由于视频中展示的是刚性碰撞效果，仿真上相对容易。如果是流体材质仿真，就需要CG领域的physically based rendering。该技术通过建立物体的物理数学模型，在计算机中仿真交互中物体的物理变化。如果有一天MagicLeap真要实现概念视频中鲸鱼的效果，大量的水滴溅射效果在移动设备上的实时计算仿真也会是很大的工程门槛。

　　实时CG图像渲染：在完成了所有呈现效果的仿真计算之后，便是将AR效果实时渲染出来，进而投射在显示设备上。

　　对于这段流畅的视频和即时的交互性，可以说是当今图形计算领域和物体识别的最高水平，甚至是科学家希望实现的“梦”。

　　这个原理听起来简单，要在工程上实现是非常了不起的。Magic Leap虽然前景美好，但其光场设备微型化挑战巨大，离真正产品化仍有不小的距离。

　　所有伟大公司的共性，都是在越迷茫的时候越选择了最难的路

　　Magic Leap技术实现方式挑战之大，还没其他厂家跟进。

　　微软的Hololens方式在产业链与技术上实现更容易，也是大部分厂家都选用模式，如Daqri、ODG、Atheer labs、Meta等。如果Magic Leap有原型机，其尺寸一定非常之大。单就图像处理部分，没有台配置顶级GPU的工作站是搞不定的，如果是大场景、流体材质，用上“天河”也不足为奇。

　　AR应用有很多核心技术，包括虚实结合技术（register）、定位技术（tracking）、渲染技术（rendering）、交互技术，再如语音、手势等及数据分析与挖掘等。单就某一技术可以能发展很顺畅，但当将这些技术统一到一起，才是Magic Leap最大的挑战，也是其核心价值。

　　为什么Magic Leap一出就令人着迷呢？

　　到现在人们的交互还停留在二维世界里，人们只能与屏幕中的虚拟物体进行交互，一屏之隔。虚拟现实让屏幕无界化成为了可能，但现阶段，甚至未来的很长时间，也只是没有现实世界支撑的虚拟线性的世界，即便再真实，心里清楚那就是一个“虚构的世界”。

　　人们需要更深度交互平台，Magic Leap也许就可以做到。在Magic Leap创造的世界里，我们的眼睛将告诉我这个世界是真实的，而非幻想。我们的大脑皮层释放的信号，也将其视为一个真实的动态世界，耳朵也不会揭发这个世界是虚构的。

　　这是人类对科技的本能需求。Magic Leap如果实现了，人们或在他们幻想的世界里生活、工作、交流，且毫无违和感，将其认知为Reality。

　　结语

　　正是由于人类情不自禁之不断好奇、求知、探索的天性，亦或对未来无限美好状态、场景的渴望，才激发了不畏挑战的勇者、智者、先行者穿越荆棘，在不断探明目标、愿景的过程中，肩负起一般它人尚未发现的使命。

　　从对Magic Leap的技术分析来看，要实现了是非常了不起的！

　　文/龙风