XR沉浸式虚拟演播室应用与研究

　　文/刘杰 楚志刚 中国气象局气象宣传与科普中心（中国气象报社）

　　摘要：中国气象报社根据自身需求设计了XR沉浸式虚拟演播室，该演播室依据XR虚拟技术的工作原理进行系统设备搭建，将LED屏幕和虚拟扩展画面相结合，通过虚拟引擎为新闻、科普视频内容的呈现提供了更加丰富的想象空间。

　　关键词：XR演播室；虚拟演播室

　　引言

　　随着互联网技术和信息传播手段的发展，短视频已经逐渐成为人们日常生活不可缺少的传播信息资讯的一种方式，且比例越来越大，对信息呈现和交互性体验的要求也不断提升。XR沉浸式虚拟演播室作为新兴的数字化视频节目制作工具，为人们提供了前所未有的沉浸式视听体验和全新的交互沟通方式，已经逐渐在行业中广泛应用。中国气象报社结合自身业务需求设计搭建了XR沉浸式虚拟演播室，为新闻科普短视频制作及直播带来全新的创作手段。

　　1. 虚拟演播室的发展

　　Orad公司在1995年开发了Cyberset可移动摄像机图形识别系统，并使用这种技术推出了全球首个真三维虚拟演播室。它通过将计算机生成的虚拟三维场景与摄像机现场拍摄的人物活动图像进行数字化的实时合成，使人物与虚拟背景能够同步变化，从而实现了两者完美融合，直接输出合成画面，早期主要应用于电视节目的制作[1]。早期的虚拟演播厅主要是应用“绿幕抠像”技术，然而，由于表演者处在绿幕环境中，缺乏真实的情境感受，场景的互动主要依赖于后期制作或主持人的表演技巧。从实景演播室到背景演播室，再到虚拟演播室，演播室作为视频节目制作的重要场地，历经多层次、多阶段的发展。随着XR技术的完善和进步，将多种视觉交互能力赋能给演播室，制造出高度逼真、互动性强的虚拟现实结合效果，诞生了XR演播室。广义上讲，只要在演播室里应用了XR技术就是XR演播室，而以三面LED屏幕作为背景的演播厅，特效更炫，沉浸感更强，通常称为XR沉浸式演播室。

　　2. VR、AR、MR、XR虚拟技术

　　VR（virtual reality）指虚拟现实技术，通过计算机图形技术和设备模拟人的视听和触觉,构建一个独立的虚拟世界，让受众产生身临其境的体验。VR所产生的所有东西都是计算机生成的，都是虚拟的。

　　AR（augmented reality）指增强现实技术，将计算机生成的图像用前景图层形式叠加在实景上，把虚拟信息与真实世界巧妙融合，运用多媒体、三维建模、实时跟踪等多种技术手段，将真实世界信息和虚拟世界信息“无缝”集成。实现虚拟信息超越现实的感官体验，实现真实与虚拟同时存在，从而达到增强现实的效果。

　　MR（mediated reality）指混合现实技术，将真实世界和虚拟世界融合在一起，在现实世界中叠加虚拟物体和场景，完成两个物体的自然融合后形成一个新的可视化环境，从而全面提升用户体验真实感。

　　XR（extended range）指拓展现实技术，利用硬件设备结合多种先进技术手段，运用场景搭建、摄像跟踪、实时渲染、输出合成等结合LED显示，制作出一个全方位无死角的虚拟世界。同时XR也是一个总称，包括任何能帮助我们整合物理世界和数字世界的技术。简单来说，XR是AR、VR、MR等多种技术的统称，通过将三者的视觉交互技术融合，为体验者带来虚拟世界和现实世界之间无缝转化的“沉浸感”。在XR技术的加持下，主持人可以在三维场景中自由地穿梭，实现无缝转换，呈现出沉浸式的表演，实现虚拟和现实的交互式的体验。中国气象报社采用的XR虚拟技术能够在几十平方米的真实空间营造出数百平方米的虚拟仿真环境空间感。

　　3. XR沉浸式虚拟演播室主要构成

　　一套XR虚拟演播室系统一般包括LED显示系统、虚拟制作系统、演播系统、实时渲染引擎、摄像跟踪系统、播控系统等，还有传统演播室中的摄像机、灯光系统、音频系统等[2]。本文对以下几个系统进行介绍。

　　3.1 LED显示系统

　　LED屏幕是像素点主动发光成像技术，相比传统液晶投影等透射式出光成像技术，有光效高、视角大、亮度高、便于安装维护等优点，是目前还原自然色彩最好的一种技术。LED显示系统主要包括LED屏幕拼接器、LED发送卡、LED接收卡、LED屏体，通过显示系统来接收渲染服务器输出的实时渲染图像进行显示，系统支持不同点间距屏幕的拼接与显示，支持不同比例与分辨率的图像点对点显示，使屏幕显示效果达到最佳状态。在中国气象报社虚拟演播室方案中，采用了LED屏背景立屏1块、侧屏2块、地面屏幕1块，其中背景屏和侧屏选用的是1.2毫米点间距屏，地屏使用的是2.6毫米点间距屏。地屏与背景屏和侧面屏构成包围式显示空间，结合虚拟播控软件基于摄像机视角的透视投射效果，以及虚拟引擎实时渲染的虚拟画面，可实现基于真实环境屏幕叠加三维虚拟空间的沉浸式显示效果。

　　3.2 演播系统

　　演播系统主要由XR合成服务器、XR渲染服务器及服务器配套XR制作软件构成。XR合成服务器可接收渲染服务器实时渲染引擎输出的画面，并带有画面合成及调整功能，支持实际画面与虚拟画面合成、AR前景叠加、自动校正实际画面与虚拟画面间的色差、实时调节延迟，并且支持向多种显示设备发送视频信号。XR合成服务器接收虚拟引擎渲染的AR前景，将其叠加在实际画面前，实现AR效果；接收虚拟扩展画面，并与实际拍摄画面缝合，实现XR效果；AR效果、XR效果可同时应用，实现混合现实，即MR效果；服务器可基于时间线同时控制音视频和各种周边设备，实现AR、XR、MR、声、光、电、机械的综合性协同应用；本方案中使用了8台服务器，同时配置有硬件同步卡保证多台集群渲染的画面同帧输出，每一台渲染服务器配置了专业的外视频输入卡，可以接入4K分辨率60帧的外部视频信号，可以进行异地连线或资讯的实时接入。

　　3.3 实时渲染引擎

　　实时渲染引擎根据摄像机轨迹数据实时渲染并输出内容。内置三维实时渲染引擎：可进行三维空间渲染服务。三维空间位置可调整：屏幕上的三维空间可调整到任意位置，可以前后、左右、上下移动微调，并且具备26视点的视角切换功能[3]。随着摄像机的移动，在LED显示屏上投射内容也随之移动，在屏幕上创造出一种虚假的深度感，同时也将虚拟场景延伸超越了LED屏幕的空间，并与摄像机拍摄内容进行合成输出，虚拟扩展内容与LED显示内容可以无缝衔接一体化过渡，能够呈现近乎真实的视觉效果，让观众体验到更加精彩的影像世界。本方案中支持对接Notch、Unreal Engine 4、Unreal Engine 5等实时渲染引擎。

　　3.4 摄像跟踪系统

　　摄像机跟踪系统是XR虚拟演播室系统中的重要组成部分，主要作用是通过使用传感器、接收器等设备，实时跟踪和记录主持人和物体的位置和动作，以及物体的移动和变化，使得虚拟场景和角色能够与真实人物和物品精确匹配。同时为虚拟引擎中的虚拟摄影机提供三级位置信息及相关的镜头数据，来保障虚拟摄影机与真实摄影机的轨迹虚拟引擎中的虚拟摄影机提供保持同步。一般有图像识别跟踪技术、光学跟踪技术、传感器跟踪技术等。

　　中国气象报社在演播室屋顶粘贴了若干反光贴片，为跟踪设备提供整个演播室的光学地图锚点，实现对摄像机的位置跟踪定位。跟踪设备还可以将摄像机镜头参数传输给后站的渲染引擎，渲染引擎通过计算渲染，实时生成图像传送到LED屏幕上，使虚拟场景内容随着摄像机移动而实时变化，显示屏幕外的拓展影像也随之变化，从而达到了所见即所得式的实景拍摄效果。

　　3.5 灯光系统

　　灯光系统在XR演播系统中也十分重要，直接影响节目的制作和播出，不能当作一个简单的照明工具，而是根据场景模拟出真实世界中的光线情况，从而实现以假乱真。一套完善的灯光系统除了灯光本身，还需要一套优质的控制和调色系统。LED灯具功率低、效率高，搭载调光系统更加智能、简单，也更加可靠、安全。中国气象报社虚拟演播室灯光系统采用LED灯具，使用了20台灯具围绕主播人采用环形布光方式，每一组灯光的方向、明暗、色温均可进行精细调节，可以实现利用面光、逆光、辅助光及背景光等灯光调节满足不同节目、不同场景中的环境光线需求，使节目中的场景、人物和光线整体和谐统一，体现立体感、空间感。

　　4. 虚拟场景

　　XR虚拟演播室最大的优势是可以实现所见即所得，实现场景自由转换，调用不同样式风格的虚拟场景就可以满足各种栏目的快速制作需求，在有限的演播室空间内，展示无限的视觉效果。虚拟场景是虚拟演播室中非常重要的一个部分，场景的制作精细程度及效果直接关系到节目的最终质量，场景搭建是一项关键且复杂的任务，需要考虑到应用需求和实际情况，保证视觉效果的同时，实现更高实用性的表现。

　　中国气象报社结合自身需求，制作了6套常用场景来满足新闻发布、报道、访谈、解读、科普、连线等多种业务需求。把演播厅场景设计为多功能虚拟演播厅，视觉效果可达到400多平方米，摄像机内主持人仿佛置身于一个现代化的充满科技感的演播大厅。该场景用于录制大、中型的视频节目，同时也是实景大厅的一个有效补充。发布厅场景模拟新闻发布会现场，实现在演播室达到在新闻发布大厅的效果，尤其在线上进行新闻发布时，直接在演播室就可以达到预期效果，摄像人员无须再将大量设备运至发布会现场。

　　室外自动观测站场景，使用3D技术模拟了一个具有显著气象特点的气象观测站场景，主持人足不出户就可以气象站背景来播报有关气象类的节目。同时还模拟四季变化，可以一键切换到任意季节，让观众能感受场景中春季的百花、夏季的绿荫、秋季的金黄、冬季的白雪。访谈场景，专家访谈是常用的节目形式，通过主持人与嘉宾专家对话，让观众更加深入了解与感受知识。模拟了书房场景，来提升整个节目的文化属性。气象科普解读场景，结合气象业务本身，通过内置虚拟沙盘来展示模拟各种天气过程原理，更方便主持人结合AR等技术设计的多样化气象装备模型进行节目制作和讲解，实现虚实融合，提升了节目效果。

　　气象灾害防御场景，利用VR、AR仿真技术，预制了暴雨、城市内涝、台风、沙尘暴、龙卷风等天气现象，营造出逼真的灾害场景，使主持人置身天气现场，充分发挥了XR沉浸式演播的优势。在实际使用中，前景中的主持人看起来完全沉浸于计算机制作的三维虚拟场景中，而且能在其中运动，创造出逼真的、立体感很强的实景演播室效果，使观众很难分辨，达到虚实结合互动的最佳效果。后续中国气象报社将根据业务需求不断完善场景库，逐步建立起丰富多彩的虚拟场景库。

　　5. XR虚拟演播室的应用

　　XR虚拟演播室可代替传统绿箱演播室，传统绿箱拍摄环境下，节目录制完成后需要花费大量时间进行精细的抠像处理，而XR虚拟演播室不需要抠像，在录制时通过渲染引擎播放3D 虚拟场景，工作人员可以在现场看到虚拟环境，还可以在现场进行录制的调整与指导，录制画面即为节目播出画面，减少了后期抠像处理制作耗费的时间和工作量。相比传统绿箱演播室，XR虚拟演播室不仅节约了工作时间，而且还将节目的后期制作前置化，现场直接出镜头。新媒体时代，信息时效性更强，XR虚拟演播室大大节约视频制作时间，从而使视频生产更加高效。

　　另外，传统虚拟演播室主持人只能通过想象，达到无实物场景的表演，节目前需要多次进行盲猜或者踩点，这样对主持人的能力水平要求就变得很高，而平面记者往往不具备这样的能力。而XR虚拟演播室主持人在逼真的虚拟场景或者虚实结合的场景中，利用渲染引擎播放虚拟场景打造出丰富场景与人物交互感，前景与背景搭配层次分明。实时呈现的内容可以让主持人更好地与虚拟环境进行交流互动，仿佛在真实环境中完成节目录制，实现了传统记者向新媒体时代视频主持人的过渡。

　　目前，XR虚拟演播技术应用广泛，如新华社的新立方智能化演播室就是使用XR等技术打破了时空限制，使主持人“在”中国空间站与王亚平一起完成跨时空采集与制作对话，带给观众沉浸式的体验。2023年两会期间，中国气象报社使用XR虚拟演播室技术进行全国两会报道，录制《两会云访谈》四期，在世界气象日开放日当天，开展了《你好，气象日！》《风云三号G星来了！一起见证我国首颗降水测量卫星发射》直播等活动，达到了良好效果，提升了节目的感染力，并让观众感受到超越LED范围的美妙世界。XR虚拟演播技术可以让节目更加精彩纷呈，将视觉效果的传递提升到一个新的维度，提高了节目的科技感。

　　结语

　　为谋求先进技术为新闻采编业务赋能，中国气象报社在媒体融合方面不断寻求突破，由报纸到网站再到新媒体，如今短视频业务已成为重要的采编业务，借助XR沉浸式虚拟演播室使视频制作方式更加丰富和简单，视频视觉效果、互动效果得到了大幅提升，为传统媒体单位的全媒发展带来更多可能性和发展空间。

　　参考文献：

　　[1]张化明.虚拟演播室的发展与应用[J].通讯世界,2016,(9):248-249.

　　[2]张浩,王雪莹.浅谈XR沉浸式演播室[J].数字传媒研究,2021,38(12):49-51.

　　[3]秦艳艳.虚拟演播室系统组成及应用[J].电视技术,2023,47(6):159-161.

　　作者简介：刘杰，硕士，高级工程师，研究方向：软件工程。