艺卡智能移动拍摄系统的研发与应用

　　【摘要】 沈阳广电传媒集团研发的艺卡智能移动拍摄系统（以下简称艺卡）于2018年8月研发成功，10月在公共频道200演播室试运行，2018年9月广电总局规划院广电计量检测中心对该系统进行了测试和验证。本文对艺卡涉及的相关技术、系统架构及系统软件进行了详述。艺卡的成功研发与应用，为广播电视制作智能化提升推进提供有益的借鉴。

　　【关键词】 演播室智能拍摄 精准拍摄 拍摄主体跟踪 无轨移动 微距运动拍摄和动态跟踪拍摄

　　一.引言

　　目前，广播电视节目制作已经进入一个全新的阶段，广电专用机器人在综艺晚会、新闻演播间、体育赛事、VR制作等很多方面大显身手。常见的专用机器人主要是轨道机器人。轨道机器人受轨道和线缆的限制，拍摄空间有限。且这些智能拍摄设备基本都是国外进口，尚无具有完全自主知识产权的国产产品，一般价格较高，让很多广播电视台和制作单位难以承受，导致技术推广受限，应用有限。

　　艺卡以国产机器人为摄像机承载载体，自主研发软件控制系统，实现机器人智能拍摄，实现精准拍摄、拍摄主体跟踪、无轨移动、微距运动拍摄和动态跟踪拍摄等功能。为实现广播电视拍摄智能化，提高电视节目制播效率，对广播电视行业科技进步起到极大的推动作用。

　　二.艺卡智能移动拍摄系统涉及的相关技术

　　艺卡通过复合机器人和摄像机12个参数的协同控制实现精准拍摄。本系统创造性的将复合机器人和摄像机组成一个完整的移动拍摄系统，其中复合机器人由传统的AGV机器人和机器臂机器人两种工业机器人复合而成。在实现移动拍摄时，要保持摄像机在运动过程中对拍摄目标主体的清晰度和合适的曝光度，需要AGV机器人、机器臂机器人、摄像机协同工作，机器人和机器臂的运动姿态与摄像机的光圈大小、焦距等参数有着紧密的关系，存在著极大的参数相关性，且这种参数相关性并非单一的相关，而是多参数相互交叉的复合相关。需要将多维度的参数进行融合，建立统一、复杂的数学模型，设计协同并发算法才能实现精准拍摄。在本系统中AGV具有直线运动、速度（加速度）、转动3个维度的参数；机器臂具有6个轴向的角度（角速度）6个维度的参数；摄像机主要具有焦距、光圈、推拉3个维度的参数，上述12个维度的参数经过协同控制软件模块进行统一协同控制，达到精准拍摄，实现了人工拍摄无法达到的效果。

　　1.机械机构单元实施方式

　　机械机构是智能移动机器人的骨架，由机器臂和AGV车对接而成。机械臂采用的型号是新松SR5CL型，为6轴机械臂，机械臂由本体和控制系统组成。本体包含电机、减速机等驱动手臂运动的部件；控制系统保证机械臂的正确方向及承受由于工件的重量所产生的弯曲和扭转的力矩。机械臂包括6个自由度，可实现机器人伸缩、旋转和升降等动作。AGV车使用新松仓储地标感测智能车，有蔽障、路径规划的能力。

　　支撑机器人所有的模块，动力与驱动单元为智能移动机器人提供动力来源；环境感知单元负责对周围的环境进行感知识别及各种参数的收集，然后通过转换成控制模块可以识别的光电信号，输入到控制单元进行数据处理；执行机构单元为智能移动机器人执行部分，能根据控制中心的命令执行命令，完成任务；信息处理与控制单元作为整个机械系统的核心部分，将来自传感器部分采集到的信息进行集中汇总存储，对所有信息分析、规划、决策并输出命令，使机器人有目的运行。

　　2.操作系统

　　智能移动拍摄系统的控制部分由沈阳广电传媒集团自主研发的“艺卡智能移动拍摄远程控制系统”实现。远程控制系统从软件架构上可归纳为三个层面，底层为指令执行层，主要向中间层反馈当前拍摄系统状态，并根据收到的指令执行相应动作；中间层为协同控制层，根据系统输入信息计算智能拍摄系统的控制指令，是软件控制系统的核心部分；顶层为拍摄场景设计层，为操作人员提供软件控制系统的人机交互界面，用于设计拍摄动作，也可以根据预设值自动生成机器人的拍摄动作。

　　远程控制系统从实现功能上可划分为5个模块：人体检测跟踪模块、机器人运动控制模块、场景编排设计模块、相机镜头控制模块和主控模块。人体检测跟踪模块完成摄像机拍摄视频中目标人体位置的持续检测和跟踪；机器人运动控制模块根据主控模块的指令，控制调整机器人的拍摄角度，位置和运动轨迹；场景设计编排模块根据预设拍摄需求自动生成机器人的拍摄动作，并根据拍摄动作发送控制指令。相机镜头控制模块根据收到的控制指令调整镜头的各项参数。主控模块实现上述功能模块的消息同步与协同控制，通过消息机制无延迟收发信息，使机器人完成拍摄任务，也为后续模块升级和功能扩展提供了接口。

　　3.主要功能特点

　　该系统具有精准拍摄、拍摄主体跟踪、无轨移动、微距运动拍摄和动态跟踪拍摄等五大特点，是机器人技术和人工智能技术在广电领域的创新应用。

　　4.关键技术及创新点

　　（1）拍摄主体跟踪技术

　　基于人工智能的拍摄主体识别技术，实现了精确聚焦的目标跟踪。

　　本系统创造性的将人工智能的理念和算法应用到拍摄目标识别中，能够根据不同的目标主体进行轮廓识别，将识别的轮廓区域通过平面重心提取算法，提取拍摄主体的重心点后，AGV 和机器臂以此进行高速修正，将摄像机聚焦到目标重心，随后计算出恰当的摄像机焦距参数值，反馈至协同控制模块，不断调整机器人、摄像机，从而实现了精确聚焦的目标跟踪。

　　（2）精准拍摄技术

　　使用高精度的移动轨迹标定技术，实现了同一轨迹多次高精度重复拍摄。

　　系统所使用的机器人和机器臂具有毫米级的精度，保证了摄相机拍摄点位的精度。在移动拍摄的过程中，将摄像机的运动轨迹通过 12 个维度的参数进行数学分割，分割成基于时间轴的切分点，同时对点间的参数变化进行拟合算法标定，即运动轨迹标定。然后记忆存储，存为拍摄场景。在每次同轨拍摄时，通过自动定点复位和校正措施，从而实现毫米级的运动轨迹重复拍摄。

　　（3）动态跟踪拍摄技术

　　使用精简的目标识别算法和闭环快速运动算法，实现了实时精准拍摄。当前的目标识别算法比较复杂，需要的计算量比较大，本系统将多种目标识别算法进行融合，提出了基于轮廓优先的识别策略，在已经可以识别目标主体时，就不再进行复杂的算法，反之，当基于轮廓算法不能识别时再辅以调用特征识别算法，从而达到迅速识别目标主体的目的。在拍摄高速移动目标主体时，为了能够实现目标跟踪，采取了闭环控制的策略，通过不同图像帧之间的目标主体重心点的偏离修正实现了从时间轴上的闭环控制。这样做的另外一个好处是还可以有效的克服摄像机运动时的拍摄目标的重心抖动。通过以上的两个重要的算法结合其他的控制策略，实现了实时精准拍摄。

　　（4）微距运动拍摄技术

　　研发了多维度协同控制算法，可实现拍摄避障、相机防抖、微距运动等高质量拍摄。实际拍摄过程中，AGV 和机器臂有可能遇到障碍、道路不平、机器人运动惯性抖动等现象，为解决上述问题，经过深入分析和研究，本系统设计出一种多维度协同控制算法，在算法运行的过程中，对AGV的障碍传感器和摄像机拍摄主体重心的变化参数进行实时计算后再作用于协同控制算法中的多维度的参数，对相应的参数进行修正和补偿，有效的解决了障碍、抖动，实现了高质量拍摄。

　　5.具体实施方式

　　（1）通信接口实施方式：

　　系统需要与机器人和摄像机进行通信，其通信接口和链接方式如下：

　　·软件与复合机器人的接口：复合机器人采用机器人控制软件（安装到Windows平台计算机），与移动拍摄远程控制系统进行通信，通信的方式使用TCP/IP协议（机器臂使用UDP方式，AGV采用TCP方式），使用Socket类编程，IP地址和端口号、应用层的控制协议由新松提供；摄像机的控制接口使用RSC232-TCP/IP网关服务器，链接到新松机器人的无线路由上。

　　需要注意的是所有的IP地址都必须与AGV在同一个网段。

　　·软件与摄像机的接口：软件需要单独使用TCP/IP通信接口与RSC232-TCP/IP网关服务器网关进行通信。

　　（2）上位机协同控制模块实施方式：

　　上位机主要完成设备状态的感知分析和目标跟踪算法、路径规划和驱动控制。其次，为了给场景平台提供透明的场景，需要将场景的多维度参数使用协同运动规划的算法转化为设备的参数控制指令，需要根据目前状态参数与规划的场景计算出的不同维度的控制指令。考虑到协同控制和机器人、摄像机的独立性，上位机协同控制/感知模块采用独立进程，与新松控制台软件和场景规划软件模块之间使用TCP/IP接口，UDP封装格式完成进程之间的通信。参见图3。

　　（3）人体跟踪模块实施方式：

　　采用位置变化速率和物体高速跟踪相结合的方法。位置变化速率的方法实现对目标人的跟踪是建立在人体检测算法的高速运行的基础之上。其原理是对于人物在视频中的连续运动，就其人体中心位置的变化在前后帧中是连续的，也就是说在画面中选定跟踪目标后，在高速人体检测过程中，目标人的位置变化在前后帧中是连续的，所以通过连续的位置变化来判断跟踪目标。使用位置变化的方法跟踪目标的算法结构简单，速度快，但无法有效处理跟踪目标和其他目标人交叉的情况，为了应对这种情况，在人体跟踪模块中引入近些年来非常流行的相关和滤波算法，在跟踪过程中，通过计算跟踪目标位置变化得出的跟踪框和相关和滤波算法的跟踪框的拟合程度来判断该人物是否为跟踪目标，如果是跟踪目标，则更新目标的位置信息，同时重新初始化相关和滤波跟踪算法的模型。在人物存在交叉时，如果跟踪目标从其他人物前方交叉，则不受影响，如果其他人物从目标前方交叉，短时间内可以做到不受影响。参见图4。

　　（4）协同计算、执行控制模块实施方式

　　使用不同的接口方式实现与摄像机、机器人（包含云台）的链接；封装机器人、摄像机两种不同接口的通信协议。定义和实现对摄像机的多维度（如：摄像机的位置、姿態等）动作驱动控制，将上层送来的多维规划信息与目前的状态信息计算后，形成多维执行单元的控制指令和参数。设备的参数感知包括：实时感知到设备的多维度（如摄像机的俯仰角度、水平角度、焦距等参数）状态信息；将传感器感测到的距离直接作用于人体目标跟踪软件；多维输入输出的协同运动规划，将视频目标跟踪、路径规划、场景示例学习等来自于场景规划层面的多维度轨迹，使用不同的场景模型进行计算，然后做分维和转维处理，传输给协同控制模块，然后控制摄像机的位置、姿态。具体执行状态图参见图5。

　　（5）场景规划软件模块实施方式：

　　主要有两部分软件，即人体跟踪软件和简单路径规划软件。人体跟踪软件根据事先设定好的场景，感测到主播人的脸部信息，结合超声波测量的摄像机与人的距离，调整摄像机的方位和其他参数，摄像机自动跟踪人体，包括人体的左右和上下移动，人的行走。简单路径规划软件，可以实现事先拟定的多维度摄像头的轨迹参数，以促使按照设定的场景进行拍摄。

　　采用的技术方案是：考虑到协议和场景的独立性，场景规划软件模块独立的编程，其与协同控制模块之间使用TCP/IP接口，UDP封装格式完成进程之间的通信。

　　三.结束语

　　由于AGV移动系统可以遵循不同程序设定，实现同一平面内的任意移动，较传统摇臂的底座固定和传统移动轨道的单一线性设定具有极大的空间优势，可以实现对演播室空间的高效利用，其本身具有较强的可移动性，应用场景更加广泛。传统摇臂或者轨道移动拍摄场景，即便在优秀摄像师的配合和操作下，也很难完成部分高难度动态画面追踪拍摄。通过该系统的“场景编排+路径规划+人体跟踪”，可以轻松完成以人物为中心的动态画面追踪拍摄，极大拓展主播或其他拍摄对象的表现能力。六轴工业机械臂活动灵活，臂展长度可根据需求设定，较摇臂具有更大优势。机械系统的运动轨迹不仅可以实现在三维空间里任意设定，并且可以实现路径的实时存储、随时调用，所有运动轨迹可以精确到毫米级别，远远超过人工操作精度。智能移动拍摄系统具备全功能的遥控能力，支持多轴同时操作，机器人的前进和后退、摄像机漂移、摇臂旋转可以同时独立完成，摄像师利用多轴同时操作，可以实现之前人力不能完成的摄像动作，满足影视制作设计、策划对镜头提出的复杂要求，大幅提高制作的水平。

　　温广权