AI生成音频对媒体业的影响

　　丹尼斯·巴克斯特

　　AI能够模仿现场解说员吗？

　　今年，我们经常听到“人工智能”、“机器学习”和“深度伪造”等术语，尤其是自华尔街预测人士发现人工智能（AI）可以作为科技公司未来业绩的财务评估指标之后。那些已知支持广播和媒体应用的公司，如微软（ChatGPT）、Adobe、IBM（沃森超级电脑）、英伟达和Soundhound AI，都在推动这项技术不断发展。

　　经过一些研究后，我仍在努力理解演进中的AI定义，但我毫不怀疑，智能/快速计算机将对广播公司和媒体公司产生重大影响。

　　A I 似乎包含了一系列操作，如机器学习和计算机创建的深度伪造，依赖于分析大量数据以预测、创建和提供想要的结果。奈飞等内容公司已经受益于AI，它们根据用户搜索和观看习惯的累积信息，由计算机生成节目推荐。

　　音乐、好莱坞剧本

　　电脑爱好者已经使用AI开发复杂的算法，创作艺术、音乐，甚至电影和电视剧本的对白（例如，音乐是相当重复的——你可想象有多少热门歌曲是基于三个和弦/音符和一本韵书的）。我也认为没有理由不相信ChatGPT可以写好莱坞剧本。记住，上一次好莱坞编剧罢工给我们带来了“无剧本”的真人秀节目——这通常是浪费电子传输时间和电力。

　　由于机器学习是数据驱动的，它依赖于越来越多的数据样本的积累来改善结果。持续采样只会改善结果，并且在AI的“深度伪造”子领域特别有效。我们认为深度伪造是将一个人或一个对象的脸或声音复制到另一个人或对象上，但深度伪造与电视本身一样古老——像笑声和预录的掌声等背景音效，甚至用椰子代替马蹄敲击地面发出声音，都是为了模仿现实，用广播和电视的魔力愚弄容易上当的听众。

　　显然，机器学习在广播电视领域也有应用。

　　毫无疑问，世界杯足球赛的制作公司HBS（主转播商）使用了高速计算机实现准确的话筒选择和混录。Lawo与HBS合作开发了一种混录系统，它可以获取球的位置数据，并将其转化为一种可以从最佳话筒或话筒组合中捕获最佳声音，并确定把话筒声混合在一起的声级。跟踪球是光学方式的，而在像足球这样的运动中，比赛的焦点是球；总的说来，你告诉电脑跟随球。

　　这是AI吗？我更愿意说是“深度学习”。另一个复杂的自动混合算法——“空间自动直播体育音频”或SALSA，是由我的朋友罗伯·奥德菲尔德和本•谢利开发的。

　　“在我们的情况中，我们主要使用深度学习自动识别广播话筒中的声音事件，这样我们就可以自动化并增强现场混录，”奥德菲尔德说，“但除此之外，我们正在增加AI的应用，现在我们正在研究观众和现场解说情感分析，这样我们就可以为转播链的其它部分（如自动生成集锦）生成元数据。

　　“我突然想到，在一个活动中，来自话筒有很多数据（不仅仅是声音捕捉），”他补充道，“我认为这在过去被忽视了，但随着深度学习和人工智能能力的增强，我们有更好的条件充分利用话筒作为‘数据收集器’，音频可以为转播和球迷体验的各个部分增加价值。”

　　AI辅助的音频

　　现在让我们跟随典型体育转播的流程，看看AI—机器学习在体育转播中的新的可能性。摄像机器人技术已经出现了一段时间，没有理由摄像机和音频不能遵循正在跟随比赛动作的计算机的电子命令。当计算机分析切换模式并

　　将导播的命令与广播摄像机视场内球的位置进行比较时，AI就开始发挥作用。计算机将导播的选择和模式存档，以便将来逐步学习，而在很短的时间内，重复的命令将被检测、检查并编入事件周期，以控制摄像机和音频的方向。

　　AI辅助的音频转播/制作可包括语音解释和合成，如AI驱动的字幕，但AI可以模拟讲解绘声绘色的现场解说员吗?

　　想想看： 计算机可以从“现实生活”的解说员那里学习风格，并进一步学习如何过滤来自摄像机的信息，以匹配视觉动作，并建立一个球员或演员的参考库。“语音”计算机可以摄取所有的数据，并人工地创建解说音轨，甚至模仿某些风格和口音。

　　语音合成已经出现了一段时间，随着更快速的计算机和机器学习的加入，你可以创建解释/呈现比赛详情和副线故事的机器人解说员，以完善整个体验。

　　声音分析是一种常规做法，但AI擅长评估模式，并从一组指示中挑选出最佳的回放选择。例如，一阵维持长时间的非常响亮、突然爆发的观众声可能是一个很好的进球标示。

　　观众们持续尖叫的声音变化，而不是迅速消失的沮丧的叹息，是另一个有价值和可识别的指标。从这些简单的学习指标中，计算机在十几次重复中就能准确预测出一个好的精彩时刻。

　　显然，媒体制作将受益于计算机增强和机器学习，理由很简单，就是需要生成的内容量很大。媒体娱乐涵盖各种观看和收听选择，包括小屏幕或大屏幕，甚至从沉浸式声音到耳机一切都有的头显，像AI这样的自适应学习算法，只会为提升体验做出贡献。

　　这一切都影响着电视技术，特别是由于我们工作于一个深度计算机化的世界。你如何适应这个美好新世界？