要想拍的好，DSP不能少 一览两款DSP新品

　　手机的拍摄能力是很多用户购买手机时重要的参考因素。一般来说，人们在考量手机的拍摄能力时，更容易关注手机拍摄模块的像素多少、光圈大小甚至是CMOS面积等。实际上，手机内部的DSP处理器也在为手机拍摄默默奉献着自己的力量，甚至在很大程度上DSP的处理能力决定了手机拍摄出的照片美观程度。那么，DSP到底是什么呢？目前市面上高端的DSP又有哪些能力呢？今天本文就带你一看究竟。

　　说起手机的拍摄能力，大多数人肯定会下意识地比较像素、光圈等参数。实际上，手机中还有另外一个重要的部件对手机的摄影效果起到了至关重要的作用，那就是DSP。所谓DSP，全称为Digital Signal Processor，翻译过来也被称作数字信号处理器。那么什么是DSP，它又在手机的拍摄中起到怎样的作用？

　　隐藏在幕后的功能—DSP

　　在人们印象中，手机拍摄是一个再简单不过的事情了。我们只要打开手机的拍摄软件，取景完成后，按下拍摄按键就能完成整个操作，前后时间甚至可能不到五秒钟。不过，简单的背后往往是我们想象不到的复杂过程。如果排除操作和对焦部分，仅仅考察我们按下拍摄按键后，手机对画面信息的处理过程，可以简单分为下列四个步骤：

　　第一步是CMOS采集光信号。当人们拿起手机，打开拍照软件时，CMOS就开始采集光信息了。CMOS将光的强弱信息转换为模拟的电信号，电信号和光照信息高度相关。

　　第二步是CMOS将电信号利用模/数转换器转换为数字信号。因为普通的模拟信号无法进行下一步计算，因此需要模/数转换器转换成数字信号。部分CMOS会在这个时候对光照信息进行初步处理。ISP也就是图像信号处理器也在这个步骤对画面进行各种处理，包括降噪、锐化、色温调节、色彩校正、白平衡、曝光补偿等内容。

　　第三步是DSP处理数字信号。DSP继续根据算法对画面进行调整，并主要进行难度较高的计算处理。比如对画面光线效果的进一步优化，对夜景这类特殊场景进行进一步的降噪和曝光处理，对逆光场景进行补偿，启用优化算法对画面色彩和细节进行进一步的调整等。DSP往往还可以进行一些复杂处理，包括画面内容识别、镜头畸变矫正、HDR合成等内容。在数据处理方面，DSP还可以进行数据的压缩和编解码，包括JEPG的编解码、视频的编解码等。

　　最后一步则是CPU再根据已有的算法进行进一步处理。随后CPU部分会将调节后的图像输出到内存中并通过VPU等部件显示在屏幕上，同时将画面存储至手机存储器中，以备用户查看和使用。

　　通过简单描述的过程我们可以看出，DSP在画面处理中起着承上启下、至关重要的作用。尤其是DSP掌握着“一手数字信息”，能够在ISP之后实现对画面输出的管理和矫正。可以说如果没有DSP，人们看到的画面效果可能会大打折扣。不仅如此，由于架构优势，DSP能够带来远远高于CPU的能效比，不但帮手机提高了处理速度，还大大节约了能耗，是“鱼与熊掌”兼得的产品。

　　高效又节能 DSP的架构优势

　　看了前文，大家对DSP的工作任务应该有了一定了解，那么DSP究竟有哪些优势才使得其如此受到厂商重视呢？

　　从DSP的发展来看，早期的DSP就是单纯的实行对数字信号进行初步处理的作用，比如对数据进行初步的筛选和过滤，并不要求高精度和强大的计算能力。不过随着计算的日益复杂和应用的逐渐增多，DSP以其独特的架构优势逐渐成为了专业人员眼中重要的数据处理部件。从应用角度来说，DSP有两个优势非常显著：

　　首先是DSP专门为数字处理而生，因此架构设计偏向固定的处理方式，最大化了每周期能完成的工作。在目前的移动计算架构中，DSP的架构和GPU、CPU有所不同。DSP本身需要处理大量的并行数据，并且数据执行的方法比较单一，因此在电路设计上，DSP能够以极高的效率用固定处理的方式快速、大量、并行地完成巨大的数据计算，常见的计算诸如快速傅里叶计算、大量的累积乘加、卷积计算等。一般来说，固定的处理流水线要比可编程的流水线效率高很多，DSP面对的数字信号处理算法不多，固定的集中算法可以用固定的方法进行优化，这是DSP在架构上得天独厚的优势。

　　其次是DSP在功耗上的优势也很明显。除了固定算法带来的高效率外，DSP一般都在较低的频率下工作，频率越低工作驱动电压越低，而功耗和频率、电压的平方直接成正比，因此高频率需要高电压，DSP的低频率电压就相对更低一些。如果大量的数据交由CPU进行处理的话，且不说CPU的流水线架构不太适合处理大量并行的数据，就算强行处理，CPU的高功耗和相对于DSP较慢的速度也会大大拖累移动设备的续航时间。

　　有着两大优势作为基础，DSP在今天越来越受到人们重视。除了图像处理外，针对视频、音频、传感器、计算机视觉等诸多内容，DSP相比通用的CPU效能更高，因此应用范围越来越大。在移动设备上，一颗好的DSP能够为用户带来更好的拍摄画质和更出色的使用体验。那么，目前高端DSP产品都有什么特性呢？

　　加入深度学习能力 高通Hexagon 685 DSP

　　高通骁龙845处理器目前是很多高端手机的首选产品。在骁龙845中，除了强悍的CPU、GPU部分外，其DSP部分也非常引人瞩目。

　　骁龙845中使用的D S P被称为Hexagon 685。Hexagon 685是高通在骁龙835上使用的Hexagon 682的升级版本，它们的技术来源基本都是高通在骁龙820上发布的Hexagon 680。从产业发展的角度来看，高通是非常具有前瞻性的，Hexagon 680（骁龙820）时代高通就通过引入HVX，也就是Hexagon Vector eXtensions（Hexagon矢量扩展引擎）来加强处理器的矢量计算能力。在Hexagon 680中，高通加入了2个并行的H V X，每个H V X包含4个1024位的SIMD流水线，能够快速、并行地处理大量矢量数据。在数年后的今天，深度学习和机器学习兴起，这两者需要计算的内容包含了大量的矢量数据，但是传统的移动CPU和GPU架构并不适合高效能地运行这样的内容，尤其是深度学习要求的随机梯度下降算法等。在这种情况下，继承Hexagon 680架构并进行了全面加强的Hexagon 685不但在图像处理和传感器数据处理方面一如既往的强大，还带来了比传统DSP强大数倍的深度学习能力，这使得Hexagon 685在各种深度学习相关的应用中能得到更好的效能。

　　除了强大的矢量处理能力外，Hexagon 685的指令集系统也得到了改善，由于控制代码进一步的调整，Hexagon 685拥有比传统VLIW更高的效率，并且通过采用技术手段处理空闲和停滞的线程，使得数据运行更有效。此外Hexagon 685还能实现零延迟循环线程调度，这意味着DSP的处理效能将得到大幅度加强。

　　在硬件上准备完成后，高通正在准备将软件支持引入Hexagon 685，目前高通正在准备为骁龙845和Hexagon 685引入TensroFlow支持，这将使得大量的人工智能应用能够得到加速。高通宣称Hexagon 685的效能比非Hexagon设备快了25倍，在使用GoogleNet Inception深度神经网络算法演示中，Hexagon 685能够识别更多的图像，并且速度更快。这使得Hexagon 685能够在图像处理中迅速查找到需要的目标，并能够实现指定的优化和增强。

　　在加入了深度学习后，Hexagon 685配合恰当的软件，有希望将人工智能技术带入摄影和成像过程，这将大大改善目前摄影画面自动处理状况。其典型的应用场景包括人脸识别、实时降噪、多帧合成、实时相机滤镜等功能。举例来说，用户在夜间拍摄人像时，如果照亮夜景就很难顾全人脸，如果用闪光灯补光人脸夜景则非常暗淡。现在人们可以利用深度学习功能，让机器实现对人像和夜景的识别和分离，最终对两者应用不同的色彩和光线处理方式，再合成在一张照片中，就能够带来人像和夜景的和谐相处。此外在动物拍摄、特殊场景识别（比如海边、沙漠等不同的白平衡场景）、色彩后期处理方面，利用AI技术的加入，人们可以得到更为优秀的拍摄效果，不再需要后期通过额外的滤镜对画面进行调整和处理，更加轻松方便。

　　增强功能，拥抱AI

　　Cadence Tensilica Vision Q6除了高通这样的老牌厂商外，在DSP领域，Cadence这家以EDA软件著称的厂商，也推出了一系列产品。从Cadence在DSP上的发展来看，之前Cadence也推出过诸如P6这样优秀的DSP，并被广泛应用在华为、MTK等厂商的SoC中。而其最新的产品Q6的推出，又将带来更强大的计算能力。

　　Vision P6引起业内人士的兴趣是在华为P20系列手机发布之后。由于华为在麒麟970中使用了Vision P6作为其DSP，在实际拍摄中，华为P20Pro展示了强悍的拍照能力，照片画质优秀、色彩准确、细节丰富。达到这样的拍摄效果，Vision P6 DSP功不可没，在目前明确的信息中，Vision P6 DSP提供了包括机械图像稳定机制（防抖）、夜景模式、多帧处理降噪能力、低光照拍摄能力等功能，大大加强了华为手机的拍照效果。

　　在Vision P6 DSP之后，Cadence又发布了Vision Q6 DSP。从参数来看，Vision Q6相比Vision P6，大量功能上都有着显著加强，包括AI功能提升了1.5倍、频率提高了1.5倍以及能耗比提升了1.25倍。在细节参数上，Vision Q6的微架构也有一些调整，包括流水线深度从之前的10级增加至13级；全面改进了分支预测功能，使得流水线级数加多，更深的管道不会带来IPC的负面影响。此外其他的改进还包括存储系统的加强、改进的加载/存储单元、存储带宽增加、ISA在图像处理和机器学习方面的改进等。

　　在比较受到业内关注的矢量处理能力方面，Vision Q6保留了之前VisionP6的功能，但也作出了针对性的加强。比如每周期可以执行4个每64-way的SIMD矢量计算，总计每周期可以执行256个ALU操作。在VFPU方面，Vision Q6采用了可选的设计，用户可以根据需要选择在32路SIMD矢量FPU中加入16路FP32或者32路FP16功能，以加强浮点计算能力等。在加强了矢量处理硬件部分后，Cadence宣布对Android NN API的支持，包括对TensorFlow和TensorFlow Lite以及现有的Caffee框架支持，也就是说VisionQ6和之前介绍的Hexagon 685一样，加强了对深度学习的支持，这将使得Vision Q6能够利用AI技术加强画面处理，实现更好的画质。

　　AI刚开始，DSP还在进化

　　目前DSP在进一步加强传统的图像、音频等信号处理功能的同时，还加强了AI相关功能。毕竟在AI加入之后，之前很难处理或者无法完成的一些操作，都可以交由AI进行判断和识别，这将对移动设备上的摄影、视频拍摄等功能将带来非常正面的改善，AI可以帮助用户实现更优秀的使用体验，使得人们能够获得更出色或更符合实际的照片、视频。不过，目前AI在DSP上的应用仅仅是刚开始，从产业界的发展态势来看，AI是否应该独立为协处理器，DSP是否应该加强AI功能，目前还没有明确的答案。但是随着技术的发展和进步，AI正在逐渐爆发它那越来越强大的力量，DSP和AI，究竟是合并还是分道扬镳，或者互相加强，还得等等看才能进一步明确了。

　　文/张平