借它一双慧眼吧——机器视觉的应用、难点与趋势

来源:中国信息化周报
关键字:机器视觉行业,旷视科技,商汤科技,智能制造
发布时间:2016-08-04 09:51

　　电子器件生产组装、医疗器械缺陷检测、电子焊接制造、汽车零部件生产、葡萄糖药液质量检测……机器视觉借机器一双慧眼让它们看懂世界，高效工作。

　　中国机器视觉行业是伴随中国工业化进程的发展而发展起来的，自从20世纪90年代末开始起步，经历了启蒙阶段、发展阶段、快速发展阶段、逐步成熟阶段。目前，机器视觉企业、产品和应用在中国逐步兴起，行业总产值已逾十亿元关口，相关行业产值更是数以倍增，视觉技术已经成为工业自动化领域的核心技术之一。另外，随着机器视觉技术的进一步发展，目前在消费级领域的应用呈现出越来越广阔的前景。

　　今年5月，美国亚马逊公司收购了一支欧洲顶级机器视觉团队用于无人机领域研究。同样在5月，英特尔集成电路公司收购了俄罗斯计算机视觉公司Itseez，用于无人驾驶领域；6月初，俄罗斯计算机视觉公司VisionLabs开发了一个通用的开源计算机视觉开发平台，Facebook与谷歌为其提供资金并测试开发成果……

　　而在国内，4月，维视机器人与ABB达成了以工业机器人、机器视觉为首要发展的共识，维视将加快工业机器人领域的产品升级，加强以智能视觉为核心的智能制造竞争优势；触景无限打造了集技术先进、性能卓越、成熟可靠、使用友好于一身的嵌入式视觉感知解决方案——Vision Card；旷视(Face++)多年来专注机器视觉技术的研发与应用，目前已经与国内多家Top级机器人厂商开展深度合作，力图赋予机器人一双眼睛看懂世界。

　　一系列的行业动态无疑表现出了机器视觉这项技术的火热程度和广阔前景。赛迪顾问电子信息产业研究中心高级咨询师向阳认为，从产业投资回报率分析，机器视觉前景广阔，值得投资。他说，尽管人工智能蓬勃发展，但依然有许多关键节点问题有待突破，机器视觉就是其中之一。目前的软硬件水平还不能让机器具备与人类似的视觉、听觉、嗅觉和触觉等感知力。

　　所谓机器视觉是指采用机器代替人眼来做测量与判断，通过计算机摄取图像来模拟人的视觉功能，实现人眼视觉的延伸。

　　通过机器视觉产品(即图像摄取装置，分CMOS和CCD两种)将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄目标的形态信息，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。

　　商汤科技CEO徐立表示，机器视觉从整个的流程可以分为三大块，首先就是可以模拟人的眼睛。机器也像人一样，需要捕获更高质量的图像，它得到的影像和内容可能比人得到的更加清晰和完美。其次是感知。最后是对视频输入的识别。

　　另外，旷视(Face++)创始人印奇认为，要完成自然、快速的人机交互，机器人需要以实时视频流式传输方式将图像数据传递到本地专用服务器中，并通过核心的机器视觉算法对数据进行分析处理最终反馈结果，这是软硬一体化的应用场景。

　　当前，从全球产业发展来看，国际机器视觉市场正处于产业成熟期，未来3~5年欧美日机器视觉技术仍将有不断创新，国际机器视觉市场规模有望继续增长。国内机器视觉专利数量逐年增加，各大高校及企业纷纷投入精力在机器视觉领域进行研究。国内机器视觉公司如雨后春笋般出现、发展，预计到2020年前后，国内机器视觉将进入产业成熟期。

　　现在，虽然机器视觉的应用场景多聚集在智能制造领域，但随着新技术的不断涌现，这一应用技术将扩展至消费电子、可穿戴式设备、汽车先进驾驶辅助系统以及智能化监控等更贴近大众生活的领域。另外，在发展的过程中，诸多技术难点仍旧会成为阻碍因素，不过拥有一双“慧眼”的机器人必能轻松应对。

　　通过梳理应用场景、技术难点和行业趋势，《中国信息化周报》试图揭开机器视觉的神秘面纱。

　　应用场景：机器视觉“玩”转多种场景

　　1.生产组装

　　“我们研制的手眼力机器人在电脑主板生产线上，在机器视觉技术的作用下，可以精确地安装几毫米的电容。”《中国信息化周报》记者听到台湾工业研究所张所鋐教授在讲座中如此说到并以视频展示。视觉技术让机械手臂拥有3D视觉能力，可以靠视觉导引、定位，成为夹取物件的要件。除了视觉定位，手眼力协调机器人的关键技术还有矩阵的感测器，可以协助机器人知道抓取的位置与力量大小。机器人具备三大力量控制功能，第一，力量控制能顺应导引，让作业员能够牵着机械手臂来做教导机器做重复的事情。第二，人机安全。机器人一碰倒东西就会停下来，因为机器手臂有能力感测碰撞力量，接触到外物的碰撞和人的碰撞，机器手臂会立即停止。第三，能精确控制夹取力道，对于易碎物品、软性物品的夹取。由于视觉定位以及力量感测能力，使得普通的机器摇身一变成为更像人类的行为，可以协助作业员做更高端、更精密的组装检测工作。

　　2.医疗器械缺陷检测

　　随着医疗水平和医疗器械的不断提高和更新，一次性注射针以其方便、卫生的特点深受用户的喜爱，其需求量也迅速增大，而针头外观的好坏直接影响到一次性注射针的质量。所以为了减少不合格品的数量，需要增加检测工序。

　　一次性注射针可以分为针座和针头两个部分。针座的缺陷对产品的质量影响可以不计。而针头就存在着两种缺陷情况：首先针头在制作过程中针尖部位可能会产生毛刺；其次针头在自动装配过程中可能会产生倒插现象（针尖部位被插入针座）。影响针头的缺陷为：针尖毛刺、倒插。其中倒插不仅会对产品的质量产生直接的影响，而且严重的会危害到人的生命。

　　通过利用自动化机器视觉检测系统使得光纤传感器感应到注射针，然后触发图像处理器拍摄图片，并进行图像分析处理，最后驱动剔除装置。目前的剔除方法则采用整排剔除，如果具有更高的自动化水平，可以为每个针座加装吸盘。

　　3.电子焊接制造

　　在焊线技术中，因为芯片维度的缩小，需要较强大的影像放大功能。在此环境中，高质量的成像镜头系统必须满足特殊的最佳化需求。与一般影像处理技术相比，这里对照明、对比、失真或焦距深度等问题的要求，都逐一被放大。芯片、涂漆表面、图样与质地的质量对比可能会因为材质关系呈现出很大的相异性。在这些小型芯片中微小的偏移，将对影像的对比方面的质量造成很大影响。

　　另外，由于机器视觉工具绝佳的操作模式、可靠度及视觉算法的高准确度，其精度可高达亚像素区块。在印模或焊线机器中的主要影像处理作业决定芯片与位置，及其图样、边缘、圆圈及钻孔，从而很好地解决了芯片焊接过程中的诸多问题。

　　4.空瓶检测

　　机器视觉空瓶检测系统主要由相机、镜头、光源、图像采集卡、PC平台和控制单元等六部分组成，各个部分之间相互配合，最终完成对酒瓶的质量检测和剔除。

　　在系统运行过程中，PLC负责及时地通知图像采集子系统启动CCD摄像机，抓拍处于拍摄位置的空瓶。为了达到这一目的，需要使用光电传感器来检测空瓶的位置。并将光电传感器安装到CCD摄像机拍摄位置旁，把输出接到PLC的I/O输入口上。当没有空瓶经过时，光电传感器可以接收到反射光束，没有输出信号，而当有空瓶经过时，光电传感器无法接收到返回的光束，于是输出触发信号。PLC从输入口接收到此信号后，即可判定空瓶已到达拍摄位置，从I/O输出口输出启动信号给图像采集系统，启动CCD摄像机，摄像机及时进行拍摄，获取被检空瓶的图像。

　　5.汽车零部件制造

　　汽车行业产品的精度和质量都必须满足要求的这种需求正在与日俱增。因此，现在汽车行业生产的特点是越来越快的生产周期和大量原材料和零部件的供应。这就给机器视觉系统提供了用武之地，机器视觉正逐步被看做任何自动化解决方案中的一个完整的组成部分。

　　另外，在电子工业中，特别是像高精度的晶片位置识别或位置校正以及用于SMT（表面安装设备）装配零件检测这样的领域，几年来已经形成了这样的共识：现在要满足高质量和生产标准的唯一方式就是使用灵活的图像处理方法。不管怎样，机器视觉目前已经是不可缺少的了，即便是拥有能够提供最佳精度级别的三维自动装配和适应大量不同种类和改进种类装配线的汽车行业也不例外。

　　6.葡萄糖药液质量检测

　　机器视觉在医疗领域的应用一直在不断进步，从传统的药品包装、药瓶、标签等视觉检测到目前对生物芯片的检测，放射科的X放射等，都引入了机器视觉系统，完成对图像信息的采集、存储、管理、处理及传输等功能，使得图像资料得以有效管理和充分利用。

　　以葡萄糖药液质量检测为例，传统的检测方法是将带检测的葡萄糖用人工的方式放在流水线上，流水线的速度由检测工人控制，当药品传送到检测工人面前时，检测工人在专用的灯箱下判断产品质量是否合格。

　　人工检测存在着很大的弊端，很难满足流水线的检测速度，无法实现实时、在线、非接触检测的检测，更无法适应现代的质量控制和统计流程控制。

　　而基于机器视觉技术的葡萄糖药液质量检测，可以实现无接触式的检测。根据葡萄糖药液杂质检测的特点设计了专用的视觉成像方案。待检测的葡萄糖药瓶被卡在转床上，转床旋转的时候带动药瓶高速旋转，用于机器视觉的专用LED光源安装在光源盒内，CCD摄像将拍摄到的图像传输到工控机。

　　在此过程中连续拍摄7幅图像，在这一序列的运动图像中，对运动目标进行识别，当识别到的目标超过规定的容许指标时，判断此瓶药液为不合格。

　　相关链接

　　浅谈计算机视觉与机器视觉的异同

　　从学科分类上，二者都被认为是人工智能下属科目，不过计算机视觉偏软件，通过算法对图像进行识别分析，而机器视觉软硬件都包括（采集设备、光源、镜头、控制、机构、算法等），指的是系统，更偏实际应用。简单地说，可以认为计算机视觉是研究“让机器怎么看”的科学，而机器视觉是研究“看了之后怎么用”的科学。

　　不过，机器视觉和计算机视觉并没有很清晰的界限，而是紧密的联系在一起，它们有着相同的理论，只是在实际应用中有所不同。计算机视觉与机器视觉都是要从图像中获取对世界的描述，因此，对基本层的图像获取、图像处理，中层的图像分割、图像分析和高层的图像理解这些理论知识的掌握对两者来说都是“万变不离其宗”。

　　技术难点：在多重困难中实现“闪转腾挪”

　　关于机器视觉的概念在综述中已经讲得很明白，既然是代替人眼来做测量和判断，那么在提取视觉信息的时候，势必会像人眼一样受到一些客观因素的影响。光照的强弱、物体的位置以及运动速度的快慢，都会影响眼睛的观察效果。对于机器视觉而言，这些同样是重点和难点所在。

　　打光的稳定性

　　工业视觉应用一般分成四大类：定位、测量、检测和识别，其中测量对光照的稳定性要求最高，因为光照只要发生10%~20%的变化，测量结果将可能偏差出1~2个像素，这不是软件的问题，这是光照变化，导致了图像上边缘位置发生了变化，即使再厉害的软件也解决不了问题，必须从系统设计的角度，排除环境光的干扰，同时要保证主动照明光源的发光稳定性。当然通过硬件相机分辨率的提升也是提高精度、抗环境干扰的一种办法。比如之前的相机对应物体空间尺寸是1个像素10um，而通过提升分辨率后变成1个像素5um，精度近似可以认为提升1倍，对环境的干扰自然增强。

　　工件位置的不一致性

　　一般做测量的项目，无论是离线检测，还是在线检测，只要是全自动化检测设备，第一步工作都是要能找到待测目标物。每次待测目标物出现在拍摄视场中时，要能精确知道待测目标物在哪里，即使使用一些机械夹具等，也不能特别高精度保证待测目标物每次都出现在同一位置，这就需要用到定位功能，如果定位不准确，可能测量工具出现的位置就不准确，测量结果有时会有较大偏差。

　　标定

　　一般在高精度测量时需要做以下几个标定，一是光学畸变标定（如果不是用的软件镜头，一般都必须标定）；二是投影畸变的标定，也就是因为安装位置误差代表的图像畸变校正；三是物像空间标定，也就是具体算出每个像素对应物空间的尺寸。

　　不过目前的标定算法都是基于平面的标定，如果待测量的物体不是平面的，标定就需要做一些特种算法来处理。

　　物体运动速度

　　如果被测量的物体不是静止的，而是在运动状态，那么一定要考虑运动模糊对图像精度（模糊像素=物体运动速度×相机曝光时间），这也不是只靠软件就能够解决的。

　　软件测量精度

　　在测量应用中软件的精度只能按照1/2~1/4个像素考虑，最好按照1/2，而不能向定位应用一样达到1/10~1/30个像素精度，因为测量应用中软件能够从图像上提取的特征点非常少。

　　行业趋势：智能制造成为“练武场”

　　随着经济全球化的发展，各行各业的竞争渐趋激烈，要想在制造业领域脱颖而出，各大厂商必须不断优化升级，在技术、产品方面寻求创新。“智能制造”成为制造业大军努力的方向，而人工智能新品“机器视觉”则是助力制造业实现“智能化”转型的好帮手。

　　2015年我国发布了实施制造强国战略第一个十年的行动纲领《中国制造2025》，其中“智能制造”被定位为中国制造的主攻方向，并被视为中国从制造大国向制造强国的转变的“主力军”，也成为中国制造业企业转型的核心目标。

　　从智能制造的角度来看，机器视觉具有非常重要的作用，尤其是在智能产线和智能设备中，机器视觉可以使产品在自动化生产过程中质量更加稳定、更加高效。由于有了视觉，智能设备生产的柔性化程度、效率也将会得到极大的提升。

　　首先，在打造智能产线的过程中，必须要使质量控制能够保持高速度、高精度、高分辨力、稳定性好、适应能力强以及可以长时间持续不间断运作，人工检验很显然已经无法满足这方面的生产需求，而如果有机器视觉助力，就恰恰解决了这一问题。机器视觉系统不仅可以满足自动化生产的各种需求，而且本身最大特点在于非接触性测量和检验，对于机器以及产品都起到了一定的保障作用。

　　并且，机器视觉最大的价值不仅仅在查漏等基本的检验环节，更重要的是能够实时动态地检测产品的质量数据如尺寸、角度、精度等关键参数，并通过互联网将数据收集并加以分析和处理，从而实时感知、分析、决断出产品的质量问题。

　　另外，机器视觉还可以识别产品上的特征、条形码等各种记录产品信息的内容，使生产过程变得可控，产品生产过程具有可追溯性，这都是打造智能生产线所必不可少的要求。

　　最后，机器视觉软硬件产品正逐渐成为协作生产制造过程中的核心系统，无论是用户还是硬件供应商都将机器视觉产品作为生产线上信息收集的工具，这就要求机器视觉产品大量采用标准化技术，直观地说就是要随着自动化的开放而逐渐开放，并根据用户的需求进行二次开发。

　　机器视觉的厂商在未来十年内也应该不单只是提供产品的供应商，而是要逐渐向一体化解决方案的系统集成商迈进。随着中国加工制造业的发展，对于机器视觉的需求也逐渐增多。同时，随着机器视觉产品的增多，技术的提高，国内机器视觉的应用状况将由初期的低端转向高端。由于机器视觉的介入，自动化将朝着更智能、更快速的方向发展。