基于深度学习的手势识别算法设计

　　人机交互[1]即HCI，是指人们通过相应方式与机器沟通，并获取机器反馈信息的过程。

　　深度学习相比传统的机器学习算法往往在图像处理方面能获得更好的效果。其中常用的算法如Faster R-CNN[2]，YOLO[3]，SSD[4]等均有其独特魅力，在目标检测领域具有举足轻重的作用。

　　本文基于深度学习理论，采用卷积神经网络中的轻量级分类网络MobileNet和目标检测网络SSD相结合；基于输入图片的尺寸不同对模型的影响、带孔卷积的引入，对改进后的SSD算法进行微调。为了进一步提升识别速度，使用Deepwise卷积以进一步降低网络参数和计算量。

　　1 卷积计算

　　对于输入的图片，CNN[5]无法准确获悉这些特征与原图哪些部分相匹配，因此需要用不同尺寸的过滤器提取图像特征。计算过程被称为卷积操作，卷积过程如图1所示。过滤器和图像中左上角的3×3像素块卷积后的值为特征图中的第一个值4。

　　计算特征图中像素点和原图的映射结果。实际计算过程是将过滤器和原图对应尺寸匹配，相同位置的值相乘，再将所有的乘积结果相加。

　　2 手势识别算法模型设计

　　2.1 算法主干网络

　　本文网络模型是将MobileNet和SSD网络相结合，然后对网络进行微调。其中MobileNet使用了MobileNet-v1网络。截取MobileNet-v1网络前12层卷积层作为网络的基础特征提取层，再加上6层辅助特征提取网络，组成算法的主干网络。标签边框和默认框之间存在偏移值，因此将偏移值作为网络学习的内容。结合分类误差，计算端对端损失函数，进行反向传播的计算和更新。

　　2.2 模型微调

　　（1）将辅助特征提取网络中的3×3标准卷积使用Deep-wise卷积进行替换，进一步减少网络参数和计算量。

　　（2）本文卷积均使用Atrous卷积（带孔卷积），在减少padding带来的噪声的同时，也能减少冗余特征的提取。

　　（3）对部分辅助特征提取卷积网络卷积步长或者特征维度进行调整，使辅助特征网络的尺寸在不断减小的同时，维度数量也随之减小，减少冗余特征对训练和识别结果的影响。

　　3 手势识别算法设计

　　3.1 算法流程

　　算法流程如图2所示。首先准备好收集的且已人工标记的训练集图片，然后经图中所示的图片预处理过程，将训练集送入上文设计的MobileNet-SSD网络进行迭代学习训练，直至模型训练完成。重复上述步骤，多次实验，获得模型。最终选择在验证集上表现效果最好的模型，在测试集上进行测试，得到相关数据，作为本文最终的数据，分析本文設计的算法模型的优劣。

　　3.2 手势数据集

　　本文共采集了15种手势的数据图片。平均每种约为

　　2 300张。数据集的组成包含石头，布，ok，比心等。从每种手势中抽出300张加入验证集，抽取100张加入测试集。最终，训练集中有32 327张图片，验证集中有4 500张图片，测试集中有1 500张图片，数据集共有38 327张图片。数据集中部分图片如图3所示。

　　3.3 图片标注

　　数据集采用LabelImg标定工具进行人工标记得到真实标签和类别信息。图4和图5所示分别为在标注工具中、标注图片和标注完成将目标信息进行存储的xml文件信息展示。

　　3.4 算法环境

　　本文的硬件环境见表1所列。对于神经网络[6]训练而言，显卡的计算能力和CPU的性能至关重要，性能优良的显卡与CPU可以大幅缩减训练时间与算法的运行时间。

　　3.5 实验与分析

　　3.5.1 实验步骤

　　（1）本文手势数据集中有15个类别，因此先将网络文件、网络训练和测试文件，以及类别定义文件中的相关描述修改为15个类别。

　　（2）将准备好的图片和对应包含了标注信息的xml文件制作成caffe框架常使用的lmdb格式数据集。

　　（3）把caffe框架下的模型文件和训练文本映射在训练文本设置好的参数中。

　　（4）观察终端输出迭代过程中loss值的变化，验证集上输出的测试准确率，并保存日志文件，方便后期对训练模型进行分析。

　　（5）迭代训练完成后找到生成的模型。若模型在测试集上表现较好，则在测试集上测试；否则，修改参数文件中的相关参数微调模型后继续训练。

　　3.5.2 实验结果分析

　　算法中训练模型包括如下种类：

　　（1）SSD经典算法网络，基础网络使用VGG-16，图片的输入尺寸为300×300，记为SSD-300；

　　（2）本文改进的算法输入尺寸为416×416和600×600，分别记为MN-SSD-416和MN-SSD-600；

　　（3）辅助特征层卷积使用标准卷积，图片的输入尺寸为416×416，模型记为MNS-SSD-416。

　　模型训练信息见表2所列。通过对比可知，本文改进后的算法模型在参数量和计算量方面都大幅减少。

　　将上述模型进行多方比较可得：

　　（1）通过对比可以发现改进后的三种网络在手势识别精度方面与SSD-300相比未降低，但在识别速度方面却有很大提高，其中MN-SSD-416和MNS-SSD-416可以实现实时手势识别。

　　（2）MNS-SSD-416网络减少了参数和计算量，使得每秒能够识别的图片数提高至43.5帧，mAP仅降低0.3个百分点。由此可得，使用Deepwise卷积替换辅助特征层的标准卷积是成功的，识别速度实现了大幅提高，付出的识别准确率代价较小。

　　（3）MN-SSD-600和MN-SSD-416具有相同的网络结构，增大了输入图片的尺寸。虽然在识别精度方面表现出了略微优势，能够使得较难识别的几类手势有较好的识别精度，但是大大降低了网络识别速度，使得识别速度仅为22.6帧/s。说明增大图片输入尺寸确实能够使特征更丰富，识别率也有所提高，但却大大降低了识别速度。

　　3.6 手势识别效果展示

　　本文展示了识别精度和速度都较好的模型MN-SSD-416的测试效果图，如图6所示。左图中预测“我爱你”手势类别的置信度为0.895 3；右图中预测类别是“数字7”的置信度为0.921 1。本文主要考量手势识别的精度，所以对边框位置并未考察。但从实际效果可以看出，算法的位置回归效果也很好。

　　4 结 语

　　本文设计的算法能够满足多种嵌入式平台的使用需求，在保证较好的手势识别精度的前提下，识别速度也有着很大优势，为实时手势识别提供了一种可行的算法。

　　参 考 文 献

　　[1]张丹洁，侯文君. 三维用户界面交互范式研究[EB/OL].中国科技论坛，2011.

　　[2] REN S Q，HE K M，GIRSHICK R，et al. Faster R-CNN：towards real-time oject detection with region proposal networks[J]. Transactions on pattern analysis & machine intelligence，2015，

　　39（6）：1.

　　[3] HINTON G E，SALAKHUTDINNOV R R. Reducing the dimensionality of data with neural networks[J]. Science，2006（313）：500-508.

　　[4] L IU W，ANGUELOV D，DUMITRU ERHAN，et al. SSD： Single Shot MultiBox Detecot[C]// ECCV 2016.

　　[5] LECUN Y，BOTTOU L，BENGIO Y，et al. Gradient-based learning applied to document recognition[C]// Proceedings of the IEEE，November 1998：2278-2324.

　　[6] DEBEVEC P. A neural network for facial feature location[J]. UC berkeley CS283 project report，1992，22（1）：18.

　　[7]呂耀坤.基于卷积神经网络的实景交通标志识别[J].物联网技术，2017，7（1）：29-30.

　　[8]扬晋芳，卫建华，刘琪，等.基于红外的非接触式手势识别系统设计[J].物联网技术，2016，6（11）：113-115.

　　龙辉