让失语者与普通人交流,也许你认为这只是一个很不错的想法。然而,曾获得吉尼斯世界纪录中“有史以来销售最快的设备”称号的Kinect却能让这一想法变成现实。
10月30日,“微软亚洲研究院创新日2013”活动在北京举办,包括基于Kinect的手语翻译系统在内的21项前沿创新技术和应用在活动中进行展示。活动中所展示的技术分别来自微软亚洲研究院、微软雷德蒙及剑桥研究院以及亚太地区部分高校与研究机构,围绕“自然用户界面”、“大数据与机器学习”、“云计算与移动技术”和“科技引领产品创新”等四大主题。
“翻译”手语
“这款基于Kinect的手语翻译系统包括一个翻译模式和一个沟通模式。翻译模式将失语者的手语翻译成文字和语音;在沟通模式中,系统采用虚拟形象代替正常人打手语的方式,将文字或语音翻译成失语者可以阅读的手语。”微软亚太研究院工作人员介绍。
该系统是由微软亚洲研究院、中国科学院和北京联合大学合作开发,以微软研究院在翻译和自然语言处理、语音和手势识别等领域的研究成果为基础,借助Kinect设备对手语进行识别和翻译。微软亚洲研究院首席研究员童欣介绍:“因为我擅长图形学研究,我的主要职责是帮助他们开发一个高效率、高品质的虚拟形象,让人们所表达的言语通过该虚拟形象形成手语。”
微软亚洲研究院院长洪小文介绍,这项研发以微软研究院在翻译和自然语言处理、语音和手势识别等自然用户界面领域的广泛研究成果为基础,并更进一步。多式输入数据的应用将突破先前单纯依靠视觉输入或语音数据的局限性。
世界各地有3.6亿的听力障碍人士,其中来自中国的听力障碍患者人数将近2100万。微软研究院学术合作部自然用户界面总监Stewart Tansley介绍,该系统同时支持对汉语手语和英语手语的识别与翻译,并能将文本信息反向翻译为手语。该系统不仅打破了听障人士与健听人士之间的沟通障碍,更可帮助不同文化和语言背景的听障人士实现无障碍交流。“使用美国手语的人可以与使用中国手语的人交流,甚至可以让使用任何手语和使用任何自然语言的人相互交流。” Stewart Tansley说。
据了解,其所应用的技术除Kinect For Windows外,还包括必应词典、微软翻译、语言建模和3D建模等来自微软亚洲研究院的技术。
5年科研 坚守3大使命
在活动现场,除了基于Kinect的手语翻译系统外,记者亲身体验了更多关于大数据与机器学习、云计算与移动技术、自然用户界面以及科技引领产品创新等前瞻性技术和产品。目前,大多数技术尚未转化为商用,不过记者从中不难了解未来科技生活的走向。
在展示区,记者了解到,微软研究院协助开发了一款先进的Excel 3D数据可视化工具——“Power Map”。Power Map可以让用户直观地绘制地域和时间数据,从三维立体的角度对数据进行分析,并允许用户将大量数据以3D可视方式映射到必应地图上,并通过3D柱形图、泡泡图/饼图、热量图和区域图等形式实现数据的可视化。洪小文介绍,Power Map for Excel已作为数据可视化工具转化到微软的Excel产品中,提高全球用户的使用体验。
据了解,今年正值微软亚洲研究院建院15周年。洪小文介绍,微软亚洲研究院从创立之初就坚持三大使命:一、不断提升计算机基础科学研究水平;二、快速将技术转移到微软产品中;三、确认微软以及计算机科学有一个美好的未来。作为微软在美国本土以外规模最大的基础研究机构,微软亚洲研究院一直致力于计算机基础研究,不仅为微软公司的产品研发做出了积极贡献,同时也推动着整个计算机科学的发展,改善着人们的计算体验。
本报记者 张乔
……
关注读览天下微信,
100万篇深度好文,
等你来看……