北航元气少女研发手语翻译器记录200个手语动作<

时间:2017-10-19 08:42 来源:http://www.whatisfinasteride.com

  “手音”是一款针对失语者的小众产品,预计今年5月份上线。普通人可能难以想象这款产品的意义所在——手语是失语者彼此沟通的桥梁,但对于普通人来说是比所有外语都难的语言,“手音”将做彼此之间润物细无声的沟通桥梁。

  2015年在一次活动上,娜与联合大学特殊教育学院的失语者张权成为了很好的朋友。娜不会手语,她们两个的相处更像网友,即使面对面的时候也往往通过微信交流。在跟室友黄爽说了张权的故事后,娜与黄爽她们两个越发关注这个问题。

  娜说:“有时候我觉得我说话是在‘’他们,一聊得开心就在想是不是忽略他们了,甚至有些”。

  网上一查,数字更让两人咋舌:失语者(包含听障人士、脑中风患者、脑瘫患者和渐冻症患者)在中国数量达到7千万,占到总人口的5%,这是一个非常庞大的数字。张权是失语者中的幸运儿,不仅可以上学还有工作,但更多的失语者因为沟通的问题一直是社会的边缘人。

  她们有时会想:老板开会听不见,点外卖没办法和店家沟通,别人怎么能接纳他们?《》有手语同步翻译,可其他直播节目如果没有字幕,失语者就永远无法享受它。

  娜来自计算机学院,而黄爽在自动化学院学习。她们曾在“冯如杯”(冯如杯为北航校内学生学术科技作品竞赛)上以图像识别项目获得了一等。

  娜回忆:“我们感觉发现了一个没有人发现的需求,想成为第一个实现它的人,也让我们的所学的知识有价值。”

  这两个姑娘开始着手研究手语翻译的可行性,查论文、做实验、写代码,用冯如杯一等金5万元作为启动资金行动了起来。因为不能随时携带摄像头,图像识别被否决了;因为太引人注意,手套被否决了。最终确定了通过臂环捕捉肌电信号的方法。因为随着智能手表的逐渐普及,失语者带着臂环看上去也并不突兀。

  黄爽记得,他们曾经专门做过“体验一天失语者”的活动。在便利店,因为结账时需要了解价格,失语者只能通过手机和店员沟通,时间稍长排队在后面的人开始不耐烦地催促,

  “如果别人知道我是失语者可能会体谅,但不知道就会埋怨,越埋怨我越着急。”一些失语者不愿意别人称呼他们为“聋人”,自己会写成“龙人”。

  确定研发方向后,关键的是不断地输入数据、调试数据以手语翻译的准确性。

  为了检验模型的可靠性,最初只有两人在录手语的数据,整天戴着臂环不停地做动作,黄爽开玩笑说:练下去咱俩就要成为麒麟臂啦!

  为了数据的多样化,并且真正让失语者喜欢,两人后来联系了天津理工大学聋人工学院,合作进行数据采集和智能臂闭环开发,还与市朝阳区残联达成合作意向,为手音的产品服务化提供咨询、指导。张权也成为了团队的顾问。

  如今,“手音”已经涵盖了200个手语动作,为了精确度,每一个动作了一千人次。在有了自己的手势数据库之后,团队还搭建了一个7层BP神经网络对数据速度进行训练,目前识别准确度已经达到了95%。

  直到去年8月份,团队里只有娜和黄爽两个人,后来逐渐加入其他人。他们没有办公室,开会都是打游击战,咖啡厅、餐厅、教室都曾被征用过,做研发都是在自己的实验室里。

  后来,因为团队内有人因出国而退出,娜在北航研究生保研继续深造,黄爽研究生保研至,两个学霸少女没有因升学而放弃团队,继续坚定地吸引人才研发产品。

  由两个女生主导的技术性创业团队很少见,两人也经历了磨合。遇到意见不同会等着双方都冷静下来回宿舍再沟通。

  娜告诉她,团队沟通对事不对人,要彼此敞开,现在两人之间可以为一件事辩论个你死我活,也能在达成一见手挽手去吃吃喝喝。团队里还有其他很多技术人员,大家一起熬夜写代码的时候,两个女生也会偶尔为“程序员鼓励师”,一起为团队加油打气。

  她们关于未来有很多设想,用“手音”解决面对面聊天、长时间对话、手语字幕、手语教学等问题。此外,在人工智能技术成熟后还可以结合VR/AR技术在如钢琴精确性训练等多方面发挥作用。

  在百度与联合国开发计划署共同主办的“极·致未来”责任创新挑战赛上,“手音”团队获得了一等和最佳人气,被誉为最有“包容性”的项目。据了解,“手音”团队目前已拿到同盟资本50万投资。

  这两个94、95年出生的元气少女笑着说她们的理想:“或许因为我们现在还没有社会,没有买房的苦恼和社会的压力,只是觉得我们所拥有的技术能够对社会有价值,能够真正帮助一些人,我们又有时间,那我们就做吧!”