清华团队推出新颖唇语解读系统 研究成果发表在最新的《自然·通讯》期刊上

2022-04-06 10:28:38   来源:科技日报

人说话时嘴唇动作跟语音同步,可以通过识别唇动信息进行语言信息交流。唇语对讲话者友好,但是对解读唇语的听众来说却并不轻松,唇语解读一直以来是个难题,掌握唇语解读技能的成本较高。

据了解,为降低唇语解读难度,现有技术手段常采用磁场、视觉图像、超声波等方法。以最流行的非接触式视觉图像方法为例,其唇语识别准确率较高,但依然容易受到面部角度、光强、头动和遮挡等因素干扰。特别是在此次新冠病毒流行期间,佩戴的口罩给基于视觉的唇动解读带来全新挑战。因此,通过直接捕捉面部肌肉细微动作解读唇语技术具有重要的科学研究价值与广阔的应用前景。

如果在不久的将来,嘴唇掀动——“开门”,也许电子门禁能秒懂,马上识别身份并解锁;与汽车对话——“左拐”,或许可控制车的方向逐渐向目标移动;对于声带、喉舌损伤的失声人群,唇语可能将是一种不占用双手的、日常无障碍交流的有效方式……

这些想法,在日清华大学机械工程系智能与生物机械团队推出一种新颖的唇语解读系统之后,将很有可能梦想成真。相关研究成果发表在最新的《自然·通讯》期刊上。

据了解,这项技术的主要试验和测试工作由清华机械工程系智能与生物机械实验室完成,中科院纳米能源与系统研究所的王中林院士对整个科研工作过程进行建议和指导。

那么,究竟这项唇语解读系统的新颖之处何在?“这个基于深度学辅助自供电柔传感器的唇语解读技术,目标是解决声带、喉舌损伤失声人群的日常无障碍交流问题,其不占用双手,不受面部角度、光强、遮挡和头动等外部因素的干扰,新颖之处在于开发自供电的柔传感器(灵敏度0.61183 V/kPa)采集肌肉的微小动作信号,并采用基于原型学的深度学模型,使用较少的数据训练,测试准确率可达94.5%,实现即时捕捉失声人群的唇动并转译成语音,可用于失声人群的日常无障碍语音交流。”3月29日,该论文第一作者、清华大学机械工程系智能与生物机械团队助理研究员路益嘉在接受科技日报记者采访时表示。

这个唇语解读系统是否会运用大数据、人工智能等技术,突破的技术瓶颈是什么?路益嘉答道,“实现对唇动信号的识别需要用到人工智能技术和机器学算法。在实际测试中发现,由于不同人的面部骨骼肌肉、肌肉运动形式、肌肉动作先后顺序和惯语速等存在不同,即使是同一个词和同一句话,采集到的信号也有区别,为了得到通用的可以接受的测试准确率,需要采集海量的数据进行模型训练。然而,这样的成本偏高。”

据介绍,研究人员没有采用训练通用模型的技术路线,而是采用训练个化的小样本量数据模型的方法,即对每个人的每个词(或每句话)分别采集小样本量(相对海量数据而言)的数据进行模型训练,考虑到每人说话的唇动都具有独特的惯特征,这样训练出的模型缺少通用但更有针对,而不考虑通用的要求降低模型对训练数据量的需求,小样本量也能得到可接受的测试准确率。研究人员使用基于原型学的空洞循环神经网络,来减少模型对训练样本量的需求。例如,在测试中对20个常用水果名称的唇动信号进行分类训练,每个水果名称的唇动信号选取100个样本,测试准确率达94.5%。

这项研究将在哪些领域应用,发挥作用?“该研究通过自供电传感器采集唇动微动信号,并使用深度学模型将信号识别为有含义的语音信号或文字信号,比较适合服务失声人群,在日常生活交流中可恢复失声人群的基本语音交流能力,并保留失声前的说话惯。”路益嘉表示。

此外,其还可应用于个人身份识别。研究人员制作出一个唇动指令开门的应用演示。由于该方法融合特定密码口令的静态特征和个人特殊的唇部动态特征,可以实现双重特征验证,特别是戴口罩不发声说密码的方式可进一步提升系统安全,适用于安全验证要求较高的场合。

该研究成果还可用于人机交互的研究。研究人员制作出一个唇动信号控制模型车运动方向的应用演示,通过检测唇动发出的方向指令,机器模型车可改变行进方向。这为现有人机交互方案提供了新的可能

标签: 清华团队 唇语解读 唇语解读系统 研究成果

相关阅读

清华团队推出新颖唇语解读系统 研究成果发

科技

人说话时嘴唇动作跟语音同步,可以通过识别唇动信息进行语言信息交流。唇语对讲话者友好,但是对解读唇语的听众来说却并不轻松,唇语解读一

2022-04-06

河南桐柏发现的新矿种成为2022年第1号矿物

科技

4月3日,记者从河南省地矿局获悉,由该局参加的一个科研团队发现并命名了一种自然界新矿物——空铁黝银矿。该矿物近日正式获得国际矿物学协

2022-04-06

“毅力号”首次探测到来自火星的声音 声音

科技

英国《自然》杂志近日报道了一项行星科学研究,科学家针对火星上声学测量的分析,揭示了在以二氧化碳为主的大气中两种声音的速度。这些声音

2022-04-06

人类肺部发现拥有再生特性新细胞 有望在治

科技

美国科学家在最新一期《自然》杂志上发表论文指出,他们在人体肺部深处发现了一种新的细胞类型,拥有再生特性,能使对肺泡正常功能至关重要

2022-04-06

历时7年自主研发 水力钻塞破解钻井栓塞难题

科技

近日,记者从辽河油田钻采工艺研究院(以下简称辽河油田钻采院)获悉,该院历时7年自主研发的高压水力钻塞技术,在辽河油田新海27-H31井成功

2022-04-06

清华团队推出新颖唇语解读系统 研究成果发表在最新的《自然·通讯》期刊上

科技

人说话时嘴唇动作跟语音同步,可以通过识别唇动信息进行语言信息交流。唇语对讲话者友好,但是对解读唇语的听众来说却并不轻松,唇语解读一

2022-04-06

河南桐柏发现的新矿种成为2022年第1号矿物 银含量高达52.3%

科技

4月3日,记者从河南省地矿局获悉,由该局参加的一个科研团队发现并命名了一种自然界新矿物——空铁黝银矿。该矿物近日正式获得国际矿物学协

2022-04-06

“毅力号”首次探测到来自火星的声音 声音的测量或有助于研究行星大气

科技

英国《自然》杂志近日报道了一项行星科学研究,科学家针对火星上声学测量的分析,揭示了在以二氧化碳为主的大气中两种声音的速度。这些声音

2022-04-06

人类肺部发现拥有再生特性新细胞 有望在治疗人类肺部疾病中发挥关键作用

科技

美国科学家在最新一期《自然》杂志上发表论文指出,他们在人体肺部深处发现了一种新的细胞类型,拥有再生特性,能使对肺泡正常功能至关重要

2022-04-06

历时7年自主研发 水力钻塞破解钻井栓塞难题

科技

近日,记者从辽河油田钻采工艺研究院(以下简称辽河油田钻采院)获悉,该院历时7年自主研发的高压水力钻塞技术,在辽河油田新海27-H31井成功

2022-04-06

两种材料“联姻” 生出能变形变色可自我修复“后代”

科技

作为伪装大师,蝰蛇毛毛虫可以变形成蝰蛇形状吓跑捕食者,变色龙可以根据环境变化调节自己的肤色……数百万年的自然进化,赋予许多生物不同

2022-04-02

中国林科院在白蜡抗虫育种及白蜡窄吉丁生物防控方面 提供新方向和新方法

科技

日前,中国林业科学研究院森林生态环境与自然保护研究所专家在白蜡抗虫育种及白蜡窄吉丁生物防控研究方面获得发明专利授权——《芥子醛葡萄

2022-04-02

研究团队提出“非药物疗法” 双管齐下治疗耐药性肿瘤

科技

通过胞内多肽自组装,以阻断微管抑制细胞增殖、限供能量促进细胞凋亡的方式,来有效治疗耐药肿瘤。这种双管齐下的非药物疗法为临床晚期肿瘤

2022-04-02

研究表明:阿尔兹海默症或从35岁开始决定

科技

近日,发表在《阿尔茨海默症与痴呆症:阿尔茨海默症协会杂志》上的一项新研究中,来自美国波士顿大学医学院领导的研究团队,将年仅35岁人群

2022-04-02

消灭转移性前列腺癌 新疗法“火力”强劲

科技

近日,诺华(Novartis)宣布,美国食品药品监督管理局(FDA)已经批准该公司的靶向放射性配体疗法Pluvicto上市,用于治疗前列腺特异性膜抗原(PS

2022-04-02

遇见旗袍是于万千人群中的惊鸿一瞥 沿途洒满了爱的芬芳

旗袍,中国和世界华人女性的传统服装,被誉为中国国粹和女性国服。虽然其定义和产生的时间至今还存有诸多争议,但它仍然是中国悠久服饰文化

北京市电影院有序恢复开放 周五预售部分场次已满座

7月21日,北京市政府发布《北京市电影局关于在疫情防控常态化条件下有序推进电影院恢复开放的通知》,宣布全市低风险地区影院,可于7月24日

近期持续强降雨影响 第46届武汉渡江节因长江水位过高取消

武汉7·16渡江节组委会14日发布公告,由于长江武汉关水位超警戒水位,按照规定取消2020年第46届武汉7·16渡江节。受近期持续强降雨影响,

“非遗”普及受众最看重“动手”参观大师工作室非常享受

过去一段时间,国家级非遗项目灰塑传承人邵成村,多次在陈家祠等工作现场,向身边那些带着好奇目光的人们讲解灰塑的种种技术细节:草根灰、

璧山冷酒夜市 丰富市民夜间文旅活动

7月13日,位于璧山区南门唐城夜市街区的璧山冷酒夜市开街。这是璧山区打造夜间经济消费载体、培育夜间经济活动品牌的举措之一。璧山市民一

龙头企业去年净利倍增 整个行业营收规模有望创造历史新高位

近日,面板龙头TCL科技、京东方分别发布2021年度业绩快报,两家企业去年归属于上市公司股东的净利润分别增长129 3%、412 86%,实现超过百亿

深圳国企全力为市民 守好“菜篮子”“米袋子”保障量足价稳

疫情防控形势下,民生物资供应是否充足成为市民最为关注的问题之一。连日来,深农集团、深粮控股等企业,充分发挥国企担当,全力为深圳市民

去年我国中小企业实现恢复性增长 政策持续加码助力中小企业平稳发展

中小企业是稳定工业经济的重要力量,党中央把促进中小企业发展作为长期战略。2021年我国中小企业实现了恢复性增长,规上中小企业收入利润同

工银瑞信累计创造投资回报4707亿元 夯实投研能力建设

公募基金行业的本质是受人之托,代人理财,首要社会责任就是为广大投资者提供优质的资产管理服务。作为国内首家银行系基金公司,工银瑞信始

海底捞年底前关店300家 股价开始反弹近两个交易日累计上涨10.47%

海底捞在发布年底前逐步关停300家左右门店的公告后,股价奇迹般开始反弹,11月8日最高涨幅达11 4%,近两个交易日累计上涨10 47%。半年报数

相关单位发布关于虎谷峡游客碰撞事故的声明

关于虎谷峡游客碰撞事故的声明2020年8月19日下午约13点30分,在我公司虎谷峡景区,部分游客乘坐下山玻璃滑道时,因突降暴雨、滑速过快,导