落地多家国产头部,厂商天籁自研助听器算法解决方案再升级!

会议动态来源:腾讯会议2024-05-30

5月26日,在2024年第八届北京国际听力学大会上,腾讯会议天籁实验室负责人商世东发表了主题为《腾讯天籁inside助听器算法与远程验配》的演讲,为现场来宾介绍了天籁实验室在AI助听方面的探索与实践

天籁inside助听器

有关数据显示,中国有1.2亿老人存在不同程度的听力损失。然而国内仅有5%-10%的中、重度听障老人佩戴了助听器,远低于欧美国家的30%水平。为了让更多听障老人戴上性价比高的助听器,腾讯会议天籁实验室于2022年推出了自研的助听器解决方案,帮助国产助听器在复杂场景下的语音清晰度和可懂度提升85%

两年多以来,天籁实验室不断升级助听器算法,大幅提升了啸叫抑制能力,同时减少了声音前后混淆,自动匹配更真实的环境感知,能够为听障朋友提供更清晰、可懂、自然的声音。此外,对于突发的瞬态噪声,比如关门、敲桌子等声音,通过AI降噪算法有效降低噪音,提高语音清晰度。针对定向接收指定方向声音,腾讯天籁对周围环境的噪声进一步加强抑制,全方位为用户提供更好的听觉体验。

目前,天籁实验室已联合多家助听器品牌推出天籁inside助听器,除了在医疗级市场广受欢迎的RIC式助听器外,还新增了对用户佩戴更加友好的颈挂式助听器。此外,针对听障人士看电视、视频通话等场景,还推出了电视模式,用户可一键切换场景设置和接听电话。

“助听器是听力补偿的重要辅具,和近视验光一样,验配也是助听器佩戴非常关键的一环。”商世东表示,传统的远程方案,由于验配环节多、服务距离远、交互耗时长等影响,延时或流损等现象频出,影响了验配的效果。

天籁远程听力服务平台

为了解决线下验配难题,2023年腾讯天籁实验室推出了天籁远程听力服务平台,由北京听力协会等机构提供专业指导,并联合专业验配师、头部助听器厂商、业内资深专家等共同研发。

目前,该平台已全面开放,非天籁inside 助听器厂商只需适配平台协议,即可使自身助听器产品支持天籁远程验配;助听器芯片提供商也可以适配腾讯天籁的通信协议,来满足持续增长的远程验配需求。通过与更多助听器生态伙伴实现资源共享和优势互补,优化远程听力服务效能和覆盖范围。挚听、小维、左点、玖益等助听器品牌已全面接入使用,验配师们通过该平台,已为数千位听障老人提供了远程测听与验配服务

此外,天籁实验室应用方言识别中的各项技术,包括基于自监督的多语言模型进行预训练、发音词典适配、数据扩充、声调拓展建模,较大程度提升了听障语音的识别率

腾讯天籁行动希望携手整个助听行业上下游共同努力,共同为听障人士提供专业、清晰、高效、便捷的听力服务,能够让更多的听障人士,听清这个世界的声音。

以下为商世东演讲全文

尊敬的各位嘉宾,大家上午好。我是腾讯会议天籁实验室的商世东。今天我想跟大家分享一下,天籁行动这几年,在AI助听方面的探索与实践。

有关数据显示,我国听障人数高达2780万,有1.2亿老人存在不同程度的听力损失,每年至少有2万新生儿患有先天性听力障碍。听力损失也是引发认知障碍、跌到、抑郁的高风险因素。

我们是腾讯会议旗下,专注做音视通信处理和研发的团队,把技术用在腾讯会议的音频降噪处理、语音增强等场景,也通过腾讯云音视频为客户提供服务。

四年前,当我了解到,听障人士即使佩戴了助听器等设备,仍面临噪音干扰、听不清等难题,我们正式发起了“天籁行动”,面向开发者、设备厂商、NGO等,开放天籁音频AI技术,希望提升助听设备佩戴者的体验。

过去四年来,我们坚持通过技术开放,联合权威机构、合作伙伴共同进行产品、应用创新。同时也携手腾讯公益慈善基金会、SSV银发科技实验室等团队,发起了面向听障老人的专项救助基金,并率先在广东韶关、重庆等地进行了试点落地。

助听器是听障人士进行听力补偿的有效手段,然而国内仅有5%-10%的中、重度听障老人佩戴了助听器,远低于欧美国家的30%水平。一来因为进口助听器价格昂贵,动辄万元起步;二来国产中低端助听器降噪效果、佩戴体验都难达预期,体验不佳。所以在人工耳蜗场景验证了天籁AI的技术价值后,我们自研的助听器算法解决方案,可以帮助国产助听器,提升复杂场景下的语音清晰度和可懂度85%,并联合多家助听器品牌推出了天籁inside助听器。

经过四年的耕耘,我们已经帮助了近500万用户进行听力水平筛查,并在韶关定点救助了500位听障老人,后面也在山东、重庆等多地进行了配捐落地。

我们也在持续迭代天籁inside助听解决方案。技术层面,大幅提升了啸叫抑制能力,同时减少了声音前后混淆,自动匹配更真实的环境感知,能够为听障朋友提供更清晰、可懂、自然的声音。

产品功能层面,RIC式助听器之外,我们还新增了其他全新产品形态,比如对用户佩戴更加友好的颈挂式助听器,降低用户佩戴心理门槛的豆式助听器;另外,针对听障人群看电视、视频通话等场景,我们还推出了电视模式,用户能够一键切换场景设置和接听电话,操作便捷。

助听器是听力补偿的重要辅具,和近视验光一样,验配也是助听器佩戴非常关键的一环。

目前助听器的线下验配,仍面临很多挑战。比如出行带来的不便、会产生很多时间、差旅成本。而且专业的验配门店、验配师资源少、分配不均,尤其是在一些小城市、乡镇或偏远农村地区。这些因素都限制了助听器的普及。

作为助听器线下验配的有益补充,去年我们正式发布了“腾讯天籁远程听力服务平台”,该平台由北京听力协会等机构提供专业指导,并联合专业验配师、头部助听器厂商、业内资深专家等共同研发。依托天籁领先的音频AI能力,有效保障平台音视频连接的稳定、高质,让助听器远程验配效果更清晰、真实。基于腾讯会议一键连接,验配师操作简易,听障用户只需一部智能手机即可在家完成验配。经过一年多的迭代更新,目前已覆盖绝大多数的助听器验配功能。我们对接入平台的每一款助听器,都会对比专业的听力计进行测听校准,保证在相同的听力损失下,测听频点通过平台发出的物理声压级,与听力计发出的保持相当。

验配师和听障用户进入一个会议后,可通过视频、音频或者文字等多种方式沟通交流,和用户确认外耳健康等基础信息。再通过会议,和用户端的助听器进行蓝牙连接。首先可以对用户进行一个远程测听,了解用户的听力健康状态。然后根据原位测听结果,选择合适的耳塞和受话器。验配师可通过网络传输,对用户的助听器发起命令,进行增益补偿分析。也可以结合算法对相关参数进行调整。截至目前,验配师们通过这个平台,已经为数千位听障老人提供了远程测听与验配服务。

平台实现了筛查、验配、调参、听力干预在线一体化。目前,腾讯天籁远程听力服务平台已经全面开放,非天籁inside 助听器厂商只需适配平台协议,即可使自身助听器产品支持天籁远程验配;助听器芯片提供商也可以适配腾讯天籁的通信协议,来满足持续增长的远程验配需求。远程听力服务平台,是腾讯天籁AI助听方案的重要一环,我们希望可以打通筛查、测听之后,腾讯“天籁行动”助力听障人士融入数字社会的“最后一公里”,实现覆盖前期筛查、中期诊疗、后期验配的听力健康服务闭环。目前,挚听、小维、左点、玖益等品牌已全面接入使用我们的听力服务平台。

听障人士一般分为手语使用者和口语使用者,这两者也没有特别明显的界限,一般手语使用者的发音更难懂一些,需要借助手语交流。此前,我们随机选取了7个听障语音,发现每个人发音错误不尽相同。我们着眼于提升听障语音的识别率,认为可以将其作为一种独特的语言进行解读,并应用方言识别中的各项技术,包括基于自监督的多语言模型进行预训练、发音词典适配、数据扩充、声调拓展建模,以及混合(Hybrid)和端到端(E2E)系统的融合等。

基于此,我们使用了XLSR-53模型,该模型在包含53种不同语言的56,000小时音频数据上进行训练而成的Wav2vec2.0模型。在研究过程中,我们探索了以下两个方面:

(1)说话人无关训练对目标听障语音识别的增益;

(2)普通中文数据集对听障语音识别提供的增益。初步结果表明,这些方法在提高听障语音的识别率方面具有显著的潜力。

我们利用xlsr53为预训练母模型,在aishell-1数据集上进行精调得到的baseline,结果很不乐观,对于大部分说话人的识别率低于15%,是一种完全不可用的状态。

在第二阶段,我们针对其中的一个结果模型继续精调听障语音,在精调过程中,选取了3个和5个无关说话人,结果显示,对于另外一位说话人上结果有一定提升,说明其他无关听障人的语音有一定的集外拓展性。当选取了全部说话人进行精调时,wer下降到48%左右。识别结果最好一位wer下降到31.2%。同时,我们去除aishell数据集,只精调dhh语音,发现识别结果对比系统还是有一定差距的,这也印证了同语种下,正常语音对dhh语音是有一定帮助的。当然,这个实验还有很大提升空间,将正常语音和dhh语音都扩大规模,同时结合方言asr各项技术,识别率有望进一步提升。

我们希望通过整个助听行业上下游的一同努力,能够共同为听障人士提供专业、清晰、高效、便捷的听力服务,能够让更多的听障人士,听清这个世界的声音。

订阅获取最新咨讯

点击“订阅获取最新资讯”按钮即表示您已同意腾讯会议通过邮件向您推送最新产品信息。查看腾讯会议隐私政策

阅读更多新闻