落地多家国产头部，厂商天籁自研助听器算法解决方案再升级！

5月26日，在2024年第八届北京国际听力学大会上，腾讯会议天籁实验室负责人商世东发表了主题为《腾讯天籁inside助听器算法与远程验配》的演讲，为现场来宾介绍了天籁实验室在AI助听方面的探索与实践。

天籁inside助听器

有关数据显示，中国有1.2亿老人存在不同程度的听力损失。然而国内仅有5%-10%的中、重度听障老人佩戴了助听器，远低于欧美国家的30%水平。为了让更多听障老人戴上性价比高的助听器，腾讯会议天籁实验室于2022年推出了自研的助听器解决方案，帮助国产助听器在复杂场景下的语音清晰度和可懂度提升85%。

两年多以来，天籁实验室不断升级助听器算法，大幅提升了啸叫抑制能力，同时减少了声音前后混淆，自动匹配更真实的环境感知，能够为听障朋友提供更清晰、可懂、自然的声音。此外，对于突发的瞬态噪声，比如关门、敲桌子等声音，通过AI降噪算法有效降低噪音，提高语音清晰度。针对定向接收指定方向声音，腾讯天籁对周围环境的噪声进一步加强抑制，全方位为用户提供更好的听觉体验。

目前，天籁实验室已联合多家助听器品牌推出天籁inside助听器，除了在医疗级市场广受欢迎的RIC式助听器外，还新增了对用户佩戴更加友好的颈挂式助听器。此外，针对听障人士看电视、视频通话等场景，还推出了电视模式，用户可一键切换场景设置和接听电话。

“助听器是听力补偿的重要辅具，和近视验光一样，验配也是助听器佩戴非常关键的一环。”商世东表示，传统的远程方案，由于验配环节多、服务距离远、交互耗时长等影响，延时或流损等现象频出，影响了验配的效果。

天籁远程听力服务平台

为了解决线下验配难题，2023年腾讯天籁实验室推出了天籁远程听力服务平台，由北京听力协会等机构提供专业指导，并联合专业验配师、头部助听器厂商、业内资深专家等共同研发。

目前，该平台已全面开放，非天籁inside 助听器厂商只需适配平台协议，即可使自身助听器产品支持天籁远程验配；助听器芯片提供商也可以适配腾讯天籁的通信协议，来满足持续增长的远程验配需求。通过与更多助听器生态伙伴实现资源共享和优势互补，优化远程听力服务效能和覆盖范围。挚听、小维、左点、玖益等助听器品牌已全面接入使用，验配师们通过该平台，已为数千位听障老人提供了远程测听与验配服务。

此外，天籁实验室应用方言识别中的各项技术，包括基于自监督的多语言模型进行预训练、发音词典适配、数据扩充、声调拓展建模，较大程度提升了听障语音的识别率。

腾讯天籁行动希望携手整个助听行业上下游共同努力，共同为听障人士提供专业、清晰、高效、便捷的听力服务，能够让更多的听障人士，听清这个世界的声音。

以下为商世东演讲全文

尊敬的各位嘉宾，大家上午好。我是腾讯会议天籁实验室的商世东。今天我想跟大家分享一下，天籁行动这几年，在AI助听方面的探索与实践。

有关数据显示，我国听障人数高达2780万，有1.2亿老人存在不同程度的听力损失，每年至少有2万新生儿患有先天性听力障碍。听力损失也是引发认知障碍、跌到、抑郁的高风险因素。

我们是腾讯会议旗下，专注做音视通信处理和研发的团队，把技术用在腾讯会议的音频降噪处理、语音增强等场景，也通过腾讯云音视频为客户提供服务。

四年前，当我了解到，听障人士即使佩戴了助听器等设备，仍面临噪音干扰、听不清等难题，我们正式发起了“天籁行动”，面向开发者、设备厂商、NGO等，开放天籁音频AI技术，希望提升助听设备佩戴者的体验。

过去四年来，我们坚持通过技术开放，联合权威机构、合作伙伴共同进行产品、应用创新。同时也携手腾讯公益慈善基金会、SSV银发科技实验室等团队，发起了面向听障老人的专项救助基金，并率先在广东韶关、重庆等地进行了试点落地。

助听器是听障人士进行听力补偿的有效手段，然而国内仅有5%-10%的中、重度听障老人佩戴了助听器，远低于欧美国家的30%水平。一来因为进口助听器价格昂贵，动辄万元起步；二来国产中低端助听器降噪效果、佩戴体验都难达预期，体验不佳。所以在人工耳蜗场景验证了天籁AI的技术价值后，我们自研的助听器算法解决方案，可以帮助国产助听器，提升复杂场景下的语音清晰度和可懂度85%，并联合多家助听器品牌推出了天籁inside助听器。

经过四年的耕耘，我们已经帮助了近500万用户进行听力水平筛查，并在韶关定点救助了500位听障老人，后面也在山东、重庆等多地进行了配捐落地。

我们也在持续迭代天籁inside助听解决方案。技术层面，大幅提升了啸叫抑制能力，同时减少了声音前后混淆，自动匹配更真实的环境感知，能够为听障朋友提供更清晰、可懂、自然的声音。

产品功能层面，RIC式助听器之外，我们还新增了其他全新产品形态，比如对用户佩戴更加友好的颈挂式助听器，降低用户佩戴心理门槛的豆式助听器；另外，针对听障人群看电视、视频通话等场景，我们还推出了电视模式，用户能够一键切换场景设置和接听电话，操作便捷。

助听器是听力补偿的重要辅具，和近视验光一样，验配也是助听器佩戴非常关键的一环。

目前助听器的线下验配，仍面临很多挑战。比如出行带来的不便、会产生很多时间、差旅成本。而且专业的验配门店、验配师资源少、分配不均，尤其是在一些小城市、乡镇或偏远农村地区。这些因素都限制了助听器的普及。

作为助听器线下验配的有益补充，去年我们正式发布了“腾讯天籁远程听力服务平台”，该平台由北京听力协会等机构提供专业指导，并联合专业验配师、头部助听器厂商、业内资深专家等共同研发。依托天籁领先的音频AI能力，有效保障平台音视频连接的稳定、高质，让助听器远程验配效果更清晰、真实。基于腾讯会议一键连接，验配师操作简易，听障用户只需一部智能手机即可在家完成验配。经过一年多的迭代更新，目前已覆盖绝大多数的助听器验配功能。我们对接入平台的每一款助听器，都会对比专业的听力计进行测听校准，保证在相同的听力损失下，测听频点通过平台发出的物理声压级，与听力计发出的保持相当。

验配师和听障用户进入一个会议后，可通过视频、音频或者文字等多种方式沟通交流，和用户确认外耳健康等基础信息。再通过会议，和用户端的助听器进行蓝牙连接。首先可以对用户进行一个远程测听，了解用户的听力健康状态。然后根据原位测听结果，选择合适的耳塞和受话器。验配师可通过网络传输，对用户的助听器发起命令，进行增益补偿分析。也可以结合算法对相关参数进行调整。截至目前，验配师们通过这个平台，已经为数千位听障老人提供了远程测听与验配服务。

平台实现了筛查、验配、调参、听力干预在线一体化。目前，腾讯天籁远程听力服务平台已经全面开放，非天籁inside 助听器厂商只需适配平台协议，即可使自身助听器产品支持天籁远程验配；助听器芯片提供商也可以适配腾讯天籁的通信协议，来满足持续增长的远程验配需求。远程听力服务平台，是腾讯天籁AI助听方案的重要一环，我们希望可以打通筛查、测听之后，腾讯“天籁行动”助力听障人士融入数字社会的“最后一公里”，实现覆盖前期筛查、中期诊疗、后期验配的听力健康服务闭环。目前，挚听、小维、左点、玖益等品牌已全面接入使用我们的听力服务平台。

听障人士一般分为手语使用者和口语使用者，这两者也没有特别明显的界限，一般手语使用者的发音更难懂一些，需要借助手语交流。此前，我们随机选取了7个听障语音，发现每个人发音错误不尽相同。我们着眼于提升听障语音的识别率，认为可以将其作为一种独特的语言进行解读，并应用方言识别中的各项技术，包括基于自监督的多语言模型进行预训练、发音词典适配、数据扩充、声调拓展建模，以及混合（Hybrid）和端到端（E2E）系统的融合等。

基于此，我们使用了XLSR-53模型，该模型在包含53种不同语言的56,000小时音频数据上进行训练而成的Wav2vec2.0模型。在研究过程中，我们探索了以下两个方面：

（1）说话人无关训练对目标听障语音识别的增益；

（2）普通中文数据集对听障语音识别提供的增益。初步结果表明，这些方法在提高听障语音的识别率方面具有显著的潜力。

我们利用xlsr53为预训练母模型，在aishell-1数据集上进行精调得到的baseline，结果很不乐观，对于大部分说话人的识别率低于15%，是一种完全不可用的状态。

在第二阶段，我们针对其中的一个结果模型继续精调听障语音，在精调过程中，选取了3个和5个无关说话人，结果显示，对于另外一位说话人上结果有一定提升，说明其他无关听障人的语音有一定的集外拓展性。当选取了全部说话人进行精调时，wer下降到48%左右。识别结果最好一位wer下降到31.2%。同时，我们去除aishell数据集，只精调dhh语音，发现识别结果对比系统还是有一定差距的，这也印证了同语种下，正常语音对dhh语音是有一定帮助的。当然，这个实验还有很大提升空间，将正常语音和dhh语音都扩大规模，同时结合方言asr各项技术，识别率有望进一步提升。

我们希望通过整个助听行业上下游的一同努力，能够共同为听障人士提供专业、清晰、高效、便捷的听力服务，能够让更多的听障人士，听清这个世界的声音。