云知声 4 篇论文入选国际顶会 INTERSPEECH 2023

近日，国际性语音及语言科学技术领域盛会 INTERSPEECH 2023 在爱尔兰都柏林举行。云知声联合上海师范大学发表的 4 篇论文被大会成功收录，成果覆盖语音增强、语音识别、防攻击声纹等研究方向。这是继 ACM MM 2023 后，云知声 AGI 技术实力在 2023 年再次获得国际顶会认可。

INTERSPEECH 在国际上享有极高盛誉并具有广泛的学术影响力，是由国际语音通讯协会（ISCA）创办的旗舰级国际会议，是国际性语音及语言科学技术领域的顶级会议之一，对参会企业和单位有着严苛的准入门槛，历届 INTERSPEECH 会议都倍受全球各地语音研究领域人士的广泛关注。

此次获得国际顶会认可，既是云知声与上海师范大学通力合作、持续探索智能语音技术的结果，也离不开云知声 AGI 技术架构的有力支撑。

云知声：通过通用人工智能 (AGI) 创建互联直觉的世界

云知声 AI 技术体系及 U+X 战略

作为中国 AGI 技术产业化的先驱之一，云知声于 2016 年打造 Atlas 人工智能基础设施，并构建公司云知大脑 (UniBrain) 技术中台，以山海（UniGPT）通用认知大模型为核心，包括多模态感知与生成、知识图谱、物联平台等智能组件，并通过领域增强能力，为云知声智慧物联、智慧等业务提供高效的产品化支撑，推动"U (云知大脑)+X (应用场景)"战略落实，践行公司"通过通用人工智能 (AGI) 创建互联直觉的世界"的使命。

作为云知大脑（UniBrain）的重要组件，智能语音技术包含语音识别、声纹识别、语音合成等，目前已广泛应用于家居、车载、客服等领域。以车载场景为例，在云知声智能语音技术的加持下，可实现多音区识别、连续语音交互、个性化语音播报、所见即可说、模糊指令匹配等强大语音能力，为用户带来更智能更自然的交互体验。随着云知声智能语音技术的不断发展，其在各个场景的落地应用也将进一步提速。此次论文收录，充分印证了云知声在智能语音领域的技术创新实力，同时，也将进一步夯实其 AGI 技术底座，加速千行百业的智慧化升级。

接下来，云知声将继续践行"U+X"战略，携手上海师范大学等高校机构，共同加强 AI 基础理论和关键技术的研发，不断拓展 AGI 应用场景，为智慧物联与智慧两大领域提供更广泛、更深入的人工智能解决方案，致力实现以人工智能赋能千行百业的美好愿景。

以下为入选论文概览：

● 研究方向：语音增强

论文标题：A Mask Free Neural Network for Monaural Speech Enhancement

目前主流时频语音增强系统以复频谱作为输入，存在着训练工具不支持复数，复数建模方式不易训练，以及基于掩蔽的方法理论上无法完全恢复出干净语音的问题。为解决以上问题，本文提出了一种无需掩蔽的语音增强系统。该系统利用短时离散余弦变换（STDCT）作为特征，不仅与 STFT 同样具备信息完备性，而且是一种实数特征。我们在 MetaFomer 基础上，结合 MobileNet block 的轻量架构以及 NAFNet 的设计理念构建了全局局部模块，整个网络由此模块堆叠而成。结果表明，相比其他网络，MFNet 的性能达到了 SOTA 水平，且计算量具有优势。

● 研究方向：语音识别

论文标题：Multi-pass Training and Cross-information Fusion for Low-resource End-to-end Accented Speech Recognition

低资源重口音语音识别是当前 ASR 技术在实际应用中面临的重要挑战之一。在这项研究中，我们提出了一个基于 Conformer 的架构，称为 Aformer，以利用大量非口音和有限口音训练数据的声学信息。在 Aformer 中设计了一个普通编码器和一个口音编码器来提取互补的声学信息。此外，我们使用多通道的方式训练 Aformer，并研究了三种交叉信息融合方法，以有效地结合来自一般编码器和口音编码器的信息。结果表明，在六个域内和域外口音测试集上，我们提出的方法优于 Conformer 基线，词 / 字错误率相对减少了 10.2% 到 24.5%。

● 研究方向：语音识别

论文标题：Phonetic-assisted Multi-Target Units Modeling for Improving Conformer-Transducer ASR system

在端到端的自动语音识别（ASR）中，开发有效的目标建模单元是非常重要的，也是大家一直关注的问题。我们提出一种语音辅助的多目标单元（PMU）建模方法，以渐进式表征学习的方式增强 Conformer-Transducer ASR 系统。具体来说，PMU 首先使用语音辅助子词建模（PASM）和字节对编码（BPE）分别产生语音诱导和文本诱导的目标单元；在此基础上，我们提出了三种增强声学编码器的框架，包括基本 PMU、paraCTC 和 paCTC，它们集成了不同层次的 PASM 和 BPE 单元，用于 CTC 和 transducer 多任务训练。在 LibriSpeech 和口音 ASR 测试集上的实验结果表明，与传统的 BPE 相比，提出的 PMU 方法显著降低了 LibriSpeech clean、other 和 6 个重音 ASR 测试集的 WER，分别降低了 12.7%、6.0% 和 7.7%。

● 研究方向：防攻击声纹

论文标题：Advanced RawNet2 with Attention-based Channel Masking for Synthetic Speech Detection

自动扬声器验证系统通常很容易受到欺骗攻击，特别是不可见的攻击。由于语音合成和语音转换算法的多样性，如何提高合成语音检测系统的泛化能力是一个具有挑战性的问题。为了解决这个问题，我们提出了一种改进的 RawNet2，通过引入一个基于注意力的通道掩蔽模块来改进 RawNet2，其中包括三个主要组成部分：SE、通道掩蔽和全局-局部特征聚合。在 ASVspoof 2019 和 ASVspoof 2021 数据集上评估了该系统的有效性。其中，ARawNet2 在 ASVspoof 2019 LA 任务上达到了 4.61%，在 ASVspoof 2021 LA 和 DF 任务上的 EER 分别达到了 8.36% 和 19.03%，比 RawNet2 基线分别降低了 12.00% 和 14.97%。