ClearerVoice-Studio 语音增强模型训练全解析

引言

语音增强技术是音频信号处理领域的重要研究方向，旨在从带噪语音中提取出干净的语音信号。ClearerVoice-Studio项目提供了多种先进的语音增强模型的训练方案，本文将详细介绍这些模型的架构特点、技术原理以及训练方法。

支持的语音增强模型

ClearerVoice-Studio目前支持以下三种主流语音增强模型的训练与微调：

1. FRCRN_SE_16K (16kHz采样率)

FRCRN模型基于卷积循环编解码器(CRED)框架，是ICASSP 2022 DNS挑战赛中的优秀方案。该模型的核心创新点包括：

• 采用复数前馈顺序记忆网络(CFSMN)降低循环网络复杂度
• 使用复数网络操作实现完整的复数深度模型
• 同时增强语音的幅度和相位信息

技术特点：

• 输入输出：16kHz采样率的单通道语音
• 网络架构：卷积编码器-解码器结构结合频率循环层
• 优势：在各种噪声环境下都具有良好的泛化能力

2. MossFormerGAN_SE_16K (16kHz采样率)

MossFormerGAN模型融合了多种先进技术：

• 采用改进的MossFormer2骨干网络
• 引入TF-GridNet中的全频带自注意力模块
• 使用对抗训练方案优化网络
• 为判别器扩展了基于注意力的网络结构

技术特点：

• 输入输出：16kHz采样率语音
• 训练方式：生成对抗网络(GAN)框架
• 优势：在保持语音质量的同时有效抑制噪声

3. MossFormer2_SE_48K (48kHz采样率)

这是针对全频带(48kHz)语音增强的先进模型：

• 使用相位敏感掩码(PSM)预测技术
• 核心组件是MossFormer2模块与循环模型的组合
• 网络深度可调(默认使用24个MossFormer2块)
• 处理流程：噪声FBank→PSM预测→STFT谱图应用→IFFT转换

技术特点：

• 输入输出：48kHz高采样率语音
• 优势：在高品质媒体消费场景表现优异

训练环境配置

准备工作

1. 获取项目代码 使用版本控制工具获取项目完整代码

2. 创建Conda环境

   conda create -n ClearerVoice-Studio python=3.8
   conda activate ClearerVoice-Studio
   pip install -r requirements.txt
   

   注意：Python 3.8以上版本(如3.12.1)也可支持

数据准备指南

推荐数据集

对于初学者，建议使用VoiceBank-DEMAND标准数据集。该数据集包含多种噪声环境下的语音样本，适合语音增强模型的训练。

数据组织方式

需要准备两个关键文件：

1. 训练数据列表文件(如tr_demand_28_spks_16k.scp)
2. 测试数据列表文件(如cv_demand_testset_16k.scp)

数据预处理建议

对于小规模数据集(<100小时)：

• 建议将长语音切分为4-5秒的片段
• 优点：增加数据量，提高训练效率
• 避免过长的语音样本(>20秒)导致加载时间过长

模型训练流程

训练脚本配置

修改train.sh文件中的关键参数：

network=MossFormer2_SE_48K            # 选择要训练的模型
train_from_last_checkpoint=1          # 设置为1从上次检查点继续训练
init_checkpoint_path=./               # 微调时的预训练模型路径

启动训练

执行以下命令开始训练：

bash train.sh

训练技巧与建议

1. 学习率调整：根据验证集表现动态调整学习率
2. 批量大小：根据GPU显存选择合适批量大小
3. 正则化策略：适当使用Dropout防止过拟合
4. 早停机制：监控验证集损失，防止过训练

模型评估与选择

训练完成后，建议：

1. 在独立测试集上评估模型性能
2. 比较不同模型在目标场景下的表现
3. 根据计算资源需求选择合适模型

结语

ClearerVoice-Studio提供了一套完整的语音增强模型训练解决方案，从16kHz到48kHz，从传统架构到前沿的注意力机制与对抗训练，满足了不同场景下的语音增强需求。通过本文的指导，开发者可以快速上手训练自己的语音增强模型，在实际应用中提升语音质量。

建议开发者根据具体应用场景选择合适的模型架构，并通过充分的实验找到最优的超参数组合，以获得最佳的语音增强效果。