VAD模型是否支持微调

[812781385]

请问VAD模型如何微调，目前通过调整参数也不能满足业务

[LauraGPT]

你好！目前 FunASR 的 FSMN-VAD 模型支持微调，可以参考以下步骤：

微调方法：

1. 准备数据：需要标注好语音活动区间的音频数据（格式参考 FunASR 的数据准备文档）
2. 配置文件：基于 conf/fsmn_vad.yaml 修改训练参数
3. 使用 funasr/bin/train.py 进行微调

参考示例：

# 使用预训练模型微调
python -m funasr.bin.train \
  --model iic/speech_fsmn_vad_zh-cn-16k-common-pytorch \
  --data_dir your_data_dir \
  --output_dir your_output_dir

调参建议（不微调的情况下）：

• max_single_segment_time: 调大可以减少过早切断
• speech_noise_thres: 调低（如 0.5→0.3）可以让更多音频被判为语音
• max_end_silence_time: 调大可以容忍更长的停顿

如果能描述一下具体的业务场景和不满足的地方（比如误切、漏检等），可以更有针对性地给建议。

[812781385]

你好！我的音频是8k的对讲机音频，会存在许多噪音和PTT，我使用了iic/speech_fsmn_vad_zh-cn-8k-common，出现很多漏检，speech_noise_thres减小到负数也无法解决。

调参为：

• "max_single_segment_time": 180000
• "speech_noise_thres": 0.1,
• "max_end_silence_time": 900

部分可视化结果：

[812781385]

你好！目前FunASR的FSMN-VAD模型支持扭矩，可以参考以下步骤：

解决方法：

1. 准备数据：需要标注好的语音活动区间的音频数据（格式参考 FunASR 的数据准备文档）
2. 配置文件：基于conf/fsmn_vad.yaml修改训练参数
3. 使用funasr/bin/train.py进行参数

参考示例：

使用预训练模型微调

python -m funasr.bin.train
--model iic/speech_fsmn_vad_zh-cn-16k-common-pytorch
--data_dir your_data_dir
--output_dir your_output_dir
调参建议（不复杂的情况下）：

• max_single_segment_time：调大可以减少过早切断
• speech_noise_thres：调低（如0.5→0.3）可以让更多音频被判为语音
• max_end_silence_time：调大可以忍受更长的停顿

如果能描述一下具体的业务场景和不满足的地方（比如误切、漏检等），可以额外楼层地给出建议。

你好，“格式参考 FunASR 的数据准备文档”在哪儿能看吗？还有“基于conf/fsmn_vad.yaml”这个目录我也没有找到。

[LauraGPT]

了解，8K 对讲机音频 + 噪音确实是比较挑战的场景。几个建议：

1. 微调 VAD 模型（推荐）

对讲机音频特征（PTT 噪声、背景噪音）和标准训练数据差异大，调参难以解决根本问题。建议用你的对讲机音频标注数据微调 VAD：

from funasr import AutoModel

model = AutoModel(
    model="iic/speech_fsmn_vad_zh-cn-8k-common",
    model_revision="v2.0.4"
)

# 微调训练
# 数据格式: wav.scp + vad.txt (标注语音起止时间)

2. 前处理降噪

在 VAD 之前加一步降噪：

• ClearerVoice-Studio — 同团队出品的语音增强工具
• 或者简单的高通滤波去除低频噪声

3. 调参补充建议

对于高噪声场景，可以尝试：

• speech_noise_thres: 你已经调到 0.1 了
• noise_mean_smooth_weight: 调大（如 0.7→0.9）让噪声估计更平滑
• speech_2_noise_ratio: 调小让更多帧被判为语音

如果方便的话，可以分享一段脱敏的音频样本，我们可以帮忙分析具体的漏检原因。

[812781385]

微调 VAD 模型具体的做法是什么，目前仓库里并没有微调的代码和文档，你前面说的目录和文件，仓库里也没有。

[LauraGPT]

你说得对，目前仓库里确实没有 VAD 专用的 finetune 脚本。不过 FunASR 的通用微调框架可以用于 VAD 模型。

具体做法：

参考 examples/industrial_data_pretraining/paraformer/finetune.sh 的格式，修改模型名和数据即可：

#!/bin/bash
export CUDA_VISIBLE_DEVICES="0"

# VAD 模型
model_name_or_model_dir="iic/speech_fsmn_vad_zh-cn-8k-common"

# 准备数据: 需要 train.jsonl 和 val.jsonl
# 每行格式: {"key": "utt_id", "source": "path/to/audio.wav", "target": "0.00 1.23;2.45 5.67"}
# target 是 VAD 标注的语音段起止时间(秒)，用分号分隔多段

data_dir="your_data_dir"
train_data="${data_dir}/train.jsonl"
val_data="${data_dir}/val.jsonl"

# 微调
python -m funasr.bin.train \
  ++model="${model_name_or_model_dir}" \
  ++train_data_set_list="${train_data}" \
  ++valid_data_set_list="${val_data}" \
  ++output_dir="./outputs/vad_finetune" \
  ++dataset_type="small" \
  ++batch_size=32 \
  ++max_epoch=20 \
  ++optim="adam" \
  ++scheduler="warmuplr" \
  ++optim_conf.lr=0.0001

数据标注格式：

你需要标注对讲机音频中的语音活动区间。每条数据格式：

{"key": "utt001", "source": "/path/to/audio.wav", "target": "0.32 2.15;3.80 6.42;8.10 12.50"}

建议先标注 50-100 条对讲机音频作为微调数据集，应该就能显著改善漏检问题。

我会向团队建议补充 VAD 微调的官方文档和示例脚本。

[fytan0809]

你说得对，目前仓库里确实没有 VAD 专用的 finetune 脚本。不过 FunASR 的通用微调框架可以用于 VAD 模型。

具体做法：

参考 examples/industrial_data_pretraining/paraformer/finetune.sh 的格式，修改模型名和数据即可：

#!/bin/bash
export CUDA_VISIBLE_DEVICES="0"

VAD 模型

model_name_or_model_dir="iic/speech_fsmn_vad_zh-cn-8k-common"

准备数据: 需要 train.jsonl 和 val.jsonl

每行格式: {"key": "utt_id", "source": "path/to/audio.wav", "target": "0.00 1.23;2.45 5.67"}

target 是 VAD 标注的语音段起止时间(秒)，用分号分隔多段

data_dir="your_data_dir"
train_data="${data_dir}/train.jsonl"
val_data="${data_dir}/val.jsonl"

微调

python -m funasr.bin.train
++model="${model_name_or_model_dir}"
++train_data_set_list="${train_data}"
++valid_data_set_list="${val_data}"
++output_dir="./outputs/vad_finetune"
++dataset_type="small"
++batch_size=32
++max_epoch=20
++optim="adam"
++scheduler="warmuplr"
++optim_conf.lr=0.0001
数据标注格式：

你需要标注对讲机音频中的语音活动区间。每条数据格式：

{"key": "utt001", "source": "/path/to/audio.wav", "target": "0.32 2.15;3.80 6.42;8.10 12.50"}
建议先标注 50-100 条对讲机音频作为微调数据集，应该就能显著改善漏检问题。

我会向团队建议补充 VAD 微调的官方文档和示例脚本。

感谢提供VAD微调信息，我也在微调VAD，按照你提供的思路尝试了，发现报错如下：
“TypeError： FsmnVADStreaming.forward() missing 2 required positional arguments: 'feats' and 'waveform'”
查了下可能是如下原因：
speech_fsmn_vad_zh-cn-8k-common 这个模型本质上是为实时流式推理设计的，训练脚本train.py 在设计时就把VAD当成一个流水线中的组件来调用，所以它的forward()方法输入里需要提供推理时所需的参数feats和waveform。训练框架在调用模型时，只传递了它自己准备的那份batch数据，导致参数不匹配。
如果是这样，微调VAD需要修改FsmnVADStreaming.forward()函数代码，让他接受训练数据传递的batch数据，并从中解析出音频输入。请问是这样吗？
另外，请问下，什么时候能开源VAD微调代码啊？