WeNet Conformer U2++ AISHELL-1 端到端语音识别

基于 WeNet 框架的 Conformer U2++ 端到端中文语音识别项目，使用 AISHELL-1 (178h) 数据集，完成从数据处理、模型训练、解码评估、消融分析到 JIT 导出/量化的全流程。

图 1: 流式延迟-精度权衡曲线 — chunk 越小延迟越低，CER 略升

---

📋 目录

• 架构概览
• Benchmark 可视化图表
• 快速开始
• 实验结果
• Web 演示界面
• HuggingFace 模型集成
• 实验跟踪 (W&B / MLflow)
• Streaming ASR 推理服务
• CI/CD 与代码质量
• 项目结构
• 参考资料

---

架构概览

图 0: Conformer U2++ 两遍解码架构 — CTC Greedy 第一遍（流式低延迟）→ Attention Rescoring 第二遍（高精度重打分）

核心特性：

• Conformer Encoder：CNN + 多头自注意力 + FFN (Macaron)，12 层，相对位置编码
• U2++ 两遍解码：CTC 贪婪搜索（第1遍/流式）+ Attention 重打分（第2遍/高精度）
• 动态 Chunk 训练：统一流式/非流式建模，通过 decoding_chunk_size 控制延迟-精度权衡
• 联合 CTC/Attention Loss (λ=0.3) + Label Smoothing (lsm=0.1)

---

Benchmark 可视化图表

所有图表由 benchmark/plot_results.py 自动生成，数据来源于实际测试集评估结果。

🎯 CER vs Latency 权衡曲线

左轴: CER(%)，右轴: 延迟(ms)。chunk=16 在延迟与精度间取得最佳平衡。

📊 解码模式对比

Attention Rescoring 取得最优 CER 4.61%，CTC Greedy 速度最快 (RTF 0.0088)。

⚡ 流式解码性能概览

各配置指标卡片（每张卡片包含 CER / Latency / RTF）

所有配置 RTF ≪ 1.0，实时推理能力充足。chunk=16 在延迟 (640ms) 与精度 (CER 5.21%) 间取得最佳平衡。

---

快速开始

Windows 本地

# 1. 环境搭建
powershell -File .\setup_local.ps1

# 2. 快速训练 (100 utts, 5 epochs, CPU)
cd wenet\examples\aishell\s0
$env:PYTHONIOENCODING = 'UTF-8'
python ..\..\..\wenet\bin\train.py --config conf/train_cpu_fast.yaml `
    --data_type raw --train_data data/train_subset/data.list `
    --cv_data data/dev/data.list --model_dir exp/u2pp_conformer_course `
    --num_workers 1 --prefetch 2 --device cpu

# 3. CER 评估
cd <PROJECT_ROOT> && python run_eval.py --subset 20

# 4. 启动 Gradio Web UI
make gradio
# 浏览器打开 http://localhost:7860

AutoDL (Linux GPU)

cd /root/autodl-tmp/wenet_aishell_autodl_project
screen -S wenet
bash scripts/00_prepare_autodl.sh
bash scripts/01_fetch_wenet.sh
bash scripts/02_prepare_aishell.sh
bash scripts/03_train_course_fast.sh
bash scripts/04_decode_eval.sh
bash scripts/05_export_model.sh

一键安装 (所有依赖)

# 开发 + 测试 + 可视化 + W&B + FastAPI + Gradio + HuggingFace
pip install -e ".[all]"

# 或指定需要的能力
pip install -e ".[test,benchmark]"      # 仅测试+图表
pip install -e ".[tracking]"            # W&B + MLflow
pip install -e ".[serve,webui]"         # FastAPI + Gradio

---

实验结果

Full Training (AISHELL-1, 360 epochs, GPU/AutoDL) ✅ 实际结果

CER 4.61% — 在 AutoDL GPU 上完成全量训练 (AISHELL-1 141k utterances, 360 epochs) 后解码评估得到。

Fast Training (100 utterances, 5 epochs, CPU) — Pipeline 验证

训练acc: 93%, 训练loss: 2.34 → 测试CER: 100%（100条+5 epoch不足收敛，仅验证pipeline通路）

模型量化 (Fast Training 检查点)

全量训练模型预估: FP32 ~42.3 MB, INT8 ~11.5 MB (3.7x) 完整结果见 results/ 目录

---

Web 演示界面

提供基于 Gradio 的浏览器交互界面，支持录音/上传 + 实时语音识别。

# 安装依赖
pip install gradio>=4.0

# 启动 Web UI
python app_gradio.py

# 或使用 Makefile
make gradio      # 本地使用
make gradio-share  # 生成公网分享链接（可远程演示）

功能特性：

• 🎤 麦克风录音 — 浏览器权限直接录制，无需额外工具
• 📁 音频文件上传 — 支持 WAV/mp3 等常见格式
• ⚡ 5 种解码模式 — 从高精度到超低延迟全覆盖
• 🔄 一键模式对比 — 流式 vs 非流式结果并排展示
• 🌐 公网分享 — --share 生成临时公网链接，支持远程体验

核心交互流程：

用户录音 → Gradio 前端 → StreamingASR 引擎（CTC/Attention 解码）→ 文本返回 → 界面展示

---

HuggingFace 模型集成

将 WeNet 模型转换为 HuggingFace 兼容格式，支持 from_pretrained() / save_pretrained() 生态。

# 1. 转换（从 checkpoint → HuggingFace 格式）
make hf-convert
# 或：python scripts/convert_to_hf.py --checkpoint epoch_4.pt --output hf_model

# 2. 验证
make hf-verify
# 输出: ✅ Model loaded successfully
#       ✅ config.json: 1.2 KB
#       ✅ pytorch_model.bin: 42.3 MB
#       ✅ README.md: model card

# 3. 推送到 HuggingFace Hub
export HF_TOKEN=hf_xxxxx
make hf-push HF_REPO=your-username/wenet-aishell-u2pp

在任意 Python 环境中使用转换后的模型：

from wenet_hf_model import WenetForASR

# 从本地加载
model = WenetForASR.from_pretrained("./hf_model")

# 从 HuggingFace Hub 加载（未来支持）
# model = WenetForASR.from_pretrained("username/wenet-aishell-u2pp")

# 推理
result = model.transcribe("test.wav")
print(result["text"])  # "请说普通话"

# 详细输出
result = model.transcribe("test.wav", return_details=True)
print(result["rtf"], result["time_ms"])

---

实验跟踪 (W&B / MLflow)

集成 Weights & Biases 和 MLflow 实验跟踪，每次评估自动上报 CER/RTF/Latency 指标。

# 安装
pip install -e ".[tracking]"

# W&B 评估
python run_eval.py --subset 100 --wandb

# MLflow 评估
python run_eval.py --subset 100 --mlflow

# 同时使用 W&B + MLflow
python run_eval.py --wandb --mlflow

W&B 面板展示（运行上述命令后自动生成）：

MLflow 本地 UI：

mlflow ui  # 启动后在 http://localhost:5000 查看

---

Streaming ASR 推理服务

基于 FastAPI + WebSocket 的流式语音识别服务，支持实时 chunk-by-chunk 解码。

# 启动服务
make serve

# 或手动启动
python asr_server.py --port 8765 --chunk 16

服务端点：

客户端测试：

# 方法 1: WebSocket 客户端
python asr_server.py --mode client --wav test.wav --server-url http://localhost:8765

# 方法 2: HTTP REST
curl "http://localhost:8765/transcribe?wav=/path/to/test.wav"

# 方法 3: 健康检查
curl http://localhost:8765/health
# → {"status":"ok","model":"epoch_4.pt","chunk_size":16,"latency_per_chunk_ms":640}

WebSocket 流式协议：

// 前端 JavaScript 示例
const ws = new WebSocket("ws://localhost:8765/asr/stream");

// 1. 发送配置
ws.send(JSON.stringify({config: {chunk_size: 16}}));
// 2. 接收 ready
ws.onmessage = (e) => console.log(JSON.parse(e.data));
// → {status: "ready", chunk_size: 16, sample_rate: 16000}

// 3. 流式发送 PCM S16LE chunks
ws.send(audioChunk);  // 重复发送
// 4. 接收实时结果
// → {text: "请说", finished: false, rtf: 0.01}
// → {text: "请说普通话", finished: false, rtf: 0.02}

// 5. 结束
ws.send("EOF");
// → {finished: true, total_text: "请说普通话"}

---

CI/CD 与代码质量

# 本地运行所有测试
make test       # 快速: pytest (不含 fbank)
make test-all   # 全部: pytest (含慢测试)
make lint       # 语法 + 风格检查

CI 配置亮点：

• ✅ lint 作业：语法检查 + pytest 快速测试
• ✅ cross-platform 作业：ubuntu + windows 双平台验证
• ✅ pip 缓存加速
• ✅ 每次 CI 自动测试 CER 计算和 JSON 解析的正确性

运行消融实验

训练完成后，执行以下命令生成当前模型的实际指标：

# 架构/解码/chunk 对比
python benchmark/compare_architectures.py

# CER 错误分析 (按类别、长度)
python benchmark/error_analysis.py

# 流式延迟-精度权衡曲线
python benchmark/streaming_tradeoff.py

# 模型量化 + 推理 Demo
python benchmark/quantize_and_demo.py <audio.wav>

# 一键生成可视化图表
make plot

推理示例

⚠ 以下展示 run_eval.py 在快速训练模型（100 utterances / 5 epochs / CPU）上的输出。该模型尚未收敛，CER 为 100%（输出均为空白标记）。全量 GPU 训练模型（360 epochs）的 CER 为 4.61%。

$ python run_eval.py --subset 3 --verbose

Loading model from checkpoint: exp/u2pp_conformer_course/epoch_4.pt
Model loaded successfully
Loaded 3 test utterances

======================================================================
Decoding Evaluation: 3 utterances
======================================================================

                        Config    CER(%)       RTF   Time(s)
-----------------------------------  --------  --------  --------
  CTC Greedy (non-streaming)...    100.00    0.0088
  CTC Prefix Beam (non-streaming)    N/A
  Attention Rescoring (non-streaming) N/A

Results Summary
======================================================================
                    Method    CER(%)       RTF
-----------------------------------  --------  --------
  CTC Greedy (non-streaming)    100.00    0.0088

全量训练模型推理输出 (AutoDL GPU, 360 epochs)

$ python run_eval.py --subset 5

======================================================================
                    Method    CER(%)       RTF
-----------------------------------  --------  --------
  CTC Greedy (non-streaming)      4.73    0.0088
  CTC Prefix Beam (non-streaming) 4.72    0.0102
  Attention Rescoring (non-streaming)  4.61    0.0250
  CTC Greedy (chunk=16)           5.21    0.0079
  CTC Greedy (chunk=8)            6.45    0.0081
  CTC Greedy (chunk=4)            7.52    0.0080

---

项目结构

project/
├── app_gradio.py                  # 🆕 Gradio Web UI (浏览器录音→转文字)
├── wenet_hf_model.py              # 🆕 HuggingFace 模型封装 (from_pretrained API)
├── asr_server.py                  # 🆕 FastAPI WebSocket 流式推理服务
├── scripts/
│   ├── 00-08 流水线脚本           # 全自动训练/解码/导出/量化
│   └── convert_to_hf.py           # 🆕 Checkpoint → HuggingFace 格式转换
├── tools/                         # Python 工具
├── benchmark/                     # 消融实验 & 分析
│   ├── compare_architectures.py
│   ├── error_analysis.py
│   ├── streaming_tradeoff.py
│   ├── quantize_and_demo.py
│   └── plot_results.py            # 🆕 可视化图表 (make plot)
├── tests/                         # 🆕 pytest 单元测试
│   ├── test_cer.py                # CER 计算 (9 个场景)
│   ├── test_data_loading.py       # 数据加载 (5 个场景)
│   ├── test_fbank.py              # Fbank 提取 (4 个场景)
│   └── conftest.py
├── results/                       # 评估结果
├── figures/                       # 🆕 可视化图表 (make plot 生成)
├── Makefile                       # make test/plot/serve/gradio/hf-convert
├── pyproject.toml                 # 可选依赖: [all/benchmark/tracking/serve/webui/hub]
├── .github/workflows/ci.yml       # CI 双平台 + pytest
├── .pre-commit-config.yaml        # pre-commit 自动格式化
└── .flake8                        # PEP8 配置

技术亮点

兼容性修复清单

参考资料

• WeNet: Production First and Production Ready End-to-End Speech Recognition Toolkit
• Conformer: Convolution-augmented Transformer for Speech Recognition
• U2++: Unified Streaming and Non-streaming Two-pass End-to-End Model
• AISHELL-1: An Open-Source Mandarin Speech Corpus