会议/课堂双语字幕与端到端语音翻译系统

本仓库是综合实训 C 方向的团队交付代码，包含“课程要求模块”和“额外展示系统”两部分，两者的目标不同：

• server_modules/：对应《2026 实训 C 方向》PPT 规定的 C1-C5 基础要求和进阶挑战项，包含各模块的独立实现、统一 JSON 接口、批量实验代码和轻量结果汇总。这部分是课程要求的主要交付内容。
• meeting_system/：在完成课程要求之外，为了集中展示各模块在真实场景中的协作效果，团队额外开发的一套实时会议系统。系统将各模块接入会议录音、用户上传音频和浏览器麦克风，提供实时双语字幕、说话人标签、会议纪要、会议库、混合 RAG 和语音助手。这部分属于额外的产品化展示成果。

仓库不包含模型权重、API Key、个人实时录音、运行日志和大体积数据集。请按本文配置环境和数据。

---

1. 项目概述

1.1 项目目标

本项目包含两个层次的目标。

第一层是完成《2026 实训 C 方向》规定的课程任务。 团队分别实现 C1 语音数据处理、C2 ASR 语音识别、C3 级联语音模型推理、C4 端到端语音模型推理和 C5 TTS 文本转语音，并根据 PPT 要求完成多模型比较、音频鲁棒性、多语言翻译、ASR 后编辑、S2T/S2S、说话人风格或情感保持等进阶实验。各模块可以独立运行，并通过统一 JSON 字段和稳定样本 ID 完成上下游联调。

第二层是在课程要求之外开发一个可交互、可演示的实时会议系统。 该系统面向跨语言会议和课堂场景，将服务器实验中的技术路线接入历史会议录音、用户上传音频和浏览器麦克风，使模型结果能够以实时双语字幕、说话人标签、会议记录和语音助手的形式展示。展示系统提供两条地位相同的处理路线：

1. C3 级联路线：实时 ASR -> 上下文纠错 -> 多语言翻译。
2. C4 端到端路线：实时语音翻译服务直接返回源语言转写和目标语言翻译。

用户可以单独选择级联或端到端路线，也可以在对比模式下让两条路线接收同一份 16 kHz PCM 音频帧，观察字幕和延迟差异。会议结束后，系统继续生成阶段摘要、最终纪要和可检索的历史会议记录。该系统用于展示课程模块在实际应用场景中的组合效果，不替代 server_modules/ 中的独立实验和评价结果。

1.2 当前完成情况

---

2. 整体流程与模块结构

2.1 模块边界

2.2 系统架构图

2.3 完整数据流

会议录音 / 上传音频 / 浏览器麦克风
  -> 16 kHz 单声道 PCM
  -> 共享音频帧总线
     -> C3：实时 ASR -> 最近对话上下文纠错 -> LLM 翻译
     -> C4：实时端到端语音翻译
  -> 统一 partial/final 事件 + turn_id + 音频时间戳
  -> 实时说话人暂定标签
  -> 双语字幕与会议记录
  -> 会后会议级声纹校正
  -> 阶段摘要 / 最终纪要 / 行动项 / 风险 / 待确认问题
  -> 会议库 -> 混合 RAG -> 会议语音助手 -> TTS

历史录音演示中，播放器和模型共用一个 Web Audio 音源。浏览器只发送已经播放的 PCM 帧；对比模式将同一帧复制给两条路线，模型不会提前读取尚未播放的未来音频。

2.4 服务器模块协作格式

团队使用稳定样本 id 和 JSON 文件连接服务器模块：

common_data/dataset.json
  -> C1 更新 processed_audio
  -> C2 输出 outputs/latest/asr_predictions.json
  -> C3 读取 prediction_text，输出 translation

common_data/dataset.json
  -> C4 直接读取 processed_audio，输出 end2end_translation

C3/C4 JSON
  -> C5 通过 --text_field 选择 translation 或 end2end_translation

失败样本不会被静默删除，而是保留 status 和 error，便于按 id 追踪和复现实验。

---

3. 模型、数据集与外部资源

3.1 主要模型

模型权重和第三方模型源码不提交到 Git。仓库仅保留团队编写的下载、适配和实验脚本；请按照上游模型许可证使用。服务器各模块的模型目录通过命令行参数指定，会议系统的云端配置写入 .env。更详细的服务器模型路径与参数见各模块 README。

3.2 数据集

构造服务器公共 manifest：

cd server_modules
python scripts/build_dataset_manifest.py --help

数据字段定义见 server_modules/common_data/schema.md。

---

4. 环境安装

4.1 本地会议系统

已配置环境可直接使用 your_envname：

cd meeting_system
conda activate your_envname
pip install -r requirements.txt
Copy-Item .env.example .env

编辑 .env，至少设置：

DASHSCOPE_API_KEY=your_api_key
ALI_OPENAI_BASE_URL=your_compatible_api_base_url
ALI_DASHSCOPE_BASE_URL=your_dashscope_api_base_url

不要把实际 Key 提交到仓库。首次运行 FunASR/ModelScope 模型时需要联网下载并建立本地缓存。Windows 未安装 FFmpeg 时，WAV 通常可由 torchaudio/soundfile 读取；处理其他音频格式建议安装 FFmpeg。

4.2 服务器独立实验

服务器实验建议使用 Python 3.10、CUDA、PyTorch、Transformers、ModelScope/FunASR，并按模型需要安装 sentencepiece、jiwer、librosa、soundfile、accelerate、autoawq 或 CosyVoice 依赖。各模块依赖和命令存在差异，分别参阅：

• server_modules/c2/README.md
• server_modules/c4/README.md
• server_modules/C5_TTS/README.md
• server_modules/docs/c3_c4_acceptance_guide.md

---

5. 输入文件与配置

核心 JSON 字段：

{
  "id": "cremad_1001_dfa_ang_xx",
  "raw_audio": "/path/to/original.wav",
  "processed_audio": "/path/to/16k_mono.wav",
  "source_lang": "en",
  "target_lang": "zh",
  "reference_text": "Don't forget a jacket.",
  "reference_translation": "别忘了带夹克。"
}

---

6. 完整流程 Demo

6.1 启动实时会议系统

打开两个 PowerShell 终端。

终端一，启动实时后端：

cd D:\path\to\nlp_team\meeting_system
conda activate your_envname
python -m uvicorn realtime.server:app --host 127.0.0.1 --port 8765

终端二，启动前端：

cd D:\path\to\nlp_team\meeting_system
conda activate your_envname
python -m streamlit run web/app.py --server.address 127.0.0.1 --server.port 8501

浏览器打开：http://127.0.0.1:8501/

6.2 可演示功能

6.3 测试

cd meeting_system
conda activate your_envname
python -m unittest discover -s tests -p "test_*.py" -v
python -m compileall -q realtime src scripts tests web

成功标准：后端端口 8765 和前端端口 8501 正常监听，页面可建立 WebSocket，模型事件进入字幕区域，结束会议后可在会议库查看保存结果。

---

7. 输出文件与实验结果

轻量实验汇总位于 server_modules/results/。主要结论包括：

• C3 使用 C2 JSON 中的显式 ASR 文本，便于观察识别错误是否继续传递到翻译。
• SeamlessM4T-v2-large 在当前批量实验中速度较快；级联路线在部分任务上质量标签更高。
• Qwen2.5-Omni-7B-AWQ 完成 CREMA-D 7442 条和 TESS 2800 条 S2T 全量实验；其 AWQ S2S 路线在当前环境中生成的语音不可用，因此没有作为最终 S2S 方案。
• UniSS 用于表达性 S2S，尝试在翻译后保留源说话人的音色和情感。
• 本地会议检索使用向量与关键词加权的混合 RAG，并保留来源会议和音频时间位置。

---

8. 协作实现说明

团队按照 C1-C5 划分服务器模块，同时通过公共 manifest 和稳定 id 协作：

• C1 更新 processed_audio，不改变样本 ID。
• C2 输出 id + prediction_text，作为 C3 固定入口。
• C3 输出字段使用 translation，C4 输出字段使用 end2end_translation。
• C5 通过 --text_field 接入两条路线，输出文件继续沿用样本 ID。
• 会议系统通过统一事件协议封装不同模型的 partial/final 结果，并使用 turn_id 处理异步字幕、翻译和说话人更新。

这种接口设计使各模块能够独立实验，也能在集成后按样本和发言轮次定位问题。

---

9. 已知问题与改进方向

---

10. 目录结构

nlp_team/
├── README.md
├── docs/images/                 # 架构图和 Demo 截图
├── server_modules/              # C1-C5 服务器实验与结果汇总
│   ├── c1/
│   ├── c2/
│   ├── c3/
│   ├── c4/
│   ├── C5_TTS/
│   ├── common_data/
│   ├── scripts/
│   └── results/
└── meeting_system/              # 实时会议产品
    ├── realtime/
    ├── src/
    ├── web/
    ├── scripts/
    ├── tests/
    ├── config/
    ├── .env.example
    └── requirements.txt