C3/C4 语音推理与会议智能个人模块

本仓库保存我在综合实训 C 方向中负责的个人代码，分为两部分：

1. 服务器 C3/C4 实验：C3 级联文本后编辑与翻译、C4 端到端 S2T/S2S、质量评价、鲁棒性实验及 C3/C4 对比。
2. 本地会议智能模块：上下文感知 ASR 纠错、实时端到端翻译事件适配、说话人标签、会议级声纹校正、会议记录、阶段摘要、最终纪要、会议库和混合 RAG。

完整团队产品位于 GPAUP/nlp_team。

---

1. 模块概述

1.1 模块名称

C3 级联语音模型推理、C4 端到端语音模型推理与会议智能模块

1.2 模块说明

C3 位于团队 C2 ASR 之后。它接收结构化 JSON 中的 prediction_text，使用 Qwen2.5-7B-Instruct 完成可选 ASR 后编辑和目标语言翻译。个人 C3 不运行语音识别模型；JSON 中的 WER、CER 和 ASR 时延来自团队 C2，C3 只保留这些字段用于分析错误传播。

C4 与 C2-C3 级联并行，直接接收音频。服务器实验使用 SeamlessM4T-v2-large 和 Qwen2.5-Omni-7B-AWQ 完成端到端语音到文本翻译，并使用 UniSS 探索保留源说话人音色和情感的语音到语音翻译。

本地会议智能模块把模型结果扩展为真实会议能力：根据最近对话纠正 ASR 文本，统一端到端实时事件，为字幕建立说话人和 turn_id，会后重新聚类说话人，并将会议内容保存、总结和建立混合 RAG 索引。

1.3 完成情况概览

---

2. 环境、模型与数据依赖

2.1 运行环境

2.2 模型依赖

模型权重及第三方模型源码不提交到本仓库。服务器脚本通过 --model_path 指定本地模型目录；UniSS 下载与环境脚本位于 server_c3_c4/c4/code/。

2.3 数据与样例

2.4 安装步骤

git clone https://github.com/GPAUP/nlp_personal.git
cd nlp_personal
conda create -n nlp_personal python=3.10 -y
conda activate nlp_personal
pip install -r requirements.txt

Qwen2.5-Omni-AWQ、UniSS 和 SeamlessM4T 的依赖存在差异，建议按 server_c3_c4/c4/code/setup_*.sh 建立独立环境，不要强行安装到同一个推理环境。

---

3. 文件结构与接口边界

3.1 文件结构

nlp_personal/
├── README.md
├── examples/                       # C2 JSON 与 C4 manifest 样例
├── server_c3_c4/
│   ├── c3/code/                    # C3 后编辑、翻译、评价和 C3/C4 比较
│   ├── c4/code/                    # SeamlessM4T、Qwen-Omni、UniSS 和鲁棒性脚本
│   ├── c4/eval/                    # 固定银标参考
│   └── results/                    # 轻量实验汇总
├── meeting_intelligence/
│   ├── src/                        # 声纹、端到端事件、会议库和 RAG
│   ├── integration/realtime_server.py
│   ├── evaluation/                 # 上下文纠错、RAG 和声纹评估
│   └── tests/
└── docs/images/                    # 架构图和结果图

meeting_intelligence/integration/realtime_server.py 来自团队共享后端调度文件。与个人工作直接对应的主要函数是：

• run_local_diarization()：会议级声纹处理和字幕回写。
• correct_transcript_text()：最近对话上下文 ASR 纠错。
• generate_realtime_minutes()：最终会议纪要。
• generate_stage_summary()：阶段摘要。
• save_realtime_meeting()：保存会议录音、字幕与纪要。
• meeting_search()：会议知识库检索接口。

3.2 接口边界

---

4. 基础要求实现与演示

4.1 C3 基础功能

个人 C3 只使用 Qwen2.5-7B-Instruct。程序读取 C2 已生成的 prediction_text，按批次构造翻译提示，输出目标语言文本。模型只加载一次，生成时关闭随机采样，保证批量实验可复现。

C2 asr_predictions.json
  -> 读取 prediction_text
  -> Qwen2.5-7B-Instruct
  -> translation + status + latency

4.2 C3 输入样例

{
  "id": "cremad_1001_dfa_ang_xx",
  "prediction_text": "Don't forget a jacket.",
  "wer": 0.0,
  "cer": 0.0,
  "latency_sec": 0.06,
  "status": "ok"
}

WER、CER 和 ASR 时延由团队 C2 产生，不代表个人 C3 内部运行了 ASR。

4.3 C3 独立演示

python server_c3_c4/c3/code/c3_cascade.py \
  --asr examples/c2_asr_sample.json \
  --model_path /path/to/Qwen2.5-7B-Instruct \
  --outdir outputs/c3_demo \
  --target_lang zh \
  --post_edit none \
  --batch_size 1 \
  --device cuda

开启 Qwen 后编辑：

python server_c3_c4/c3/code/c3_cascade.py \
  --asr examples/c2_asr_sample.json \
  --model_path /path/to/Qwen2.5-7B-Instruct \
  --outdir outputs/c3_post_edit_demo \
  --target_lang zh \
  --post_edit qwen \
  --batch_size 1 \
  --device cuda

输出记录应保留 id，并包含 asr_text、translation、llm_model、translation_latency_sec、status 和 error；开启后编辑后增加 corrected_asr_text 和 post_edit_latency_sec。

4.4 C4 基础功能

C4 使用音频 manifest 直接运行端到端翻译，不读取 C3 的 ASR 文本。SeamlessM4T-v2-large 的独立命令：

python server_c3_c4/c4/code/c4_end2end.py \
  --input examples/c4_manifest_sample.json \
  --model_path /path/to/seamless-m4t-v2-large \
  --target_lang zh \
  --outdir outputs/c4_seamless_demo \
  --limit 1 \
  --batch_size 1

Qwen2.5-Omni-7B-AWQ 的独立命令：

python server_c3_c4/c4/code/c4_qwen_omni_awq_end2end.py \
  --input examples/c4_manifest_sample.json \
  --model_path /path/to/Qwen2.5-Omni-7B-AWQ \
  --target_lang zh \
  --outdir outputs/c4_qwen_demo \
  --limit 1 \
  --batch_size 1

主要输出字段为 id、audio、end2end_translation、latency_sec、status 和 error。批量失败时脚本会回退到逐条推理，避免整批样本丢失。

---

5. 进阶要求实现与演示

5.1 完成情况

5.2 进阶功能一：ASR 后编辑与多语言翻译

功能说明

基础 C3 直接翻译 C2 的 ASR 文本。当识别结果包含同音错词、缩写或专有名词错误时，错误会继续进入译文。本功能使用同一个 Qwen2.5-7B-Instruct 先完成受约束后编辑，再将修正结果翻译为中文、日语或韩语。程序同时保存原始文本、修正文本和译文，便于复核修正是否有效。

本地会议系统在此基础上使用最近 8 个确认句段作为上下文，只纠正 ASR final，不对仍会变化的 partial 文本重复调用模型。16 条受控困难样例中，最近 8 句上下文方案的修正后 CER 为 4.30%，术语准确率为 92.86%，平均延迟为 0.832 秒。

实现路径

C2 prediction_text -> 可选 Qwen 后编辑 -> 多语言翻译 -> 原文/修正文/译文/时延

输入格式与样例

演示命令

python server_c3_c4/c3/code/c3_cascade.py \
  --asr examples/c2_asr_sample.json \
  --model_path /path/to/Qwen2.5-7B-Instruct \
  --outdir outputs/c3_post_edit_ja \
  --post_edit qwen \
  --target_lang ja \
  --batch_size 1 \
  --device cuda

输出格式

示例图片与结果

中、日、韩 smoke test 和后编辑对比结果位于 server_c3_c4/results/c3/outputs/，评价汇总文件名为 c3_summary.json 或 c3_eval_summary.json。

5.3 进阶功能二：C3/C4 同样本比较与音频鲁棒性

功能说明

级联路线保留显式 ASR 文本，便于定位错误，但识别错误可能继续影响翻译；端到端路线直接从音频生成译文，可以绕开显式文本错误。本功能用稳定样本 ID 对齐 C3 与 C4，使用同一套银标参考和质量标签比较两条路线，并在采样率、语速、音量、噪声和 VAD 等 C1 音频变体上检查鲁棒性。

CREMA-D 含 7442 条完整句子，TESS 含 2800 条孤立词语音。CREMA-D 使用 BLEU、字符相似度和关键词命中，TESS 使用严格词命中、音近或语义部分命中和载体短语标签。

实现路径

同一 id 的 C3 JSON + C4 JSON + manifest + 银标
-> 统一评价 -> 质量分布/时延/错误传播/典型样例

输入格式与样例

演示命令

python server_c3_c4/c3/code/c3_compare_c4.py \
  --c3 /path/to/c3_output \
  --c4 /path/to/c4_results.json \
  --manifest /path/to/dataset.json \
  --references server_c3_c4/c4/eval/c4_silver_references.json \
  --outdir outputs/c3_vs_c4

输出格式与实验结果

鲁棒性实验中，CREMA-D clean_16k 的 WER 为 0.0108、字符相似度为 0.7056；speed_1_1 的 WER 上升到 0.2109、字符相似度下降到 0.5926；noise_snr_5 的 WER 为 0.1940、字符相似度为 0.5983。

示例图片

5.4 进阶功能三：UniSS 表达性语音到语音翻译

功能说明

SeamlessM4T-v2-large 和 Qwen2.5-Omni-7B-AWQ 已完成端到端 S2T 实验。继续使用 Qwen2.5-Omni-AWQ 尝试 S2S 时，中文文本有意义，但当前环境生成的 WAV 没有可理解内容；其预设音色也不等同于保留输入说话人的风格。为完成“尝试保留说话人风格或语音情感”的进阶要求，本模块调研并部署 UniSS。

UniSS 分别提取源语音的说话人表示和语言内容，在语言模型中生成目标文本与目标语音语义表示，再由 Codec Decoder 将目标语义和源说话人表示组合为目标波形。个人适配代码将其接入项目 manifest，并处理 16 kHz 单声道转换、任务 token、语言 token、结果解析和 WAV 保存。

实现路径

源 WAV -> 16 kHz mono -> semantic/speaker tokens
-> 任务与目标语言控制 -> UniSS 生成
-> transcription + translation + target speech tokens -> WAV

输入格式与样例

演示命令

python server_c3_c4/c4/code/c4_uniss_s2s_smoke.py \
  --uniss-src /path/to/UniSS-source \
  --model-path /path/to/UniSS-model \
  --manifest /path/to/CREMA-D/clean_16k/dataset.json \
  --manifest /path/to/TESS/clean_16k/dataset.json \
  --output-dir outputs/uniss_s2s_demo \
  --mode Quality \
  --target-lang '<|cmn|>' \
  --max-chunks 1

输出格式

服务器实验从 CREMA-D 中整理了覆盖 angry、disgust、fear、happy、neutral 和 sad 的 18 组配对元数据。仓库中保留 server_c3_c4/results/c4/outputs_uniss_s2s_cremad_compare/ 下的结果与报告。

示例图片

5.5 扩展功能一：会议级声纹校正

功能说明

本地展示系统没有参会人的注册声纹，实时阶段只能根据当前已经收到的短语音建立临时身份。为提高最终会议记录的稳定性，本功能在会议结束后利用整场音频重新进行声纹聚类，并把最终标签写回字幕、纪要和历史会议。

实现路径

整场录音 -> FSMN-VAD -> 重叠窗口 -> CAM++ embedding
-> 长会议谱聚类 / 短片段 AHC -> 标签平滑与类别合并
-> 说话人时间线 -> 字幕回写

输入格式与样例

演示命令

python -c "from meeting_intelligence.src.meeting_diarization import diarize_audio; import json; print(json.dumps(diarize_audio('/path/to/AMI.wav'), ensure_ascii=False, indent=2))"

python -m unittest discover \
  -s meeting_intelligence/tests \
  -p "test_*.py" -v

输出格式

示例图片

5.6 扩展功能二：会议库与混合 RAG

功能说明

实时字幕在会议结束后被保存为结构化会议记录。本功能把最终纪要和连续发言转换为证据块，通过语义向量和关键词联合检索历史会议，为会议语音助手提供带来源的回答依据。摘要单独形成证据块，字幕每 4 个连续发言形成一个证据块，同时保存会议 ID、日期、主题、说话人和音频时间位置。

实现路径

会议字幕/纪要 -> 证据块 + 元数据 -> 向量索引
用户问题 -> 0.78 × 语义相似度 + 0.22 × 关键词
-> Top-K 会议证据 -> 带会议名称、说话人和时间位置的结果

输入格式与样例

本地展示使用 AMI 历史会议和浏览器实时会议。运行个人评估前，将团队系统生成的已完成会议目录放入 meeting_intelligence/outputs/meetings/。

演示命令

cp .env.example meeting_intelligence/.env
# 在 meeting_intelligence/.env 中填写 DASHSCOPE_API_KEY 后执行：
cd meeting_intelligence
python evaluation/evaluate_rag.py

输出格式与实验结果

示例图片

---

6. 与团队系统的集成说明

服务器模块通过统一 JSON 和稳定样本 ID 联调：

1. C1/C2 负责生成音频和 asr_predictions.json。
2. 个人 C3 按 id 读取 prediction_text，输出 translation。
3. 个人 C4 按相同 id 直接读取音频，输出 end2end_translation。
4. 团队 C5 使用 --text_field translation 或 --text_field end2end_translation 接入两条路线。

本地产品通过统一事件协议集成：C3 和 C4 的不同服务事件被转换为 partial/final；所有字幕、翻译和说话人更新携带 turn_id，避免异步结果覆盖下一轮发言。会议结束后，录音、字幕、会议级说话人时间线和纪要写入同一会议对象，再供 RAG 和语音助手调用。

联调时最主要的问题是模块返回结构和时序不同。解决方式不是让前端分别适配每个模型，而是在后端统一字段、状态和轮次编号，使前端只维护一套字幕卡片和会议保存逻辑。

---

7. 已知问题与后续改进