Unlimited OCR Benchmark

Unlimited OCR (百度开源) 在 NVIDIA GeForce RTX 3090 上的全面评测报告。

模型：baidu/Unlimited-OCR (3.34B params, MoE 500M active) 论文：https://arxiv.org/abs/2506.12345 官方仓库：https://github.com/baidu/Unlimited-OCR

---

🖥️ 本机复现验证 · RTX 4060 Laptop (8GB)

把本报告基于 RTX 3090 (24GB) 的全部结论,在一台 8GB 显存的游戏笔记本上完整跑了一遍,回答「消费级小显存显卡能否撑起相同结论」。完整数据见 LOCAL_RTX4060_RESULTS.md。

结论:能。 所有结构性结论在 8GB 卡上逐项复现,显存数字与 3090 几乎逐字节吻合。

一句话:8GB 笔记本卡能完整撑起本报告的所有结论,显存被 R-SWA 锁死在 7.54GB 才得以零余量跑通;代价是速度慢约 2 倍、几乎没有显存余量(3090 富余 17.69GB)。适合离线批处理。

---

硬件环境

---

✅ 官方宣传点验证报告

逐一对照模型官方宣传的核心特点，说明验证方法、过程和结论。

1️⃣ R-SWA：VRAM 不随文档长度增长

官方宣传：R-SWA（Reference Sliding Window Attention）让 KV 缓存变成固定容量队列，1 页和 100 页显存占用一样。

验证方法：使用 PyMuPDF 将 PDF 页渲染为 200DPI 图片（1700×2200px），通过 HuggingFace Transformers 加载模型 (AutoModel.from_pretrained)，对每页独立调用 model.infer() 进行 OCR，记录 torch.cuda.max_memory_allocated()。

验证过程：

• 常规 PDF 3 页 → VRAM 7.54GB
• 大文件 PDF 24MB（19 页）→ VRAM 7.54GB
• 长文档 PDF 100 页 → VRAM 7.54GB
• 长文档 PDF 86 页 → VRAM 7.54GB

结论：✅ 完全验证通过。 单页和多页的 VRAM 占用完全相同（7.54GB），R-SWA 机制有效。

---

2️⃣ 40+ 页不失忆不降速

官方宣传：一次性解析 40+ 页文档，不失忆、不降速（编辑距离 < 0.11，Distinct-35 = 97%）。

验证方法：使用 100 页的 GPT-4 技术报告和 86 页的 DeepSeek-R1 论文，分别测试第 1 页、中间页（第 50 页左右）和末页的处理速度，对比速度是否随页数退化。

验证过程：

• GPT-4 报告 100 页：第 1 页 ≈ 16s，第 50 页 ≈ 16s，第 99 页 ≈ 16s，平均 15.9s/页
• DeepSeek-R1 86 页：第 1 页 ≈ 30s，第 85 页 ≈ 30s，平均 29.9s/页

结论：✅ 验证通过。 长文档第 1 页和最后 1 页处理速度完全一致，速度不随页数增加而退化。

---

3️⃣ 3B 参数 / 500M 激活，消费级显卡可跑

官方宣传：MoE 架构，总参数 3B，推理时仅激活 500M，轻量化设计。

验证方法：加载模型后统计参数量 (sum(p.numel())) 和显存占用。

验证过程：

model = AutoModel.from_pretrained("baidu/Unlimited-OCR", torch_dtype=torch.bfloat16, trust_remote_code=True)
total = sum(p.numel() for p in model.parameters())
# → 3,340,000,000 = 3.34B ✅
# VRAM after model.cuda(): 6.31GB / 24GB
# 空闲 VRAM: 17.69GB

结论：✅ 验证通过。 RTX 3090（24GB）轻松运行，仅占 6.31GB，还剩 17.69GB。

---

4️⃣ 中英文识别 + 表格 + 公式

官方宣传：基于 DeepEncoder 的视觉压缩和多语言 OCR 能力。

验证方法：对 9 份 arXiv 论文（中英文混合）、程序化生成的中文扫描件、多栏报纸排版图进行测试，输出格式对比原文计算 CER（字符错误率）。

验证过程：

结论：✅ 验证通过。 印刷体识别精度极高，中英文混排、表格、公式均能正确输出。

---

5️⃣ 大文件无压力

官方宣传：任意大小 PDF 均可处理。

验证方法：对比 24MB 高分辨率论文与 1MB 常规论文的处理速度。

验证过程：

• 08_large_images.pdf（24MB，19 页）：平均 16.8s/页
• 02_arxiv_tables.pdf（1.6MB，55 页）：平均 17.5s/页

结论：✅ 验证通过。 大文件与普通文件处理速度一致，无性能退化。

---

📊 验证总表

---

测试一：常规 PDF 基准 (V1)

9 份 arXiv 论文 PDF，涵盖英文/中文/表格/公式/大文件/长文档。

关键发现

• 长文档无退化：100 页文档的第 1 页和第 100 页处理速度完全一致
• 大文件无退化：24MB 高分辨率 PDF 与 1MB PDF 速度相同
• 表格识别：自动输出 HTML <table> 格式
• 公式识别：自动输出 LaTeX \(...\) 格式
• 版面分析：自动分类 title / text / table / equation / image_caption / ref_text

---

测试二：真实场景挑战 (Challenge)

6 种真实世界 OCR 挑战场景，使用程序化生成的仿真测试图。

挑战场景生成说明

测试图使用 Python (PIL) 生成，模拟以下真实扫描/拍摄特征：

---

🔧 最优参数调优

对盖章合同场景进行 14 种参数组合的网格搜索。

调优前后对比（盖章合同）

调优前 (ngram=0):
  CONTRACT AGREEMENT This agreement is entered into on June 1, 2024. 
  The Company's share capital of 10,000,000.00. 
  The Company's share capital of 10,000,000.00.     ← 无限重复
  The Company's share capital of 10,000,000.00. 
  ...

调优后 (ngram=50, window=128):
  CONTRACT AGREEMENT This agreement is entered into on June 1, 2024
  between: Party A: ABC Corporation 123 Business Ave...
  Party B: XYZ Solutions Ltd. 456 Commerce Dr...
  Terms and Conditions:
  1. Party A agrees to provide consulting services...
  2. The term of this agreement shall be 12 months
  3. Payment Terms: Net 30 days from invoice date
  4. Either party may terminate with 30 days written notice
  IN WITNESS WHEREOF... Signatures ✅

---

已知局限

1. 重复生成问题：密集排版页面或印章干扰区域仍可能触发重复，ngram=50 能大幅缓解但无法完全消除
2. 特殊字符识别：低质量扫描下的符号识别（如 !@#$%^）准确率较低
3. 处理速度：13-30s/页，适合离线批处理，不适合实时识别
4. SGLang 未部署：本测试使用 HuggingFace Transformers 直接加载推理，未使用 SGLang 服务端（后者能提供更高并发和 streaming 能力）

---

项目结构

├── ocr_benchmark.py           # V1 基础测试
├── ocr_benchmark_v2.py        # V2 扩展测试（大文件+长文档）
├── ocr_challenge.py           # 真实场景挑战测试
├── ocr_tune.py                # 参数调优循环
├── ocr_final_verify.py        # 最优参数最终验证
├── gen_challenge.py           # 真实场景挑战图生成器
│
├── test_pdfs/                 # 测试 PDF
│   ├── 0*_*.pdf               # arXiv 论文（9份）
│   └── c*_*.pdf               # 6 份真实场景挑战
│
├── ocr_results/               # V1 结果
├── ocr_results_v2/            # V2 扩展结果
├── ocr_results_challenge/     # 调优前挑战结果
└── ocr_results_final/         # ⭐ 最优参数最终结果
    └── _final_summary.json

运行方法

# 设置环境
export PATH="$HOME/miniconda3/envs/unlimited-ocr/bin:$PATH"
export LD_LIBRARY_PATH="$HOME/miniconda3/envs/unlimited-ocr/lib/python3.10/site-packages/nvidia/cusparselt/lib:$HOME/miniconda3/envs/unlimited-ocr/lib/python3.10/site-packages/nvidia/cusparse/lib"

# 基础测试
python3 ocr_benchmark.py

# 扩展测试（大文件+长文档）
python3 ocr_benchmark_v2.py

# 真实场景挑战
python3 ocr_challenge.py

# 参数调优
python3 ocr_tune.py

# 最优参数最终验证
python3 ocr_final_verify.py

# 生成挑战测试图
python3 gen_challenge.py