ocr-comparison

日本語手書き OCR モデルの比較評価フレームワーク。

API ベースの商用モデルから OSS の GPU モデルまで 26 以上の OCR モデルを、3 つの評価指標で統一的に比較できます。アノテーションツール・評価ランナー・結果ビューアの 3 コンポーネントで構成されています。

対応モデル

API モデル（直接呼び出し）

Modal GPU モデル（Modal 上で実行）

評価結果（日本語手書きメモ 6 枚）

手書きメモ画像 6 枚に対する評価結果です（Hungarian NLS 降順）。詳細な分析と各モデルの出力例はブログ記事を参照してください。

評価指標

3 つの相補的な指標でモデルを評価します。

ディレクトリ構成

ocr-comparison/
├── annotation/              # アノテーションツール (React + Hono)
│   ├── src/client/          #   React フロントエンド
│   ├── src/server/          #   Hono API サーバー
│   ├── scripts/             #   画像前処理 (deskew, shadow removal)
│   └── data/                #   GT アノテーション (JSON)
├── evaluation/              # 評価フレームワーク (Python)
│   ├── src/
│   │   ├── models/          #   OCR モデルアダプタ
│   │   ├── metrics.py       #   3 指標の実装
│   │   ├── evaluate.py      #   CLI ランナー
│   │   └── data.py          #   GT データローダー
│   ├── modal_scripts/       #   Modal GPU スクリプト
│   ├── viewer/              #   結果ビューア (React + Hono)
│   └── tests/               #   テスト
└── research/                # OCR サーベイ資料

セットアップ

前提条件

• Python 3.10+
• Node.js 20+
• uv (Python パッケージマネージャ)
• Modal CLI (GPU モデルを使う場合)

インストール

# アノテーションツール
cd annotation && npm install

# 評価フレームワーク
cd evaluation && uv sync

# 結果ビューア
cd evaluation/viewer && npm install

環境変数

cp evaluation/.env.example evaluation/.env
# .env にAPIキーを設定

Modal を使う場合:

modal token new

使い方

1. アノテーション（正解データ作成）

cd annotation && npm run dev
# http://localhost:5190 でアノテーションツールが起動

画像をアップロードし、バウンディングボックスを描いて正解テキストを入力します。

2. 評価実行

cd evaluation

# 利用可能なモデル一覧
ocr-eval list-models

# 全モデルで評価
ocr-eval run

# 特定モデルのみ
ocr-eval run --models claude-4.6-opus gemini-3.1-pro-preview hunyuan-ocr

# 結果の確認
ocr-eval inspect

# 指標の再計算（指標ロジック変更後）
ocr-eval rescore

3. 結果ビューア

cd evaluation/viewer && npm run dev
# http://localhost:5191 でリーダーボードが表示

テスト

# Python
cd evaluation && uv run python -m pytest tests/ -v

# TypeScript (viewer)
cd evaluation/viewer && npx vitest run

# TypeScript (annotation)
cd annotation && npx vitest run

構造化抽出評価 (structured_eval)

活字ビジネス文書（請求書・レシート・名刺）から構造化 JSON を抽出するタスクの評価フレームワークです。詳細はブログ記事を参照してください。

評価結果（合成データ 30 枚）

使い方

cd structured_eval

# 環境変数を設定
cp .env.example .env  # ANTHROPIC_API_KEY, GOOGLE_API_KEY, OPENAI_API_KEY

# 利用可能なモデル一覧
uv run python -m src.evaluate list-models

# 全モデルで評価
uv run python -m src.evaluate run

# 特定モデルのみ
uv run python -m src.evaluate run --models claude-4.6-opus gpt-5.4

# 特定の文書タイプのみ
uv run python -m src.evaluate run --types invoice receipt

# 結果の確認
uv run python -m src.evaluate inspect

# 指標の再計算
uv run python -m src.evaluate rescore

データセット生成

Agent Skill generate-business-doc で合成データを生成できます。

# Claude Code で実行
/generate-business-doc              # 各タイプ 3 枚ずつ
/generate-business-doc invoice 5    # 請求書を 5 枚

ライセンス

MIT License - 詳細は LICENSE を参照してください。

各 OCR モデルにはそれぞれ固有のライセンスがあります。利用時は対応モデル一覧のライセンス列を確認してください。