modernbert-ja-310m-jev

sbintuitions/modernbert-ja-310m を、 Jev Local の ModernBERT バックエンド用に fine-tune した cross-encoder です。 「質問＋状況（State）」と「候補」のペアを 1 本の系列として読み、1 つのスコアを出します。 候補ごとのスコアを softmax すると Choice（選択肢）・Score（段階評価）・Noul（真偽）の確率になります。

TypeSafe の Jev 本体とは無関係の非公式モデルです。 Jev の学習・精度を再現するものではありません。

使い方

Jev Local から使う場合（/v1/systemone 互換 API として起動）:

git clone https://github.com/Argos1111/jev_local.git && cd jev_local
./setup_modernbert.sh
./run_modernbert.sh --checkpoint argos1111/modernbert-ja-310m-jev
python3 systemone_client.py   # 別ターミナル

ローカルに学習済みモデルがなければ ./run_modernbert.sh は既定でこのリポジトリを取得します。

transformers から直接使う場合:

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

repo = "argos1111/modernbert-ja-310m-jev"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForSequenceClassification.from_pretrained(repo).eval()

state = "二重請求です。返金してください。解決しないなら解約します。"
question = "担当部署は？"
candidates = ["billing — 請求・返金", "technical — 技術的な障害", "sales"]

context = f"質問: {question}\n状況: {state}"      # 質問 → 状況 の順（学習時と同じ描画）
enc = tok([context] * len(candidates), candidates, padding=True,
          truncation="only_first", max_length=512, return_tensors="pt")
with torch.inference_mode():
    logits = model(**enc).logits[:, 0]
print(dict(zip(candidates, logits.softmax(0).tolist())))
# {'billing — 請求・返金': 0.9996, 'technical — 技術的な障害': 0.0, 'sales': 0.0004}

描画形式（質問: …\n状況: … / ラベル — 説明）は学習時と一致させる必要があります。 Jev Local 側は modernbert/prompting.py でこれを共有し、jev_modernbert.json の format_version（modernbert-jev/1）で照合します。 State が JSON の場合は json.dumps(..., ensure_ascii=False) した文字列を入れます。真偽（Noul）は候補 ["true", "false"] として扱います。

学習

学習データ

test スプリットは学習・検証に使っていません。

約 41% が真偽問（true 率約 46%）。一部の問題では候補の説明文をランダムに落としています。 変換コードは modernbert/data.py。

評価

JGLUE test（学習に未使用）

Jev Local の HTTP API 経由、1 問 1 リクエスト、4 並列、R9700。

同じデータの train で学習しているため、zero-shot の LFM とは条件が異なります。 公式モデルカードの値（JNLI 92.93 / JComQA 93.53）はタスク別に専用ヘッドを学習した値で、本モデルは全タスクを 1 つの採点器で学習しています。

検証スプリット（学習中の評価、3,000 問）

学習に使っていないタスク

知識・未知の分類体系が要るタスクは LFM より弱く、短い日本語の意図・関係判定は学習分布外のドメインでも高めです。 16 例は指標的なもので統計的な結論には足りません。

制約

• 学習した質問の型（NLI・意図分類・段階評価・常識 QA・真偽）から外れると精度は保証されません。指示文と候補説明はテキストとして読みますが、LLM のような指示追従はしません。
• 業務ドメイン（顧客対応など）のデータは学習に含まれていません。
• 誤答時も高い確率を出すことがあります（JMMLU 誤答時の平均最大確率 0.66）。confidence は分布の集中度で、校正された正解率ではありません。
• 画像入力は非対応。日本語と英語以外は未評価です。
• 系列長 512 を超える State は末尾が切り詰められます。

ライセンス

重みは CC BY-SA 4.0 で公開します。ベースモデル（MIT）と学習データ（CC BY-SA 4.0 / CC BY 4.0 / MIT）の条件を継承した、保守的な選択です。 利用時は上記データセットの出典表記を保持してください。

引用

ベースモデル・各データセットの引用は、それぞれのリポジトリ／モデルカードを参照してください。