Surya Bubble OCR Poneglyph

Fine-tune de datalab-to/surya-ocr-2 pour la transcription exacte de bulles de manga francophones recadrées. Ce modèle transcrit une bulle à la fois ; il ne détecte pas les bulles et ne renvoie pas de bounding boxes.

Résultats

Entraînement local sur une NVIDIA RTX 3090. Le split est effectué par page : aucune page source n'est partagée entre train, validation et test.

Benchmark final exhaustif sur les 1 423 bulles du test held-out :

Les textes très courts de 1 à 2 caractères atteignent 100 % d'exact match sur 98 exemples. Les erreurs restantes se concentrent principalement sur les onomatopées ambiguës, la casse et les répétitions de rires.

Le fichier benchmark_test.json contient les métriques, les tranches par longueur et les prédictions de chaque échantillon.

Utilisation

import torch
from PIL import Image
from transformers import AutoModelForImageTextToText, AutoProcessor

model_id = "Remidesbois/surya-bubble-ocr-poneglyph"
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForImageTextToText.from_pretrained(
    model_id,
    dtype=torch.bfloat16,
    device_map="cuda",
    trust_remote_code=True,
).eval()

image = Image.open("bulle.png").convert("RGB")
messages = [{
    "role": "user",
    "content": [
        {"type": "image", "image": "bulle.png"},
        {
            "type": "text",
            "text": "Transcris exactement le texte visible dans cette bulle. Ne rajoute rien.",
        },
    ],
}]
prompt = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=False,
)
inputs = processor(text=[prompt], images=[image], return_tensors="pt").to("cuda")

with torch.inference_mode():
    output_ids = model.generate(
        **inputs,
        max_new_tokens=256,
        do_sample=False,
    )

prompt_tokens = inputs["input_ids"].shape[1]
text = processor.batch_decode(
    output_ids[:, prompt_tokens:],
    skip_special_tokens=True,
)[0].strip()
print(text)

Entraînement

• 665,7 M paramètres, dont 606,0 M entraînables ;
• modèle langage complet, merger multimodal et 4 derniers blocs vision ;
• BF16 et TF32 ;
• batch physique 16, accumulation de gradient 2 ;
• 5 époques, sélection du meilleur checkpoint sur le CER génératif ;
• budget de génération de 256 tokens.

Le pipeline reproductible se trouve dans le dossier docker_scripts/finetune_surya_bubble_ocr du projet Poneglyph.

Limites

• Le test est un holdout par page issu du même projet et du même processus de validation que le train ; il ne mesure pas une généralisation universelle à tous les mangas, langues ou styles d'impression.
• Le modèle attend un crop contenant une seule zone de texte.
• Les onomatopées rares ou très stylisées restent la principale source d'erreurs.
• La licence openrail est héritée du modèle de base.