flowchart TD
    A[PDF 입력] --> B["PDF → 이미지<br/>pdf2image · 300 DPI"]
    B --> C{"YOLOv11<br/>레이아웃 감지"}
    C -->|본문 영역| D["PyMuPDF로 겹치는<br/>단어 수집 · 좌표 변환"]
    C -->|그림 · 표 · 수식| E["원본 영역 보존"]
    D --> F["학술 용어 추출<br/>원문 유지 · 볼드"]
    F --> G["영어 → 한국어 번역<br/>MarianMT · TowerInstruct-13B"]
    G --> H["ReportLab로 한국어 PDF 생성"]
    E --> H
    H --> I["한국어 PDF 출력<br/>레이아웃 유지"]

본문은 번역해서 덮고, 그림·표·수식은 원본을 그대로 두는 두 갈래가 마지막 PDF 생성 단계에서 합쳐진다.

그림 안에 박힌 글자까지 읽고 싶으면 EasyOCR 모듈(modules/ocr_processor.py)을 붙여 term_extractor.extract_from_ocr_results()로 넘기면 된다. 기본 흐름은 PyMuPDF 텍스트만 쓰고 OCR은 꺼둔 상태다(config.py의 ocr_enabled=False). 왜 뺐는지는 아래 통합하면서 겪은 것에 적어뒀다.

모듈 (modules/)

모델 학습과 성능 (training/)

레이아웃 검출과 번역, 두 모델을 직접 학습시켰다. 코드와 평가는 training/에, 자세한 설명은 training/README.md에 있다.

YOLOv11 레이아웃 검출 — yolov11l-doclaynet을 PubLayNet에 DocLayNet 수식 클래스를 더해 파인튜닝했다. PubLayNet 검증 결과는 아래와 같다.

다만 이 파인튜닝 모델은 정작 파이프라인엔 쓰지 못했다. 수식 클래스를 병합하는 과정에서 나머지 클래스 라벨이 날아간 채 학습돼, 실제 페이지에선 수식만 잡았다. 그래서 파이프라인은 yolov11l-doclaynet 사전학습 모델(11클래스)을 그대로 쓴다 — config.py의 CLASS_NAMES가 DocLayNet 기준인 것도 이 때문이다.

TowerInstruct-13B 번역 — Unbabel/TowerInstruct-13B-v0.1을 AI-Hub 한영 병렬 말뭉치 4종(en→ko, 약 5백만+ 문장 쌍)으로 QLoRA(4-bit) 파인튜닝했다.

평가는 Attention Is All You Need 본문 24문장으로 했다(정답은 Papago로 옮긴 뒤 직접 검수).

7B 모델 LoRA 파인튜닝(train_7b_lora.py)도 따로 돌려봤다.

통합하면서 겪은 것

모델은 따로 보면 잘 나왔는데(YOLO mAP 0.96, 번역 BERTScore F1 0.89), 막상 합치니 논문 한 편 번역에 2시간 40분이 걸리고 번역이 거의 안 나왔다. 원인은 셋이었다.

• YOLO가 수식만 잡음 — 위에 적은 라벨 버그. 사전학습 DocLayNet 모델로 되돌렸다.
• 원문이 안 가려짐 — YOLO 박스와 텍스트 좌표 스케일이 안 맞아, 영문 위에 한글이 어긋난 채 겹쳤다. 좌표 변환을 다시 맞췄다.
• OCR이 영문을 깨뜨림 — 크롭 이미지 OCR 결과가 너무 망가져서 OCR을 빼고 PyMuPDF 텍스트만 쓰도록 바꿨다. 폰트 크기와 줄바꿈 처리도 같이 손봤다.

설치 & 실행

</details>bash
pip install -r requirements.txt          # 추론 파이프라인 (학습 환경은 training/README.md)

가중치·폰트·번역 모델은 용량 때문에 저장소에 넣지 않았다. 직접 받아서 아래 위치에 두면 된다.

• YOLO 가중치 — models/yolov11l-doclaynet.pt
• 한글 폰트 — fonts/BMHANNAPro.ttf(본문), fonts/MaruBuri-Bold.ttf(볼드)
• 번역 모델 — 파인튜닝한 13B 병합 모델 디렉토리 (안 두면 MarianMT로 동작)

경로는 환경변수로 덮어쓸 수 있다.

python main.py                                   # 기본 (MarianMT)
PAPER_TRANS_MODEL_DIR=/path/to/13B python main.py   # 파인튜닝 13B로 번역

클래스 매핑, IoU 임계값, 폰트 크기, 배경 옵션 같은 세부 설정은 config.py의 DEFAULT_CONFIG에 모여 있다.

학술 용어 보호

term_extractor는 제목·섹션 헤더와 그림/표/수식 영역에서 번역하면 안 되는 용어를 골라 원문으로 두고, 제목 용어는 볼드 처리한다.

입력:  BERT achieves 0.95 F1-score ... ResNet50 vs VGG16 ... α = 0.01
보호:  BERT(약어) · F1-score(하이픈) · ResNet50/VGG16(모델명) · α(그리스 문자)
번역:  the, is, have, model, method … (일반 영단어는 그대로 번역)

고른 용어는 {원본파일명}_terms.tsv(용어·출처·페이지·빈도·유지여부·이유)로 떨어진다.

거쳐온 버전

1. Helsinki-NLP MarianMT 단일 스크립트 프로토타입
2. EasyOCR로 이미지 속 글자를 읽어 용어집을 만들던 버전 (평탄 구조)
3. modules/로 쪼개고, OCR 대신 규칙 기반 용어 추출로 바꾼 지금 버전
4. YOLO·Tower 학습 코드를 training/으로 합침

한계

• 다단·복잡 레이아웃은 영역 분리가 흔들릴 수 있다
• LaTeX 수식은 번역하지 않고 원문 그대로 둔다
• 한글 폰트·YOLO 가중치·번역 모델은 직접 준비해야 한다 (저장소 미포함)
• 100페이지 넘는 PDF는 메모리를 많이 먹는다

스택

Python · PyTorch · transformers · ultralytics(YOLOv11) · EasyOCR · PyMuPDF · pdf2image · Pillow · ReportLab · peft · bitsandbytes

만든 사람 · 참고

MIT License · 유건 — 세종대 인공지능학과 · github.com/yg2127 · yg2127.github.io

• YOLOv11 ultralytics · DocLayNet 사전학습 hantian/yolo-doclaynet · 번역 Unbabel/TowerInstruct-13B-v0.1
• PyMuPDF · EasyOCR · ReportLab