Korean Title Generator

Final Project in 2nd BoostCamp AI Tech 2기 by 메타몽팀 (2조)

Demo

Members

Content

• Project Abstract
• How to use
• Result
• Hardware
• Operating System
• Archive Contents
• Getting Started
  • Dependencies
  • Install Requirements
• Arguments
  • Model Arguments
  • DataTrainingArguments
  • LoggingArguments
  • GenerationArguments
  • Seq2SeqTrainingArguments
• Running Command
  • Train
  • Predict
• Reference

Project Abstract

🔥 생성 요약을 통한 한국어 문서 제목 생성기 🔥

• 데이터셋 :
  • 종류 : 논문 데이터 162,341개, 문서 데이터 371,290개
  • train_data : 275,219개 (Text, Title, Document Type)
  • validation_data : 91,741개 (Text, Title, Document Type)
  • test_data : 81,739개 (Text, Title, Document Type)

How to use (최종 모델 checkpoint로 수정해야함)

import torch
from transformers import AutoConfig
from transformers import AutoTokenizer
from models.modeling_kobigbird_bart import EncoderDecoderModel

config = AutoConfig.from_pretrained('metamong1/bigbird-tapt-ep3')
tokenizer = AutoTokenizer.from_pretrained('metamong1/bigbird-tapt-ep3')
model = EncoderDecoderModel.from_pretrained('metamong1/bigbird-tapt-ep3', config=config)

text = "본 논문의 목적은 수도권 지역의 수출입 컨테이너 화물에 대한 최적 복합운송 네트워크를 찾는 데 있다. 따라서 이 지역의 컨테이너 화물의 물동량 흐름을 우선적으로 분석하였고, 총 수송비용과 총 수송 시간을 고려한 최적 경로를 구하려 시도하였다. 이를 위해 모형 설정은 0-1 이진변수를 이용한 목적계획법을 사용하였고, 유전알고리즘 기법을 통해 해를 도출하였다. 그 결과, 수도권 지역의 33개 각 시(군)에 대한 내륙 수송비용과 수송 시간을 최소화하는 수송거점 및 운송 수단을 도출함으로써 이 지역의 수출입 컨테이너 화물에 대한 최적 복합운송 네트워크를 발견할 수 있었다. 또한 시나리오별 수송비용 및 수송 시간의 절감 효과를 정량적으로 제시한다."

raw_input_ids = tokenizer.encode(text)
input_ids = [tokenizer.bos_token_id] + raw_input_ids + [tokenizer.eos_token_id]

summary_ids = model.generate(torch.tensor([input_ids]))
tokenizer.decode(summary_ids.squeeze().tolist(), skip_special_tokens=True)

정답 제목

유전알고리즘을 이용한 복합운송최적화모형에관한 연구

생성 제목

유전알고리즘을 이용한 수도권의 수출입 컨테이너 화물에 대한 최적 복합운송

Result (결과 뽑고 수정 필요)

Hardware

• Intel(R) Xeon(R) Gold 5120 CPU @ 2.20GHz
• NVIDIA Tesla V100-SXM2-32GB

Operating System

• Ubuntu 18.04.5 LTS

Archive Contents

• final-project-level3-nlp-02 : 구현 코드와 모델 checkpoint 및 모델 결과를 포함하는 디렉토리

final-project-level3-nlp-02/
├── model
│   ├── args  
│   │   ├── __init__.py
│   │   ├── DataTrainingArguments.py
│   │   ├── GenerationArguments.py
│   │   ├── LoggingArguments.py
│   │   ├── ModelArguments.py
│   │   └── Seq2SeqTrainingArguments.py
│   ├── models  
│   │   ├── modeling_distilbert.py
│   │   ├── modeling_kobigbird_bart.py
│   │   └── modeling_longformer_bart.py
│   ├── utils   
│   │   ├── data_collator.py
│   │   ├── data_loader.py
│   │   ├── data_preprocessor.py
│   │   ├── rouge.py
│   │   └── trainer.py
│   ├── optimization   
│   │   ├── knowledge_distillation.py
│   │   ├── performance_test.py
│   │   ├── performnaceBenchmark.py
│   │   └── quantization.py
│   ├── predict.py
│   ├── pretrain.py
│   ├── REDAME.md
│   ├── running.sh
│   └── train.py
├── serving
│   ├── app.py
│   ├── GenerationArguments.py
│   ├── postprocessing.py
│   ├── predict.py
│   ├── utils.py
│   └── viz.py
├──.gitignore
└──requirements.sh

• utils
  • utils/data_collator.py : 모델에 입려되는 Batch를 생성하는 코드
  • utils/data_preprocessor.py : Text를 전처리하는 코드
  • utils/processor.py : Text를 Tokenizer를 이용해서 정수 인코딩을 하는 코드
  • utils/rouge.py : 모델의 평가지표와 관련되는 코드
  • utils/trainer.py : 모델을 학습하는데 활용하는 trainer 코드
• models
  • modeling_kobigbird_bart.py : bigbird bart 모델 코드
  • modeling_longformerbart.py : longformer bart 모델 코드
• optimization
  • knowledge_distillation.py :
  • performanceBenchmark.py :
  • performance_test.py :
  • quantization.py :
• predict.py : 모델을 이용해서 입력된 문서의 제목을 생성하는 코드
• pretrain.py : summarization model을 fintune을 위한 코드
• train.py : summarization model을 pretrain을 위한 코드

Getting Started

Dependencies

• python=3.8.5
• transformers==4.11.0
• datasets==1.15.1
• torch==1.10.0
• streamlit==1.1.0
• elasticsearch==7.16.1
• pyvis==0.1.9
• plotly==5.4.0

Install Requirements

sh requirements.sh

Arguments

Model Arguments

👇 longBART specific

DataTrainingArguments

LoggingArguments

GenerationArguments

Seq2SeqTrainingArguments

Running Command

Train

$ python train.py \
--model_name_or_path metamong1/bigbird-tapt-ep3 \
--use_model bigbart \
--do_train \
--output_dir checkpoint/kobigbirdbart_full_tapt_ep3_bs16_pre_noam \
--overwrite_output_dir \
--num_train_epochs 3 \
--use_doc_type_ids \
--max_source_length 2048 \
--max_target_length 128 \
--metric_for_best_model rougeLsum \
--es_patience 3 \
--load_best_model_at_end \
--project_name kobigbirdbart \
--wandb_unique_tag kobigbirdbart_full_tapt_ep5_bs16_pre_noam \
--per_device_train_batch_size 2 \
--per_device_eval_batch_size 16 \
--gradient_accumulation_steps 8 \
--use_preprocessing \
--warmup_steps 1000 \
--evaluation_strategy epoch \
--is_noam \
--learning_rate 0.08767941605644963 \
--save_strategy epoch

Predict

$ python predict.py \
--model_name_or_path model/baseV1.0_Kobart_ep2_1210 \
--num_beams 3

Reference

1. BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension

   https://arxiv.org/pdf/1910.13461.pdf

2. Longformer: The Long-Document Transformer

   https://arxiv.org/pdf/2004.05150.pdf

3. Big Bird: Transformers for Longer Sequences

   https://arxiv.org/pdf/2007.14062.pdf

4. Scheduled Sampling for Transformers

   https://arxiv.org/pdf/1906.07651.pdf

5. On the Effect of Dropping Layers of Pre-trained Transformer Models

   https://arxiv.org/pdf/2004.03844.pdf

6. R-Drop: Regularized Dropout for Neural Networks

   https://arxiv.org/pdf/2106.14448v2.pdf