skier-song9/bitamin_auto_readme_generator

BITAMin 12th Generation Conference. Auto ReadMe file Generator for ML/DL github repositories.

Jupyter Notebook

1

147 commits

updated Apr 3, 2025

See the code

README

🍊 Auto ReadMe Generator

🗓️(프로젝트 진행기간 : 2024.06.26 ~ 2024.08.30)

🚀 Team

권도영, 김지원, 송규헌

🗒️Table of Contents

🏠Enviornment

  • Python 3.10+
  • PyTorch 2.0+
  • Java (openjdk11+)
  • Flask
  • install depedencies via requirments.txt pip install -r requirements.txt
  • place the openai_api_key.json in /code/assets directory.
{
    "OPENAI_API_KEY":"YOUR-OPENAI-API-KEY"
}

🛠️Launch Web

  1. cd /bitamin_auto_readme_generator/code
  2. python server.py

🔷 주제선정배경

프로젝트 필요성

  • 발표용 PPT를 활용하여 README 파일을 자동으로 생성해 주는 프로그램의 필요성을 강조. 사용자는 PPT에 주요 내용이 포함되어 있어, 이를 통해 파일 작성 시간을 절약할 수 있음.

🔷 서비스 플로우

서비스 흐름도

flowchart


🔷 INTRODUCTION

개요

  • 파일 repository의 내용을 읽고 요약하여 README 파일을 생성하는 프로그램의 기능 및 구조를 설명. 이를 통해 유사 서비스와의 비교 및 분석을 수행. 04_4.jpg

🔷 PDF PROCESSING

처리 개요

  • PDF 파일에서 텍스트와 이미지를 추출하여 서버에 저장하고, OCR을 통해 슬라이드의 모든 문자 정보를 추출하는 과정 설명. 하지만 텍스트가 정돈되지 않는 한계가 있음. 07_3.jpg

🔷 IMAGE CLASSIFIER

이미지 분류 목표

  • 4개의 클래스로 이미지를 분류하여 프로젝트 관련 이미지만 웹에 전송하기 위한 모델을 구축. 다양한 이미지 유형을 전처리하여 성능을 평가. 12_4.jpg 12_7.jpg

🔷 TEXT SUMMARIZATION

요약 방법

  • LLM을 활용하여 청크 수준의 요약을 생성하고, 이를 병합하여 계층적 요약을 수행. 텍스트 누락을 최소화하고, 다양한 텍스트 분할 방법을 적용하여 요약의 신뢰성을 높임.

🔷 IMPLEMENTATION

서비스 아키텍처

  • AWS 서비스 기반으로 한 시스템 아키텍처의 개요와 시연 영상을 제공. service-architecture

🔷 CONCLUSION

모델 한계 및 개선점

  • OCR 모델의 인식 오류 및 데이터의 다양성 부족으로 인한 한계를 언급하며, 향후 개선 방향에 대한 논의. 기본 틀을 마련하여 지속적인 서비스 개선 가능성을 강조.

🔗Acknowledgements

Datasets

skier-song9/bitamin_auto_readme_generator

BITAMin 12th Generation Conference. Auto ReadMe file Generator for ML/DL github repositories.

Jupyter Notebook

1

147 commits

updated Apr 3, 2025

See the code

README

🍊 Auto ReadMe Generator

🗓️(프로젝트 진행기간 : 2024.06.26 ~ 2024.08.30)

🚀 Team

권도영, 김지원, 송규헌

🗒️Table of Contents

🏠Enviornment

  • Python 3.10+
  • PyTorch 2.0+
  • Java (openjdk11+)
  • Flask
  • install depedencies via requirments.txt pip install -r requirements.txt
  • place the openai_api_key.json in /code/assets directory.
{
    "OPENAI_API_KEY":"YOUR-OPENAI-API-KEY"
}

🛠️Launch Web

  1. cd /bitamin_auto_readme_generator/code
  2. python server.py

🔷 주제선정배경

프로젝트 필요성

  • 발표용 PPT를 활용하여 README 파일을 자동으로 생성해 주는 프로그램의 필요성을 강조. 사용자는 PPT에 주요 내용이 포함되어 있어, 이를 통해 파일 작성 시간을 절약할 수 있음.

🔷 서비스 플로우

서비스 흐름도

flowchart


🔷 INTRODUCTION

개요

  • 파일 repository의 내용을 읽고 요약하여 README 파일을 생성하는 프로그램의 기능 및 구조를 설명. 이를 통해 유사 서비스와의 비교 및 분석을 수행. 04_4.jpg

🔷 PDF PROCESSING

처리 개요

  • PDF 파일에서 텍스트와 이미지를 추출하여 서버에 저장하고, OCR을 통해 슬라이드의 모든 문자 정보를 추출하는 과정 설명. 하지만 텍스트가 정돈되지 않는 한계가 있음. 07_3.jpg

🔷 IMAGE CLASSIFIER

이미지 분류 목표

  • 4개의 클래스로 이미지를 분류하여 프로젝트 관련 이미지만 웹에 전송하기 위한 모델을 구축. 다양한 이미지 유형을 전처리하여 성능을 평가. 12_4.jpg 12_7.jpg

🔷 TEXT SUMMARIZATION

요약 방법

  • LLM을 활용하여 청크 수준의 요약을 생성하고, 이를 병합하여 계층적 요약을 수행. 텍스트 누락을 최소화하고, 다양한 텍스트 분할 방법을 적용하여 요약의 신뢰성을 높임.

🔷 IMPLEMENTATION

서비스 아키텍처

  • AWS 서비스 기반으로 한 시스템 아키텍처의 개요와 시연 영상을 제공. service-architecture

🔷 CONCLUSION

모델 한계 및 개선점

  • OCR 모델의 인식 오류 및 데이터의 다양성 부족으로 인한 한계를 언급하며, 향후 개선 방향에 대한 논의. 기본 틀을 마련하여 지속적인 서비스 개선 가능성을 강조.

🔗Acknowledgements

Datasets