lgAimers_EXAONE-4.0-1.2B-W4A16-GPTQ-FP8KV

---

설치 방법

1. 본인의 CUDA 버전에 맞는 PyTorch를 먼저 설치해주세요. (예: CUDA 12.1) pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
2. 나머지 필수 패키지를 설치합니다. pip install -r requirements.txt

🛠️ vLLM Build Pipeline (선택 사항)

본 프로젝트에서는 기본 vLLM으로도 충분한 성능을 확보하여 소스코드 커스텀을 최종 반영하지는 않았습니다. 하지만 해커톤 주최 측의 폐쇄적인 평가 서버 환경(CUDA 12.9, L4 GPU)에 완벽하게 호환되는 커스텀 패키지를 즉각 배포할 수 있도록, Docker 기반의 vLLM .whl 단독 빌드 및 패키징 자동화 파이프라인 스크립트를 구축해 두었습니다. (scripts/build_vllm.ipynb 참고)