Introduction

我这里使用了 LoRA 技术微调 LLaMA2-7B 模型，在这里我利用的 Lora 是 hfl/chinese-llama-2-lora-7b-64k，这个是 Hugging Face 上的一个预训练好的 LoRA 模型，已经在中文数据上进行了微调，适合中文的应用场景。

Usage

1. 安装依赖

# 如果没有安装 uv，可以使用以下命令安装
sudo apt install uv

# 同步项目依赖
uv sync

2. 模型运行

# 1. 在没有微调的模型上运行
uv run python main.py "Hello"

# 2. 在微调的模型上运行
uv run python main.py --lora chinese-64k "介绍一下中国的四大发明"