DeepSeek-R1-Local-WebUI 是通过Cli控制台启动,基于 Flask 的本地模型部署项目,提供了一个交互式的 Web 界面,用于与 DeepSeek-R1 模型进行对话。项目支持流式生成响应,并提供了 Light/Dark 主题切换功能。
transformers 库加载并运行 DeepSeek-R1 模型。DeepSeek-R1-Local-WebUI
├─ config # 配置项
│ ├─ generation.py
│ ├─ webui.py
│ └─ __init__.py
├─ core # 核心代码
│ ├─ generator.py
│ ├─ model_manager.py
│ └─ __init__.py
├─ scripts # 核心脚本
│ ├─ memory_monitor.py
│ └─ model_downloader.py
├─ static # 静态资源
│ ├─ css
│ │ └─ app.d8079a91.css
│ └─ js
│ ├─ about.ddee9fe6.js
│ ├─ about.ddee9fe6.js.map
│ ├─ app.20cd43bb.js
│ ├─ app.20cd43bb.js.map
│ ├─ chunk-vendors.28b75eeb.js
│ └─ chunk-vendors.28b75eeb.js.map
├─ templates # 模板文件
│ └─ index.html
├─ web # 主程序
│ ├─ routes.py
│ ├─ utils.py
├─ DeepSeek-R1_LICENSE # DeepSeek-R1 许可证文件
├─ install_dependencies.py # 安装依赖脚本
├─ LICENSE # 许可证文件
├─ Readme-en.md
├─ Readme.md
├─ requirements.txt # 依赖文件
└─ cli.py # Cli启动脚本
访问 NVIDIA CUDA Toolkit 12.1 Downloads 根据您的系统下载安装CUDA Toolkit 12.1
git clone https://github.com/WavesMan/DeepSeek-R1-Local-WebUI.git
cd DeepSeek-R1-Local-WebUI
py -m venv deepseek_env # 创建虚拟环境
.\deepseek_env\Scripts\activate # 激活虚拟环境
pip install -r cli-require.txt # 安装依赖
python cli.py # 运行Cli
http://127.0.0.1:5000 即可使用 WebUI。git clone https://github.com/WavesMan/DeepSeek-R1-Local-WebUI.git
cd DeepSeek-R1-Local-WebUI
python -m venv deepseek_env # 创建虚拟环境
source deepseek_env/bin/activate # 激活虚拟环境
pip install -r cli-require.txt # 安装依赖
python cli.py # 运行Cli
http://127.0.0.1:5000 即可使用 WebUI。| 模型名称 | 参数量 | 显存需求 | 推荐显卡型号(最低) |
|---|---|---|---|
| DeepSeek-R1-Distill-Qwen-1.5B | 1.5B | 4-6 GB | GTX 1660 Ti、RTX 2060 |
| DeepSeek-R1-Distill-Qwen-7B | 7B | 12-16 GB | RTX 3060、RTX 3080 |
| DeepSeek-R1-Distill-Llama-8B | 8B | 16-20 GB | RTX 3080 Ti、RTX 3090 |
| DeepSeek-R1-Distill-Qwen-14B | 14B | 24-32 GB | RTX 3090、RTX 4090 |
| DeepSeek-R1-Distill-Qwen-32B | 32B | 48-64 GB | A100、H100 |
| DeepSeek-R1-Distill-Llama-70B | 70B | 80-128 GB | A100、H100、MI250X |
主要改进
重要变更
v1.5.0 版本 采用新的配置格式v1.0.0 版本 的用户在迁移时需适配新的 API 规则。scripts\model_downloader.py中的依赖下载缺失问题pip uninstall transformers后再执行python scripts\model_downloader.py重新安装依赖。| 参数名 | 默认值 | 可填参数/参数范围 | 功能说明 |
|---|---|---|---|
- reserved_memory | 1 | 0 - infinite | 预留显存,以防止模型加载失败。 |
- input_max_length | 2000 | 正整数 | 输入文本的最大长度。 |
- min_length | 1 | 正整数 | 生成文本的最小长度。 |
| 参数名 | 默认值 | 可填参数/参数范围 | 功能说明 |
|---|---|---|---|
- max_length | 500 | 正整数 | 生成文本的最大长度。 |
- num_beams | 1 | 正整数 | Beam Search 的 beam 数量,用于控制生成文本的多样性。 |
- temperature | 0.7 | 0.0 到 1.0 | 温度参数,控制生成文本的随机性。值越小,生成的文本越确定;值越大,越随机。 |
- top_k | 50 | 正整数 | Top-K 采样参数,控制生成文本时考虑的词汇数量。 |
- top_p | 0.9 | 0.0 到 1.0 | Top-P 采样参数,控制生成文本时的累积概率阈值。 |
- do_sample | True | True 或 False | 是否使用采样生成文本。若为 False,则使用贪婪搜索。 |
| 参数名 | 默认值 | 可填参数/参数范围 | 功能说明 |
|---|---|---|---|
- host | "127.0.0.1" | 字符串(IP 地址) | WebUI 服务的主机地址。 |
- port | 5000 | 1024 到 65535 | WebUI 服务的端口号。 |
欢迎提交 Issue 或 Pull Request 来改进项目!如果有任何问题或建议,请通过以下方式联系:
本项目遵循 DeepSeek-R1 的 MIT 许可证
本项目基于 MIT 许可证 开源。
通过成为赞助者来支持这个项目。您的支持有助于保持这个项目的生命力!
| Platform | Link |
|---|---|
| 💖 爱发电 | Sponsor on Aifadian |
| 💰 支付宝 | Sponsor on AliPay |
| 🎁 微信 | Sponsor on WeChat |
| ⭐ Patreon | Sponsor on Patreon |
| 🌟 PayPal | Donate via PayPal |
希望这个 Readme.md 能帮助你更好地展示项目!如果有其他需求,欢迎随时补充或修改!
19 commits
Python
94.8%
HTML
5.2%
DeepSeek-R1-Local-WebUI 是通过Cli控制台启动,基于 Flask 的本地模型部署项目,提供了一个交互式的 Web 界面,用于与 DeepSeek-R1 模型进行对话。项目支持流式生成响应,并提供了 Light/Dark 主题切换功能。
transformers 库加载并运行 DeepSeek-R1 模型。DeepSeek-R1-Local-WebUI
├─ config # 配置项
│ ├─ generation.py
│ ├─ webui.py
│ └─ __init__.py
├─ core # 核心代码
│ ├─ generator.py
│ ├─ model_manager.py
│ └─ __init__.py
├─ scripts # 核心脚本
│ ├─ memory_monitor.py
│ └─ model_downloader.py
├─ static # 静态资源
│ ├─ css
│ │ └─ app.d8079a91.css
│ └─ js
│ ├─ about.ddee9fe6.js
│ ├─ about.ddee9fe6.js.map
│ ├─ app.20cd43bb.js
│ ├─ app.20cd43bb.js.map
│ ├─ chunk-vendors.28b75eeb.js
│ └─ chunk-vendors.28b75eeb.js.map
├─ templates # 模板文件
│ └─ index.html
├─ web # 主程序
│ ├─ routes.py
│ ├─ utils.py
├─ DeepSeek-R1_LICENSE # DeepSeek-R1 许可证文件
├─ install_dependencies.py # 安装依赖脚本
├─ LICENSE # 许可证文件
├─ Readme-en.md
├─ Readme.md
├─ requirements.txt # 依赖文件
└─ cli.py # Cli启动脚本
访问 NVIDIA CUDA Toolkit 12.1 Downloads 根据您的系统下载安装CUDA Toolkit 12.1
git clone https://github.com/WavesMan/DeepSeek-R1-Local-WebUI.git
cd DeepSeek-R1-Local-WebUI
py -m venv deepseek_env # 创建虚拟环境
.\deepseek_env\Scripts\activate # 激活虚拟环境
pip install -r cli-require.txt # 安装依赖
python cli.py # 运行Cli
http://127.0.0.1:5000 即可使用 WebUI。git clone https://github.com/WavesMan/DeepSeek-R1-Local-WebUI.git
cd DeepSeek-R1-Local-WebUI
python -m venv deepseek_env # 创建虚拟环境
source deepseek_env/bin/activate # 激活虚拟环境
pip install -r cli-require.txt # 安装依赖
python cli.py # 运行Cli
http://127.0.0.1:5000 即可使用 WebUI。| 模型名称 | 参数量 | 显存需求 | 推荐显卡型号(最低) |
|---|---|---|---|
| DeepSeek-R1-Distill-Qwen-1.5B | 1.5B | 4-6 GB | GTX 1660 Ti、RTX 2060 |
| DeepSeek-R1-Distill-Qwen-7B | 7B | 12-16 GB | RTX 3060、RTX 3080 |
| DeepSeek-R1-Distill-Llama-8B | 8B | 16-20 GB | RTX 3080 Ti、RTX 3090 |
| DeepSeek-R1-Distill-Qwen-14B | 14B | 24-32 GB | RTX 3090、RTX 4090 |
| DeepSeek-R1-Distill-Qwen-32B | 32B | 48-64 GB | A100、H100 |
| DeepSeek-R1-Distill-Llama-70B | 70B | 80-128 GB | A100、H100、MI250X |
主要改进
重要变更
v1.5.0 版本 采用新的配置格式v1.0.0 版本 的用户在迁移时需适配新的 API 规则。scripts\model_downloader.py中的依赖下载缺失问题pip uninstall transformers后再执行python scripts\model_downloader.py重新安装依赖。| 参数名 | 默认值 | 可填参数/参数范围 | 功能说明 |
|---|---|---|---|
- reserved_memory | 1 | 0 - infinite | 预留显存,以防止模型加载失败。 |
- input_max_length | 2000 | 正整数 | 输入文本的最大长度。 |
- min_length | 1 | 正整数 | 生成文本的最小长度。 |
| 参数名 | 默认值 | 可填参数/参数范围 | 功能说明 |
|---|---|---|---|
- max_length | 500 | 正整数 | 生成文本的最大长度。 |
- num_beams | 1 | 正整数 | Beam Search 的 beam 数量,用于控制生成文本的多样性。 |
- temperature | 0.7 | 0.0 到 1.0 | 温度参数,控制生成文本的随机性。值越小,生成的文本越确定;值越大,越随机。 |
- top_k | 50 | 正整数 | Top-K 采样参数,控制生成文本时考虑的词汇数量。 |
- top_p | 0.9 | 0.0 到 1.0 | Top-P 采样参数,控制生成文本时的累积概率阈值。 |
- do_sample | True | True 或 False | 是否使用采样生成文本。若为 False,则使用贪婪搜索。 |
| 参数名 | 默认值 | 可填参数/参数范围 | 功能说明 |
|---|---|---|---|
- host | "127.0.0.1" | 字符串(IP 地址) | WebUI 服务的主机地址。 |
- port | 5000 | 1024 到 65535 | WebUI 服务的端口号。 |
欢迎提交 Issue 或 Pull Request 来改进项目!如果有任何问题或建议,请通过以下方式联系:
本项目遵循 DeepSeek-R1 的 MIT 许可证
本项目基于 MIT 许可证 开源。
通过成为赞助者来支持这个项目。您的支持有助于保持这个项目的生命力!
| Platform | Link |
|---|---|
| 💖 爱发电 | Sponsor on Aifadian |
| 💰 支付宝 | Sponsor on AliPay |
| 🎁 微信 | Sponsor on WeChat |
| ⭐ Patreon | Sponsor on Patreon |
| 🌟 PayPal | Donate via PayPal |
希望这个 Readme.md 能帮助你更好地展示项目!如果有其他需求,欢迎随时补充或修改!
19 commits
Python
94.8%
HTML
5.2%