由于模型参数量较小和自回归生成范式,尽管模型提供了有关疾病诊断和治疗的推理结果,但这些结果不能代替线下职业医生的建议和治疗方案。所有回答仅供参考,不应作为诊断或治疗的依据。我们强烈建议用户在需要诊断或治疗疾病时,寻求专业医生的帮助和建议。
| model_name | model_size | ALL | MedQA_Mainland | PromptCBLUE | webMedQA |
|---|---|---|---|---|---|
| GPT4 | 220B*8(?) | 1195 | 1087 | 1134 | 1107 |
| ChatGPT | 175B(?) | 1123 | 1053 | 1089 | 1067 |
| PULSE_7b with prompt | 7B | 1074 | 1019 | 1047 | 1060 |
| PULSE_14b | 14B | 1055 | 1001 | 1037 | 1056 |
| PULSE_7b | 7B | 1054 | 1028 | 1037 | 1030 |
| BianQue | 6B | 926 | 939 | 920 | 1011 |
| QiZhenGPT | 13B | 918 | 949 | 935 | 974 |
| Med-ChatGLM | 6B | 864 | 988 | 921 | 859 |
| BenTsao | 7B | 846 | 966 | 913 | 859 |
| DoctorGLM | 6B | 812 | 935 | 891 | 856 |
下表提供了一个batch size=1时本地部署PULSE进行推理所需的显存大小。
| 量化等级 | 加载模型 |
|---|---|
| FP16 | 14GB |
git clone https://github.com/openmedlab/PULSE
cd PULSE
conda env create -f llm.yml
conda activate llm
其中torch和transformers版本不建议低于推荐版本。
Gradio
python web_demo_gradio.py
您可以运行仓库中的cli_demo.py来启动一个简单的命令行Demo:
python cli_demo.py
本项目所含代码采用Apache 2.0协议,模型权重采用GNU AGPL 3.0协议。如使用本项目所含模型及其修改版本提供服务产生误导性或有害性言论,造成不良影响,由服务提供方负责,与本项目无关。
12 commits
1 commits
由于模型参数量较小和自回归生成范式,尽管模型提供了有关疾病诊断和治疗的推理结果,但这些结果不能代替线下职业医生的建议和治疗方案。所有回答仅供参考,不应作为诊断或治疗的依据。我们强烈建议用户在需要诊断或治疗疾病时,寻求专业医生的帮助和建议。
| model_name | model_size | ALL | MedQA_Mainland | PromptCBLUE | webMedQA |
|---|---|---|---|---|---|
| GPT4 | 220B*8(?) | 1195 | 1087 | 1134 | 1107 |
| ChatGPT | 175B(?) | 1123 | 1053 | 1089 | 1067 |
| PULSE_7b with prompt | 7B | 1074 | 1019 | 1047 | 1060 |
| PULSE_14b | 14B | 1055 | 1001 | 1037 | 1056 |
| PULSE_7b | 7B | 1054 | 1028 | 1037 | 1030 |
| BianQue | 6B | 926 | 939 | 920 | 1011 |
| QiZhenGPT | 13B | 918 | 949 | 935 | 974 |
| Med-ChatGLM | 6B | 864 | 988 | 921 | 859 |
| BenTsao | 7B | 846 | 966 | 913 | 859 |
| DoctorGLM | 6B | 812 | 935 | 891 | 856 |
下表提供了一个batch size=1时本地部署PULSE进行推理所需的显存大小。
| 量化等级 | 加载模型 |
|---|---|
| FP16 | 14GB |
git clone https://github.com/openmedlab/PULSE
cd PULSE
conda env create -f llm.yml
conda activate llm
其中torch和transformers版本不建议低于推荐版本。
Gradio
python web_demo_gradio.py
您可以运行仓库中的cli_demo.py来启动一个简单的命令行Demo:
python cli_demo.py
本项目所含代码采用Apache 2.0协议,模型权重采用GNU AGPL 3.0协议。如使用本项目所含模型及其修改版本提供服务产生误导性或有害性言论,造成不良影响,由服务提供方负责,与本项目无关。
12 commits
1 commits