19
stars
7
commits
1
repos using this model
3
linked in READMEs
Aug 5, 2023
updated
firefly-llama2-13b模型，目前在Open LLM排行榜上，以62分的成绩，在所有13B模型中排名第三，且仅比榜首略低0.5分。
该模型是个英文模型，仅使用英文数据训练，未针对中文扩充词表
值得注意的是，我们采用了qlora技术，比其他排名前列的模型，需要更少的训练资源，24G的显卡即可训练百亿模型。
训练代码以及更多细节，欢迎关注我们的开源中文大模型项目Firefly， 以及公众号【YeungNLP】
7 commits
YeungNLP/firefly-llama-13b
4
YeungNLP/firefly-ziya-13b
YeungNLP/Ziya-LLaMA-13B-Pretrain-v1
YeungNLP/firefly-pretrain-dataset
42
qcw/llama2-panda-zh-13b
uukuguy/speechless-llama2-13b
allenai/llama2-13b-WildJailbreak
YeungNLP/firefly-llama-30b
0
yangjianxin1/Firefly-LLaMA2-Chinese
Firefly中文LLaMA-2大模型，支持增量预训练Baichuan2、Llama2、Llama、Falcon、Qwen、Baichuan、InternLM、Bloom等大模型
415
yangjianxin1/Firefly
lastrei/lora_llama2
zhangbo2008/firefly
