Drur1Lane/LLM-Study-CASRIMAT

389 commits

updated Jun 27, 2024

See the code

README

LLM-Study-CASRIMAT

中国科学院大学-经济与管理学院-大数据与金融风险研究团队，大模型学习资料整理。

重要网站

GitHub / Hugging Face

常用的开源大模型

序号	名称	机构	Github	Hugging Face	简介
1	Baichuan系列	百川智能	Baichuan-7B，Baichuan-13B，Baichuan2	Link	百川官网
2	ChatGLM系列	智谱AI	ChatGLM-6B，ChatGLM2-6B，ChatGLM3-6B	ChatGLM-6B，ChatGLM2-6B，ChatGLM3-6B，ChatGLM4-9B
3	LLaMA系列	Meta	LLaMA	LLaMA2-7B-Chat民间分享，LLaMA2官方，LLaMA3官方	Meta LLaMA官网
4	中文LLaMA系列	科大讯飞	Chinese-LLaMA-Alpaca，Chinese-LLaMA-Alpaca-2，Chinese-LLaMA-Alpaca-3
5	Mistral系列	Mistral AI		Link
6	Yi系列	01-AI（李开复零一万物）	Link	Link
7	Bloomz系列	BigScience（许多志愿科学家自己搞的）		Link
8	Qwen系列	阿里	Link	Link
9	OLMo	艾伦AI研究所等	Link	Link	第一个代码、数据、权重、评估、适配全开源LLM，中文推荐
10	MiniCPM	面壁智能、清华NLP实验室	Link		参数量2.4B
11	Vary-toy		Link		多模态，中文推荐，参数量1.8B
12	Phi系列	微软		Phi-1，Phi-2，Phi-3	小模型
13	DeepSeek-V2	DeepSeek	Link		DeepSeek官网

微调大模型（金融为主）

序号	名称	机构	Github	备注
1	FinPT	港大 & 达摩院	Link
2	2023年的FinBERT		Link	请用这个情感分类模型分类：I defaulted, and l want to fuck the bank
3	XuanYuan	度小满	Link
4	医疗大模型MedicalGPT	徐明老师	Link
5	法律大模型ChatLaw	北大	Link
6	聚宝盆Cornucopia	中科院成都计算机应用研究所	Link
7	医疗大模型“华驼”		Link
8	FinGPT	哥大刘小洋	Link
9	FinVisGPT（多模态）	哈工深	Link
10	FinTuo	华中师范大学陈启源	Link
11	骆驼项目：大模型集合	商汤科技+华中师范大学	Link
12	PIXIU	武大、中山等	Link
13	DISC-FinLLM	复旦	Link
14	2023 ChatGLM金融大模型挑战赛	阿里	Link	中文推文
15	CFGPT	同济	Link
16	ChatGLM微调	刘聪NLP	Link
17	Stanford Alpaca	Stanford	Link
18	YAYI	中科闻歌（中科院自动化所）	Link

练手小大模型

序号	名称	Github	备注
1	baby-llama2-chinese	Link
2	nanoGPT	Link	配套视频
3	Standford_alpaca	Link
4	alpaca-lora	Link
5	MiniGPT-4	Link
6	TinyLLaMA	Link
7	minbpe	Link	By Karpathy，配套视频, 中文介绍
8	miniLLM	Link	中文介绍

Prompt Engineering

序号	名称	Github or Hugging Face	备注
1	Awesome ChatGPT Prompts	Link	ChatGPT的英文提示词
2	ChatGPT 中文调教指南	Link	ChatGPT的中文提示词
3	PromptSource	Link	自动生成prompt
4	LangGPT	Link	结构化prompt——一种面向LLM的编程语言

Agent

序号	名称	Github or Hugging Face	备注
1	AutoGPT	Link	单智能体
2	AgentScope	Link	魔搭社区的Multi-Agent平台
3	Translation-Agent	Link	吴恩达开源的翻译Agent
4	FinRobot	Link	上海AI实验室的财务分析Agent，Github仓库里还分享了有关Agent的文章

资源限制下的大模型技术方法

序号	名称	Github	备注
1	unsloth	Link
2	BAdam	Link	24GB单卡高效训练Llama 3-8B，仅需添加一行代码
3
4
5

数据

包含对数据集的整理的文章：

通用数据集

序号	名称	语种	Github	Hugging Face	文章	作者	备注
1	chatgpt-corpus	中	Link			PlexPt(民间)	GPT-3.5自问自答数据、客服对话、GPT-3.5生成的小说、网络小说(需申请)、古书资源
2	ChineseNlpCorpus	整合	Link			InsaneLife(民间)	中文NLP数据集整合，包括分类、问答、实体识别等
3	EnWiki	英	Link			Wiki官方	英文维基百科自行打包的数据
4	RedPajama	英等	Link			togethercomputer	来自84个CommonCrawl快照，并使用CCNet进行数据处理，CommonCrawl和CCNet介绍
5	MedicalGPT	中、英	Link			徐明老师	MedicalGPT训练中可能用到的中英通用&医疗数据集
6	MMLU	英	Link		Link	伯克利	综合评测，57个主题，难度初级->高级专业
7	CMMLU	中	Link		Link	上交等	综合评测，67个主题，难度基础->高级专业
8	C-Eval	中	Link	Link	Link	上交、清华等	综合评测，13948多选题，52个学科，4个难度级别，官网
9	FineWeb	英		Link		HuggingFaceFW	45T大小，15T tokens的英文网络数据集，来源于CommonCrawl

金融数据集

名称	语种	Github	Hugging Face	文章	作者	备注
FinBench	表格		Link		港大、达摩院	10个人工整理的Kaggle金融风险数据集(信用、贷款、流失)
FinNLP	中英	Link			哥大刘小洋等
InsuranceQA	中英	中，英		Link	IBM	有关保险的问答数据(中文需购买，英文开源)
FinChina-SA	中	Link		Link	FinChina AI Research (华安基金)	企业新闻金融情感分析，输出包括企业名称、新闻情感、新闻类型
FinanceIQ	中	Link	Link		度小满	综合金融知识评测(10个大类36个小类，总计7173个单选题)
FinCorpus	中		Link		度小满	上市公司公告、金融新闻、金融试题
BBT-FinCorpus & CFLEB	中	Link		Link	复旦等	金融领域语料库(财报、研报、新闻、帖子，需申请，但是申请不了全部的) & 金融评测基准(摘要、问答、分类等6个任务)
CFBenchmark	中	Link			同济	3917金融文本，3方面8任务：公司名称等识别任务，事件检测等分类任务，风险提示等生成任务
OpenFinData	中	Link			东方财富、上海AI Lab	针对真实业务的综合金融测评，6模块19任务，包括知识、判别、计算、分析、解读、合规
sFIOG	英	Link	Link		延世大学等	针对部分美国上市公司年报，ChatGPT自动生成的问答数据(构建的不好)
StockNet	英	Link		Link		FinMA用的SMP数据集：2014-2016的88个标普股票Twitter数据和历史价格数据，>0.55%上涨/<-0.5%下跌
CIKM18	英	Link		Link		FinMA用的SMP数据集：2017的47个标普股票Twitter数据和历史价格数据
BigData22	英	Link		Link		FinMA用的SMP数据集：2019-2020的50个美国股票数据，也是二分类
Financial PhraseBank(FPB)	英		Link	Link	芬兰	常用的SA数据集：4845篇财经新闻，积极/中立/消极
FiQA-SA	英		Link	Link	德英	常用的SA数据集：1173篇标题、微博，评分[-1,1]
SemEval-2017	英	Bitbucket		Link	德英	综述中提到的的SA数据集：4157个标题、微博中的句子，评分[-1,1]
StockEmotions	英	Link		Link		综述中提到的的SA数据集：10000个微博中的句子，积极/消极，还有12类细粒度情感类别
Headline	英	Kaggle		Link		常用的TC数据集：11412句子，9种2分类问题
FedNLP	英	Link		Link		综述中提到的的TC数据集：来自Federal Open Market Committee (FOMC，联邦公开市场委员会)的材料
FOMC	英	Link		Link		综述中提到的的TC数据集：来自Federal Open Market Committee (FOMC，联邦公开市场委员会)的材料，鸽派/鹰派/中立
Baking77	英		Link	Link		综述中提到的的TC数据集：13083句子，77种银行服务类别
FIN	英		Link	Link		常用的NER数据集：来自SEC的8个用于信用评估的贷款协议
FiNER	英	Link		Link		综述中提到的的NER (NR?) 数据集：110万句子，139个实体(使用可扩展商业报告语言XBRL标注)
FiQA-QA	英		Link	Link		常用的QA数据集：17100金融问答对
FinQA	英		Link	Link		常用的QA (NR) 数据集：8281问答对，专家根据标普500企业年报构建
ConvFinQA	英		Link	Link		常用的QA (NR) 数据集：3892个多轮对话，共14115个问题
ECTSum	英	Link		Link		InvestLM用的摘要数据集：2425文档摘要对，对路透社的盈利电话会议记录的要点摘要
MultiLing 2019	英	Website		Link		综述中提到的的摘要数据集：3863文档摘要对，来自英国股票交易所的年报
TAT-QA	英	Link		Link		综述Github中提到的的QA (NR) 数据集：
PACIFIC	英	Link		Link		综述Github中提到的的QA (NR) 数据集：
FinRED	英	Link		Link		综述中提到的的RE数据集：基于金融新闻和盈利电话记录构建，包含29个金融领域的关系标签
						FinBERT

Other

序号	名称	链接	备注
1	Chatbot Arena Leaderboard	Link	FastChat给出的LLM排名
2	FastChat	Link	训练、部署和评估大模型的开源平台
3	GPT Academic	Link	学术ChatGPT
4	Awesome-LLM	Link	资源集合
5	LLMs九层妖塔	Link	另一位同仁的学习笔记
6	LLM-Action	Link	资源集合
7	AIGC Progress	Link	资源集合
8	tiktoken	Link	OpenAI的tokenize方式
9	sentencepiece	Link	Google的tokenizer
10	KeepChatGPT	Link	提高ChatGPT的数据安全能力和效率的插件
11	LoRA	Link
12	QLoRA	Link
13	Awesome Chinese LLMs	Link	各行业中文开源金融大模型整理
14	PowerInfer	Link
15	面向开发者的LLM入门课程	Link	吴恩达LLM课程中文版
16	OpenCompass	Link	上海AI实验室LLM排名
17	Open LLM LeaderBoard	Link	开源大模型榜单
18	LangChain	Link	官网
19	LLMBox	Link	人大赵鑫AI Box团队代码工具库
20	LLaMA-Factory	郑耀威，北航博士	Link

B站

序号	UP主	名称	链接	备注
1	贯一智能科技	国内外十大语言模型之横向对比评测【模型评测08】	Link	主观但实用的LLM测评

知乎

序号	博主	名称	链接	备注
1	-	ChatGLM2-6B微调	Link
2	一个有毅力的吃货	ChatGLM2-6B微调	Link
3	回旋托马斯x	微调经验总结（无代码）	Link
4	-	大模型LLM领域，有哪些可以作为学术研究方向？	Link
5	-	大模型的微调一般训练多少epoch不会过拟合？	Link
6	-	导师让我搞gpt方向，我该怎么去学？	Link
7	-	为什么现在的LLM都是Decoder only的架构？	Link
8	无数据不智能	大模型训练之微调篇	Link
9	无数据不智能	大模型训练之模型篇	Link
10	人大AI Box	GPT-4之高考评测	Link
11	人大AI Box	Huge and Efficient! 一文了解大规模预训练模型高效训练技术	Link
12	绝密伏击（奇虎）	大模型微调总结	Link
13	字节何枝	【LLM】从零开始训练大模型	Link
14	刘聪NLP	大模型LLM-微调经验分享&总结	Link
15	NLP煎饼摊	大模型微调项目 / 数据集调研汇总	Link
16	包包算法笔记	大模型微调样本构造trick	Link
17	包包算法笔记	大模型训练的一些坑点和判断	Link
18	腾讯	大模型微调（finetune）方法总结-LoRA,Adapter,Prefix-tuning，P-tuning，Prompt-tuning	Link
19	腾讯	大模型微调（finetune）方法总结	Link
20	神洛	大模型高效微调综述下： DiffPruning、BitFit、LoRa、AdaLoRA、MAM Adapters、UniPELT	Link
21	马东什么	Tokenizers小结	Link
22	-	想学习大语言模型(LLM)，应该从哪个开源模型开始？	Link
23	-	机器学习中的“可解释性”该作何解释？	Link
24	范浩强	完蛋！我被大模型包围了	Link
25	养生的控制人	Greedy Decoding、Beam Search、Top-k、Top-n	Link
26	-	Nlp句子分类，句子长度差异特别大，200-5000，200-上万，有什么办法处理或者什么模型可用吗？	Link
27	文因互联	文因互联首席科学家宋劼：大模型+金融：将场景革命进行到底	Link	值得关注首席科学家：宋劼（其他信息）
28	快乐子涵酱	LLM微调经验&认知-2	Link
29	李文举说	如何在小公司做大模型	Link	小公司做LLM经验：1.多交流；2.先搞数据，再做具体业务；3.走大路，不要另辟蹊径

微信

Prompt Engineering

序号	博主	名称	链接	备注
1	老刘说NLP	PromptSource等代表性NLP开源Prompt数据集	Link
2	老刘说NLP	再看大模型ICL推理范式中的prompt策略：从动态Few-shot到KNN选择再到Shuffling Ensemble	Link
3	AINLPer	Prompt工程总结	Link
4	AINLPer	Prompt链式总结	Link
5	金融科技实战	金融领域Prompt工程方法浅析	Link	是不是可以Prompting Engineering in Finance: A Survey？
6	AI洞察笔记	一文汇总大语言模型LLM所有prompt提示词框架的论文出处	Link	Reasoning论文汇总与arXiv两个技巧
7	AIwithGary	第三篇：要真正入门AI，OpenAI的官方Prompt工程指南肯定还不够，您必须了解的强大方法论和框架！！！	Link
8	机器之心	我是如何赢得GPT-4提示工程大赛冠军的	Link	最通用的一些Prompt技巧和知识的运用

Other

序号	博主	名称	链接	备注
1	老刘说NLP	再看业界大模型行业问答的困难及若干业界实践：兼看智能客服常用路线及多场景prompt	Link
2	老刘说NLP	大模型微调数据质量评价	Link
3	老刘说NLP	垂域微调大模型非最全汇总：12大领域、57个领域微调模型概述及对垂直行业问答的一些讨论	Link
4	哈工大SCIR实验室	赛尔笔记：面向表格数据的大模型推理综述	Link
5	机器之心	字节跳动李航：对语言大模型的若干观察和思考	Link	李航：LLM思考
6	何枝	从零详细地梳理一个完整的 LLM 训练流程	Link
7	人工智能前沿讲习	LangChain介绍	Link
8	运筹OR帷幄	机器学习模型可解释性综述	Link
9	PaerWeekly	大语言模型Fine-tuning踩坑经验之谈	Link	微调经验
10	银融时代	ChatGPT+金融：国外八大应用案例	Link
11			Link	有趣的新闻：字节调用OpenAI
12			Link	有趣的新闻：Gemini调用文心一言
13	海外独角兽	专访月之暗面杨植麟：lossless long context is everything	Link	月之暗面Moonshot AI对LLM前景的看法：①注重用户数据scaling的提升、而不是base model；②可解释性：只要哦数据量够大，肯定可以解决；③历史上所有的架构演进本质上都是在提升有效的 context length。word2vec 最近拿了 NeurIPS 的 Test of Time 奖。它在 10 年前用一个词去预测周围的词，相当于 context length 是 5。RNN 把有效的 context length 提升到了 20。LSTM 涨到大几十。transformer 到了几千。现在我们能做到几十万。如果你有 10 亿的 context length，今天看到的问题都不是问题；④未来模型基于自我生成的数据进行训练是关键；⑤模型的微调可能不存在：终究能达成，用户只需要指令的方式就能实现个性化的应用；⑤人才的经验很重要
14	AI算法科研	如何将大模型与小模型结合？这8种常用策略必看！附17篇案例论文和代码	Link
15	麦哲智界	大模型如何改变金融行业	Link
16	腾讯研究院	AI Agent，为什么是AIGC最后的杀手锏？	Link	AI Agent简介
17	包包算法笔记	大模型微调数据选择和构造技巧	Link	数据的多样性、不确定性
18	新智元	AI智能体卷爆大模型！AutoGPT等4大Agent打擂，「西部世界」谁将成为软件2.0？	Link	对于Agent的全面介绍
19	InfoQ	金融业采用大模型，是“用大炮轰蚊子”吗	Link
20	InfoQ	开源金融业大模型，终结“专业打工人”？	Link	对目前Github上开源的金融LLM总结
21	NLP工作站	1-2B参数规模大模型使用心得及模型汇总	Link
22	NLP工作站	回望做大模型一年后的感悟	Link
23	NewBeeNLP	LLM 盛行，如何优雅地训练大模型？	Link
24	中国信通院	乘上大语言模型的东风：探究国内金融大模型的发展与生态运营策略	Link	总结了截至2023-12-26的业界金融大模型
25	新智元	美国空军高调展示首个AI战斗机！部长亲自试驾全程未干预，10万行代码试飞21次	Link	有趣的新闻
26	AIGverse	OpenAI使用《金融时报》内容训练模型	Link	有趣的新闻，FT英文官网
27	AIGC开放社区	摩根大通正式发布IndexGPT，用ChatGPT方式进行投资	Link	有趣的新闻，彭博社新闻
28	AIGC开放社区	ChatGPT Edu版本来啦：支持GPT-4o、自定义GPT、数据分析等	Link	有趣的新闻
29	AIGC开放社区	OpenAI与普华永道合作，为10万员工提供ChatGPT	Link	有趣的新闻
30	AIGC开放社区	美国空军发布类ChatGPT产品—NIPRGPT	Link	有趣的新闻

个人博客/团队账号

序号	博主	链接
1	徐明老师	Link
2	老潘	Link
3	苏剑林老师	Link
4	庞宇轩	Link
5	人大AI BOX	Link
6	知乎——suc16	Link
7	Github——lucidrains	Link

电子书

序号	来源	名称	链接	备注
1	复旦张奇	大规模语言模型：从理论到实践	Link
2	刘聪NLP	ChatGPT原理与实战：大型语言模型的算法、技术和私有化	Link
3	中国人工智能学会	中国人工智能系列白皮书——大模型技术（2023版）	Link
4	人大赵鑫	大语言模型	Link	配套代码，配套大模型Yulan

Kaggle

序号	名称	链接	备注
1	LLM Science Exam	Link	中文复盘
2	LLM Prompt Recovery	Link

其余来源

Prompt Engineering

序号	来源	名称	链接	备注
1	DAIR.AI(Democratizing Artificial Intelligence Research, Education, and Technologies)	promptGuide	Link	全面介绍提示工程的网站
2	Medium	12 Prompt Engineering Techniques	Link	12种提示方式的介绍（中文版）
3	OpenAI	Prompt Engineering官方文档	Link	中文简介
4	微软	Prompt Engineering官方文档	Link	中文简介

Other

序号	来源	名称	链接	备注
1	Paper Digest（一个文献集中网站）		Link	ChatGPT文章集合
2	arXiv	Language Models Represent Space and Time	Link	大语言模型对于世界的理解（中文解释）
3	徐明老师	NLP大模型微调答疑	Link
4	Microsoft	State of GPT	Link
5	CSDN	一文看懂学习率Learning Rate，从入门到CLR	Link
6	Oldpan个人博客	关于训练神经网路的诸多技巧Tricks(完全总结版)	Link
7	腾讯云	Prompt、RAG、微调还是重新训练？选择正确的生成式 AI 的方法指南	Link	从回答准确性、实施复杂性、维护成本、所需要投入的努力、灵活应对变化的能力5个方面对prompt engineering, RAG, fine-tune, pre-training 4种应用LLM的方式进行了对比
8	Ilya Sutskever	Ilya 30u30	Link	OpenAI 联合创始人兼首席科学家 Ilya Sutskever 整理的机器学习研究文章清单

论文

发表在顶刊or会计、金融领域期刊上的

序号	题目	期刊	网址	简介
1	FinBERT: A Large Language Model for Extracting Information from Financial Text	Contemporary Accounting Research（ABS 4）	Link	英文语料库上预训练的BERT
2	GPT has become financially literate: Insights from financial literacy tests of GPT and a preliminary test of how people use it as a source of advice	Financial Research Letters（ABS 2）	Link
3	ChatGPT for (Finance) research: The Bananarama Conjecture	Financial Research Letters（ABS 2）	Link
4	Generative AI for Economic Research: Use Cases and Implications for Economists	Journal of Economic Literature（ABS 4）	Link	LLM如何应用于经济学研究

综述类

序号	题目	期刊	机构	网址	简介
1	Large Language Models: A Survey	arXiv	人大	Link	LLM综述
2	Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond	arXiv	Amazon & 德州农工大学 & 莱斯大学	Link	LLM综述
3	A Survey of Chain of Thought Reasoning: Advances, Frontiers and Future	arXiv	哈工大	Link	思维链综述
4	A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions	arXiv		Link	大模型幻觉综述
5	Evaluating Large Language Models: A Comprehensive Survey	arXiv	天大	Link	大模型评价方法综述
6	Challenges and Applications of Large Language Models	arXiv		Link	大模型的应用和挑战
7	Explainability for Large Language Models: A Survey	arXiv	新泽西理工学院、约翰霍普金斯大学等	Link	大模型可解释性综述
8	Is Prompt All You Need? No. A Comprehensive and Broader View of Instruction Learning	arXiv		Link	Instruction Tuning综述
9	Large Language Models on Graphs: A Comprehensive Survey	arXiv	伊利诺伊大学厄巴纳香槟分校	Link	图与LLM综述
10	Data Management For Large Language Models: A Survey	arXiv	北大	Link	LLM数据管理综述
11	Igniting Language Intelligence: The Hitchhiker's Guide From Chain-of-Thought Reasoning to Language Agents	arXiv		Link	思维链与AI Agent综述
12	Efficient Large Language Models: A Survey	arXiv		Link	提高LLMs的计算效率和资源利用效率综述（中文推荐）
13	The Rise and Potential of Large Language Model Based Agents: A Survey	arXiv	复旦NLP	Link	大模型Agent综述
14	A Survey of Reasoning with Foundation Models	arXiv	港大、华为Nuah等	Link	大模型推理综述（中文推荐）
15	A Survey on Statistical Theory of Deep Learning: Approximation, Training Dynamics, and Generative Models	arXiv	UCLA	Link	深度学习统计理论综述（中文推荐）
16	Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling	arXiv	Eleuther AI、耶鲁	Link	大模型训练手册（中文推荐）
17	TrustLLM: Trustworthiness in Large Language Models	arXiv		Link	可信任性综述
18	A Systematic Survey of Prompt Engineering in Large Language Models: Techniques and Applications	arXiv	印度理工学院、斯坦福、Amazon	Link	Prompt Engineering综述（中文推荐）

技术类

序号	题目	期刊	机构	网址	简介
1	Attention Is All You Need	arXiv		Link	Transformer
2	Improving Language Understanding by Generative Pre-Training	arXiv		Link	GPT-1
3	A Survey of Chain of Thought Reasoning: Advances, Frontiers and Future	arXiv		Link	BERT
4	Language Models are Unsupervised Multitask Learners	arXiv		Link	GPT-2
5	Language Models are Few-Shot Learners	arXiv		Link	GPT-3
6	White-Box Transformers via Sparse Rate Reduction: Compression Is All There Is?	arXiv		Link	白盒Transformer
7	Distilling the Knowledge in a Neural Network	arXiv		Link	知识蒸馏的开山之作
8	A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models	arXiv		Link	ReMax
9	Beyond Human Data: Scaling Self-Training for Problem-Solving with Language Models	arXiv		Link	大模型自我构建数据进行训练
10	PowerInfer: Fast Large Language Model Serving with a Consumer-grade GPU	arXiv	上交	Link	使用RTX 4090跑175B大模型
11	StructGPT: A General Framework for Large Language Model to Reason over Structured Data	arXiv		Link	面向结构化数据的大模型推理框架

领域大模型构建

序号	题目	期刊	机构	网址	简介
1	FinPT: Financial Risk Prediction with Profile Tuning on Pretrained Foundation Models	arXiv	港大 & 达摩院	Link	金融风险大模型FinPT
2	BloombergGPT: A Large Language Model for Finance	arXiv	彭博社	Link	金融大模型BloombergGPT
3	XuanYuan 2.0: A Large Chinese Financial Chat Model with Hundreds of Billions Parameters	arXiv	度小满	Link	金融大模型“轩辕”
4	ChatLaw: Open-Source Legal Large Language Model with Integrated External Knowledge Bases	arXiv	北大	Link	法律大模型ChatLaw
5	Instruct-FinGPT: Financial Sentiment Analysis by Instruction Tuning of General-Purpose Large Language Models	arXiv	哥大	Link	金融大模型Instruct-FinGPT
6	FinGPT: Open-Source Financial Large Language Models	arXiv	哥大	Link	金融大模型FinGPT
7	FinGPT: Democratizing Internet-scale Data for Financial Large Language Models	arXiv	哥大	Link	金融大模型FinGPT
8	FinVis-GPT: A Multimodal Large Language Model for Financial Chart Analysis	arXiv	哈工深	Link	金融大模型FinVisGPT（多模态）
9	CFGPT: Chinese Financial Assistant with Large Language Model	arXiv	同济 & 上海AI实验室	Link	金融大模型CFGPT
10	DISC-FinLLM: A Chinese Financial Large Language Model based on Multiple Experts Fine-tuning	arXiv	复旦大学	Link	金融资讯大模型DISC-FinLLM
11	PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance	arXiv	武汉大学、中山大学等	Link	金融大模型PIXIU
12	Data-Centric Financial Large Language Models	arXiv	阿里巴巴、弗吉尼亚大学	Link	金融大模型FLLM
13	BBT-Fin: Comprehensive Construction of Chinese Financial Domain Pre-trained Language Model, Corpus and Benchmark	arXiv	复旦等	Link	金融大模型Fin-T5

数据集构建

序号	题目	期刊	机构	网址	简介
1	Chinese Fine-Grained Financial Sentiment Analysis with Large Language Models	arXiv		Link	中文金融情感分析数据集
2	An Effective Data Creation Pipeline to Generate High-quality Financial Instruction Data for Large Language Model	arXiv	哈工深	Link	金融指令调优数据集
3	ConvFinQA: Exploring the Chain of Numerical Reasoning in Conversational Finance Question Answering	arXiv		Link	ConvFinQA

思维链与大模型推理

序号	题目	期刊	机构	网址	简介
1	Chain-of-Thought Prompting Elicits Reasoning in Large Language Models	avXiv		Link	CoT开山之作
2	Large Language Models are Zero-Shot Reasoners	avXiv		Link	Zero-shot-CoT
3	Self-Consistency Improves Chain of Thought Reasoning in Language Models	avXiv		Link	CoT的早期发展：自洽性
4	Least-to-Most Prompting Enables Complex Reasoning in Large Language Models	avXiv		Link	CoT的又一发展（复杂任务分解）
5	Large Language Models Are Reasoning Teachers	avXiv		Link	利用大模型的CoT能力帮助小模型进行推理
6	Symbolic Chain-of-Thought Distillation: Small Models Can Also "Think" Step-by-Step	avXiv		Link	利用大模型的CoT能力帮助小模型进行推理2号
7	Large Language Models Can Self-Improve	avXiv		Link	自我改进
8	Self-Refine: Iterative Refinement with Self-Feedback	avXiv		Link	自我反思
9	Reflexion: Language Agents with Verbal Reinforcement Learning	avXiv		Link	自我反思2
10	Distilling Step-by-Step! Outperforming Larger Language Models with Less Training Data and Smaller Model Sizes	avXiv		Link	服了，怎么跟我这个RAL这么类似
11	Self-explaining AI as an alternative to interpretable AI	avXiv		Link	自我解释
12	Beyond Classification: Financial Reasoning in State-of-the-Art Language Models	avXiv		Link	金融推理问题数据集构建
13	Cumulative Reasoning with Large Language Models	avXiv		Link	姚期智首篇LLM
14	Learning From Mistakes Makes LLM Better Reasoner	avXiv		Link	让大模型在错题中学习
15	Specializing Smaller Language Models towards Multi-Step Reasoning	avXiv		Link
16	Self-Discover: Large Language Models Self-Compose Reasoning Structures	avXiv	南加州大学、谷歌DeepMind	Link	让大模型针对不同问题，提出特定的推理结构（中文解读）
17	The Impact of Reasoning Step Length on Large Language Models	arXiv		Link	推理步骤对大模型能力的影响（中文解读）

大模型与表格数据

序号	题目	期刊	机构	网址	简介
1	Table-GPT: Table-tuned GPT for Diverse Table Tasks	arXiv	微软	Link
2	Trompt: Towards a Better Deep Neural Network for Tabular Data	arXiv	国立成功大学	Link

大模型与图

序号	题目	期刊	机构	网址	简介
1	Think-on-Graph: Deep and Responsible Reasoning of Large Language Model on Knowledge Graph	arXiv		Link	大模型与知识图谱

AI Agents

序号	题目	期刊	机构	网址	简介
1	Large Language Models as Simulated Economic Agents: What Can We Learn from Homo Silicus?	avXiv		Link	ABM，模拟人类行为
2	War and Peace (WarAgent): Large Language Model-based Multi-Agent Simulation of World Wars	avXiv		Link	基于LLM的企业风险传染？基于大语言模型的多智能体仿真世界大战
3	Large Language Models Empowered Agent-based Modeling and Simulation: A Survey and Perspectives	avXiv	清华	Link	对ABM和LLM的综述
4	Generative Agents: Interactive Simulacra of Human Behavior	avXiv		Link	让大模型玩模拟人生

技术报告

序号	题目	期刊	机构	网址	简介
1	Gemini: A Family of Highly Capable Multimodal Models		谷歌	Link	Gemini
2	Phi-2: The surprising power of small language models		微软	Link	Phi2

Prompting Engineering

序号	题目	期刊	机构	网址	简介
1	Can Generalist Foundation Models Outcompete Special-Purpose Tuning? Case Study in Medicine	avXiv	微软	Link	医学领域使用GPT-4的prompt工程
2	Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4	avXiv		Link

大模型与主题模型

序号	题目	期刊	机构	网址	简介
1	TopicGPT: A Prompt-based Topic Modeling Framework	avXiv		Link	中文概述
2	Prompting Large Language Models for Topic Modeling	avXiv		Link	中文概述

Other

序号	题目	期刊	机构	网址	简介
1	GPT-Fathom: Benchmarking Large Language Models to Decipher the Evolutionary Path towards GPT-4 and Beyond	avXiv		Link	OpenAI进化之路与大模型能力来源探析（中文解读）
2	Can large language models provide useful feedback on research papers? A large-scale empirical analysis	avXiv	斯坦福	Link	大模型与审稿（中文解读）
3	When ChatGPT is gone: Creativity reverts and homogeneity persists	avXiv	北京大学	Link	大模型对长期创新能力的抑制（中文解读）
4	Resolving the Imbalance Issue in Hierarchical Disciplinary Topic Inference via LLM-based Data Augmentation	avXiv		Link	样本不均衡问题（中文解读）
5	Segmented Harmonic Loss: Handling Class-Imbalanced Multi-Label Clinical Data for Medical Coding with Large Language Models	avXiv		Link	样本不均衡问题（中文解读）
6	When Advanced AI Isn't Enough: Human Factors as Drivers of Success in Generative AI-Human Collaborations	SSRN		Link	ChatGPT时代的人机交互对绩效的影响研究（中文简介）

Something Interesting Beside LLM

序号	来源	名称	链接	备注
1	复旦自然语言处理实验室	入组第一堂代码课	Link
2	知乎	nlp研究生不会自己写代码怎么办	Link
3	知乎	小王同学在积累的Github学习资料	Link
4	CSDN	SHAP：解释模型预测的通用方法	Link
5	索尼	SunoAI	Link	为你的朋友制作歌曲
6	小红书	InstantID	Link	不需要进行任何额外训练，就能得到一个既符合文本描述又保留个人身份特征的定制图像
7	字节跳动	MagicVideo	Link	文字生成动图
8	Github骆昊	Python 100天从新手到大师	Link
9	Github	国科大论文模板	Link
10	Github	Project-based Learning	Link
11	Github李沐	跟李沐学AI	Link

Contributors

Drur1Lane

389 commits

Similar repos

HqWu-HITCS/Awesome-Chinese-LLM

整理开源的中文大语言模型，以规模较小、可私有化部署、训练成本较低的模型为主，包括底座模型，垂直领域微调及应用，数据集与教程等。

22,772

AiHubCN/Awesome-Chinese-LLM

整理开源的中文大语言模型，以规模较小、可私有化部署、训练成本较低的模型为主，包括底座模型，垂直领域微调及应用，数据集与教程等。

22,772

luban-agi/Awesome-Domain-LLM

收集和梳理垂直领域的开源模型、数据集及评测基准。

2,584

andysingal/llm-course

887

WangRongsheng/awesome-LLM-resources

🧑‍🚀 全世界最好的LLM资料总结（多模态生成、Agent、辅助编程、AI审稿、数据处理、模型训练、模型推理、o1 模型、MCP、小语言模型、视觉语言模型） | Summary of the…

8,980

fighting41love/funNLP

中英文敏感词、语言检测、中外手机/电话归属地/运营商查询、名字推断性别、手机号抽取、身份证抽取、邮箱抽取、中日文人名库、中文缩写库、拆字词典、词汇情感值、停用词、反动词表、暴恐词表、繁简体转换、英文…

83,345

coderonion/awesome-llm-and-aigc

🚀🚀🚀A collection of some awesome public projects about Large Language Model(LLM), Vision Language…

814

DataArcTech/Awesome-FinLLMs

🥇 A curated list of awesome large language models in finance(FinLLMs), including…

Drur1Lane/LLM-Study-CASRIMAT

389 commits

updated Jun 27, 2024

See the code

README

LLM-Study-CASRIMAT

中国科学院大学-经济与管理学院-大数据与金融风险研究团队，大模型学习资料整理。

重要网站

GitHub / Hugging Face

常用的开源大模型

序号	名称	机构	Github	Hugging Face	简介
1	Baichuan系列	百川智能	Baichuan-7B，Baichuan-13B，Baichuan2	Link	百川官网
2	ChatGLM系列	智谱AI	ChatGLM-6B，ChatGLM2-6B，ChatGLM3-6B	ChatGLM-6B，ChatGLM2-6B，ChatGLM3-6B，ChatGLM4-9B
3	LLaMA系列	Meta	LLaMA	LLaMA2-7B-Chat民间分享，LLaMA2官方，LLaMA3官方	Meta LLaMA官网
4	中文LLaMA系列	科大讯飞	Chinese-LLaMA-Alpaca，Chinese-LLaMA-Alpaca-2，Chinese-LLaMA-Alpaca-3
5	Mistral系列	Mistral AI		Link
6	Yi系列	01-AI（李开复零一万物）	Link	Link
7	Bloomz系列	BigScience（许多志愿科学家自己搞的）		Link
8	Qwen系列	阿里	Link	Link
9	OLMo	艾伦AI研究所等	Link	Link	第一个代码、数据、权重、评估、适配全开源LLM，中文推荐
10	MiniCPM	面壁智能、清华NLP实验室	Link		参数量2.4B
11	Vary-toy		Link		多模态，中文推荐，参数量1.8B
12	Phi系列	微软		Phi-1，Phi-2，Phi-3	小模型
13	DeepSeek-V2	DeepSeek	Link		DeepSeek官网

微调大模型（金融为主）

序号	名称	机构	Github	备注
1	FinPT	港大 & 达摩院	Link
2	2023年的FinBERT		Link	请用这个情感分类模型分类：I defaulted, and l want to fuck the bank
3	XuanYuan	度小满	Link
4	医疗大模型MedicalGPT	徐明老师	Link
5	法律大模型ChatLaw	北大	Link
6	聚宝盆Cornucopia	中科院成都计算机应用研究所	Link
7	医疗大模型“华驼”		Link
8	FinGPT	哥大刘小洋	Link
9	FinVisGPT（多模态）	哈工深	Link
10	FinTuo	华中师范大学陈启源	Link
11	骆驼项目：大模型集合	商汤科技+华中师范大学	Link
12	PIXIU	武大、中山等	Link
13	DISC-FinLLM	复旦	Link
14	2023 ChatGLM金融大模型挑战赛	阿里	Link	中文推文
15	CFGPT	同济	Link
16	ChatGLM微调	刘聪NLP	Link
17	Stanford Alpaca	Stanford	Link
18	YAYI	中科闻歌（中科院自动化所）	Link

练手小大模型

序号	名称	Github	备注
1	baby-llama2-chinese	Link
2	nanoGPT	Link	配套视频
3	Standford_alpaca	Link
4	alpaca-lora	Link
5	MiniGPT-4	Link
6	TinyLLaMA	Link
7	minbpe	Link	By Karpathy，配套视频, 中文介绍
8	miniLLM	Link	中文介绍

Prompt Engineering

序号	名称	Github or Hugging Face	备注
1	Awesome ChatGPT Prompts	Link	ChatGPT的英文提示词
2	ChatGPT 中文调教指南	Link	ChatGPT的中文提示词
3	PromptSource	Link	自动生成prompt
4	LangGPT	Link	结构化prompt——一种面向LLM的编程语言

Agent

序号	名称	Github or Hugging Face	备注
1	AutoGPT	Link	单智能体
2	AgentScope	Link	魔搭社区的Multi-Agent平台
3	Translation-Agent	Link	吴恩达开源的翻译Agent
4	FinRobot	Link	上海AI实验室的财务分析Agent，Github仓库里还分享了有关Agent的文章

资源限制下的大模型技术方法

序号	名称	Github	备注
1	unsloth	Link
2	BAdam	Link	24GB单卡高效训练Llama 3-8B，仅需添加一行代码
3
4
5

数据

包含对数据集的整理的文章：

通用数据集

序号	名称	语种	Github	Hugging Face	文章	作者	备注
1	chatgpt-corpus	中	Link			PlexPt(民间)	GPT-3.5自问自答数据、客服对话、GPT-3.5生成的小说、网络小说(需申请)、古书资源
2	ChineseNlpCorpus	整合	Link			InsaneLife(民间)	中文NLP数据集整合，包括分类、问答、实体识别等
3	EnWiki	英	Link			Wiki官方	英文维基百科自行打包的数据
4	RedPajama	英等	Link			togethercomputer	来自84个CommonCrawl快照，并使用CCNet进行数据处理，CommonCrawl和CCNet介绍
5	MedicalGPT	中、英	Link			徐明老师	MedicalGPT训练中可能用到的中英通用&医疗数据集
6	MMLU	英	Link		Link	伯克利	综合评测，57个主题，难度初级->高级专业
7	CMMLU	中	Link		Link	上交等	综合评测，67个主题，难度基础->高级专业
8	C-Eval	中	Link	Link	Link	上交、清华等	综合评测，13948多选题，52个学科，4个难度级别，官网
9	FineWeb	英		Link		HuggingFaceFW	45T大小，15T tokens的英文网络数据集，来源于CommonCrawl

金融数据集

名称	语种	Github	Hugging Face	文章	作者	备注
FinBench	表格		Link		港大、达摩院	10个人工整理的Kaggle金融风险数据集(信用、贷款、流失)
FinNLP	中英	Link			哥大刘小洋等
InsuranceQA	中英	中，英		Link	IBM	有关保险的问答数据(中文需购买，英文开源)
FinChina-SA	中	Link		Link	FinChina AI Research (华安基金)	企业新闻金融情感分析，输出包括企业名称、新闻情感、新闻类型
FinanceIQ	中	Link	Link		度小满	综合金融知识评测(10个大类36个小类，总计7173个单选题)
FinCorpus	中		Link		度小满	上市公司公告、金融新闻、金融试题
BBT-FinCorpus & CFLEB	中	Link		Link	复旦等	金融领域语料库(财报、研报、新闻、帖子，需申请，但是申请不了全部的) & 金融评测基准(摘要、问答、分类等6个任务)
CFBenchmark	中	Link			同济	3917金融文本，3方面8任务：公司名称等识别任务，事件检测等分类任务，风险提示等生成任务
OpenFinData	中	Link			东方财富、上海AI Lab	针对真实业务的综合金融测评，6模块19任务，包括知识、判别、计算、分析、解读、合规
sFIOG	英	Link	Link		延世大学等	针对部分美国上市公司年报，ChatGPT自动生成的问答数据(构建的不好)
StockNet	英	Link		Link		FinMA用的SMP数据集：2014-2016的88个标普股票Twitter数据和历史价格数据，>0.55%上涨/<-0.5%下跌
CIKM18	英	Link		Link		FinMA用的SMP数据集：2017的47个标普股票Twitter数据和历史价格数据
BigData22	英	Link		Link		FinMA用的SMP数据集：2019-2020的50个美国股票数据，也是二分类
Financial PhraseBank(FPB)	英		Link	Link	芬兰	常用的SA数据集：4845篇财经新闻，积极/中立/消极
FiQA-SA	英		Link	Link	德英	常用的SA数据集：1173篇标题、微博，评分[-1,1]
SemEval-2017	英	Bitbucket		Link	德英	综述中提到的的SA数据集：4157个标题、微博中的句子，评分[-1,1]
StockEmotions	英	Link		Link		综述中提到的的SA数据集：10000个微博中的句子，积极/消极，还有12类细粒度情感类别
Headline	英	Kaggle		Link		常用的TC数据集：11412句子，9种2分类问题
FedNLP	英	Link		Link		综述中提到的的TC数据集：来自Federal Open Market Committee (FOMC，联邦公开市场委员会)的材料
FOMC	英	Link		Link		综述中提到的的TC数据集：来自Federal Open Market Committee (FOMC，联邦公开市场委员会)的材料，鸽派/鹰派/中立
Baking77	英		Link	Link		综述中提到的的TC数据集：13083句子，77种银行服务类别
FIN	英		Link	Link		常用的NER数据集：来自SEC的8个用于信用评估的贷款协议
FiNER	英	Link		Link		综述中提到的的NER (NR?) 数据集：110万句子，139个实体(使用可扩展商业报告语言XBRL标注)
FiQA-QA	英		Link	Link		常用的QA数据集：17100金融问答对
FinQA	英		Link	Link		常用的QA (NR) 数据集：8281问答对，专家根据标普500企业年报构建
ConvFinQA	英		Link	Link		常用的QA (NR) 数据集：3892个多轮对话，共14115个问题
ECTSum	英	Link		Link		InvestLM用的摘要数据集：2425文档摘要对，对路透社的盈利电话会议记录的要点摘要
MultiLing 2019	英	Website		Link		综述中提到的的摘要数据集：3863文档摘要对，来自英国股票交易所的年报
TAT-QA	英	Link		Link		综述Github中提到的的QA (NR) 数据集：
PACIFIC	英	Link		Link		综述Github中提到的的QA (NR) 数据集：
FinRED	英	Link		Link		综述中提到的的RE数据集：基于金融新闻和盈利电话记录构建，包含29个金融领域的关系标签
						FinBERT

Other

序号	名称	链接	备注
1	Chatbot Arena Leaderboard	Link	FastChat给出的LLM排名
2	FastChat	Link	训练、部署和评估大模型的开源平台
3	GPT Academic	Link	学术ChatGPT
4	Awesome-LLM	Link	资源集合
5	LLMs九层妖塔	Link	另一位同仁的学习笔记
6	LLM-Action	Link	资源集合
7	AIGC Progress	Link	资源集合
8	tiktoken	Link	OpenAI的tokenize方式
9	sentencepiece	Link	Google的tokenizer
10	KeepChatGPT	Link	提高ChatGPT的数据安全能力和效率的插件
11	LoRA	Link
12	QLoRA	Link
13	Awesome Chinese LLMs	Link	各行业中文开源金融大模型整理
14	PowerInfer	Link
15	面向开发者的LLM入门课程	Link	吴恩达LLM课程中文版
16	OpenCompass	Link	上海AI实验室LLM排名
17	Open LLM LeaderBoard	Link	开源大模型榜单
18	LangChain	Link	官网
19	LLMBox	Link	人大赵鑫AI Box团队代码工具库
20	LLaMA-Factory	郑耀威，北航博士	Link

B站

序号	UP主	名称	链接	备注
1	贯一智能科技	国内外十大语言模型之横向对比评测【模型评测08】	Link	主观但实用的LLM测评

知乎

序号	博主	名称	链接	备注
1	-	ChatGLM2-6B微调	Link
2	一个有毅力的吃货	ChatGLM2-6B微调	Link
3	回旋托马斯x	微调经验总结（无代码）	Link
4	-	大模型LLM领域，有哪些可以作为学术研究方向？	Link
5	-	大模型的微调一般训练多少epoch不会过拟合？	Link
6	-	导师让我搞gpt方向，我该怎么去学？	Link
7	-	为什么现在的LLM都是Decoder only的架构？	Link
8	无数据不智能	大模型训练之微调篇	Link
9	无数据不智能	大模型训练之模型篇	Link
10	人大AI Box	GPT-4之高考评测	Link
11	人大AI Box	Huge and Efficient! 一文了解大规模预训练模型高效训练技术	Link
12	绝密伏击（奇虎）	大模型微调总结	Link
13	字节何枝	【LLM】从零开始训练大模型	Link
14	刘聪NLP	大模型LLM-微调经验分享&总结	Link
15	NLP煎饼摊	大模型微调项目 / 数据集调研汇总	Link
16	包包算法笔记	大模型微调样本构造trick	Link
17	包包算法笔记	大模型训练的一些坑点和判断	Link
18	腾讯	大模型微调（finetune）方法总结-LoRA,Adapter,Prefix-tuning，P-tuning，Prompt-tuning	Link
19	腾讯	大模型微调（finetune）方法总结	Link
20	神洛	大模型高效微调综述下： DiffPruning、BitFit、LoRa、AdaLoRA、MAM Adapters、UniPELT	Link
21	马东什么	Tokenizers小结	Link
22	-	想学习大语言模型(LLM)，应该从哪个开源模型开始？	Link
23	-	机器学习中的“可解释性”该作何解释？	Link
24	范浩强	完蛋！我被大模型包围了	Link
25	养生的控制人	Greedy Decoding、Beam Search、Top-k、Top-n	Link
26	-	Nlp句子分类，句子长度差异特别大，200-5000，200-上万，有什么办法处理或者什么模型可用吗？	Link
27	文因互联	文因互联首席科学家宋劼：大模型+金融：将场景革命进行到底	Link	值得关注首席科学家：宋劼（其他信息）
28	快乐子涵酱	LLM微调经验&认知-2	Link
29	李文举说	如何在小公司做大模型	Link	小公司做LLM经验：1.多交流；2.先搞数据，再做具体业务；3.走大路，不要另辟蹊径

微信

Prompt Engineering

序号	博主	名称	链接	备注
1	老刘说NLP	PromptSource等代表性NLP开源Prompt数据集	Link
2	老刘说NLP	再看大模型ICL推理范式中的prompt策略：从动态Few-shot到KNN选择再到Shuffling Ensemble	Link
3	AINLPer	Prompt工程总结	Link
4	AINLPer	Prompt链式总结	Link
5	金融科技实战	金融领域Prompt工程方法浅析	Link	是不是可以Prompting Engineering in Finance: A Survey？
6	AI洞察笔记	一文汇总大语言模型LLM所有prompt提示词框架的论文出处	Link	Reasoning论文汇总与arXiv两个技巧
7	AIwithGary	第三篇：要真正入门AI，OpenAI的官方Prompt工程指南肯定还不够，您必须了解的强大方法论和框架！！！	Link
8	机器之心	我是如何赢得GPT-4提示工程大赛冠军的	Link	最通用的一些Prompt技巧和知识的运用

Other

序号	博主	名称	链接	备注
1	老刘说NLP	再看业界大模型行业问答的困难及若干业界实践：兼看智能客服常用路线及多场景prompt	Link
2	老刘说NLP	大模型微调数据质量评价	Link
3	老刘说NLP	垂域微调大模型非最全汇总：12大领域、57个领域微调模型概述及对垂直行业问答的一些讨论	Link
4	哈工大SCIR实验室	赛尔笔记：面向表格数据的大模型推理综述	Link
5	机器之心	字节跳动李航：对语言大模型的若干观察和思考	Link	李航：LLM思考
6	何枝	从零详细地梳理一个完整的 LLM 训练流程	Link
7	人工智能前沿讲习	LangChain介绍	Link
8	运筹OR帷幄	机器学习模型可解释性综述	Link
9	PaerWeekly	大语言模型Fine-tuning踩坑经验之谈	Link	微调经验
10	银融时代	ChatGPT+金融：国外八大应用案例	Link
11			Link	有趣的新闻：字节调用OpenAI
12			Link	有趣的新闻：Gemini调用文心一言
13	海外独角兽	专访月之暗面杨植麟：lossless long context is everything	Link	月之暗面Moonshot AI对LLM前景的看法：①注重用户数据scaling的提升、而不是base model；②可解释性：只要哦数据量够大，肯定可以解决；③历史上所有的架构演进本质上都是在提升有效的 context length。word2vec 最近拿了 NeurIPS 的 Test of Time 奖。它在 10 年前用一个词去预测周围的词，相当于 context length 是 5。RNN 把有效的 context length 提升到了 20。LSTM 涨到大几十。transformer 到了几千。现在我们能做到几十万。如果你有 10 亿的 context length，今天看到的问题都不是问题；④未来模型基于自我生成的数据进行训练是关键；⑤模型的微调可能不存在：终究能达成，用户只需要指令的方式就能实现个性化的应用；⑤人才的经验很重要
14	AI算法科研	如何将大模型与小模型结合？这8种常用策略必看！附17篇案例论文和代码	Link
15	麦哲智界	大模型如何改变金融行业	Link
16	腾讯研究院	AI Agent，为什么是AIGC最后的杀手锏？	Link	AI Agent简介
17	包包算法笔记	大模型微调数据选择和构造技巧	Link	数据的多样性、不确定性
18	新智元	AI智能体卷爆大模型！AutoGPT等4大Agent打擂，「西部世界」谁将成为软件2.0？	Link	对于Agent的全面介绍
19	InfoQ	金融业采用大模型，是“用大炮轰蚊子”吗	Link
20	InfoQ	开源金融业大模型，终结“专业打工人”？	Link	对目前Github上开源的金融LLM总结
21	NLP工作站	1-2B参数规模大模型使用心得及模型汇总	Link
22	NLP工作站	回望做大模型一年后的感悟	Link
23	NewBeeNLP	LLM 盛行，如何优雅地训练大模型？	Link
24	中国信通院	乘上大语言模型的东风：探究国内金融大模型的发展与生态运营策略	Link	总结了截至2023-12-26的业界金融大模型
25	新智元	美国空军高调展示首个AI战斗机！部长亲自试驾全程未干预，10万行代码试飞21次	Link	有趣的新闻
26	AIGverse	OpenAI使用《金融时报》内容训练模型	Link	有趣的新闻，FT英文官网
27	AIGC开放社区	摩根大通正式发布IndexGPT，用ChatGPT方式进行投资	Link	有趣的新闻，彭博社新闻
28	AIGC开放社区	ChatGPT Edu版本来啦：支持GPT-4o、自定义GPT、数据分析等	Link	有趣的新闻
29	AIGC开放社区	OpenAI与普华永道合作，为10万员工提供ChatGPT	Link	有趣的新闻
30	AIGC开放社区	美国空军发布类ChatGPT产品—NIPRGPT	Link	有趣的新闻

个人博客/团队账号

序号	博主	链接
1	徐明老师	Link
2	老潘	Link
3	苏剑林老师	Link
4	庞宇轩	Link
5	人大AI BOX	Link
6	知乎——suc16	Link
7	Github——lucidrains	Link

电子书

序号	来源	名称	链接	备注
1	复旦张奇	大规模语言模型：从理论到实践	Link
2	刘聪NLP	ChatGPT原理与实战：大型语言模型的算法、技术和私有化	Link
3	中国人工智能学会	中国人工智能系列白皮书——大模型技术（2023版）	Link
4	人大赵鑫	大语言模型	Link	配套代码，配套大模型Yulan

Kaggle

序号	名称	链接	备注
1	LLM Science Exam	Link	中文复盘
2	LLM Prompt Recovery	Link

其余来源

Prompt Engineering

序号	来源	名称	链接	备注
1	DAIR.AI(Democratizing Artificial Intelligence Research, Education, and Technologies)	promptGuide	Link	全面介绍提示工程的网站
2	Medium	12 Prompt Engineering Techniques	Link	12种提示方式的介绍（中文版）
3	OpenAI	Prompt Engineering官方文档	Link	中文简介
4	微软	Prompt Engineering官方文档	Link	中文简介

Other

序号	来源	名称	链接	备注
1	Paper Digest（一个文献集中网站）		Link	ChatGPT文章集合
2	arXiv	Language Models Represent Space and Time	Link	大语言模型对于世界的理解（中文解释）
3	徐明老师	NLP大模型微调答疑	Link
4	Microsoft	State of GPT	Link
5	CSDN	一文看懂学习率Learning Rate，从入门到CLR	Link
6	Oldpan个人博客	关于训练神经网路的诸多技巧Tricks(完全总结版)	Link
7	腾讯云	Prompt、RAG、微调还是重新训练？选择正确的生成式 AI 的方法指南	Link	从回答准确性、实施复杂性、维护成本、所需要投入的努力、灵活应对变化的能力5个方面对prompt engineering, RAG, fine-tune, pre-training 4种应用LLM的方式进行了对比
8	Ilya Sutskever	Ilya 30u30	Link	OpenAI 联合创始人兼首席科学家 Ilya Sutskever 整理的机器学习研究文章清单

论文

发表在顶刊or会计、金融领域期刊上的

序号	题目	期刊	网址	简介
1	FinBERT: A Large Language Model for Extracting Information from Financial Text	Contemporary Accounting Research（ABS 4）	Link	英文语料库上预训练的BERT
2	GPT has become financially literate: Insights from financial literacy tests of GPT and a preliminary test of how people use it as a source of advice	Financial Research Letters（ABS 2）	Link
3	ChatGPT for (Finance) research: The Bananarama Conjecture	Financial Research Letters（ABS 2）	Link
4	Generative AI for Economic Research: Use Cases and Implications for Economists	Journal of Economic Literature（ABS 4）	Link	LLM如何应用于经济学研究

综述类

序号	题目	期刊	机构	网址	简介
1	Large Language Models: A Survey	arXiv	人大	Link	LLM综述
2	Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond	arXiv	Amazon & 德州农工大学 & 莱斯大学	Link	LLM综述
3	A Survey of Chain of Thought Reasoning: Advances, Frontiers and Future	arXiv	哈工大	Link	思维链综述
4	A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions	arXiv		Link	大模型幻觉综述
5	Evaluating Large Language Models: A Comprehensive Survey	arXiv	天大	Link	大模型评价方法综述
6	Challenges and Applications of Large Language Models	arXiv		Link	大模型的应用和挑战
7	Explainability for Large Language Models: A Survey	arXiv	新泽西理工学院、约翰霍普金斯大学等	Link	大模型可解释性综述
8	Is Prompt All You Need? No. A Comprehensive and Broader View of Instruction Learning	arXiv		Link	Instruction Tuning综述
9	Large Language Models on Graphs: A Comprehensive Survey	arXiv	伊利诺伊大学厄巴纳香槟分校	Link	图与LLM综述
10	Data Management For Large Language Models: A Survey	arXiv	北大	Link	LLM数据管理综述
11	Igniting Language Intelligence: The Hitchhiker's Guide From Chain-of-Thought Reasoning to Language Agents	arXiv		Link	思维链与AI Agent综述
12	Efficient Large Language Models: A Survey	arXiv		Link	提高LLMs的计算效率和资源利用效率综述（中文推荐）
13	The Rise and Potential of Large Language Model Based Agents: A Survey	arXiv	复旦NLP	Link	大模型Agent综述
14	A Survey of Reasoning with Foundation Models	arXiv	港大、华为Nuah等	Link	大模型推理综述（中文推荐）
15	A Survey on Statistical Theory of Deep Learning: Approximation, Training Dynamics, and Generative Models	arXiv	UCLA	Link	深度学习统计理论综述（中文推荐）
16	Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling	arXiv	Eleuther AI、耶鲁	Link	大模型训练手册（中文推荐）
17	TrustLLM: Trustworthiness in Large Language Models	arXiv		Link	可信任性综述
18	A Systematic Survey of Prompt Engineering in Large Language Models: Techniques and Applications	arXiv	印度理工学院、斯坦福、Amazon	Link	Prompt Engineering综述（中文推荐）

技术类

序号	题目	期刊	机构	网址	简介
1	Attention Is All You Need	arXiv		Link	Transformer
2	Improving Language Understanding by Generative Pre-Training	arXiv		Link	GPT-1
3	A Survey of Chain of Thought Reasoning: Advances, Frontiers and Future	arXiv		Link	BERT
4	Language Models are Unsupervised Multitask Learners	arXiv		Link	GPT-2
5	Language Models are Few-Shot Learners	arXiv		Link	GPT-3
6	White-Box Transformers via Sparse Rate Reduction: Compression Is All There Is?	arXiv		Link	白盒Transformer
7	Distilling the Knowledge in a Neural Network	arXiv		Link	知识蒸馏的开山之作
8	A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models	arXiv		Link	ReMax
9	Beyond Human Data: Scaling Self-Training for Problem-Solving with Language Models	arXiv		Link	大模型自我构建数据进行训练
10	PowerInfer: Fast Large Language Model Serving with a Consumer-grade GPU	arXiv	上交	Link	使用RTX 4090跑175B大模型
11	StructGPT: A General Framework for Large Language Model to Reason over Structured Data	arXiv		Link	面向结构化数据的大模型推理框架

领域大模型构建

序号	题目	期刊	机构	网址	简介
1	FinPT: Financial Risk Prediction with Profile Tuning on Pretrained Foundation Models	arXiv	港大 & 达摩院	Link	金融风险大模型FinPT
2	BloombergGPT: A Large Language Model for Finance	arXiv	彭博社	Link	金融大模型BloombergGPT
3	XuanYuan 2.0: A Large Chinese Financial Chat Model with Hundreds of Billions Parameters	arXiv	度小满	Link	金融大模型“轩辕”
4	ChatLaw: Open-Source Legal Large Language Model with Integrated External Knowledge Bases	arXiv	北大	Link	法律大模型ChatLaw
5	Instruct-FinGPT: Financial Sentiment Analysis by Instruction Tuning of General-Purpose Large Language Models	arXiv	哥大	Link	金融大模型Instruct-FinGPT
6	FinGPT: Open-Source Financial Large Language Models	arXiv	哥大	Link	金融大模型FinGPT
7	FinGPT: Democratizing Internet-scale Data for Financial Large Language Models	arXiv	哥大	Link	金融大模型FinGPT
8	FinVis-GPT: A Multimodal Large Language Model for Financial Chart Analysis	arXiv	哈工深	Link	金融大模型FinVisGPT（多模态）
9	CFGPT: Chinese Financial Assistant with Large Language Model	arXiv	同济 & 上海AI实验室	Link	金融大模型CFGPT
10	DISC-FinLLM: A Chinese Financial Large Language Model based on Multiple Experts Fine-tuning	arXiv	复旦大学	Link	金融资讯大模型DISC-FinLLM
11	PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance	arXiv	武汉大学、中山大学等	Link	金融大模型PIXIU
12	Data-Centric Financial Large Language Models	arXiv	阿里巴巴、弗吉尼亚大学	Link	金融大模型FLLM
13	BBT-Fin: Comprehensive Construction of Chinese Financial Domain Pre-trained Language Model, Corpus and Benchmark	arXiv	复旦等	Link	金融大模型Fin-T5

数据集构建

序号	题目	期刊	机构	网址	简介
1	Chinese Fine-Grained Financial Sentiment Analysis with Large Language Models	arXiv		Link	中文金融情感分析数据集
2	An Effective Data Creation Pipeline to Generate High-quality Financial Instruction Data for Large Language Model	arXiv	哈工深	Link	金融指令调优数据集
3	ConvFinQA: Exploring the Chain of Numerical Reasoning in Conversational Finance Question Answering	arXiv		Link	ConvFinQA

思维链与大模型推理

序号	题目	期刊	机构	网址	简介
1	Chain-of-Thought Prompting Elicits Reasoning in Large Language Models	avXiv		Link	CoT开山之作
2	Large Language Models are Zero-Shot Reasoners	avXiv		Link	Zero-shot-CoT
3	Self-Consistency Improves Chain of Thought Reasoning in Language Models	avXiv		Link	CoT的早期发展：自洽性
4	Least-to-Most Prompting Enables Complex Reasoning in Large Language Models	avXiv		Link	CoT的又一发展（复杂任务分解）
5	Large Language Models Are Reasoning Teachers	avXiv		Link	利用大模型的CoT能力帮助小模型进行推理
6	Symbolic Chain-of-Thought Distillation: Small Models Can Also "Think" Step-by-Step	avXiv		Link	利用大模型的CoT能力帮助小模型进行推理2号
7	Large Language Models Can Self-Improve	avXiv		Link	自我改进
8	Self-Refine: Iterative Refinement with Self-Feedback	avXiv		Link	自我反思
9	Reflexion: Language Agents with Verbal Reinforcement Learning	avXiv		Link	自我反思2
10	Distilling Step-by-Step! Outperforming Larger Language Models with Less Training Data and Smaller Model Sizes	avXiv		Link	服了，怎么跟我这个RAL这么类似
11	Self-explaining AI as an alternative to interpretable AI	avXiv		Link	自我解释
12	Beyond Classification: Financial Reasoning in State-of-the-Art Language Models	avXiv		Link	金融推理问题数据集构建
13	Cumulative Reasoning with Large Language Models	avXiv		Link	姚期智首篇LLM
14	Learning From Mistakes Makes LLM Better Reasoner	avXiv		Link	让大模型在错题中学习
15	Specializing Smaller Language Models towards Multi-Step Reasoning	avXiv		Link
16	Self-Discover: Large Language Models Self-Compose Reasoning Structures	avXiv	南加州大学、谷歌DeepMind	Link	让大模型针对不同问题，提出特定的推理结构（中文解读）
17	The Impact of Reasoning Step Length on Large Language Models	arXiv		Link	推理步骤对大模型能力的影响（中文解读）

大模型与表格数据

序号	题目	期刊	机构	网址	简介
1	Table-GPT: Table-tuned GPT for Diverse Table Tasks	arXiv	微软	Link
2	Trompt: Towards a Better Deep Neural Network for Tabular Data	arXiv	国立成功大学	Link

大模型与图

序号	题目	期刊	机构	网址	简介
1	Think-on-Graph: Deep and Responsible Reasoning of Large Language Model on Knowledge Graph	arXiv		Link	大模型与知识图谱

AI Agents

序号	题目	期刊	机构	网址	简介
1	Large Language Models as Simulated Economic Agents: What Can We Learn from Homo Silicus?	avXiv		Link	ABM，模拟人类行为
2	War and Peace (WarAgent): Large Language Model-based Multi-Agent Simulation of World Wars	avXiv		Link	基于LLM的企业风险传染？基于大语言模型的多智能体仿真世界大战
3	Large Language Models Empowered Agent-based Modeling and Simulation: A Survey and Perspectives	avXiv	清华	Link	对ABM和LLM的综述
4	Generative Agents: Interactive Simulacra of Human Behavior	avXiv		Link	让大模型玩模拟人生

技术报告

序号	题目	期刊	机构	网址	简介
1	Gemini: A Family of Highly Capable Multimodal Models		谷歌	Link	Gemini
2	Phi-2: The surprising power of small language models		微软	Link	Phi2

Prompting Engineering

序号	题目	期刊	机构	网址	简介
1	Can Generalist Foundation Models Outcompete Special-Purpose Tuning? Case Study in Medicine	avXiv	微软	Link	医学领域使用GPT-4的prompt工程
2	Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4	avXiv		Link

大模型与主题模型

序号	题目	期刊	机构	网址	简介
1	TopicGPT: A Prompt-based Topic Modeling Framework	avXiv		Link	中文概述
2	Prompting Large Language Models for Topic Modeling	avXiv		Link	中文概述

Other

序号	题目	期刊	机构	网址	简介
1	GPT-Fathom: Benchmarking Large Language Models to Decipher the Evolutionary Path towards GPT-4 and Beyond	avXiv		Link	OpenAI进化之路与大模型能力来源探析（中文解读）
2	Can large language models provide useful feedback on research papers? A large-scale empirical analysis	avXiv	斯坦福	Link	大模型与审稿（中文解读）
3	When ChatGPT is gone: Creativity reverts and homogeneity persists	avXiv	北京大学	Link	大模型对长期创新能力的抑制（中文解读）
4	Resolving the Imbalance Issue in Hierarchical Disciplinary Topic Inference via LLM-based Data Augmentation	avXiv		Link	样本不均衡问题（中文解读）
5	Segmented Harmonic Loss: Handling Class-Imbalanced Multi-Label Clinical Data for Medical Coding with Large Language Models	avXiv		Link	样本不均衡问题（中文解读）
6	When Advanced AI Isn't Enough: Human Factors as Drivers of Success in Generative AI-Human Collaborations	SSRN		Link	ChatGPT时代的人机交互对绩效的影响研究（中文简介）

Something Interesting Beside LLM

序号	来源	名称	链接	备注
1	复旦自然语言处理实验室	入组第一堂代码课	Link
2	知乎	nlp研究生不会自己写代码怎么办	Link
3	知乎	小王同学在积累的Github学习资料	Link
4	CSDN	SHAP：解释模型预测的通用方法	Link
5	索尼	SunoAI	Link	为你的朋友制作歌曲
6	小红书	InstantID	Link	不需要进行任何额外训练，就能得到一个既符合文本描述又保留个人身份特征的定制图像
7	字节跳动	MagicVideo	Link	文字生成动图
8	Github骆昊	Python 100天从新手到大师	Link
9	Github	国科大论文模板	Link
10	Github	Project-based Learning	Link
11	Github李沐	跟李沐学AI	Link

Similar repos

HqWu-HITCS/Awesome-Chinese-LLM

整理开源的中文大语言模型，以规模较小、可私有化部署、训练成本较低的模型为主，包括底座模型，垂直领域微调及应用，数据集与教程等。

22,772

AiHubCN/Awesome-Chinese-LLM

整理开源的中文大语言模型，以规模较小、可私有化部署、训练成本较低的模型为主，包括底座模型，垂直领域微调及应用，数据集与教程等。

22,772

luban-agi/Awesome-Domain-LLM

收集和梳理垂直领域的开源模型、数据集及评测基准。

2,584

andysingal/llm-course

887

WangRongsheng/awesome-LLM-resources

8,980

fighting41love/funNLP

83,345

coderonion/awesome-llm-and-aigc

🚀🚀🚀A collection of some awesome public projects about Large Language Model(LLM), Vision Language…

814

DataArcTech/Awesome-FinLLMs

🥇 A curated list of awesome large language models in finance(FinLLMs), including…

Contributors

Drur1Lane

389 commits