Enjoy LLM.
我们致力于建立一个LLM论文解读笔记仓库,我们将集结LLM领域的经典论文,然后为这些论文提供解读笔记。
通过LLM Research,研究人员可以迅速查阅到LLM领域的重要论文,无需费时费力地查找和筛选。此外,针对(只想粗略浏览LLM领域学术前沿的核心思想的)其他方向的研究人员,本仓库也提供了这些重点论文的相应解读笔记(每篇笔记分为TLDR简版和精读版),让这部分研究人员必须不花时间去细读每篇原文。
我们已经初步组建好写作小组,并计划于近期三四个月撰写好相应文章的精读笔记。
大型语言模型在当今技术领域占据重要地位,其在自然语言处理、文本生成、信息检索等方面的广泛应用不断拓展。随着这一领域的迅速发展,我们意识到研究人员需要一个可供他们快速系统了解LLM基础论文的解读笔记仓库。
如今有许多LLM领域的研究论文,但为了获取全面的了解,研究人员往往需要花费大量时间筛选和阅读这些基础文献。LLM Research 的创立旨在为研究人员提供一个便捷的途径,集结LLM领域的经典论文,并提供论文的解读笔记供简单了解or深入学习这些论文。这种深度解析旨在帮助研究人员更好地理解论文的核心概念,并提供有深度的领域知识。
我们相信,通过LLM Research,研究人员可以更轻松地跟踪LLM领域的最新进展,拓展他们的知识边界。
我们的项目旨在创建一个系统全面的LLM基础论文解读笔记仓库,以支持对大型语言模型(LLM)领域的学术前沿感兴趣的研究人员。为了实现这一目标,我们已经组建了一个由5名成员组成的小组,专注于整理、深入解析和精读LLM领域的经典论文。想加入的同学们可以加负责人微信: linjh1118_nlp
每一篇精读笔记都将涵盖论文的核心思想、方法和关键贡献,旨在为研究人员提供深刻的理解。每篇笔记将分两个章节,第一个章节是TLDR版,其中将阐述文章的motivation、innovation、insight等核心思想以及核心代码,第二个章节则是全文精读版,这章节的行文逻辑按照原文的行文逻辑来,相当于对每段文章做一个summary,重点要放在methods和discussion,为读者提供一些深度解读。
具体内容见下: 经典论文列表
我们的项目将在接下来的三到四个月内进行。在这个时间框架内,我们小组将致力于每周产出5-7篇质量过关的论文笔记。这个周产出计划的目的是确保我们能够迅速而系统地覆盖LLM领域的广泛话题,并为研究人员提供及时的资源。同时,这也有助于确保我们的笔记在质量上经过仔细审查和审核。 此外,为了进一步确保笔记的质量,我们邀请了几位资深老师担任内容审核的角色。这些老师将负责审查、提供反馈,并确保每篇笔记符合标准。通过这一团队构成,我们有信心在规定时间内产出水平过关的经典论文笔记,为研究人员提供有价值的学术资源。
目前还没有一个仓库有系统地整理“parameter-efficient-finetuning”领域论文。所以本仓库优先整理了这方面的论文。力求覆盖peft库中的基础微调方式。
| Title | Date | Publication | citation | Summary | Notes | Deadline |
|---|---|---|---|---|---|---|
| LoRA: Low-Rank Adaptation of Large Language Models | 2021-10 | arXiv | 1555 | @林景豪 | 12.23 | |
| Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning (AdaLoRA) | 2023-02 | ICLR | 55 | @林景豪 | 12.23 | |
| LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models | 2023-09 | arxiv | 16 | Lora_series_notes | @林景豪 | 12.23 |
| QLoRA: Efficient Finetuning of Quantized LLMs | 2023-05 | arxiv | 224 | @胡锦琛 | 1.17 | |
| Orthogonal Subspace Learning for Language Model Continual Learning(o-lora) | 2023-10 | arxiv | @胡锦琛 | 1.27 | ||
| S-LoRA: Serving Thousands of Concurrent LoRA Adapters | 2023-11 | arxiv | @胡锦琛 | 2.4 |
| Title | Date | Publication | citation | Summary | Notes | Deadline |
|---|---|---|---|---|---|---|
| Prefix-Tuning: Optimizing Continuous Prompts for Generation | 2021-08 | ACL | 1859 | @余绍缘 | 12.30 | |
| GPT Understands, Too (P-Tuning) | 2021-03 | AI Open | 307 | @余绍缘 | 1.6 | |
| The Power of Scale for Parameter-Efficient Prompt Tuning (Prompt-Tuning) | 2021-04 | EMNLP | 1683 | @余绍缘 | 1.13 | |
| P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks | 2021-10 | ACL | 220 | @余绍缘 | 1.20 | |
| Late Prompt Tuning: A Late Prompt Could Be Better Than Many Prompts | 2022-10 | EMNLP | 6 | @余绍缘 | 1.27 | |
| Black-Box Tuning for Language-Model-as-a-Service | 2022-06 | ICLR | 100 | @余绍缘 | 2.4 |
| Title | Date | Publication | citation | Summary | Notes | Deadline |
|---|---|---|---|---|---|---|
| Parameter-Efficient Transfer Learning for NLP (Adapter) | 2019-06 | ICML | 1767 | @王淏 | 12.30 | |
| AdapterHub: A Framework for Adapting Transformers | 2020-07 | EMNLP | @王淏 | 1.6 | ||
| Title | Date | Publication | citation | Summary | Notes | Deadline |
|---|---|---|---|---|---|---|
| UniPELT: A Unified Framework for Parameter-Efficient Language Model Tuning | 2022-05 | ACL | 79 | @林景豪 | 12.30 | |
| Towards a Unified View of Parameter-Efficient Transfer Learning | 2022 -02 | ICLR (spotlight) | 385 | @林景豪 | 12.30 | |
| Title | Date | Publication | citation | Summary | Notes | Deadline |
|---|---|---|---|---|---|---|
| Full Parameter Fine-tuning for Large Language Models with Limited Resources | 2023-06 | arXiv | 7 | @王淏 | 12.23 | |
| AdaLomo: Low-memory Optimization with Adaptive Learning Rate | 2023-10 | arXiv | @王淏 | 12.30 | ||
| Title | Date | Publication | citation | Summary | Notes | Deadline |
|---|---|---|---|---|---|---|
| Chain of Thought Prompting Elicits Reasoning in Large Language Models | 2023-01 | Nips2022 | 2141 | @袁鑫喆 | 12.30 | |
| Challenging BIG-Bench Tasks and Whether Chain-of-Thought Can Solve Them | 2022-10 | ACL2022 | 62 | @袁鑫喆 | 1.6 | |
| Automatic Chain of Thought Prompting in Large Language Models | 2022-10 | ICLR2022 | 200 | @袁鑫喆 | 1.13 | |
| Multimodal Chain-of-Thought Reasoning in Language Models | 2023-02 | arxiv | 100 | @袁鑫喆 | 1.20 | |
| Title | Date | Publication | citation | Summary | Notes | Deadline |
|---|---|---|---|---|---|---|
| Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing | 2021-07 | ACM Computing Surveys | 1640 | @胡锦琛 | 12.30 | |
| Exploring Lottery Prompts for Pre-trained Language Models | 2023-05 | ACL | 1 | @胡锦琛 | 1.6 | |
| Making Pre-trained Language Models Better Few-shot Learners | 2021-06 | ACL | 1159 | @胡锦琛 | 1.13 |
| Title | Date | Publication | citation | Summary | Notes | Deadline |
|---|---|---|---|---|---|---|
| Revisiting Relation Extraction in the era of Large Language Models | 2023-05 | ACL | 14 | @王淏 | 1.20 | |
| Title | Date | Publication | citation | Summary | Notes | Deadline |
|---|---|---|---|---|---|---|
| G-Adapter: Towards Structure-Aware Parameter-Efficient Transfer Learning for Graph Transformer Networks | 2023-05 | arXiv | @袁鑫喆 | 1.20 | ||
| Title | Date | Publication | citation | Summary | Notes | Deadline |
|---|---|---|---|---|---|---|
| Making Large Language Models Perform Better in Knowledge Graph Completion (KoPA from ZJU) | 2023-10 | arXiv | @林景豪 | 1.20 | ||
项目负责人
核心贡献者
核心审查者
非常感谢导师们仔细审查了本仓库的所有笔记内容, 感谢他们的大力支持,同时也感谢吉林大学机器人梦工厂和东北大学IDKE实验室的伙伴们的大力支持
非常感谢datawhale组织的好大哥 谢文睿,范晶晶等对本项目的全程支持。
How to contact me?
If you have any questions or want to join us, please do not hesitate to contact me linjh1118@mails.jlu.edu.cn.
此外,我们整理了不少优秀的LLM方面的学习仓库,感谢他们的精彩开源贡献,在这里给出介绍和传送门。
Enjoy LLM.
我们致力于建立一个LLM论文解读笔记仓库,我们将集结LLM领域的经典论文,然后为这些论文提供解读笔记。
通过LLM Research,研究人员可以迅速查阅到LLM领域的重要论文,无需费时费力地查找和筛选。此外,针对(只想粗略浏览LLM领域学术前沿的核心思想的)其他方向的研究人员,本仓库也提供了这些重点论文的相应解读笔记(每篇笔记分为TLDR简版和精读版),让这部分研究人员必须不花时间去细读每篇原文。
我们已经初步组建好写作小组,并计划于近期三四个月撰写好相应文章的精读笔记。
大型语言模型在当今技术领域占据重要地位,其在自然语言处理、文本生成、信息检索等方面的广泛应用不断拓展。随着这一领域的迅速发展,我们意识到研究人员需要一个可供他们快速系统了解LLM基础论文的解读笔记仓库。
如今有许多LLM领域的研究论文,但为了获取全面的了解,研究人员往往需要花费大量时间筛选和阅读这些基础文献。LLM Research 的创立旨在为研究人员提供一个便捷的途径,集结LLM领域的经典论文,并提供论文的解读笔记供简单了解or深入学习这些论文。这种深度解析旨在帮助研究人员更好地理解论文的核心概念,并提供有深度的领域知识。
我们相信,通过LLM Research,研究人员可以更轻松地跟踪LLM领域的最新进展,拓展他们的知识边界。
我们的项目旨在创建一个系统全面的LLM基础论文解读笔记仓库,以支持对大型语言模型(LLM)领域的学术前沿感兴趣的研究人员。为了实现这一目标,我们已经组建了一个由5名成员组成的小组,专注于整理、深入解析和精读LLM领域的经典论文。想加入的同学们可以加负责人微信: linjh1118_nlp
每一篇精读笔记都将涵盖论文的核心思想、方法和关键贡献,旨在为研究人员提供深刻的理解。每篇笔记将分两个章节,第一个章节是TLDR版,其中将阐述文章的motivation、innovation、insight等核心思想以及核心代码,第二个章节则是全文精读版,这章节的行文逻辑按照原文的行文逻辑来,相当于对每段文章做一个summary,重点要放在methods和discussion,为读者提供一些深度解读。
具体内容见下: 经典论文列表
我们的项目将在接下来的三到四个月内进行。在这个时间框架内,我们小组将致力于每周产出5-7篇质量过关的论文笔记。这个周产出计划的目的是确保我们能够迅速而系统地覆盖LLM领域的广泛话题,并为研究人员提供及时的资源。同时,这也有助于确保我们的笔记在质量上经过仔细审查和审核。 此外,为了进一步确保笔记的质量,我们邀请了几位资深老师担任内容审核的角色。这些老师将负责审查、提供反馈,并确保每篇笔记符合标准。通过这一团队构成,我们有信心在规定时间内产出水平过关的经典论文笔记,为研究人员提供有价值的学术资源。
目前还没有一个仓库有系统地整理“parameter-efficient-finetuning”领域论文。所以本仓库优先整理了这方面的论文。力求覆盖peft库中的基础微调方式。
| Title | Date | Publication | citation | Summary | Notes | Deadline |
|---|---|---|---|---|---|---|
| LoRA: Low-Rank Adaptation of Large Language Models | 2021-10 | arXiv | 1555 | @林景豪 | 12.23 | |
| Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning (AdaLoRA) | 2023-02 | ICLR | 55 | @林景豪 | 12.23 | |
| LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models | 2023-09 | arxiv | 16 | Lora_series_notes | @林景豪 | 12.23 |
| QLoRA: Efficient Finetuning of Quantized LLMs | 2023-05 | arxiv | 224 | @胡锦琛 | 1.17 | |
| Orthogonal Subspace Learning for Language Model Continual Learning(o-lora) | 2023-10 | arxiv | @胡锦琛 | 1.27 | ||
| S-LoRA: Serving Thousands of Concurrent LoRA Adapters | 2023-11 | arxiv | @胡锦琛 | 2.4 |
| Title | Date | Publication | citation | Summary | Notes | Deadline |
|---|---|---|---|---|---|---|
| Prefix-Tuning: Optimizing Continuous Prompts for Generation | 2021-08 | ACL | 1859 | @余绍缘 | 12.30 | |
| GPT Understands, Too (P-Tuning) | 2021-03 | AI Open | 307 | @余绍缘 | 1.6 | |
| The Power of Scale for Parameter-Efficient Prompt Tuning (Prompt-Tuning) | 2021-04 | EMNLP | 1683 | @余绍缘 | 1.13 | |
| P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks | 2021-10 | ACL | 220 | @余绍缘 | 1.20 | |
| Late Prompt Tuning: A Late Prompt Could Be Better Than Many Prompts | 2022-10 | EMNLP | 6 | @余绍缘 | 1.27 | |
| Black-Box Tuning for Language-Model-as-a-Service | 2022-06 | ICLR | 100 | @余绍缘 | 2.4 |
| Title | Date | Publication | citation | Summary | Notes | Deadline |
|---|---|---|---|---|---|---|
| Parameter-Efficient Transfer Learning for NLP (Adapter) | 2019-06 | ICML | 1767 | @王淏 | 12.30 | |
| AdapterHub: A Framework for Adapting Transformers | 2020-07 | EMNLP | @王淏 | 1.6 | ||
| Title | Date | Publication | citation | Summary | Notes | Deadline |
|---|---|---|---|---|---|---|
| UniPELT: A Unified Framework for Parameter-Efficient Language Model Tuning | 2022-05 | ACL | 79 | @林景豪 | 12.30 | |
| Towards a Unified View of Parameter-Efficient Transfer Learning | 2022 -02 | ICLR (spotlight) | 385 | @林景豪 | 12.30 | |
| Title | Date | Publication | citation | Summary | Notes | Deadline |
|---|---|---|---|---|---|---|
| Full Parameter Fine-tuning for Large Language Models with Limited Resources | 2023-06 | arXiv | 7 | @王淏 | 12.23 | |
| AdaLomo: Low-memory Optimization with Adaptive Learning Rate | 2023-10 | arXiv | @王淏 | 12.30 | ||
| Title | Date | Publication | citation | Summary | Notes | Deadline |
|---|---|---|---|---|---|---|
| Chain of Thought Prompting Elicits Reasoning in Large Language Models | 2023-01 | Nips2022 | 2141 | @袁鑫喆 | 12.30 | |
| Challenging BIG-Bench Tasks and Whether Chain-of-Thought Can Solve Them | 2022-10 | ACL2022 | 62 | @袁鑫喆 | 1.6 | |
| Automatic Chain of Thought Prompting in Large Language Models | 2022-10 | ICLR2022 | 200 | @袁鑫喆 | 1.13 | |
| Multimodal Chain-of-Thought Reasoning in Language Models | 2023-02 | arxiv | 100 | @袁鑫喆 | 1.20 | |
| Title | Date | Publication | citation | Summary | Notes | Deadline |
|---|---|---|---|---|---|---|
| Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing | 2021-07 | ACM Computing Surveys | 1640 | @胡锦琛 | 12.30 | |
| Exploring Lottery Prompts for Pre-trained Language Models | 2023-05 | ACL | 1 | @胡锦琛 | 1.6 | |
| Making Pre-trained Language Models Better Few-shot Learners | 2021-06 | ACL | 1159 | @胡锦琛 | 1.13 |
| Title | Date | Publication | citation | Summary | Notes | Deadline |
|---|---|---|---|---|---|---|
| Revisiting Relation Extraction in the era of Large Language Models | 2023-05 | ACL | 14 | @王淏 | 1.20 | |
| Title | Date | Publication | citation | Summary | Notes | Deadline |
|---|---|---|---|---|---|---|
| G-Adapter: Towards Structure-Aware Parameter-Efficient Transfer Learning for Graph Transformer Networks | 2023-05 | arXiv | @袁鑫喆 | 1.20 | ||
| Title | Date | Publication | citation | Summary | Notes | Deadline |
|---|---|---|---|---|---|---|
| Making Large Language Models Perform Better in Knowledge Graph Completion (KoPA from ZJU) | 2023-10 | arXiv | @林景豪 | 1.20 | ||
项目负责人
核心贡献者
核心审查者
非常感谢导师们仔细审查了本仓库的所有笔记内容, 感谢他们的大力支持,同时也感谢吉林大学机器人梦工厂和东北大学IDKE实验室的伙伴们的大力支持
非常感谢datawhale组织的好大哥 谢文睿,范晶晶等对本项目的全程支持。
How to contact me?
If you have any questions or want to join us, please do not hesitate to contact me linjh1118@mails.jlu.edu.cn.
此外,我们整理了不少优秀的LLM方面的学习仓库,感谢他们的精彩开源贡献,在这里给出介绍和传送门。