神奇的Prompt工程 🧙‍♂️

该存储库包含一个手动筛选的Prompt工程资源，重点关注于生成式预训练变压器（GPT）、ChatGPT、PaLM等。

   Prompt工程课即将来临...

目录

• 论文
• 工具和代码
• API
• 数据集
• 模型
• AI内容检测器
• 教育
  • 教程
• 视频
• 图书
• 社群
• 如何贡献

论文

📄

• Prompt工程技术：

  • 使用Prompt Pattern目录增强ChatGPT Prompt工程的方法 [2023] (Arxiv)
  • 基于梯度的离散优化用于Prompt微调和发现 [2023] (Arxiv)。- 综合提示：为大型语言模型生成思维链演示 [2023]（Arxiv）
  • 渐进提示：语言模型的连续学习 [2023]（Arxiv）
  • 批处理提示：带有LLM API的高效推断 [2023]（Arxiv）
  • 连续提示以解决复杂问题 [2022]（Arxiv）
  • 结构提示：将上下文学习扩展到1,000个示例 [2022]（Arxiv）
  • 大型语言模型是人类水平的提示工程师 [2022]（Arxiv）
  • 问我任何事：提示语言模型的简单策略 [2022]（Arxiv）
  • 提示GPT-3要可靠 [2022]（Arxiv）
  • 分解提示：解决复杂任务的模块化方法 [2022]（Arxiv）
  • PromptChainer：通过视觉编程链接大型语言模型提示 [2022]（Arxiv）
  • 调查扩散模型中的提示工程 [2022]（Arxiv）
  • 展示您的工作：使用语言模型进行中间计算的草稿本 [2021]（Arxiv）
  • 重新构思GPTk的教学提示 [2021]（Arxiv）
  • 奇妙有序的提示及其发现：克服小样本提示顺序敏感性 [2021]（Arxiv）
  • 规模的力量用于参数高效提示调整 [2021]（Arxiv）
  • 为大型语言模型编程：超越小样本范例 [2021]（Arxiv）- Prefix-Tuning: 优化连续提示以进行生成 [2021] (Arxiv)

• 推理和上下文学习：

  • 语言模型中的多模态思维链推理 [2023] (Arxiv)
  • 转念一想，我们不走单步思考的路！零-shot推理中的偏见和有害性 [2022] (Arxiv)
  • ReAct：语言模型中推理和行动的协同作用 [2022] (Arxiv)
  • 语言模型是贪婪的推理者：对思维链的系统形式分析 [2022] (Arxiv)
  • 关于使语言模型变得更好的推理的进展 [2022] (Arxiv)
  • 大型语言模型是零-shot推理者 [2022] (Arxiv)
  • 像程序执行器一样推理 [2022] (Arxiv)
  • 自洽性提高了语言模型中的思维链推理 [2022] (Arxiv)
  • 重新思考演示的作用：什么使上下文学习起作用？ [2022] (Arxiv)
  • 学会解释：通过思维链进行科学问答的多模态推理 [2022] (Arxiv)
  • Thought Chain提示在大型语言模型中引发推理 [2021] (Arxiv)
  • 针对常识推理的生成知识提示 [2021] (Arxiv)
  • BERTese：学会与BERT交流 [2021] (Acl)

• 评估和改进语言模型：

  • 大型语言模型容易被无关上下文干扰 [2023] (Arxiv)
  • 爬取语言模型的内部知识库 [2023] (Arxiv)- 发掘语言模型行为的方法：模型编写的评估 [2022] (Arxiv) 原文链接
  • 使用前校准：提高语言模型的少样本性能 [2021] (Arxiv) 原文链接

• 语言模型的应用：

  • 多模态恶意模因分类的提示 [2023] (Arxiv) 原文链接
  • 用于社交对话合成的提示语言模型 [2023] (Arxiv) 原文链接
  • 针对可控移情对话生成的常识感知提示 [2023] (Arxiv) 原文链接
  • 程序辅助语言模型 [2023] (Arxiv) 原文链接
  • 用于多语言法律判断预测的法律提示编写 [2023] (Arxiv) 原文链接
  • 使用自然语言解决CS1问题的提示工程探究 [2022] (Arxiv) 原文链接
  • 使用预训练语言模型进行情节创作 [2022] (Acl) 原文链接
  • AutoPrompt：使用自动生成的提示语从语言模型中引出知识 [2020] (Arxiv) 原文链接

• 威胁检测和对抗示例:

  • 宪法人工智能：通过AI反馈无害 [2022] (Arxiv) 原文链接
  • 忽略前一个提示：语言模型的攻击技术 [2022] (Arxiv) 原文链接
  • 机器生成文本：威胁模型和检测方法全面调查 [2022] (Arxiv) 原文链接
  • 通过手工制作的对抗示例评估预训练语言模型的易感性 [2022] (Arxiv) 原文链接
  • 使用生成提示的毒性检测 [2022] (Arxiv) 原文链接。- 我们如何知道语言模型所知道的？ [2020] (Mit)

• 少样本学习和性能优化：

  • Promptagator：从8个示例进行少样本密集检索 [2022] (Arxiv)
  • Few-Shot提示进行文本推理的解释不可靠性 [2022] (Arxiv)
  • 使预训练语言模型成为更好的少样本学习器 [2021] (Acl)
  • 语言模型是少样本学习器 [2020] (Arxiv)

• 文本到图像生成：

  • 一种用于文本到图像生成的提示修饰符分类 [2022] (Arxiv)
  • Prompt工程文本到图像生成模型的设计指南 [2021] (Arxiv)
  • 使用潜在扩散模型进行高分辨率图像合成 [2021] (Arxiv)
  • DALL·E：从文本中创建图像 [2021] (Arxiv)

• 文本到音乐/声音生成：

  • MusicLM：从文本生成音乐 [2023] (Arxiv)
  • ERNIE-Music：使用扩散模型进行文本到波形音乐生成 [2023] (Arxiv)
  • Noise2Music：使用扩散模型进行文本调制音乐生成 [2023) (Arxiv)
  • AudioLM：一种基于语言建模的音频生成方法 [2023] (Arxiv)
  • Make-An-Audio：使用增强提示扩散模型进行文本到音频生成 [2023] (Arxiv)

• 文本到视频生成：

  • Dreamix：视频扩散模型是通用视频编辑器 [2023] (Arxiv)。- 调整视频：一次性调整图像扩散模型用于文本到视频生成 [2022] (Arxiv)
  • 噪声到音乐：基于扩散模型的文本条件音乐生成 [2023] (Arxiv)
  • 音频LM：一种语言模型生成音频的方法 [2023] (Arxiv)

• 概述：

  • Piloting Copilot and Codex: Hot Temperature, Cold Prompts, or Black Magic? [2022] (Arxiv)

工具和代码

🔧

Api

💻

数据集

💾

🧠

| 写作提示 | 包含从在线论坛（reddit）抓取的 300K 个人编写的故事与写作提示的大型数据集 | [Kaggle] | | Midjourney 提示 | 从 MidJourney 的公共 Discord 服务器中抓取的文本提示和图像 URL | [HuggingFace] || PaLM-rlhf-pytorch | RLHF（通过人类反馈的强化学习）在PaLM架构中的实现。基本上是ChatGPT，但加上了PaLM | [Github] | | GPT-Neo | 使用网格张量库实现模型并行的GPT-2和类GPT-3模型的实现。| [Github] | | LaMDA-rlhf-pytorch | Google的LaMDA的开源预训练实现，使用PyTorch。添加类似于ChatGPT的RLHF。 | [Github] | | RLHF | 通过人的反馈实现强化学习的实现 | [Github] | | GLM-130B | GLM-130B：一个开放的双语预训练模型| [Github] |

AI内容检测器

🔎

教程

📚

• Prompt工程简介

  • Prompt工程101-介绍和资源
  • Prompt工程101".- SudalaiRajkumar 的 Prompt 工程指南

• 生成式语言模型入门指南

  • 生成式语言模型的初学者友好指南 - LaMBDA 指南
  • 基于 Cohere 的生成式人工智能：第一部分 - 模型提示

• Prompt 工程的最佳实践

  • OpenAI API Prompt 工程的最佳实践
  • 如何编写好的提示

• 完整的 Prompt 工程指南

  • 大型语言模型 Prompt 工程完整介绍
  • Prompt 工程指南：如何设计最佳提示

• Prompt 工程的技术方面

  • GPT-3 Prompt 工程的 3 大原则
  • ChatGPT Prompt 工程的通用框架
  • Prompt 编程方法

• Prompt 工程的资源

  • Awesome ChatGPT 提示
  • 最佳 100+ 稳定扩散 Prompt
  • DALLE Prompt 书籍
  • OpenAI 烹饪书
  • Microsoft 的 Prompt 工程

视频

🎥- 进阶版ChatGPT Prompt工程

• ChatGPT：面向初学者的5个Prompt工程秘诀
• CMU高级自然语言处理2022：Prompting
• Prompt工程-一个新的职业？
• ChatGPT指南：使用更好的Prompt让你的结果提升10倍
• 语言模型和Prompt工程：NLP中Prompting方法的系统调查
• Prompt工程101：自动完成、零样本、单样本和少样本提示

社区

🤝

• OpenAI Discord
• PromptsLab Discord
• 学习Prompting
• r/ChatGPT Discord
• MidJourney Discord

如何贡献

我们欢迎贡献这个列表！实际上，这也是我创建它的主要原因——鼓励贡献和鼓励人们订阅更改以便及时了解大型语言模型(LLMs)和Prompt工程领域的新的、令人兴奋的发展动态。

在贡献之前，请花点时间查看我们的贡献指南。这些指南将有助于确保您的贡献与我们的目标一致，并符合我们的质量和相关性标准。感谢您有兴趣为这个项目做出贡献！

图片来源：docs.cohere.ai