观察结果 ≠ 客观事实，而是「观察方式」的产物。

强化学习-原理

1. BASIC 【鱼书】深度学习入门-强化学习 课件及笔记
2. DRL 【王树森】深度强化学习 课件及笔记
3. Hands-on-RL 【愈勇等】动手学强化学习++
4. OPEN AI 强化学习手册 官网地址
5. 李宏毅-强化学习-PPO 【视频地址 】
6. 李宏毅-强化学习-2025【视频地址】
7. 人人都能看懂的PPO原理与源码解读
8. easy-rl 在线地址
9. Mathematical-RL [【赵世钰】强化学习的数学原理](https://www.bilibili.com/video/BV1sd4y167NS/?）
10. RLHF-huggingface

强化学习-代码实现

• cleanrl 原地址
• joyrl 入门强化学习的代码生态
• easy-rl 在线地址
• notes-on-reinforcement-learning 在线阅读地址
• 强化学习算法实现 DRL-code-pytorch
• 复现deepseek-r1

强化学习算法 github地址

• DAPO-github
• ASPO-github

强化学习框架

• trl trl
• veRL veRL

RLHF

• deepspeed-chat deepspeed-chat

RL知识点整理

• KL散度
• 熵
• over_base_model
• 损失计算
• ScalingLaws
• 监控指标🔍
• 凸
• 梯度爆炸
• 模式崩溃

强化学习论文

• TODOStatistical Reinforcement Learning in the Real World: A Survey of Challenges and Future Directions

  全面综述：RL在现实世界落地的未来方向

RL(pass@1)与最大似然估计MLE(pass@k)

• Maximum Likelihood Reinforcement Learning

  MaxRL建立起RL(pass@1)与最大似然估计MLE(pass@k)之间的桥梁

技巧还是陷阱？

• JustRL: Scaling a 1.5B LLM with a Simple RL Recipe

  当我们试着加入一些"应该有用"的优化时，性能反而下降了

• Part I: Tricks or Traps? A Deep Dive into RL for LLM Reasoning

  技巧还是陷阱？从bese模型和aligned模型的角度观察

PPO

• PPO（通过裁剪重要性权重，实现稳定策略更新）

  • token-level的advantage

• [复旦]PPO-Max:Secrets of RLHF in Large Language Models Part I- PPO [复旦]PPO-Max:github地址

• [分析了普通 IS 与加权 IS（WIS）在 off-policy TD 中的方差特性，证明 WIS 更稳定]Weighted importance sampling for off-policy learningwith linear function approximation

DeepSeek及clip

• DeepSeek-GRPO

  • sequence-level的advantage

• DeepSeek-R1

• [推荐]重新思考下 PPO-Clip

• DAPO-字节

• ASPO-非对称重要性采样策略优化

• Soft Clip 机制：CISPO-MiniMax-M1- Scaling Test-Time Compute Efficiently with Lightning Attention

• DPO-直接偏好优化

• Understanding R1-Zero-Like Training: A Critical Perspective

• FIPO（Future-KL Influenced Policy Optimization）

  • FIPO 追踪的是每个Token引发的概率偏移(实时追踪每一个Token对后续推理轨迹的实际影响)
  • 解决：同一个轨迹中所有 token 的优势值（advantage）均匀分配
  • 将稀疏的结果奖励-->转化为-->密集的 token 级监督信号，通过衡量每个 token 对其后续轨迹的因果影响力来重新加权优势值。
  • 推理是一个序列过程，单个 token 的真正重要性取决于它引发的后续轨迹

GRPO在机器领域的应用（TODO）

• Extending Group Relative Policy Optimization to ContinuousControl: A Theoretical Framework for Robotic Reinforcement Learning

(显示/隐式)KL散度

• k3估计器：Approximating KL Divergence

  Retaining by Doing: The Role of On-Policy Data in Mitigating Forgetting

  • 支持“on-policy SFT 可减轻遗忘”的观点

• [for LLM]On a few pitfalls in KL divergence gradient estimation for

  RL当你的 KL 散度正则化在“裸奔”

• A Comedy of Estimators On KL Regularization in RL Training of LLMs

  分析了两种主流 KL 估计器（K1 和 K3）在两种放置位置（Reward 和 Loss）下的梯度特性

熵（探索）

• [熵]1-The Entropy Mechanism of Reinforcement Learning for Reasoning Language Model

  关注的是宏观的、全局的“策略熵”

• [熵]2-Beyond the 80,20 Rule- High-Entropy Minority Tokens Drive Effective Reinforcement Learning for LLM Reasoning

  • 关注的是微观的、局部的“Token 级熵”

• Harnessing Uncertainty Entropy Modulated Policy Gradients for Long-Horizon LLM Agents

  • 利用不确定性面向长序列LLM智能体的熵调制策略梯度

• TODO Rethinking Entropy Regularization in Large Reasoning model

  • 探索不应是盲目和全局的，而应是有选择性的

是否一定要控制熵

• deepseek-math-V1

稀疏性

• [推荐]Why Online Reinforcement Learning Forgets Less

  • RL更新的‘稀疏性’是个假象

  • 核心论点：RL更新的“稀疏性”是个假象

    • 这段话的核心发现是：人们之前认为 RL 的权重更新是稀疏的（即只有很少的参数被改变），但这其实是一个由训练精度设置引起的错觉。

  • 为何在线强化学习能有效缓解灾难性遗忘？

• TODO-Reinforcement Learning Finetunes Small Subnetworks in Large Language Models

  • RL引起的参数更新稀疏性
  • 这种稀疏性主要源于强化学习微调的数据特性

• Reinforcement Learning Finetunes Small Subnetworks in Large Language Models

  指出 RL 微调是“局部更新”，而非全局重塑，因此更容易被后续训练干扰

  • 实际上，它只改动了模型 5%-30% 的权重，剩下的部分几乎纹丝不动。这和 SFT（监督微调）那种“地毯式轰炸”的更新模式完全不同。

• Sparse but Critical: A Token-Level Analysis of Distributional Shifts in RLVR Fine-Tuning of LLMs

  • 在绝大多数生成步骤中，强化学习模型与基础模型的预测分布近乎一致，仅在少部分特定位置出现明显的发散。
  • 少部分词元决定整体性能
  • 在出现较大分布变化的词元位置，RLVR 主要是在基础模型原有的候选词元集合内进行概率重分配和排序调整，较少提升原本在基础模型中处于低概率尾部的词元。
  • DAPO 算法能够同时修改初始高熵和低熵的预测，这体现了其覆盖甚至推翻基础模型自信预测的能力。
  • SimpleRL 则倾向于在基础模型具有较高熵的区域集中产生散度，反映出一种更为保守的更新策略
  • base model 引入的稀疏token，改变了推理的轨迹

从幅度(永远 ≥ 0)到方向（带正负号）

• 方向信息就藏在正负号里

reasoning direction: pointing from base to RLVR distribution

• On the Direction of RLVR Updates for LLM Reasoning: Identification and Exploitation
  • 大小度量(熵和KL散度)的分布直方图在Base和RLVR模型之间几乎一模一样
  • 稀疏性源于RLVR对低概率Token的天然聚焦
  • 测试时外推是在训练完成后放大RLVR学到的信号，
  • 而训练时重加权则是在训练过程中主动强化这些信号
  • RLVR 的策略梯度稀疏地集中在低概率token上

Low-Probability Tokens

• Do Not Let Low-Probability Tokens Over-Dominate in RL for LLMs

  1. 优势重加权（Advantage Reweighting, AR）：通过重新调整不同概率词元的优势（advantage）权重，直接削弱低概率词元的影响力。

  2. 低概率词元隔离（Low-Probability Token Isolation, Lopti）：将更新过程分解为两个阶段，先更新低概率词元，再更新高概率词元，通过隔离来避免梯度干扰。

     既然高概率词元的梯度那么小，我们干脆在更新时忽略它们，只用中低概率的词元不就行了吗？

     • 图6(a)的实验否定了这一想法。结果显示，如果屏蔽掉高概率词元，模型的性能会比基线 GRPO 更差。这说明高概率词元虽然梯度信号微弱，但它们对模型的贡献是不可或缺的。 Lopti 的更新顺序是成功的关键：
     • Lopti 的核心是“先低后高”的更新顺序。如果把顺序颠倒，变成“先高后低”，会发生什么？图6(b)给出了答案——训练过程在第四个 epoch 后彻底崩溃，性能远差于基线。
     • 只有先处理高梯度、影响大的低概率词元，才能为后续高概率词元的精细调整创造条件。

优势归一化：

• group-level:GRPO
• batch-level:REINFORCE++
• MaxRL：使用成功样本的数量进行归一化，而不是总样本数量

损失计算：response-level还是token-level

• response-level:GRPO
• token-level:DAPO

幻觉

• Mitigating LLM Hallucination via Behaviorally Calibrated Reinforcement Learning

  用行为校准 RL 抑制模型幻觉

• Why Language Models Hallucinate

  为什么大模型出现幻觉？

奖励的稀疏性和二元性(对/错)

奖励模型的设计

• 通用奖励模型的推理时扩展Inference-Time Scaling for Generalist Reward Modeling

单奖励与多奖励

• GRPO

  单奖励

• GDPO: Group reward-Decoupled Normalization Policy Optimization for Multi-reward RL Optimization

  多奖励+先归一化后加

阿里：“目标”（序列级）和“手段”（token级）之间的不匹配

• Stabilizing Reinforcement Learning with LLMs: Formulation and Practices

  一阶近似

• GSPO-组序列策略优化

  【对整个 response 进行裁剪】

RL是否真能超越base model？

• Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?

  强化学习是否真的在Llms中激发了超出基础模型的推理能力?

• On the Interplay of Pre-Training, Mid-Training, and RL on Reasoning Language Models

  预训练（Pre-Training）、中期训练（Mid-Training）和基于强化学习的后训练（RL Post-Training）

RL 能让模型学会全新的推理模式，实现 "能力扩展"

• RL Grokking Recipe: How Does RL Unlock and Transfer New Algorithms in LLMs?

从离散的token序列转向连续的注意力分布

• Reinforced Attention Learning (RAL)

mid-training 中训练：领域指数的重要性

• OctoThinker: Mid-training Incentivizes Reinforcement Learning Scaling

  爬坡似的接触特定的领域数据：基础领域知识-》专业领域知识

RL 与 SFT

• [推荐]Why Online Reinforcement Learning Forgets Less

  • 核心论点：RL更新的“稀疏性”是个假象

    • 这段话的核心发现是：人们之前认为 RL 的权重更新是稀疏的（即只有很少的参数被改变），但这其实是一个由训练精度设置引起的错觉。

    • 为何在线强化学习能有效缓解灾难性遗忘？

• The Path Not Taken: RLVR Provably Learns Off the Principals

  RLVR微调的本质是“非主成分学习”！SFT微调的是“主成分”

• TODO主权重：LIFT the Veil for the Truth: Principal Weights Emerge after Rank Reduction for Reasoning-Focused Supervised Fine-Tuning

RL训练(Scaling Laws)

• The Art of Scaling Reinforcement Learning Compute for LLMs

  RL 的 scaling 到底有没有规律可循？

• 工具综合推理：ToolRL: Reward is All Tool Learning Needs

多模态

：“对于视觉理解任务”，从优化结果（token），转向优化过程（内部信息分配）

对于视觉理解任务，显式的语言逻辑（Verbalized Logic）可能并不是必须的。

• Reinforced Attention Learning

  • MLLM（多模态大模型）中从Next-token Prediction（下一个词预测）-->Attention Distribution(注意力分布)
  • 为什么 LLM 的 CoT 经验在多模态感知任务上失效了？
  • 作者的目标是：让高奖励的回复对应的注意力模式被保留和增强
  • 去 CoT 化
  • 强化学习不应该只停留在输出层。Transformer 内部丰富的中间状态（Attention, Activations）其实蕴含着巨大的可优化空间

稀疏奖励

经验强化学习（Experiential Reinforcement Learning, ERL）

学习者在观察到结果后，会反思发生了什么，形成修正后的内部模型，并在后续的尝试中应用这些修正

• Experiential Reinforcement Learning, ERL
  • 传统的强化学习通常将复杂的环境反馈压缩成一个简单的标量优化信号（scalar optimization signals），这要求策略在没有明确方向的探索中隐式地发现纠正结构
  • 引入经验学习机制，模型可以像人一样，把反馈转化为具体的中间推理（即反思过程），从而进行显式的纠正，大大提高了学习效率和针对性
  • 经验学习：环境的反馈 --> 一段具体的反思
  • 将反思视为中间推理信号
  • 让它先尝试，拿到反馈后进行文字反思，然后再做一次修正尝试，最后将成功的经验“内化”到基础策略中
  • 【反常情况】在 Olmo3-7B-Instruct 挑战 Sokoban 的设定中，无记忆变体反而略微超越了完整的 ERL。

蒸馏

On-Policy Distillation

• On-Policy Distillation

  • 训练与测试的统一：学生写，老师改
  • SFT是一种破坏性的训练（哪怕目标分布与原始分布完全一致）

• Reinforced Attention Learning

  使用On-Policy Distillation方案

• 蒸馏实现

自蒸馏

• Experiential Reinforcement Learning, ERL

  使用自蒸馏方案

• Why Does Self-Distillation (Sometimes) Degrade the Reasoning Capability of LLMs? 研究表明，尽管自我蒸馏在化学问答、代码生成等领域能够缩短推理路径并提升模型性能，但在数学推理领域，该方法会导致模型性能出现较大幅度的下降。
  • 在化学领域，SDPO 在缩短回复长度的同时快速提升了分数
  • 而在数学领域（DAPO-Math-17k 数据集），SDPO 随着训练步数的增加，其评估分数却低于持续增长的 GRPO。
  • “认知不确定性表达”（Epistemic Verbalization）
  • 语言模型输出中的认知不确定性表达是支持其执行纠错和寻找解答的核心组成部分。

策略空间非凸

策略空间非凸是训练不稳定的内在数学根源，而训练不稳定是非凸性在动态优化过程中的外在表现。

• Benign Nonconvex Landscapes in Optimal and Robust Control, Part II: Extended Convex Lifting
  • 该论文提出了扩展凸提升（Extended Convex Lifting, ECL）框架，这是一个统一的新型理论工具，旨在从现代优化视角揭示经典最优与鲁棒控制问题中"隐藏的凸性"

训练推理的不一致

• Score Centering Stabilizes Off-policy Reinforcement Learning

Awesome-ML-SYS-Tutorial（RLHF System 开发笔记）

• RLHF System 开发笔记
• 浅析以 OpenRLHF 为代表的 post-training 系统的计算流程
• RL 系统深思：深入理解权重更新机制

oops 异常

待添加

神经网络

• http://udlbook.github.io/udlbook 深度学习中的算法背后的原理
• https://github.com/changyeyu/LLM-RL-Visualized 图解大模型算法
• https://www.rethink.fun 大模型核心技术和应用

分布式

• Ray-利用Ray进行大模型的数据处理、训练、推理和部署 Ray rllib github地址
• 图解OpenRLHF中基于Ray的分布式训练流程

流水线并行，数据并行和张量并行 (猛猿)

1.节点内部 (8 卡)：使用 TP (张量并行)。因为 8 卡之间有 NVLink 高速互联，可以承受 TP 的高频通信，解决单卡存不下大层的问题。
2.节点之间：使用 PP (流水线并行)。将模型层切分到不同的机器组上，减少跨机器的通信频率。
3.整体集群：使用 DP (数据并行：模型复制，数据分片)。将上述的 "TP+PP" 组合视为一个大的“虚拟卡”，然后复制多份这样的组合，处理不同的数据批次，通过 DP 来扩大总吞吐量。

• ZeRO: Memory Optimizations Toward Training Trillion Parameter Models
• 流水线并行（Pipeline Parallelism）
• 数据并行上篇(DP, DDP与ZeRO)
• 数据并行下篇( DeepSpeed ZeRO，零冗余优化)
• 张量模型并行(TP)，Megatron-LM

《动手学大模型》

• 上海交大
• 昇腾开源文档中心

大模型训练

• 1、训练数据准备
• 2、大模型预训练
• 2.1、预训练
• 3、大模型推理
• 4、大模型性能评估

大模型推理

• 大模型微调-高级

大模型评估

• 1-常用大模型评估指标
• 2-基于C-Eval的大模型性能评估

训练与推理

• 推理框架的切换成本,降低RL训推共卡开销：SGLang/vLLM的无缝切换实现与分析
• VMM：虚拟地址与物理地址之间的映射
• 训推角色切换与权重更新
• 睡眠模式
• 一文读懂vLLM显存管理：技术细节+优化思路

veRL

• verl的3D-HybridEngine
• TaskRunner
• verl.single_controller.ray
• verl.trainer
• verl.utils
• verl.workers
  • BaseEngine 派生出针对不同后端的实现，如 FSDPEngine 和 MegatronEngine
  • 动态加载 Rollout（推理/采样）引擎
  • async def async_send_weights(self, weights)
• DataProto统一数据协议
• self.actor_rollout_wg
• verl-装饰器
• verl-上下文管理器

verl设计

Awesome-ML-SYS-Tutorial

• 深入浅出理解 verl 源码（Part 1）
• 深入浅出理解 verl 源码——Rollout
• verl 参数速览

训练与推理

• generate_sequences
  • megatron ->vllm/sglang
  • fsdp -> vllm/sglang
  • get_rng_state与set_rng_state

megatron (猛猿)

Megatron-LM/
├── megatron/
│   ├── core/                    # Megatron Core (kernels, parallelism, building blocks)
│   │   ├── models/              # Transformer models
│   │   ├── transformer/         # Transformer building blocks
│   │   ├── tensor_parallel/     # Tensor parallelism
│   │   ├── pipeline_parallel/   # Pipeline parallelism
│   │   ├── distributed/         # Distributed training (FSDP, DDP)
│   │   ├── optimizer/           # Optimizers
│   │   ├── datasets/            # Dataset loaders
│   │   ├── inference/           # Inference engines and server
│   │   └── export/              # Model export (e.g. TensorRT-LLM)
│   ├── training/                # Training scripts
│   ├── legacy/                  # Legacy components
│   ├── post_training/           # Post-training (quantization, distillation, pruning, etc.)
│   └── rl/                      # Reinforcement learning (RLHF, etc.)
├── examples/                    # Ready-to-use training examples
├── tools/                       # Utility tools
├── tests/                       # Comprehensive test suite
└── docs/                        # Documentation

• Megatron-LM
• Megatron官方手册
• Megatron-DeepSpeed
• 1、Megatron源码解读1，分布式环境初始化
• 2、Megatron源码解读2，模型并行
• 3、Megatron源码解读3，分布式混合精度训练
• 4、DeepSpeed-Megatron MoE并行训练（原理篇）
• 5、DeepSpeed-Megatron MoE并行训练（源码解读篇）
• 【论文】Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism
• 【论文】Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM
• 【论文】Reducing Activation Recomputation in Large Transformer Models

transformer

• 1-transformer核心基础组件
• 1.1-自注意力机制（Self-Attention Multi-Head Attention）
• 1.2-前馈神经网络（Feed-Forward Network, FFN）
• Self-Attention（自注意力机制）

Megatron-LM

• pretrain() 入口
• order 的默认顺序是 'tp-cp-ep-dp-pp'
• ProcessGroupCollection 分布式通讯组的初始化
• p2p_communication
• 计算与通信的重叠
• TP:tensor_parallel/layers
• PP:1F1B
• • parallel_state(mpu) 在底层的 torch.distributed 让所有 GPU 连上网之后，mpu 负责根据你设定的策略，给每张 GPU 划分具体的“管辖区域”和“沟通渠道”

Ray

• ppo-ray(猛猿)

• openrlhf-_initiate_actors

  • 这段代码展示了如何利用 Ray 的 Placement Group (资源组) 来实现严格的资源隔离和分布式训练环境的搭建。
  • 创建 Master Actor (Rank 0)
  • 创建 Worker Actors (Rank 1 to N)
  • placement_group放置组
    • 资源束 (Bundle)
  • options() 动态配置任务所需的资源

• openrlhf-LLMRayActor

  • 旨在利用 Ray 框架对 vLLM进行分布式推理封装
  • init_process_group()它是连接 Ray 分布式框架与 PyTorch 分布式通信 (NCCL) 的关键桥梁。
    • 在 OpenRLHF 这种混合训练框架中，我们需要将负责训练的 Deepspeed Actor 和负责推理的 vLLM Engine 纳入同一个通信组，以便在训练结束后将权重同步给推理引擎。
    • 训练：Trainer (Actor)：使用 PyTorch/Deepspeed 进行梯度更新。
    • 推理：Rollout (vLLM)：使用 vLLM 进行高效的文本生成。

• openrlhf-ds_rank0与vllm_ranks之间的通讯（训练与推理之间的通信）

  • 它的作用是构建一个跨越“训练”与“推理”两个异构系统的统一分布式通信组（Process Group）
  • _broadcast_to_vllm() 方法的作用就是在这两个进程组之间搭建一座桥梁，将 DeepSpeed 侧更新后的权重“广播”给 vLLM 侧的所有进程
  • update_weight() 方法就是 vLLM 进程中的“接收器”，它监听来自 DeepSpeed 主进程的广播，并将接收到的权重加载到自己的模型中

• openrlhf.utils.distributed_util

• torch.distributed.broadcast

• PPO-Actor/Critic Training

  • Step1：发送prompts，并从vllm_engine上收集(prompt, response)
  • Step2：从Ref/Reward/Critic上收集并处理exps
  • Step3: 确保将处理后的exps传送给Critic，并行执行Actor和Critic的训练
  • Step4：vllm_engine权重更新

• openrlhf.utils.distributed_util

  • init_process_group(）
  • torch.distributed.init_process_group()[]
    • torch.distributed.init_process_group
    • torch.distributed.get_rank / get_world_size
    • torch.distributed.destroy_process_group
    • torch.distributed.barrier

• ray-driver

• ray核心api

  • ray.put()
  • ray.wait()
  • ray.get_actor()
  • ray.shutdown()
  • ray.kill
  • ray.nodes()
  • ray.cluster_resources()
  • ray.available_resources()
  • ray.timeline(filename)

vLLM

• 图解Vllm V1系列1：整体流程
• vllm.llm_engine.model_executor
  • 是 vLLM 架构中连接“大脑”（调度与逻辑）与“肌肉”（实际计算）的关键组件

pytorch

• pytorch官方手册
• pytorch examples
• PyTorch显存管理介绍与源码解析（一）