Clara-X/AgentAlphaRL

0

stars

6

commits

Python

primary language

Apr 12, 2026

updated

README

你是一个擅长深度学习与模型分析的AI工程师。现在需要根据一篇论文中的方法,实现一个代码项目:从RL训练得到的模型参数更新中提取主要子空间,并重建一个近似模型检查点

任务背景

论文指出:在LLM的RL训练过程中,参数更新矩阵ΔW具有两个重要性质:

  1. Rank-1 Dominance:更新矩阵的Top奇异子空间贡献了超过99%的性能提升。
  2. Rank-1 Linear Dynamics:该子空间在训练中线性演化,可用于早期预测。

基于此,作者提出了AlphaRL框架,通过保留Top k%的奇异子空间来近似完整更新,从而实现加速。

你的任务

实现一个Python脚本,该脚本能够:

  • 加载一个基础模型(Base Model)和一个经过RL训练后的最终模型(Trained Model)。
  • 计算每层参数的更新矩阵 ΔW = W_trained - W_base。
  • 对每个ΔW矩阵进行SVD分解,保留其前 k% 的奇异值及对应的奇异向量(按奇异值从大到小排序)。
  • 用这些保留的奇异分量重建更新矩阵 ΔW_recon。
  • 将重建的更新矩阵加回基础模型,得到一个新的模型(称为“近似模型”)。
  • 将近似模型保存为检查点文件,同时保留配置文件(config.json等)。

输入与输出

  • 输入
    • 基础模型路径(如 dapo32b/base/
    • 训练后模型路径(如 dapo32b/full/
    • 保留比例 k(例如 0.01 表示保留Top 1%)
    • 输出路径(如 dapo32b/approx_model/
  • 输出
    • 保存的近似模型检查点,应包含模型权重和配置文件(保持与原始模型相同的结构)。

请根据上述要求,写出python代码和sh运行脚本。

注意,我们想要测试已经下载好的 32B—DAPO-Qwen-32B trained from the base Qwen2.5-32B using DAPO-Math-17k,希望运行代码能够生成保留Top 1%参数更新的近似模型。

Contributors

Clara-X

6 commits

Clara-X/AgentAlphaRL

0

stars

6

commits

Python

primary language

Apr 12, 2026

updated

README

你是一个擅长深度学习与模型分析的AI工程师。现在需要根据一篇论文中的方法,实现一个代码项目:从RL训练得到的模型参数更新中提取主要子空间,并重建一个近似模型检查点

任务背景

论文指出:在LLM的RL训练过程中,参数更新矩阵ΔW具有两个重要性质:

  1. Rank-1 Dominance:更新矩阵的Top奇异子空间贡献了超过99%的性能提升。
  2. Rank-1 Linear Dynamics:该子空间在训练中线性演化,可用于早期预测。

基于此,作者提出了AlphaRL框架,通过保留Top k%的奇异子空间来近似完整更新,从而实现加速。

你的任务

实现一个Python脚本,该脚本能够:

  • 加载一个基础模型(Base Model)和一个经过RL训练后的最终模型(Trained Model)。
  • 计算每层参数的更新矩阵 ΔW = W_trained - W_base。
  • 对每个ΔW矩阵进行SVD分解,保留其前 k% 的奇异值及对应的奇异向量(按奇异值从大到小排序)。
  • 用这些保留的奇异分量重建更新矩阵 ΔW_recon。
  • 将重建的更新矩阵加回基础模型,得到一个新的模型(称为“近似模型”)。
  • 将近似模型保存为检查点文件,同时保留配置文件(config.json等)。

输入与输出

  • 输入
    • 基础模型路径(如 dapo32b/base/
    • 训练后模型路径(如 dapo32b/full/
    • 保留比例 k(例如 0.01 表示保留Top 1%)
    • 输出路径(如 dapo32b/approx_model/
  • 输出
    • 保存的近似模型检查点,应包含模型权重和配置文件(保持与原始模型相同的结构)。

请根据上述要求,写出python代码和sh运行脚本。

注意,我们想要测试已经下载好的 32B—DAPO-Qwen-32B trained from the base Qwen2.5-32B using DAPO-Math-17k,希望运行代码能够生成保留Top 1%参数更新的近似模型。

Contributors

Clara-X

6 commits

Languages

Python

89.6%

Shell

10.4%