Alpha-R1: Alpha Screening with LLM Reasoning via Reinforcement Learning

English | 中文

Alpha-R1 是一个面向量化 Alpha 筛选的推理增强型 LLM：基于 Qwen3-8B，通过 GRPO 强化学习（verl）以市场反馈奖励训练。它阅读 Alpha101 因子的语义化描述——每个因子如何起作用、何时有效、何时失效——并针对当前市场环境筛选出最值得激活的因子组合。

• 📄 Paper: arXiv:2512.23515
• 💻 Code: FinStep-AI/Alpha-R1（推理管线 / qlib 回测 / 训练配置）
• 📜 License: MIT

模型概览 (Model Overview)

快速开始 (Quick Start)

transformers

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "FinStep/Alpha-R1"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, dtype="bfloat16", device_map="auto")

prompt = "<decision context: concatenated factor descriptions>"  # see the GitHub repo for the prompt builder
inputs = tokenizer.apply_chat_template(
    [{"role": "user", "content": prompt}],
    add_generation_prompt=True, return_tensors="pt",
).to(model.device)

# paper setting: temperature=0 (greedy), top_p=0.7
out = model.generate(inputs, max_new_tokens=4096, do_sample=False)
print(tokenizer.decode(out[0][inputs.shape[1]:], skip_special_tokens=True))

vLLM

from vllm import LLM, SamplingParams

llm = LLM(model="FinStep/Alpha-R1")
params = SamplingParams(temperature=0.0, top_p=0.7, max_tokens=4096)
outputs = llm.chat([[{"role": "user", "content": prompt}]], params)

完整的端到端管线（因子描述生成 → Alpha-R1 推理 → 输出解析 → qlib 策略回测）见 GitHub 仓库。

输出契约 (Output Contract)

模型在 <alpha_list>...</alpha_list> 中输出选中的因子 id，例如：

<alpha_list>alpha001, alpha021, alpha053</alpha_list>

GitHub 仓库的 src/alpha_r1/parsing/ 提供了配套的校验与解析脚本。

表现 (Performance)

12 个月样本外测试（2025-01-01 ~ 2025-12-31，论文 Table 1）：

域外泛化（无需重训，论文 Table 2）：Russell 2000 上 80.54% AR（SR 2.46），CSI 1000 上 73.52% AR（SR 2.80）。AR = 年化收益，SR = 超额夏普比率，MDD = 最大回撤。

训练 (Training)

基于 Qwen3-8B，使用 verl 进行 GRPO 训练，奖励为市场反馈奖励（R_final = R_adjusted - P_structural，论文 §3.4）。训练配置与参考奖励实现见 GitHub 仓库的 training/ 目录。

局限性 (Limitations)

• 本模型面向学术研究场景，输出不构成任何投资建议。
• 因子筛选依赖上游的描述生成与回测管线（见 GitHub 仓库），模型本身不直接产出可交易信号。

引用 (Citation)

@article{jiang2025alphar1,
  title={Alpha-R1: Alpha Screening with LLM Reasoning via Reinforcement Learning},
  author={Jiang, Zuoyou and Zhao, Li and Sun, Rui and Sun, Ruohan and Li, Zhongjian and Li, Jing and Jiang, Daxin and Bai, Zuo and Hua, Cheng},
  journal={arXiv preprint arXiv:2512.23515},
  year={2025}
}

License

本项目基于 MIT License 发布。