UAV World Model & VLA & VLM Learning

无人机领域的世界模型、视觉语言动作模型(VLA)、视觉语言模型(VLM) — 从认知到理解的完整学习项目

简介 • 学习路线 • 目录 • 论文 • 代码 • 引用 • 贡献

---

项目简介

当无人机学会"看"、"说"、"想"、"飞" — 它就不再只是飞行器，而是一个空中智能体。

本项目是一个面向无人机领域的 VLA/VLM/世界模型综述学习项目，基于以下核心参考资料：

• arXiv:2605.00080 — "World Model for Robot Learning: A Comprehensive Survey"（43 页，6 图，2026 年最新综述）
• NTUMARS/Awesome-World-Model-for-Robotics-Policy — 机器人策略学习世界模型论文合集

本项目的独特价值：

三大核心概念

VLM (视觉语言模型)          VLA (视觉语言动作模型)        World Model (世界模型)
"看图说话"                   "看图说话+动手"               "预测未来"
┌─────────────┐            ┌─────────────┐            ┌─────────────┐
│  图像 + 文本 │            │ 图像+文本+动作│            │ 当前状态+动作 │
│      ↓      │            │      ↓      │            │      ↓      │
│  理解/描述   │            │  理解+执行   │            │  预测下一状态 │
└─────────────┘            └─────────────┘            └─────────────┘
   "前方有障碍物"            "左转避开障碍物"             "左转后会看到什么"

---

学习路线

从零基础到能读懂前沿论文的九阶段路线；每阶段约 1–2 周，但不必按序走完才开始自测。

建议按以下顺序阅读，每阶段约 1-2 周：

graph TD
    A[00-导读与学习路线] --> B[01-基础概念]
    B --> B1[什么是世界模型]
    B --> B2[什么是VLM]
    B --> B3[什么是VLA]
    B --> B4[三者关系与区别]
    B --> B5[无人机vs地面机器人]

    B --> C[选择感兴趣的方向深入]
    C --> D[02-世界模型专题]
    C --> E[03-VLA专题]
    C --> F[04-VLM专题]

    D --> G[05-综述论文精读]
    E --> G
    F --> G

    G --> H[06-论文导读合集]
    H --> I[07-实践指南]
    I --> J[08-研究前沿与开放问题]
    J --> K[09-专题自测与考察]

推荐路径：

• 快速入门（1 周）：00-导读 → 01-基础概念（5 篇）→ 04-三者关系
• 深入方向（2-3 周）：选择 02/03/04 中一个专题深入
• 综述精读（2 周）：05-综述论文精读 + 06-论文导读
• 动手实践（持续）：07-实践指南，按兴趣复现项目
• 科研入门（持续）：08-研究前沿与开放问题，从学习者过渡到研究者
• 自测与考察（随时，不必等前六阶段走完）：09-专题自测与考察，VLA / 世界模型 / VLM 三卷各一篇，读完哪一卷就做哪一篇，答不上来的顺着指针回读

---

文档目录

本节是全量清单：每一篇都在这里，按 Part 分组。只想知道先读哪几篇的，看上一节「学习路线」。

docs/ 下共 59 篇学习文档，另有 4 篇思维导图与 6 篇参考资料。推荐度：★★★ 必读 · ★★☆ 推荐 · ★☆☆ 了解。

导读

Part 1 · 基础概念

Part 2 · 世界模型专题

Part 3 · VLA 专题

Part 4 · VLM 专题

Part 5 · 综述论文精读

Part 6 · 论文导读合集

Part 7 · 实践指南

Part 8 · 研究前沿与开放问题

Part 9 · 专题自测与考察

思维导图 & 参考资料

---

核心论文

本节只列本仓认为最该先读的 15 篇，且只收已逐条访问确认可打开的项目页与代码库链接； 没有链接的不等于没有代码。完整 195 篇（含会议/年份标签、arXiv 号与推荐等级）见 references/paper-list.md， 那里是元数据唯一权威——本节标题、年份、会议均照它抄，不另立一份。

下面 15 篇里 8 篇带得出来链接，另外 7 篇没有；这 7 篇全部落在无人机方向。 空中方向的公开项目页，比地面方向稀疏得多——这和下面「数据稀缺」一行是同一个约束的两种表现。

世界模型（无人机方向）

• [arXiv'25.12] ANWM — Aerial World Model for Long-horizon Visual Generation and Navigation in 3D Space 航空导航世界模型，FFP 模块提供几何先验。推荐度 ★★★

• [ICRA'26] Dream to Fly — Dream to Fly: Model-Based Reinforcement Learning for Vision-Based Drone Flight DreamerV3 用于无人机竞速，单卡约 240 小时收敛。无项目页。推荐度 ★★★

• [arXiv'25.09] FlightDiffusion — FlightDiffusion: Revolutionising Autonomous Drone Training with Diffusion Models Generating FPV Video 扩散模型生成 FPV 视频用于策略学习；注意它的扩散模型生成的是视频不是动作。推荐度 ★★☆

• [arXiv'26.04] MotionScape — MotionScape: A Motion-Stratified UAV Video Benchmark for World Modeling and Future Video Generation 按光流强度分层的无人机视频基准，用于世界建模与未来视频生成。推荐度 ★★☆

• [arXiv'24.08] AeroVerse — AeroVerse: UAV-Agent Benchmark Suite for Simulating, Pre-training, Finetuning, and Evaluating Aerospace Embodied World Models 航空航天具身世界模型的仿真—预训练—微调—评测套件。推荐度 ★★☆

VLA（无人机方向）

• [arXiv'25.12] VLA-AN — VLA-AN: An Efficient and Onboard Vision-Language-Action Framework for Aerial Navigation in Complex Environments 机载 VLA 框架，论文报告 98.1% 成功率、8.3× 加速。推荐度 ★★★

• [arXiv'25.03] CognitiveDrone — CognitiveDrone: A VLA Model and Evaluation Benchmark for Real-Time Cognitive Task Solving and Reasoning in UAVs 认知无人机 VLA，实时输出 4D 动作。推荐度 ★★★

• [arXiv'26.04] UAV-Track VLA — UAV-Track VLA: Embodied Aerial Tracking via Vision-Language-Action Models 基于 π₀.₅ 的无人机跟踪 VLA。推荐度 ★★☆

• [arXiv'25.05] UAV-Flow Colosseo — UAV-Flow Colosseo: A Real-World Benchmark for Flying-on-a-Word UAV Imitation Learning 语言条件细粒度无人机控制基准（"一句话一个飞行动作"）。推荐度 ★★☆

• [arXiv'26.02] VLN-Pilot — VLN-Pilot: Large Vision-Language Model as an Autonomous Indoor Drone Operator VLM 作为室内无人机操作员。无项目页。推荐度 ★★☆

VLM（无人机 / 遥感方向）

• [CVPR'24] GeoChat — GeoChat: Grounded Large Vision-Language Model for Remote Sensing 首个 grounded 遥感 VLM。推荐度 ★★★

• [arXiv'25.12] CoDrone — CoDrone: Autonomous Drone Navigation Assisted by Edge and Cloud Foundation Models 云边端基础模型协同的无人机导航。无项目页。推荐度 ★★☆

• [arXiv'25.05] FM-Planner — FM-Planner: Foundation Model Guided Path Planning for Autonomous Drone Navigation 基础模型引导的路径规划，横向对比 8 种 LLM/VLM。推荐度 ★★☆

• [arXiv'25.09] NavFoM — Embodied Navigation Foundation Model 跨形态导航基础模型，覆盖无人机。标题取 arXiv 原文，NavFoM 是系统简称。推荐度 ★★☆

• [arXiv'26.03] UAVBench — UAVBench and UAVIT-1M: Benchmarking and Enhancing MLLMs for Low-Altitude UAV Vision-Language Understanding 低空无人机 VLM 基准，966K 样本、1.24M 指令调优数据、43 个测试单元。推荐度 ★★☆

---

无人机领域关键挑战

地面机器人的经验不能直接搬到空中。这张表列的是每一条差别的具体形态，不是"更难"三个字。

---

如何使用

两种用法：想入门就按顺序读，只想解决某个具体问题就按需跳读。

快速开始

1. 阅读 00-导读与学习路线 了解整体结构
2. 从 基础概念 开始建立认知框架
3. 选择感兴趣的方向深入（世界模型 / VLA / VLM）
4. 查阅 论文导读合集 了解前沿工作
5. 按需参考 实践指南 动手复现

推荐阅读顺序

第1周: 00-导读 → 01-基础概念(5篇) → 04-三者关系
第2周: 02-世界模型专题(9篇) 或 03-VLA专题(10篇) 或 04-VLM专题(7篇)
第3周: 05-综述精读(5篇)
第4周: 06-论文导读(4篇) → 07-实践指南(按兴趣选)
持续: 08-研究前沿与开放问题 → 从学习者过渡到研究者

---

可运行代码（可选）

code/ 下 24 个脚本，纯 CPU 即可，合计约十六分钟（本机实测 944.8 秒），出图落在 figures/。 每个脚本只验证一件事，结论量不出来时会直接写明「不作为结论」。

完整对应表与运行说明见 code/README.md。

---

引用

学术引用用下面的 BibTeX；只是学习参考，直接贴仓库链接即可。

如果本项目对你的学习有帮助，欢迎引用：

@misc{uav-wm-vla-learning,
  title={UAV World Model \& VLA \& VLM Learning},
  author={Qxy661},
  year={2026},
  howpublished={\url{https://github.com/Qxy661/UAV-WM-VLA-Learning}},
  note={A comprehensive learning project for World Models, VLA, and VLM in the UAV domain}
}

---

致谢

本项目的结构与条目形式参考了下面两个来源；内容与结论由本项目自己核对，讹误归本项目。

• 感谢 arXiv:2605.00080 的作者们提供了高质量的综述
• 感谢 NTUMARS/Awesome-World-Model-for-Robotics-Policy 维护的 awesome list，本项目的条目标签与分节判据参考了它的组织方式
• 感谢所有被引用论文的作者们

---

如果觉得有用，请给个 Star!