Ascend/MindSpeed-MM

stars

826

commits

Python

primary language

Sep 9, 2026

updated

README

简介

MindSpeed MM：面向大规模分布式训练的昇腾多模态大模型套件，支持业界主流多模态大模型训练，旨在为华为昇腾芯片提供端到端的多模态训练解决方案, 包含预置业界主流模型，数据工程，分布式训练及加速，预训练、微调、后训练、在线推理任务等特性。

未来规划

📅未来规划会动态刷新在MindSpeed MM RoadMap中，欢迎大家通过此链接进行互动并提出诉求

社区会议

MindSpeed系列TC及SIG会议安排请查看Ascend会议中心

加入我们

为了交流开发经验、分享使用心得、及时获取项目更新，我们创建了MindSpeed MM官方微信群。

无论你是正在使用这个项目，还是有奇思妙想，都欢迎加入👋

加入方式：

直接扫码加入微信交流群（二维码7天有效，定期更新，当前1群已达到扫码加入人数上限，可加入2群）
添加昇腾开源小助手，获取群链接，进入MindSpeed MM社区交流群

MindSpeed MM社区交流群

昇腾开源小助手

目录结构

├─bridge          # mbridge在线权重转换
├─checkpoint      # 离线权重转换工具
├─ci              # Continuous Integration
├─docs            # 项目文档目录
│  └─zh           # 中文文档目录
├─examples        # 预置模型，包括模型配置、数据集配置、训练脚本、推理脚本等文件
├─mindspeed_mm    # 核心代码目录
├─scripts         # 脚本目录
├─sources         # 图片视频目录
├─tests           # 测试代码目录
│  ├─st           # 系统测试用例
│  └─ut           # 单元测试用例
├─UserGuide       # 用户指南目录
└─verl_plugin     # verl插件模块

效果展示

文生视频： Wan 2.2 T2V

Prompt: Ultra HD, 4K, cinematic composition, low contrast ratio, low saturation, cool tone; The queen wears an iron crown and rides on the dragon over the city. She holds a big flag that shows:" MindSpeed MM".

文生视频： OpensoraPlan 1.5 T2V

Prompt: A fluffy white rabbit with soft, velvety fur and twitching pink nose sits curiously near a rustic wooden fence, surrounded by a lush garden of vibrant wildflowers and tall grasses swaying gently in the breeze. The rabbit's large, expressive eyes scan the environment, reflecting the golden hues of the setting sun. As it nibbles on a patch of clover, its ears perk up at the distant sound of chirping birds. The fence, weathered and covered in patches of moss, adds a charming, pastoral backdrop to this serene scene, capturing the essence of a peaceful countryside moment.

Prompt: A majestic Berlin tower stands tall against the night sky, its structure bathed in a mesmerizing array of vibrant lights, casting a kaleidoscope of colors across the cityscape. The tower's intricate architectural details are highlighted by the illumination, creating a stunning contrast against the deep indigo sky. As the camera pans upward, the lights shift, revealing a dynamic play of shadows and hues that dance across the tower's surface. The surrounding city lights twinkle in harmony, enhancing the tower's grandeur and creating a breathtaking visual symphony that captures the essence of Berlin's vibrant nightlife.

文生图：Qwen-Image -> 图片编辑 Flux.1-Kontext

Prompt for generation: A coffee shop entrance features a chalkboard sign reading "MindSpeed Coffee 😊 $2 per cup," with a neon light displaying "MindSpeed MM". Next to it hangs a poster showing a beautiful Chinese woman, and beneath the poster is written "Welcome to use MindSpeed MM". Ultra HD, 4K, cinematic composition. (Qwen-Image)

Prompt for edition: Change the decoration of the coffee shop to a modern style with white painting. (Flux.1-Kontext)

理解模型：Qwen2VL

Input image for both models:

Input text for both models: Please describe the image shortly

Qwen2VL推理结果: The image depicts a serene lakeside scene with a wooden dock extending into the calm waters. The dock is made of weathered wooden planks and leads to a small platform with a ladder, suggesting it is used for swimming or diving. The lake is surrounded by lush green forests and mountains in the background, creating a picturesque and tranquil setting. The sky is overcast, adding to the calm and peaceful atmosphere of the scene.

Input text for Qwen2VL: 请用中文简短描述这张照片

Qwen2VL推理结果: 这张图片展示了一座木制码头延伸到平静的湖面上，背景是连绵的山脉和茂密的森林。天空多云，整体色调偏冷，给人一种宁静和自然的感觉。

版本说明

MindSpeed MM支持Atlas 800T A2等昇腾训练硬件形态，软件版本配套表如下：

MindSpeed MM版本	MindSpeed版本	Megatron版本	PyTorch版本	TorchNPU版本	CANN版本	Python版本
master（在研版本）	master（在研版本）	Core 0.12.1	2.7.1	在研版本	在研版本	Python3.10
26.0.0（商用）	26.0.0_core_r0.12.1	Core 0.12.1	2.7.1	26.0.0	9.0.0	Python3.10
2.3.0（商用）	2.3.0_core_r0.12.1	Core 0.12.1	2.6.0, 2.7.1	7.3.0	8.5.0	Python3.10
2.2.0（商用）	2.2.0_core_r0.12.1	Core 0.12.1	2.6.0, 2.7.1	7.2.0	8.3.RC1	Python3.10
2.1.0（商用）	2.1.0_core_r0.8.0	Core 0.8.0	2.1.0, 2.6.0	7.1.0	8.2.RC1	Python3.8, Python3.10
2.0.0（商用）	2.0.0_core_r0.8.0	Core 0.8.0	2.1.0	7.0.0	8.1.RC1	Python3.8, Python3.10
1.0.0（商用）	1.0.0_core_r0.6.0	Core 0.6.0	2.1.0	6.0.0	8.0.0	Python3.8, Python3.10

[!Note]

“在研版本”指当前正处于开发迭代中的版本，由于该版本的功能仍处于持续迭代与优化阶段，其配套依赖项即使采用已发布的商用版本，仍可能存在兼容性风险或运行不稳定性，如需稳定使用，建议优先使用已正式发布的商用版本。

更多详情请参考版本配套表。

安装

MindSpeed MM具体的安装请参考安装指南。当前qwen3vl、wan2.2模型已支持一键安装，一键安装使用说明详见一键安装使用说明。

快速上手

MindSpeed MM将以Qwen2.5-VL-3B和Wan2.1-T2V-1.3B模型为例，引导开发者快速上手预置模型在昇腾NPU上的高效运行。具体的操作请参考快速上手。

特性/模型介绍

已支持特性概览

模型 \ 特性	TP	TP-SP	VPP	PP	CP	Distributed Optimizer	Recomputation	LoRA	RL	FSDP2
Magistral-Small-2509							✔	✔		✔
InternVL3.5-30B							✔			✔
Qwen3-VL-8B							✔			✔
Qwen3-VL-30B							✔			✔
Wan2.2					CP (Ulysses)		✔			✔
OpenSoraPlan1.5-T2V	✔	✔					✔
Wan2.1					CP (Ulysses)	✔	✔	✔		✔
HunyuanVideo	✔	✔			CP (Ulysses)	✔	✔	✔
HunyuanVideo1.5						✔	✔			✔
CogVideoX系列-T2V	✔	✔			CP (Ulysses)	✔	✔	✔
CogVideoX系列-I2V	✔	✔			CP (Ulysses)	✔	✔	✔
OpensoraPlan1.3-T2V	✔	✔	✔	✔	CP (Ulysses)	✔	✔
OpensoraPlan1.3-I2V	✔	✔	✔	✔	CP (Ulysses)	✔	✔
GLM-4.1V				✔		✔	✔
Qwen2VL-2B	✔	✔		✔	CP (Ulysses)	✔	✔	✔
Qwen2VL-7B	✔	✔		✔	CP (Ulysses)	✔	✔	✔
Qwen2VL-72B	✔	✔		✔	CP (Ulysses)	✔	✔	✔	DPO
Qwen2.5VL-3B	✔	✔		✔		✔	✔		GRPO
Qwen2.5VL-7B	✔	✔		✔		✔	✔		GRPO
Qwen2.5VL-32B	✔	✔		✔		✔	✔		GRPO
Qwen2.5VL-72B	✔	✔		✔		✔	✔	✔
Qwen2.5Omni-7B	✔			✔		✔		✔
Qwen3-Omni							✔			✔
InternVL3-8B	✔	✔	✔	✔	CP (Ring)	✔	✔
InternVL3-78B	✔	✔	✔	✔	CP (Ring)	✔	✔

备注：

TP: Tensor Parallel
TP-SP: Tensor Parallel with Sequence Parallel
VPP: Virtual Pipeline Parallel
PP: Pipeline Parallel
DSP: Dynamic Sequence Parallel
CP (Ulysses): Context Parallel by leveraging Deepspeed Ulysses with Sequence Parallel
CP (Ring Attention): Context Parallel with Ring Attention
Distributed Optimizer: Zero Redundancy Optimizer (ZeRO)
Recomputation: Reducing Activation Recomputation
LoRA: Low-Rank Adaptation
RL: Reinforcement Learning
FSDP2: Fully Sharded Data Parallelism

配套版本与支持模型

MindSpeed MM 预置了覆盖多模态生成、多模态理解等任务的丰富模型；各模型的参数规模、训练任务、推荐集群与认证状态，详见 MindSpeed MM 支持模型列表。

大语言模型（稠密模型、稀疏模型和状态空间模型）由 MindSpeed-LLM 专项维护，如需进行大语言模型训练，请访问 MindSpeed-LLM 获取详细使用说明。

常用参数解释说明

针对MindSpeed MM套件中运行所使用的参数做解释说明，具体见README

特性规划

【模型特性】 CogVideoX: PP
【模型特性】 OpensoraPlan1.3: CP (Ring Attention)
【模型特性】 Qwen2VL: VPP, CP (Ulysses & Ring Attention)
【模型特性】 InternVL2: TP, CP (Ulysses & Ring Attention)
【基础特性】 Hetero-parallel

工具使用

昇腾Profiling采集工具

MindSpeed MM集成了昇腾profiling采集工具，以提供对模型运行情况的分析。该工具能够依照配置采集模型的算子、显存等关键信息，同时支持动静态两种采集方式，协助开发者分析模型瓶颈，并可根据实际场景需求选择使用。

具体方法见 README 的profiling章节

MindStudio Insight性能分析工具

针对大模型集群场景的性能调优，这里推荐一款优秀的可视化调优工具MindStudio Insight。 MindStudio Insight提供了包括Timeline视图、通信分析、计算耗时等的可视化呈现，以便用户分析潜在的性能瓶颈，并指导如何采取措施消除或减少这些瓶颈。

具体安装及使用方法见《MindStudio Insight操作指南》

Sora类模型特征提取

MindSpeed MM支持提取视频和文本特征并保存

具体方法见 README 的Sora类模型特征提取章节

内存快照提取

MindSpeed MM集成了昇腾内存快照采集工具，以提供对模型运行情况的分析。

具体方法见 README 的内存快照提取章节

Tensorboard使用

MindSpeed MM支持Tensorboard的使用

具体方法见 README 的Tensorboard使用章节

版本维护

MindSpeed MM版本有以下五个维护阶段：

状态	时间	说明
计划	1—3 个月	计划特性
开发	3 个月	开发特性
维护	6-12 个月	合入所有已解决的问题并发布版本，针对不同的MindSpeed MM版本采取不同的维护策略，常规版本和长期支持版本维护周期分别为6个月和12个月
无维护	0—3 个月	合入所有已解决的问题，无专职维护人员，无版本发布
生命周期终止（EOL）	N/A	分支不再接受任何修改

MindSpeed MM已发布版本维护策略：

MindSpeed MM版本	维护策略	当前状态	发布时间	后续状态
26.0.0	常规版本	维护	2026/03/30	预计2026/09/30起无维护
2.3.0	常规版本	无维护	2025/12/30	预计2026/06/30起无维护
2.2.0	常规版本	无维护	2025/09/30	预计2026/03/30起无维护
2.1.0	常规版本	无维护	2025/06/30	预计2025/12/30起无维护
2.0.0	常规版本	无维护	2025/03/30	预计2025/09/30起无维护
1.0.0	常规版本	无维护	2024/12/30	预计2025/06/30起无维护
1.0.RC3	常规版本	无维护	2024/09/30	预计2025/03/30起无维护

常见问题

安全声明

MindSpeed MM 安全声明

免责声明

致MindSpeed MM使用者

MindSpeed MM提供的模型仅供您用于非商业目的。
对于各模型，MindSpeed MM平台仅提示性地向您建议可用于训练的数据集，华为不提供任何数据集，如您使用这些数据集进行训练，请您特别注意应遵守对应数据集的License，如您因使用数据集而产生侵权纠纷，华为不承担任何责任。
如您在使用MindSpeed MM模型过程中，发现任何问题（包括但不限于功能问题、合规问题），请在Gitcode提交issue，我们将及时审视并解决。
MindSpeed MM功能依赖的Megatron等第三方开源软件，均由第三方社区提供和维护，因第三方开源软件导致的问题的修复依赖相关社区的贡献和反馈。您应理解，MindSpeed MM仓库不保证第三方开源软件本身的问题进行修复，也不保证会测试，纠正所有第三方开源软件的漏洞和错误。

致数据集所有者

如果您不希望您的数据集在MindSpeed MM中的模型被提及，或希望更新MindSpeed MM中的模型关于您的数据集的描述，请在Gitcode提交issue，我们将根据您的issue要求删除或更新您的数据集描述。衷心感谢您对MindSpeed MM的理解和贡献。

License声明

Ascend MindSpeed MM提供的模型，如模型目录下存在License的，以该License为准。如模型目录下不存在License的，以Apache 2.0许可证许可，对应许可证文本可查阅Ascend MindSpeed MM根目录LICENSE文件，docs目录下的文档适用CC-BY 4.0许可证，具体参见文档LICENSE。

贡献声明

1. 报告问题

如果您发现任何问题，请先查看仓库的issues列表，尝试寻找类似问题或解决方案。
如果现有issues列表中没有您遇到的问题，可以提交一个新的issue，并尽量提供清晰的问题描述、复现步骤与环境信息。

2. 贡献代码流程

若您希望提交代码改动，请遵循以下简要步骤：

在您的个人分支上开发并提交，然后向本项目仓库发起Pull Request（PR）；
在我们的SIG例会PR评审申请登记中，参照既定格式申请PR评审，并按时参加对应的评审会议；
根据评审意见进行修改，并更新PR；
PR通过评审后，在评论区输入compile以触发门禁流水线（CI）；
当PR的CI通过且获得足够的标签后，仓库Committer将进行最终审核，并合入在研分支。

感谢您的参与与贡献！我们期待与您共同推动项目发展。

致谢

MindSpeed MM 由华为公司的下列部门及昇腾生态合作伙伴联合贡献：

华为公司：

计算产品线
公共开发部
2012实验室
华为云

生态合作伙伴：

360 AI Research
北大OpenSoraPlan团队
微信技术架构部基础架构中心
京东零售九数研发技术部

感谢来自社区的每一个PR，欢迎贡献 MindSpeed MM。

Contributors

(top 30 of 57)

80 commits

66 commits

64 commits

63 commits

Similar repos

ByteDance-Seed/VeOmni

VeOmni: Scaling Any Modality Model Training with Model-Centric Distributed Recipe Zoo

2,203

shared contributors

PaddlePaddle/PaddleMIX

Paddle Multimodal Integration and eXploration, supporting mainstream multi-modal tasks, including…

723

EvolvingLMMs-Lab/lmms-engine

A simple, unified multimodal models training engine. Lean, flexible, and built for hacking at scale.

825

PaddlePaddle/PaddleFormers

PaddleFormers is an easy-to-use library of pre-trained large language model zoo based on…

12,988

travis-xia/vmopd

buaaysh/ms-swift

ms-streaming

modelscope/swift

Use PEFT or Full-parameter to CPT/SFT/DPO/GRPO 600+ LLMs (Qwen3.6, DeepSeek-V4, GLM-5.1, InternLM3,…

15,506

travis-xia/ms

Languages

Python

98.1%

Shell

1.1%

Ascend/MindSpeed-MM

stars

826

commits

Python

primary language

Sep 9, 2026

updated

README

简介

未来规划

📅未来规划会动态刷新在MindSpeed MM RoadMap中，欢迎大家通过此链接进行互动并提出诉求

社区会议

MindSpeed系列TC及SIG会议安排请查看Ascend会议中心

加入我们

为了交流开发经验、分享使用心得、及时获取项目更新，我们创建了MindSpeed MM官方微信群。

无论你是正在使用这个项目，还是有奇思妙想，都欢迎加入👋

加入方式：

直接扫码加入微信交流群（二维码7天有效，定期更新，当前1群已达到扫码加入人数上限，可加入2群）
添加昇腾开源小助手，获取群链接，进入MindSpeed MM社区交流群

MindSpeed MM社区交流群

昇腾开源小助手

目录结构

├─bridge          # mbridge在线权重转换
├─checkpoint      # 离线权重转换工具
├─ci              # Continuous Integration
├─docs            # 项目文档目录
│  └─zh           # 中文文档目录
├─examples        # 预置模型，包括模型配置、数据集配置、训练脚本、推理脚本等文件
├─mindspeed_mm    # 核心代码目录
├─scripts         # 脚本目录
├─sources         # 图片视频目录
├─tests           # 测试代码目录
│  ├─st           # 系统测试用例
│  └─ut           # 单元测试用例
├─UserGuide       # 用户指南目录
└─verl_plugin     # verl插件模块

效果展示

文生视频： Wan 2.2 T2V

文生视频： OpensoraPlan 1.5 T2V

文生图：Qwen-Image -> 图片编辑 Flux.1-Kontext

Prompt for edition: Change the decoration of the coffee shop to a modern style with white painting. (Flux.1-Kontext)

理解模型：Qwen2VL

Input image for both models:

Input text for both models: Please describe the image shortly

Input text for Qwen2VL: 请用中文简短描述这张照片

版本说明

MindSpeed MM支持Atlas 800T A2等昇腾训练硬件形态，软件版本配套表如下：

MindSpeed MM版本	MindSpeed版本	Megatron版本	PyTorch版本	TorchNPU版本	CANN版本	Python版本
master（在研版本）	master（在研版本）	Core 0.12.1	2.7.1	在研版本	在研版本	Python3.10
26.0.0（商用）	26.0.0_core_r0.12.1	Core 0.12.1	2.7.1	26.0.0	9.0.0	Python3.10
2.3.0（商用）	2.3.0_core_r0.12.1	Core 0.12.1	2.6.0, 2.7.1	7.3.0	8.5.0	Python3.10
2.2.0（商用）	2.2.0_core_r0.12.1	Core 0.12.1	2.6.0, 2.7.1	7.2.0	8.3.RC1	Python3.10
2.1.0（商用）	2.1.0_core_r0.8.0	Core 0.8.0	2.1.0, 2.6.0	7.1.0	8.2.RC1	Python3.8, Python3.10
2.0.0（商用）	2.0.0_core_r0.8.0	Core 0.8.0	2.1.0	7.0.0	8.1.RC1	Python3.8, Python3.10
1.0.0（商用）	1.0.0_core_r0.6.0	Core 0.6.0	2.1.0	6.0.0	8.0.0	Python3.8, Python3.10

[!Note]

“在研版本”指当前正处于开发迭代中的版本，由于该版本的功能仍处于持续迭代与优化阶段，其配套依赖项即使采用已发布的商用版本，仍可能存在兼容性风险或运行不稳定性，如需稳定使用，建议优先使用已正式发布的商用版本。

更多详情请参考版本配套表。

安装

MindSpeed MM具体的安装请参考安装指南。当前qwen3vl、wan2.2模型已支持一键安装，一键安装使用说明详见一键安装使用说明。

快速上手

MindSpeed MM将以Qwen2.5-VL-3B和Wan2.1-T2V-1.3B模型为例，引导开发者快速上手预置模型在昇腾NPU上的高效运行。具体的操作请参考快速上手。

特性/模型介绍

已支持特性概览

模型 \ 特性	TP	TP-SP	VPP	PP	CP	Distributed Optimizer	Recomputation	LoRA	RL	FSDP2
Magistral-Small-2509							✔	✔		✔
InternVL3.5-30B							✔			✔
Qwen3-VL-8B							✔			✔
Qwen3-VL-30B							✔			✔
Wan2.2					CP (Ulysses)		✔			✔
OpenSoraPlan1.5-T2V	✔	✔					✔
Wan2.1					CP (Ulysses)	✔	✔	✔		✔
HunyuanVideo	✔	✔			CP (Ulysses)	✔	✔	✔
HunyuanVideo1.5						✔	✔			✔
CogVideoX系列-T2V	✔	✔			CP (Ulysses)	✔	✔	✔
CogVideoX系列-I2V	✔	✔			CP (Ulysses)	✔	✔	✔
OpensoraPlan1.3-T2V	✔	✔	✔	✔	CP (Ulysses)	✔	✔
OpensoraPlan1.3-I2V	✔	✔	✔	✔	CP (Ulysses)	✔	✔
GLM-4.1V				✔		✔	✔
Qwen2VL-2B	✔	✔		✔	CP (Ulysses)	✔	✔	✔
Qwen2VL-7B	✔	✔		✔	CP (Ulysses)	✔	✔	✔
Qwen2VL-72B	✔	✔		✔	CP (Ulysses)	✔	✔	✔	DPO
Qwen2.5VL-3B	✔	✔		✔		✔	✔		GRPO
Qwen2.5VL-7B	✔	✔		✔		✔	✔		GRPO
Qwen2.5VL-32B	✔	✔		✔		✔	✔		GRPO
Qwen2.5VL-72B	✔	✔		✔		✔	✔	✔
Qwen2.5Omni-7B	✔			✔		✔		✔
Qwen3-Omni							✔			✔
InternVL3-8B	✔	✔	✔	✔	CP (Ring)	✔	✔
InternVL3-78B	✔	✔	✔	✔	CP (Ring)	✔	✔

备注：

TP: Tensor Parallel
TP-SP: Tensor Parallel with Sequence Parallel
VPP: Virtual Pipeline Parallel
PP: Pipeline Parallel
DSP: Dynamic Sequence Parallel
CP (Ulysses): Context Parallel by leveraging Deepspeed Ulysses with Sequence Parallel
CP (Ring Attention): Context Parallel with Ring Attention
Distributed Optimizer: Zero Redundancy Optimizer (ZeRO)
Recomputation: Reducing Activation Recomputation
LoRA: Low-Rank Adaptation
RL: Reinforcement Learning
FSDP2: Fully Sharded Data Parallelism

配套版本与支持模型

大语言模型（稠密模型、稀疏模型和状态空间模型）由 MindSpeed-LLM 专项维护，如需进行大语言模型训练，请访问 MindSpeed-LLM 获取详细使用说明。

常用参数解释说明

针对MindSpeed MM套件中运行所使用的参数做解释说明，具体见README

特性规划

【模型特性】 CogVideoX: PP
【模型特性】 OpensoraPlan1.3: CP (Ring Attention)
【模型特性】 Qwen2VL: VPP, CP (Ulysses & Ring Attention)
【模型特性】 InternVL2: TP, CP (Ulysses & Ring Attention)
【基础特性】 Hetero-parallel

工具使用

昇腾Profiling采集工具

具体方法见 README 的profiling章节

MindStudio Insight性能分析工具

具体安装及使用方法见《MindStudio Insight操作指南》

Sora类模型特征提取

MindSpeed MM支持提取视频和文本特征并保存

具体方法见 README 的Sora类模型特征提取章节

内存快照提取

MindSpeed MM集成了昇腾内存快照采集工具，以提供对模型运行情况的分析。

具体方法见 README 的内存快照提取章节

Tensorboard使用

MindSpeed MM支持Tensorboard的使用

具体方法见 README 的Tensorboard使用章节

版本维护

MindSpeed MM版本有以下五个维护阶段：

状态	时间	说明
计划	1—3 个月	计划特性
开发	3 个月	开发特性
维护	6-12 个月	合入所有已解决的问题并发布版本，针对不同的MindSpeed MM版本采取不同的维护策略，常规版本和长期支持版本维护周期分别为6个月和12个月
无维护	0—3 个月	合入所有已解决的问题，无专职维护人员，无版本发布
生命周期终止（EOL）	N/A	分支不再接受任何修改

MindSpeed MM已发布版本维护策略：

MindSpeed MM版本	维护策略	当前状态	发布时间	后续状态
26.0.0	常规版本	维护	2026/03/30	预计2026/09/30起无维护
2.3.0	常规版本	无维护	2025/12/30	预计2026/06/30起无维护
2.2.0	常规版本	无维护	2025/09/30	预计2026/03/30起无维护
2.1.0	常规版本	无维护	2025/06/30	预计2025/12/30起无维护
2.0.0	常规版本	无维护	2025/03/30	预计2025/09/30起无维护
1.0.0	常规版本	无维护	2024/12/30	预计2025/06/30起无维护
1.0.RC3	常规版本	无维护	2024/09/30	预计2025/03/30起无维护

常见问题

安全声明

MindSpeed MM 安全声明

免责声明

致MindSpeed MM使用者

MindSpeed MM提供的模型仅供您用于非商业目的。
对于各模型，MindSpeed MM平台仅提示性地向您建议可用于训练的数据集，华为不提供任何数据集，如您使用这些数据集进行训练，请您特别注意应遵守对应数据集的License，如您因使用数据集而产生侵权纠纷，华为不承担任何责任。
如您在使用MindSpeed MM模型过程中，发现任何问题（包括但不限于功能问题、合规问题），请在Gitcode提交issue，我们将及时审视并解决。
MindSpeed MM功能依赖的Megatron等第三方开源软件，均由第三方社区提供和维护，因第三方开源软件导致的问题的修复依赖相关社区的贡献和反馈。您应理解，MindSpeed MM仓库不保证第三方开源软件本身的问题进行修复，也不保证会测试，纠正所有第三方开源软件的漏洞和错误。

致数据集所有者

License声明

贡献声明

1. 报告问题

如果您发现任何问题，请先查看仓库的issues列表，尝试寻找类似问题或解决方案。
如果现有issues列表中没有您遇到的问题，可以提交一个新的issue，并尽量提供清晰的问题描述、复现步骤与环境信息。

2. 贡献代码流程

若您希望提交代码改动，请遵循以下简要步骤：

在您的个人分支上开发并提交，然后向本项目仓库发起Pull Request（PR）；
在我们的SIG例会PR评审申请登记中，参照既定格式申请PR评审，并按时参加对应的评审会议；
根据评审意见进行修改，并更新PR；
PR通过评审后，在评论区输入compile以触发门禁流水线（CI）；
当PR的CI通过且获得足够的标签后，仓库Committer将进行最终审核，并合入在研分支。

感谢您的参与与贡献！我们期待与您共同推动项目发展。

致谢

MindSpeed MM 由华为公司的下列部门及昇腾生态合作伙伴联合贡献：

华为公司：

计算产品线
公共开发部
2012实验室
华为云

生态合作伙伴：

360 AI Research
北大OpenSoraPlan团队
微信技术架构部基础架构中心
京东零售九数研发技术部

感谢来自社区的每一个PR，欢迎贡献 MindSpeed MM。

Similar repos

ByteDance-Seed/VeOmni

VeOmni: Scaling Any Modality Model Training with Model-Centric Distributed Recipe Zoo

2,203

shared contributors

PaddlePaddle/PaddleMIX

Paddle Multimodal Integration and eXploration, supporting mainstream multi-modal tasks, including…

723

EvolvingLMMs-Lab/lmms-engine

A simple, unified multimodal models training engine. Lean, flexible, and built for hacking at scale.

825

PaddlePaddle/PaddleFormers

PaddleFormers is an easy-to-use library of pre-trained large language model zoo based on…

12,988

travis-xia/vmopd

buaaysh/ms-swift

ms-streaming

modelscope/swift

Use PEFT or Full-parameter to CPT/SFT/DPO/GRPO 600+ LLMs (Qwen3.6, DeepSeek-V4, GLM-5.1, InternLM3,…

15,506

travis-xia/ms

Contributors

(top 30 of 57)

80 commits

66 commits

64 commits

63 commits

Languages

Python

98.1%

Shell

1.1%

Ascend/MindSpeed-MM

README

简介

未来规划

社区会议

加入我们

目录结构

最新消息

效果展示

文生视频： Wan 2.2 T2V

文生视频： OpensoraPlan 1.5 T2V

文生图：Qwen-Image -> 图片编辑 Flux.1-Kontext

理解模型：Qwen2VL

版本说明

安装

快速上手

特性/模型介绍

已支持特性概览

配套版本与支持模型

常用参数解释说明

特性规划

工具使用

昇腾Profiling采集工具

MindStudio Insight性能分析工具

Sora类模型特征提取

内存快照提取

Tensorboard使用

版本维护

常见问题

相关资源

安全声明

免责声明

致MindSpeed MM使用者

致数据集所有者

License声明

贡献声明

1. 报告问题

2. 贡献代码流程

致谢

Contributors

Similar repos

Languages

Ascend/MindSpeed-MM

README

简介

未来规划

社区会议

加入我们

目录结构

最新消息

效果展示

文生视频： Wan 2.2 T2V

文生视频： OpensoraPlan 1.5 T2V

文生图：Qwen-Image -> 图片编辑 Flux.1-Kontext

理解模型：Qwen2VL

版本说明

安装

快速上手

特性/模型介绍

已支持特性概览

配套版本与支持模型

常用参数解释说明

特性规划

工具使用

昇腾Profiling采集工具

MindStudio Insight性能分析工具

Sora类模型特征提取

内存快照提取

Tensorboard使用

版本维护

常见问题

相关资源

安全声明

免责声明

致MindSpeed MM使用者

致数据集所有者

License声明

贡献声明

1. 报告问题

2. 贡献代码流程