AutoM2M: AutoMV Reproduction and Evidence-Aware Music-to-MV Generation

本仓库整理了一个围绕 AutoMV 音乐视频生成流程的复现与改进项目。项目以 Gareth.T《紧急联络人》的 100 秒叙事 MV 为案例，重点不只是“把音乐变成视频”，而是把长视频生成中反复出现的主体一致性、时序连续性、局部编辑保持、文字/UI 可控和生成成本控制问题，转化为可检查、可回退、可迭代的工程流程。

Project Motivation

我对电影剧本、镜头语言、人物塑造和视听叙事长期感兴趣。视频生成大模型的发展，使得个人创作者可以把原本停留在脑海中的 MV 分镜、角色和情绪结构落成可观看作品。本项目选择复现并扩展 AutoMV，是因为它已经具备较成熟的音乐理解、上下文构建、角色库、关键帧生成、视频生成与 agent 协作框架；在此基础上，我尝试把较新的图像/视频生成模型、确定性后期合成和多轮审查修正流程接入到一个更可控的音乐叙事短片制作链路中。

《紧急联络人》的视觉改编不是普通前任回忆 MV，也不是灾难片。核心叙事是：男主在出发前意识到，将前女友保留为自己的最后生死通道，本身就是一种未说出口的打扰；最终他解除她作为紧急联系人的负担，把幻想收回现实。

Repository Contents

AutoM2M/
  README.md
  NOTICE.md
  automv_core/                 # AutoMV 复现相关代码骨架，不含生成结果和缓存
  emergency_contact_mv/         # 本项目 case study 的配置、脚本、分镜和审核记录
    character_bank/
    configs/
    docs/
    scripts/
    shot_plans/
  assets/
    characters/                 # 精选角色卡和角色参考
    keyframes/                  # 精选关键帧锚点
    overview/                   # 首页与报告使用的 overview / 总览图
    review_sheets/              # 关键问题修复与视觉审核图
    timeline/                   # OTIO/FCPXML 时间线和生成分镜短片
  outputs/
    AutoMV_紧急联络人_100s_MV_final_v11_20260514.mp4
  report/
    AutoMV_复现改进_期中报告_2352190_於之翔.pdf
  docs/
    PROJECT_MANIFEST.md

Key Artifacts

• Final MV: outputs/AutoMV_紧急联络人_100s_MV_final_v11_20260514.mp4
• Project report: report/AutoMV_复现改进_期中报告_2352190_於之翔.pdf
• Visual workflow overview: assets/overview/AutoMV_复现改进_visual_overview.png
• Final MV overview sheet: assets/overview/final_mv_overview.png
• Character references: assets/characters/
• Editable timeline: assets/timeline/timeline.otio, assets/timeline/timeline.fcpxml
• Public review summary: emergency_contact_mv/docs/PHASE4_REVIEW_SUMMARY.md

Method Summary

本项目把原 AutoMV 的“音乐理解 -> 上下文构建 -> 角色库 -> 关键帧 -> 视频生成 -> agent 审核 -> 成片合成”流程，改造成更适合长叙事 MV 的 preview-critic-refine 闭环：

1. 音乐与歌词预处理：结合 ASR、人工听写和时间轴修正，确定 100 秒选段与歌词入出点。
2. 创意与状态锁定：建立角色卡、围巾/手机/水杯等道具状态，明确现实、记忆、幻想三种视觉层级。
3. 生成前约束：用分镜表、prompt pack、identity contract 和 shot state 约束主体、服装、空间、道具和情绪强度。
4. 低成本试探生成：手机 UI、字幕、片头片尾等不交给视频模型生成，而用确定性图层、遮挡 mask 和后期合成控制。
5. 机器初筛与人工审片：逐镜头检查手部畸变、角色漂移、空间翻转、道具跳变、字幕时机和转场连贯性。
6. 修正决策树：优先采用 trim、短溶解、luma wipe、mask 修复、局部 overlay；只有关键帧或视频策略错误时才重跑生成。
7. 成片回归审计：在最终 100 秒时间线上检查 fps、音画同步、字幕提前量、手机 UI 可读性和结尾心理转场。

Models and Tools Used

本项目的实现不是单一模型调用，而是多模型与确定性后期的组合：

• AutoMV reproduction baseline: original AutoMV code structure under automv_core/.
• Music / lyric preprocessing: ASR, manual lyric alignment and timeline override scripts.
• Image/keyframe generation: GPT image generation and other image generation backends during exploration.
• Video generation: DashScope Wan I2V family and related I2V workflows during Phase 4.
• Post processing: Python scripts for UI/text compositing, subtitle timing, transition polish and final assembly.
• Review: structured review sheets, first/mid/last frame inspection and targeted regression checks.

Exact API keys, OSS signed URLs, original song audio and full lyric files are intentionally not included.

Reproduction Notes

The repository is meant to preserve the technical backbone and reviewable artifacts, not to redistribute the copyrighted source song.

To adapt the workflow to another song:

1. Prepare your own licensed audio and verified lyrics outside the repository.
2. Create a private .env from emergency_contact_mv/.env.example.
3. Update the song path and timeline config under emergency_contact_mv/configs/.
4. Rebuild the shot plan and prompt pack under emergency_contact_mv/shot_plans/.
5. Run the Phase 1 preprocessing scripts, then Phase 4 I2V/post-processing scripts as needed.

The shipped MV and report are provided as a course/research case study artifact. For a clean new run, replace the song, lyrics, role bank and visual references with your own material.

Rights and Scope

The original song and lyrics are owned by their respective rights holders. This repository does not include the original MP3 or complete lyric files. The included final MV is a research/course artifact demonstrating an AI-assisted music-to-video workflow. Please respect applicable copyright and platform policies before reuse or redistribution.

Author

Po1ntu04 / 於之翔
2352190@tongji.edu.cn