mtrocky/gm-tools

B站视频ASR转写工具 - 支持Whisper和FireRed ASR引擎,配合LLM进行文本后处理

0

stars

2

commits

Python

primary language

Nov 17, 2025

updated

README

GM Tools - 游戏内容创作工具集

多功能游戏内容创作工具集,专注于自动化内容处理和分析。

📁 项目结构

gm-tools/
├── bilibili/              # B站视频处理工具
│   ├── bilibili_asr_pipeline.py    # 主程序:下载、转写、后处理
│   ├── update_cache_paths.py       # 缓存路径更新工具
│   ├── requirements.txt            # Python依赖
│   ├── requirements_firered.txt    # FireRed ASR依赖
│   ├── data/                       # 数据和配置文件
│   │   ├── www.bilibili.com_cookies.txt   # B站登录cookie
│   │   ├── object_url.txt                 # 待处理视频URL列表
│   │   └── proper_nouns.txt               # 专有名词词典
│   ├── scripts/                    # Shell脚本
│   │   ├── batch_transcribe.sh           # 批量转写脚本
│   │   ├── batch_transcribe_v2.sh        # 批量转写脚本v2
│   │   ├── rename_existing_files.sh      # 文件重命名
│   │   ├── reprocess_transcript.sh       # 重新处理转写
│   │   └── setup_env.sh                  # 环境配置
│   ├── docs/                       # 文档
│   │   ├── README.md                     # B站工具使用说明
│   │   ├── BILIBILI_ASR_USAGE.md         # ASR详细使用文档
│   │   ├── COOKIE_SETUP.md               # Cookie配置指南
│   │   ├── USAGE_SCENARIOS.md            # 使用场景说明
│   │   └── PROJECT_STRUCTURE.md          # 项目结构说明
│   └── downloads/                  # 下载目录(视频/音频)
├── perception/             # 视觉感知工具集
│   ├── loading_page_understanding/       # 王者荣耀载入页面识别
│   │   ├── recognize_loading_page.py     # 载入页面识别脚本
│   │   ├── annotate_loading_layout.py    # ROI标注工具
│   │   ├── loading_layout_output/        # ROI配置输出
│   │   ├── loading_page_sample1.jpeg     # 示例截图
│   │   └── README.md                     # 使用说明
│   └── recog_skills/                     # 召唤师技能识别
│       ├── crop_icons.py                 # 技能图标裁剪工具
│       ├── skill_panel_1.jpg             # 技能面板截图1
│       ├── skill_panel_2.jpg             # 技能面板截图2
│       └── spell_templates/              # 技能模板输出
└── .env.example                    # 环境变量示例

🚀 快速开始

Bilibili 视频处理工具

完整的B站视频下载、ASR转写、LLM后处理工具链。

功能特性:

  • 🎬 自动下载B站视频音频(支持缓存)
  • 🎙️ 支持多种ASR引擎(Whisper、FireRed)
  • 🤖 LLM智能后处理(专有名词修正、同音字纠错)
  • 📋 自动添加章节结构
  • 🔧 灵活的流程控制和模型管理

详细文档:

快速使用:

# 进入bilibili目录
cd bilibili

# 安装依赖
pip install -r requirements.txt

# 完整流程:下载 → 转写 → 后处理
python bilibili_asr_pipeline.py run "BV号"

# 使用cookie下载付费/高清视频
python bilibili_asr_pipeline.py run "BV号" --cookies data/www.bilibili.com_cookies.txt

视觉感知工具集

基于计算机视觉的游戏界面分析工具,专注于王者荣耀游戏内容的自动识别。

功能特性:

  • 👁️ 王者荣耀载入页面识别(英雄名称 + 召唤师技能)
  • 🎯 召唤师技能面板分析和模板生成
  • 🔍 支持纯CV和混合VLM模式
  • 📐 交互式ROI标注工具

详细文档:

快速使用:

# 进入视觉感知工具目录
cd perception/loading_page_understanding

# 安装依赖
pip install -r requirements.txt

# 标注ROI区域(首次使用)
python annotate_loading_layout.py

# 识别载入页面(混合模式)
export DASHSCOPE_API_KEY="your_api_key"
python recognize_loading_page.py loading_page_sample1.jpeg --hybrid

# 技能模板生成
cd ../recog_skills
python crop_icons.py

🔍 环境检查

在开始使用前,建议运行环境检查脚本验证所有依赖:

python check_environment.py

该脚本会自动检查:

  • ✅ Python模块依赖
  • ✅ 命令行工具可用性
  • ✅ 项目文件完整性

📦 依赖安装

Conda环境(推荐)

# 激活conda环境
C:\ProgramData\miniconda3\Scripts\activate.bat C:\Users\YOUR_USER\.conda\envs\gmaster

# Bilibili工具依赖
cd bilibili
pip install -r requirements.txt

# 视觉感知工具依赖
cd ../perception/loading_page_understanding
pip install -r requirements.txt

全局安装

# Bilibili工具
cd bilibili
pip install -r requirements.txt

# 视觉感知工具
cd ../perception/loading_page_understanding
pip install -r requirements.txt

🛠️ 工具说明

Bilibili ASR Pipeline

B站视频音频下载、ASR转写、LLM后处理一体化工具。

核心功能:

  1. prepare: 准备模型(下载/链接已有模型)
  2. run: 下载Bilibili音频/视频(支持缓存)
  3. transcribe: ASR转写(Whisper/FireRed)
  4. postprocess: LLM后处理(专有名词修正)

使用示例:

# 完整流程
python bilibili_asr_pipeline.py run "BV1S7BiYDEuC"

# 仅下载
python bilibili_asr_pipeline.py run "BV1S7BiYDEuC" --skip-transcribe --skip-postprocess

# 仅转写已下载的音频
python bilibili_asr_pipeline.py transcribe --audio-path "downloads/audio_视频标题.mp3"

# 使用FireRed ASR(更准确的中文识别)
python bilibili_asr_pipeline.py run "BV号" --asr-engine firered

视觉感知工具集

基于计算机视觉和深度学习的游戏界面分析工具。

王者荣耀载入页面识别

自动识别王者荣耀游戏载入页面中的英雄信息和召唤师技能。

核心功能:

  1. ROI标注: 交互式标注英雄卡片和技能区域
  2. 英雄识别: 支持纯CV(OCR)或混合VLM模式识别英雄名称
  3. 技能识别: 基于模板匹配的召唤师技能图标识别
  4. 批量处理: 支持多张截图的批量分析

使用示例:

cd perception/loading_page_understanding

# 首次使用:标注ROI区域
python annotate_loading_layout.py

# 识别载入页面(纯CV模式)
python recognize_loading_page.py loading_page_sample1.jpeg

# 识别载入页面(混合VLM模式,推荐)
export DASHSCOPE_API_KEY="your_api_key"
python recognize_loading_page.py loading_page_sample1.jpeg --hybrid

召唤师技能模板生成

从技能面板截图中自动裁剪和生成召唤师技能图标模板。

核心功能:

  1. 圆形检测: 自动检测技能面板中的技能图标
  2. 模板裁剪: 智能裁剪技能图标并标准化尺寸
  3. 批量生成: 支持11种召唤师技能的模板生成

使用示例:

cd perception/recog_skills

# 生成技能模板
python crop_icons.py

📝 环境配置

API密钥设置

使用LLM后处理功能需要配置API密钥:

# 复制环境变量模板
cp .env.example .env

# 编辑.env文件,设置API密钥
# COPENAI_API_KEY=your-api-key-here
# COPENAI_BASE_URL=https://dashscope.aliyuncs.com/compatible-mode/v1

或使用脚本自动配置:

cd bilibili/scripts
./setup_env.sh

Cookie配置(下载付费视频)

参考 Cookie配置指南

🤝 贡献

欢迎提交Issue和Pull Request!

📄 许可证

MIT License

Contributors

agingfantasy

2 commits

mtrocky/gm-tools

B站视频ASR转写工具 - 支持Whisper和FireRed ASR引擎,配合LLM进行文本后处理

0

stars

2

commits

Python

primary language

Nov 17, 2025

updated

README

GM Tools - 游戏内容创作工具集

多功能游戏内容创作工具集,专注于自动化内容处理和分析。

📁 项目结构

gm-tools/
├── bilibili/              # B站视频处理工具
│   ├── bilibili_asr_pipeline.py    # 主程序:下载、转写、后处理
│   ├── update_cache_paths.py       # 缓存路径更新工具
│   ├── requirements.txt            # Python依赖
│   ├── requirements_firered.txt    # FireRed ASR依赖
│   ├── data/                       # 数据和配置文件
│   │   ├── www.bilibili.com_cookies.txt   # B站登录cookie
│   │   ├── object_url.txt                 # 待处理视频URL列表
│   │   └── proper_nouns.txt               # 专有名词词典
│   ├── scripts/                    # Shell脚本
│   │   ├── batch_transcribe.sh           # 批量转写脚本
│   │   ├── batch_transcribe_v2.sh        # 批量转写脚本v2
│   │   ├── rename_existing_files.sh      # 文件重命名
│   │   ├── reprocess_transcript.sh       # 重新处理转写
│   │   └── setup_env.sh                  # 环境配置
│   ├── docs/                       # 文档
│   │   ├── README.md                     # B站工具使用说明
│   │   ├── BILIBILI_ASR_USAGE.md         # ASR详细使用文档
│   │   ├── COOKIE_SETUP.md               # Cookie配置指南
│   │   ├── USAGE_SCENARIOS.md            # 使用场景说明
│   │   └── PROJECT_STRUCTURE.md          # 项目结构说明
│   └── downloads/                  # 下载目录(视频/音频)
├── perception/             # 视觉感知工具集
│   ├── loading_page_understanding/       # 王者荣耀载入页面识别
│   │   ├── recognize_loading_page.py     # 载入页面识别脚本
│   │   ├── annotate_loading_layout.py    # ROI标注工具
│   │   ├── loading_layout_output/        # ROI配置输出
│   │   ├── loading_page_sample1.jpeg     # 示例截图
│   │   └── README.md                     # 使用说明
│   └── recog_skills/                     # 召唤师技能识别
│       ├── crop_icons.py                 # 技能图标裁剪工具
│       ├── skill_panel_1.jpg             # 技能面板截图1
│       ├── skill_panel_2.jpg             # 技能面板截图2
│       └── spell_templates/              # 技能模板输出
└── .env.example                    # 环境变量示例

🚀 快速开始

Bilibili 视频处理工具

完整的B站视频下载、ASR转写、LLM后处理工具链。

功能特性:

  • 🎬 自动下载B站视频音频(支持缓存)
  • 🎙️ 支持多种ASR引擎(Whisper、FireRed)
  • 🤖 LLM智能后处理(专有名词修正、同音字纠错)
  • 📋 自动添加章节结构
  • 🔧 灵活的流程控制和模型管理

详细文档:

快速使用:

# 进入bilibili目录
cd bilibili

# 安装依赖
pip install -r requirements.txt

# 完整流程:下载 → 转写 → 后处理
python bilibili_asr_pipeline.py run "BV号"

# 使用cookie下载付费/高清视频
python bilibili_asr_pipeline.py run "BV号" --cookies data/www.bilibili.com_cookies.txt

视觉感知工具集

基于计算机视觉的游戏界面分析工具,专注于王者荣耀游戏内容的自动识别。

功能特性:

  • 👁️ 王者荣耀载入页面识别(英雄名称 + 召唤师技能)
  • 🎯 召唤师技能面板分析和模板生成
  • 🔍 支持纯CV和混合VLM模式
  • 📐 交互式ROI标注工具

详细文档:

快速使用:

# 进入视觉感知工具目录
cd perception/loading_page_understanding

# 安装依赖
pip install -r requirements.txt

# 标注ROI区域(首次使用)
python annotate_loading_layout.py

# 识别载入页面(混合模式)
export DASHSCOPE_API_KEY="your_api_key"
python recognize_loading_page.py loading_page_sample1.jpeg --hybrid

# 技能模板生成
cd ../recog_skills
python crop_icons.py

🔍 环境检查

在开始使用前,建议运行环境检查脚本验证所有依赖:

python check_environment.py

该脚本会自动检查:

  • ✅ Python模块依赖
  • ✅ 命令行工具可用性
  • ✅ 项目文件完整性

📦 依赖安装

Conda环境(推荐)

# 激活conda环境
C:\ProgramData\miniconda3\Scripts\activate.bat C:\Users\YOUR_USER\.conda\envs\gmaster

# Bilibili工具依赖
cd bilibili
pip install -r requirements.txt

# 视觉感知工具依赖
cd ../perception/loading_page_understanding
pip install -r requirements.txt

全局安装

# Bilibili工具
cd bilibili
pip install -r requirements.txt

# 视觉感知工具
cd ../perception/loading_page_understanding
pip install -r requirements.txt

🛠️ 工具说明

Bilibili ASR Pipeline

B站视频音频下载、ASR转写、LLM后处理一体化工具。

核心功能:

  1. prepare: 准备模型(下载/链接已有模型)
  2. run: 下载Bilibili音频/视频(支持缓存)
  3. transcribe: ASR转写(Whisper/FireRed)
  4. postprocess: LLM后处理(专有名词修正)

使用示例:

# 完整流程
python bilibili_asr_pipeline.py run "BV1S7BiYDEuC"

# 仅下载
python bilibili_asr_pipeline.py run "BV1S7BiYDEuC" --skip-transcribe --skip-postprocess

# 仅转写已下载的音频
python bilibili_asr_pipeline.py transcribe --audio-path "downloads/audio_视频标题.mp3"

# 使用FireRed ASR(更准确的中文识别)
python bilibili_asr_pipeline.py run "BV号" --asr-engine firered

视觉感知工具集

基于计算机视觉和深度学习的游戏界面分析工具。

王者荣耀载入页面识别

自动识别王者荣耀游戏载入页面中的英雄信息和召唤师技能。

核心功能:

  1. ROI标注: 交互式标注英雄卡片和技能区域
  2. 英雄识别: 支持纯CV(OCR)或混合VLM模式识别英雄名称
  3. 技能识别: 基于模板匹配的召唤师技能图标识别
  4. 批量处理: 支持多张截图的批量分析

使用示例:

cd perception/loading_page_understanding

# 首次使用:标注ROI区域
python annotate_loading_layout.py

# 识别载入页面(纯CV模式)
python recognize_loading_page.py loading_page_sample1.jpeg

# 识别载入页面(混合VLM模式,推荐)
export DASHSCOPE_API_KEY="your_api_key"
python recognize_loading_page.py loading_page_sample1.jpeg --hybrid

召唤师技能模板生成

从技能面板截图中自动裁剪和生成召唤师技能图标模板。

核心功能:

  1. 圆形检测: 自动检测技能面板中的技能图标
  2. 模板裁剪: 智能裁剪技能图标并标准化尺寸
  3. 批量生成: 支持11种召唤师技能的模板生成

使用示例:

cd perception/recog_skills

# 生成技能模板
python crop_icons.py

📝 环境配置

API密钥设置

使用LLM后处理功能需要配置API密钥:

# 复制环境变量模板
cp .env.example .env

# 编辑.env文件,设置API密钥
# COPENAI_API_KEY=your-api-key-here
# COPENAI_BASE_URL=https://dashscope.aliyuncs.com/compatible-mode/v1

或使用脚本自动配置:

cd bilibili/scripts
./setup_env.sh

Cookie配置(下载付费视频)

参考 Cookie配置指南

🤝 贡献

欢迎提交Issue和Pull Request!

📄 许可证

MIT License

Contributors

agingfantasy

2 commits

Languages

Python

51.3%

JavaScript

42.2%

Shell

6.5%