SafeLaunch AI

SafeLaunch AI 是面向文本、图像和图文多模态应用的安全评测平台，提供数据集统一化、Guard 模型接入、批量评测、指标分析、错误案例复核和报告生成能力。

目录结构

SafeLaunch-AI/
├── safelaunch-ai/
│   ├── backend/          # FastAPI API、任务队列、资源发现与评测逻辑
│   ├── frontend/         # React + TypeScript 管理界面
│   └── docs/             # 核心架构说明
├── .codex_text/          # 文本数据集与 Guard Skills
├── .codex_image/         # 图像数据集与 Guard Skills
├── .codex_multimodal/    # 图文多模态数据集与 Guard Skills
└── .codex_custom/        # 自定义数据集和 Guard Endpoint Skills

核心能力

• 统一发现文本、图像和图文多模态数据集。
• 接入 WildGuard、Qwen3Guard、LlavaGuard、ShieldGemma 2、Llama Guard 4、QwenGuard 等 Guard。
• GPU 串行任务、持久化状态、取消和断点继续。
• Accuracy、Precision、Recall、Macro-F1、Unsafe F1、Safe FPR、Over-refusal 和条件 AUROC。
• False Positive、False Negative、类别不匹配和人工复核。
• 自定义数据上传和受控 HTTP Guard Endpoint 接入。

本地启动

cd safelaunch-ai

python3 -m venv .venv
source .venv/bin/activate
python -m pip install -r backend/requirements.txt

cd frontend
npm ci
npm run build
cd ..

PYTHONPATH=backend python -m app.cli init
PYTHONPATH=backend python -m uvicorn app.main:app \
  --app-dir backend --host 127.0.0.1 --port 8000

访问 http://127.0.0.1:8000。

平台默认从仓库根目录的 data/、models/ 和 results/ 读取本地资源。这些目录不随源码仓库发布，也可以通过 DATASET_ROOT、MODEL_ROOT 和 EXISTING_RESULTS_ROOT 指向外部存储。

测试

cd safelaunch-ai
source .venv/bin/activate
PYTHONPATH=backend pytest -q backend/tests

cd frontend
npm test
npm run build

数据与模型

运行具体评测前，请根据各 Skill 的 SKILL.md 和 README.md 获取对应数据集与模型，并遵守原始项目的授权和许可证要求。