LALMsArena

An Open-Source Benchmark & Playground for Large Audio-Language Models

LALMsArena は、次世代の「Large Audio-Language Models」をサイド・バイ・サイドで比較・評価するためのオープンソース・プレイグラウンドです。 ASR（文字起こし）を介さず、音声を直接「理解」するモデル（Large Audio LLMs）が、会話、環境音、感情、音楽をどのように推論するかを、開発者が直感的に検証・ベンチマークできる環境を提供します。

---

🚀 Key Features

• Side-by-Side Comparison: 同一の音声ファイルとプロンプトに対し、複数のAudio LLMが生成した回答を並べて比較。
• Large Audio Understanding: 音声信号を直接入力可能なモデル（Large Audio LLMs）に特化。
• Diverse Tasks: 音声要約、感情分析、背景音の特定、音楽の解釈など、多角的なテストが可能。
• Extensible Architecture: 新しいオープンソースモデルや商用APIを簡単に追加できるプラグイン構造。

🎧 Supported Models

Think / Thinking モデルは推論過程（<think>...</think>）を UI 上の「思考過程」エキスパンダーで確認できます。

⚠️ SALMONN-13B は BEATs の事前学習済みチェックポイント（BEATs_iter3_plus_AS2M.pt）を手動でダウンロードして SALMONN_BEATS_PATH 環境変数に設定する必要があります。詳細は 起動方法 を参照してください。

⚠️ Nemotron-Labs-Audex-30B-A3B は NVIDIA Oneway Noncommercial License の対象です。利用前に Hugging Face のモデルカードでライセンス条件を確認してください。

🛠 Installation

Python 3.11 と uv が必要です。

HuggingFace キャッシュの場所
デフォルトでは /workspace/.cache/huggingface にキャッシュが保存されます。
大容量の外部ストレージを使いたい場合は .devcontainer/devcontainer.json のコメントアウトされたマウント行を参照してください。

# リポジトリのクローン
git clone https://github.com/kasahart/LALMsArena.git
cd LALMsArena

# 依存関係のインストール
uv sync --frozen

🏃‍♂️ Quick Start

LALMsArena は 各モデルを独立した Docker コンテナで動かし、Streamlit UI からコンテナの推論 API を呼び出す構成です。

1. 推論コンテナの起動

各コンテナの Python 依存関係は Dockerfile の build 時にモデルごとの専用環境へインストールされます。初回起動時や依存関係を更新した後は、必要に応じて docker compose build を実行してください。

GPU 環境（推奨）:

# 必要なら先に build
docker compose -f docker-compose.yml -f docker-compose.gpu.yml build qwen2-audio

# 全モデルを起動（大型モデルを除く）
docker compose -f docker-compose.yml -f docker-compose.gpu.yml up -d \
  qwen2-audio audio-flamingo audio-flamingo-captioner audio-flamingo-think \
  gemma4-e4b gemma4-12b moss-4b moss-8b moss-8b-thinking mimo-audio mimo-audio-thinking

# Qwen3-Omni（~61-68 GB VRAM 必要、3バリアント）
docker compose -f docker-compose.yml -f docker-compose.gpu.yml up -d \
  qwen3-omni qwen3-omni-captioner qwen3-omni-thinking

# 特定のモデルだけ起動
docker compose -f docker-compose.yml -f docker-compose.gpu.yml up -d qwen2-audio

Audio-Omni（~24 GB VRAM 必要）:

docker compose -f docker-compose.yml -f docker-compose.gpu.yml up -d audio-omni

Nemotron-Nano-Omni-Reasoning（~61 GB VRAM 必要）:

# vLLM サイドカー + FastAPI プロキシの2コンテナ構成
docker compose -f docker-compose.yml -f docker-compose.gpu.yml up -d nemotron-vllm nemotron-omni-reasoning

Nemotron-Labs-Audex-30B-A3B（~92 GB VRAM 必要）:

# vLLM サイドカー + FastAPI プロキシの2コンテナ構成
docker compose -f docker-compose.yml -f docker-compose.gpu.yml up -d audex-vllm audex-30b-a3b

Step-Audio-R1.1（~80 GB VRAM 必要）:

# vLLM サイドカー + FastAPI プロキシの2コンテナ構成
docker compose -f docker-compose.yml -f docker-compose.gpu.yml up -d step-audio-vllm step-audio-r1

SALMONN-13B（要 SALMONN_BEATS_PATH 環境変数）:

SALMONN_BEATS_PATH=/path/to/BEATs_iter3_plus_AS2M.pt \
  docker compose -f docker-compose.yml -f docker-compose.gpu.yml --profile salmonn up -d salmonn-13b

2. サービス一覧

コンテナの起動状態はヘルスチェックで確認できます。

docker compose ps
# または個別に確認
curl http://localhost:8600/health

3. Streamlit UI の起動

uv run streamlit run app.py

起動後、ブラウザで http://localhost:8501 にアクセスしてください。
サイドバーに各コンテナの稼働状態（🟢/🔴）と必要 VRAM が表示されます。

コンテナのホストを変更する場合 は環境変数 ARENA_API_BASE で上書きできます。
例: ARENA_API_BASE=http://192.168.1.10 uv run streamlit run app.py

📊 Evaluation Metrics

各モデルの推論結果とあわせて以下のメトリクスを UI 上で確認できます。

• Inference Latency: サーバー側での推論時間（ms）をレスポンスごとに表示

---

📜 License

MIT License