Video Retrieval для OKKO

Система семантического поиска по видеоконтенту для онлайн-кинотеатра OKKO. По текстовому запросу на русском или английском языке система находит 5 наиболее релевантных видеофрагментов с точными таймкодами.

Решение создано в рамках Master Hackathon ML 2026 — кейс OKKO.

Команда — Ленивые Голубцы

Результат

Лучший score на leaderboard: 0.429

• Последний локальный FinalScore: 0.429 в той же retrieval-family; leaderboard для этого probe ещё не зафиксирован
• 1892 запроса обработаны за 210 секунд в режиме полного качества
• Инференс полностью локальный, без обращения к внешним API

Как работает система

flowchart LR
    A[Видео] --> B[Распознавание речи]
    A --> B2[Распознавание текста на экране]
    B --> C[Нарезка на фрагменты]
    C --> D[Векторная индексация]
    D --> E[Многоканальный поиск]
    B2 --> E
    E --> F[Top-5 фрагментов]

Работа системы разделена на два этапа.

Предобработка (выполняется один раз заранее):

1. Аудиодорожки видео преобразуются в текст моделями распознавания речи — Parakeet TDT для английского языка, GigaAM v3 для русского
2. С видеокадров считывается текст, отображаемый на экране (субтитры, надписи, титры)
3. Полученные транскрипты разбиваются на фрагменты длиной 60 секунд с шагом 20 секунд
4. Каждый фрагмент кодируется в числовой вектор моделью Qwen3-Embedding-4B

Поиск:

1. Текстовый запрос кодируется в вектор моделью Qwen3-Embedding-4B
2. Запускается параллельный поиск по нескольким каналам: семантический (по смыслу), лексический (по совпадению слов), по тематике видео и по экранному тексту
3. Результаты каналов объединяются, дубликаты из одного видео удаляются
4. Возвращаются 5 лучших фрагментов с таймкодами

Подробное описание архитектуры и каждого компонента: docs/architecture.md.

Материалы

История результатов

Система прошла 5 итераций разработки. Прогресс по leaderboard:

Полная таблица с локальными метриками и анализом экспериментов: docs/architecture.md.

Быстрый старт

# Установка зависимостей
uv sync

# Построение индекса (требуется GPU)
uv run python -m v5.cli index \
  --corpus-root dataset/video-rag \
  --prepared-transcripts dataset/audio_text_segments.parquet \
  --transcript-strategy manifest \
  --fragment-generation-strategy fixed_windows \
  --retrieval-backend dense_flat \
  --text-model-name output/models/Qwen3-Embedding-4B \
  --text-encoder-backend vllm \
  --trust-remote-code \
  --text-batch-size 1 \
  --text-max-seq-length 512 \
  --text-device cuda \
  --vllm-gpu-memory-utilization 0.70 \
  --index output/index.pkl

# Поиск
uv run python -m v5.cli search \
  --index output/index.pkl \
  --query "парень раскинул руки на корабле"

# Генерация submission
uv run python -m v5.cli submit \
  --index output/index.pkl \
  --queries dataset/video-rag/test/test.csv \
  --output output/submission.csv

Подробные инструкции и альтернативные конфигурации: docs/v5.md.

Стек технологий

Структура репозитория

v5/                 — основной код системы (production)
demo/               — интерактивное веб-демо
presentation/       — презентация и видео-демо
docs/               — техническая документация
eda/                — исследование данных
dataset/            — данные (видео, аудио, транскрипты)
tests/              — тесты
v1/, v2/, v3/, v4/  — предыдущие итерации (архив)