OAITT - Open AI Transformer Transcriber

Сервис распознавания речи на GigaAM с OpenAI-совместимым API.

Две реализации одного API: сервис на Python и нативная сборка на Swift и MLX для Apple Silicon, упакованная в приложение строки меню.

English: README.en.md

Что выбрать

API у них одинаковый, поэтому одну можно заменить другой, не трогая клиентов.

Быстрый старт

make            # список всех команд
make prepare    # окружение и веса GigaAM MLX
make run        # Python-сервис на 9007
make app-run    # приложение для macOS

curl -X POST http://localhost:9007/v1/audio/transcriptions \
  -H "Authorization: Bearer key" \
  -F "[email protected]" \
  -F "response_format=verbose_json"

Приложение для macOS

Держит воркеры отдельными процессами и перезапускает упавшие, показывает живую статистику и график запросов, пишет лог с ротацией, умеет копить датасет для дообучения. Подробности - docs/macos-app.md.

Возможности

• Десять ASR движков: GigaAM Native, GigaAM MLX, GigaAM Swift (CTC и RNNT), GigaAM Multilingual MLX (Apple Silicon), Parakeet TDT v3 (25 языков, word timestamps), onnx-asr (ONNX Runtime, CPU - amd64 и arm64), GigaAM via HF, Hugging Face Transformers и WhisperX
• Пять языков: GigaAM Multilingual - русский, английский, казахский, киргизский, узбекский. WER на FLEURS: 3.0% русский, 4.4% казахский, 5.6% киргизский, 7.3% узбекский
• OpenAI-совместимый API: Drop-in замена для OpenAI Whisper API
• Точные временные метки: На уровне слов (с WhisperX)
• Метрики уверенности: Оценка качества транскрипции
• Адаптивные таймауты: Защита от зависания модели
• Apple Silicon: Поддержка MPS для Mac
• Множество форматов: JSON, текст, SRT, VTT, TSV
• Высокая производительность: До 320x realtime с GigaAM Native на Apple Silicon

---

Производительность

MacBook Pro M4 Max, 137.4 с аудио, xRT - во сколько раз быстрее реального времени.

Swift быстрее на одном запросе и держит куда более ровную задержку - разброс p50 к max 6% против 4.5x, - и тратит в 2.2 раза меньше unified memory. Но внутри процесса он не масштабируется, поэтому пропускная способность там набирается процессами: 144x, 263x, 369x на одном, двух и четырёх.

Качество на Golos после нормализации чисел: 4.38% WER у RNNT, 5.08% у CTC.

Полные замеры, включая проверенные и отвергнутые идеи - docs/benchmarks.md.

Документация

Лицензия

MIT License

Copyright (c) 2025 Andrey Sobolev ([email protected])

---

Благодарности

GigaAM Team

Особая благодарность команде SberDevices / Salute за создание и открытый доступ к модели GigaAM — высококачественной модели распознавания русской речи:

• Организация: SberDevices
• Репозиторий: github.com/salute-developers/GigaAM
• Hugging Face: huggingface.co/ai-sage/GigaAM-v3
• Лицензия: MIT

GigaAM обеспечивает:

• Высокое качество распознавания русской речи
• Поддержку пунктуации (модели e2e)
• Высокую скорость работы (~320x realtime)
• Поддержку длинных аудио через VAD-сегментацию

OpenAI Whisper

Благодарность команде OpenAI за модели Whisper, которые послужили основой для OpenAI-совместимого API.

Hugging Face

Благодарность Hugging Face за библиотеку Transformers и инфраструктуру для распространения моделей.

---

Contributing

Contributions are welcome! Please feel free to submit a Pull Request.

---

OAITT — Open AI Transformer Transcriber
Copyright (c) 2025 Andrey Sobolev ([email protected])
Made with for the speech recognition community