Прототип ИИ-персонажа для онлайн-трансляций: играет в Minecraft, читает чат и отвечает голосом
1
stars
1
commits
Python
primary language
Aug 24, 2026
updated
README
NetTyan
Прототип ИИ-персонажа для онлайн-трансляций: играет в Minecraft, читает чат и отвечает голосом. Обёртка над языковой моделью плюс инструменты вокруг неё — распознавание речи, синтез речи, сбор сообщений с площадок, модерация текста, аватар.
Проект исследовательский. Это не готовый продукт и не «платформа»: набор частей, которые собираются в работающего персонажа, если потратить вечер на настройку.
Что внутри
| Часть | Где | Что делает |
|---|---|---|
| Агент | src/agent/ | логика поведения поверх языковой модели, реакции, промпты |
| Персонаж | src/character/ | характер, эмоции, подбор голосовых реплик |
| Синтез речи | src/tts/, docker/tts/ | Fish TTS в контейнере либо простой сервер на vosk |
| Распознавание речи | docker/stt/ | sherpa-onnx, определение речи (VAD), потоковая расшифровка |
| Сбор сообщений | src/data_collectors/ | YouTube, Twitch, Trovo, донаты |
| Модерация | docker/filter/ | фильтрация текста, транслитерация, словари |
| Хранилище | src/data_flow/ | модели, слой доступа к данным, миграции |
| Аватар | src/live2d/, src/front/ | Live2D и вывод на трансляцию |
| Игра | внешний мод UnionClef | управление персонажем в Minecraft |
Быстрый старт
nettyan -rof
Это для случая, когда всё уже настроено. С нуля — по документации ниже, там по шагам: окружение, конфигурация, запуск.
Минимум, который нужен до первого запуска: ffmpeg, Python-окружение,
заполненный .env. Для синтеза речи и фильтрации — Docker. Под Windows
запускать напрямую, не через WSL: со звуковыми устройствами в WSL начинаются
танцы с бубном.
Документация
Актуальная версия: https://3ndetz.github.io/NetTyan/
Если у вас другая ветка или старая версия — смотрите docs/help/, там
документация ровно для вашей версии.
Старый README с подробными инструкциями для локального развёртывания — README_OLD.md.
Что входит в поставку
Проект запускается из коробки: голосовые образцы персонажа и звуковые сигналы
интерфейса лежат в репозитории. Всё это сделано самим проектом — сигналы
синтезированы скриптом tools/make_fx_sounds.py, реплики диктора и образцы
голоса получены синтезом речи. Чужих сэмплов в репозитории нет.
Образцы голоса стандартные и одинаковые для всех, кто склонировал репозиторий, — свой персонаж начинается с их замены, см. Свои звуки и голос.
Реальных данных пользователей в репозитории нет: пример контекста чата в
data/debug/ctx_chat.json выдуман целиком, а база модерации не входит в
поставку и создаётся на вашей стороне.
Происхождение
Вырос из NeuroDeva — предыдущего проекта того же автора. Часть решений и кода перекочевала оттуда.
Участники и история
Проект писали несколько человек, список — в AUTHORS.
Здесь опубликован снимок кода, а не история разработки: она велась с ноября 2024 года в закрытом репозитории и осталась там. Так что один коммит в этой ветке — не «проект за вечер», а результат работы нескольких человек за полтора года. Кто что делал, перечислено в AUTHORS.
Лицензия
MIT, см. LICENSE.
Оговорка про ресурсы: звуковые файлы в resources/ собирались для внутренних
экспериментов и лицензией проекта не покрываются. Если планируете использовать
проект публично — замените их своими.
Contributors
1 commits
Similar repos
Languages
Python
71.5%
Jupyter Notebook
27.2%
Прототип ИИ-персонажа для онлайн-трансляций: играет в Minecraft, читает чат и отвечает голосом
1
stars
1
commits
Python
primary language
Aug 24, 2026
updated
README
NetTyan
Прототип ИИ-персонажа для онлайн-трансляций: играет в Minecraft, читает чат и отвечает голосом. Обёртка над языковой моделью плюс инструменты вокруг неё — распознавание речи, синтез речи, сбор сообщений с площадок, модерация текста, аватар.
Проект исследовательский. Это не готовый продукт и не «платформа»: набор частей, которые собираются в работающего персонажа, если потратить вечер на настройку.
Что внутри
| Часть | Где | Что делает |
|---|---|---|
| Агент | src/agent/ | логика поведения поверх языковой модели, реакции, промпты |
| Персонаж | src/character/ | характер, эмоции, подбор голосовых реплик |
| Синтез речи | src/tts/, docker/tts/ | Fish TTS в контейнере либо простой сервер на vosk |
| Распознавание речи | docker/stt/ | sherpa-onnx, определение речи (VAD), потоковая расшифровка |
| Сбор сообщений | src/data_collectors/ | YouTube, Twitch, Trovo, донаты |
| Модерация | docker/filter/ | фильтрация текста, транслитерация, словари |
| Хранилище | src/data_flow/ | модели, слой доступа к данным, миграции |
| Аватар | src/live2d/, src/front/ | Live2D и вывод на трансляцию |
| Игра | внешний мод UnionClef | управление персонажем в Minecraft |
Быстрый старт
nettyan -rof
Это для случая, когда всё уже настроено. С нуля — по документации ниже, там по шагам: окружение, конфигурация, запуск.
Минимум, который нужен до первого запуска: ffmpeg, Python-окружение,
заполненный .env. Для синтеза речи и фильтрации — Docker. Под Windows
запускать напрямую, не через WSL: со звуковыми устройствами в WSL начинаются
танцы с бубном.
Документация
Актуальная версия: https://3ndetz.github.io/NetTyan/
Если у вас другая ветка или старая версия — смотрите docs/help/, там
документация ровно для вашей версии.
Старый README с подробными инструкциями для локального развёртывания — README_OLD.md.
Что входит в поставку
Проект запускается из коробки: голосовые образцы персонажа и звуковые сигналы
интерфейса лежат в репозитории. Всё это сделано самим проектом — сигналы
синтезированы скриптом tools/make_fx_sounds.py, реплики диктора и образцы
голоса получены синтезом речи. Чужих сэмплов в репозитории нет.
Образцы голоса стандартные и одинаковые для всех, кто склонировал репозиторий, — свой персонаж начинается с их замены, см. Свои звуки и голос.
Реальных данных пользователей в репозитории нет: пример контекста чата в
data/debug/ctx_chat.json выдуман целиком, а база модерации не входит в
поставку и создаётся на вашей стороне.
Происхождение
Вырос из NeuroDeva — предыдущего проекта того же автора. Часть решений и кода перекочевала оттуда.
Участники и история
Проект писали несколько человек, список — в AUTHORS.
Здесь опубликован снимок кода, а не история разработки: она велась с ноября 2024 года в закрытом репозитории и осталась там. Так что один коммит в этой ветке — не «проект за вечер», а результат работы нескольких человек за полтора года. Кто что делал, перечислено в AUTHORS.
Лицензия
MIT, см. LICENSE.
Оговорка про ресурсы: звуковые файлы в resources/ собирались для внутренних
экспериментов и лицензией проекта не покрываются. Если планируете использовать
проект публично — замените их своими.
Similar repos
Contributors
1 commits
Languages
Python
71.5%
Jupyter Notebook
27.2%