dolly-vn/viterbox

Model

🎙️ Viterbox

19

14 commits

3 linked in READMEs

updated Dec 26, 2025

See the code

README

🎙️ Viterbox

Vietnamese Text-to-Speech với Zero-shot Voice Cloning

License: CC BY-NC 4.0 Python 3.10+ PyTorch


📖 Giới thiệu

Viterbox là mô hình Text-to-Speech (TTS) tiếng Việt chất lượng cao, được fine-tune từ Chatterbox của Resemble AI.

✨ Tính năng chính

  • 🇻🇳 Tiếng Việt tự nhiên: Phát âm chuẩn, ngữ điệu tự nhiên, hỗ trợ đầy đủ dấu thanh
  • 🎯 Zero-shot Voice Cloning: Clone giọng nói chỉ với 3-10 giây audio mẫu
  • 🌍 Đa ngôn ngữ: Hỗ trợ tiếng Việt và 23 ngôn ngữ khác
  • ⚡ Inference nhanh: Tối ưu GPU với mixed precision (FP16)
  • 📝 Văn bản dài: Tự động chia câu, ghép audio mượt mà với crossfade

Thông số kỹ thuật

Thuộc tínhGiá trị
Sample Rate24,000 Hz
Audio FormatMono, 16-bit
Vocabulary Size2,549 tokens
Max Text Length2,048 tokens
Max Audio Length~40 giây

📚 Training Data

Model được fine-tune trên 3,000+ giờ dữ liệu tiếng Việt chất lượng cao:

DatasetMô tảThời lượngSpeakers
ViVoiceDữ liệu giọng đọc đa dạng, nhiều vùng miền~1,000h500+
PhoAudiobookSách nói tiếng Việt, giọng chuyên nghiệp~1,200h100+
Dolly-AudioDữ liệu nội bộ, đa phong cách~800h200+

Base Model

  • Chatterbox Multilingual by Resemble AI
  • Pretrained trên 23 ngôn ngữ: Arabic, Chinese, Danish, Dutch, English, Finnish, French, German, Greek, Hebrew, Hindi, Italian, Japanese, Korean, Malay, Norwegian, Polish, Portuguese, Russian, Spanish, Swahili, Swedish, Turkish
  • Vocabulary mở rộng thêm tokens cho tiếng Việt

🚀 Quick Start

Cài đặt

Hoặc từ source:

git clone https://github.com/iamdinhthuan/viterbox
cd viterbox
pip install -e .

Sử dụng cơ bản

from viterbox import Viterbox

# Load model (tự động download)
tts = Viterbox.from_pretrained("cuda")

# Generate speech
audio = tts.generate("Xin chào, tôi là Viterbox!")

# Save to file
tts.save_audio(audio, "output.wav")

Voice Cloning

# Clone voice từ audio mẫu (3-10 giây)
audio = tts.generate(
    text="Tôi có thể nói bằng giọng của bạn!",
    language="vi",
    audio_prompt="reference.wav",
    exaggeration=0.5,
    cfg_weight=0.5,
)

Xử lý văn bản dài

text = """
Việt Nam là một quốc gia nằm ở phía đông bán đảo Đông Dương.
Đất nước có hình chữ S với chiều dài hơn 1600 km.
Thủ đô Hà Nội là trung tâm văn hóa của cả nước.
"""

audio = tts.generate(
    text=text,
    language="vi",
    sentence_pause_ms=500,  # Nghỉ 0.5s giữa các câu
)

🎛️ Parameters

ParameterTypeDefaultDescription
textstrrequiredVăn bản cần đọc
languagestr"vi"Mã ngôn ngữ ("vi" hoặc "en")
audio_promptstr/PathNoneĐường dẫn audio mẫu cho voice cloning
exaggerationfloat0.5Mức độ biểu cảm (0.0-2.0)
cfg_weightfloat0.5Độ bám sát giọng mẫu (0.0-1.0)
temperaturefloat0.8Độ ngẫu nhiên (0.1-1.0)
top_pfloat0.9Top-p sampling
repetition_penaltyfloat1.2Penalty cho việc lặp từ
sentence_pause_msint500Thời gian nghỉ giữa các câu (ms)
crossfade_msint50Thời gian crossfade khi ghép audio (ms)

⚙️ System Requirements

RequirementMinimumRecommended
Python3.10+3.11+
CUDA11.8+12.0+
RAM8 GB16 GB
VRAM6 GB8 GB+

⚠️ Limitations

  • Audio mẫu nên sạch, không nhiễu, độ dài 3-10 giây
  • Chưa hỗ trợ streaming inference
  • Văn bản quá dài (>500 từ) có thể giảm chất lượng
  • Một số từ tiếng Anh trong văn bản Việt có thể phát âm chưa chuẩn

🔒 Ethical Considerations

Intended Use

  • Tạo nội dung audio cho podcast, audiobook, e-learning
  • Accessibility tools cho người khiếm thị
  • Virtual assistants và chatbots
  • Nghiên cứu và phát triển TTS

Misuse Prevention

  • KHÔNG sử dụng để tạo deepfake hoặc nội dung lừa đảo
  • KHÔNG clone giọng nói mà không có sự đồng ý của chủ sở hữu
  • KHÔNG tạo nội dung vi phạm bản quyền hoặc pháp luật

📄 License

CC BY-NC 4.0 (Creative Commons Attribution-NonCommercial 4.0)

  • ✅ Sử dụng cho mục đích phi thương mại
  • ✅ Chia sẻ, sửa đổi với ghi nguồn
  • ❌ KHÔNG được sử dụng cho mục đích thương mại

Liên hệ thương mại: contextbox.ai


🙏 Acknowledgements


📧 Contact


📚 Citation

@misc{viterbox2025,
  author = {Dolly VN, ContextBoxAI},
  title = {Viterbox: Vietnamese Text-to-Speech with Voice Cloning},
  year = {2025},
  publisher = {HuggingFace},
  url = {https://huggingface.co/dolly-vn/viterbox}
}
audio
chatterbox
speech-synthesis
text-to-speech
vietnamese
viterbox
viterbox-tts
voice-cloning

dolly-vn/viterbox

Model

🎙️ Viterbox

19

14 commits

3 linked in READMEs

updated Dec 26, 2025

See the code

README

🎙️ Viterbox

Vietnamese Text-to-Speech với Zero-shot Voice Cloning

License: CC BY-NC 4.0 Python 3.10+ PyTorch


📖 Giới thiệu

Viterbox là mô hình Text-to-Speech (TTS) tiếng Việt chất lượng cao, được fine-tune từ Chatterbox của Resemble AI.

✨ Tính năng chính

  • 🇻🇳 Tiếng Việt tự nhiên: Phát âm chuẩn, ngữ điệu tự nhiên, hỗ trợ đầy đủ dấu thanh
  • 🎯 Zero-shot Voice Cloning: Clone giọng nói chỉ với 3-10 giây audio mẫu
  • 🌍 Đa ngôn ngữ: Hỗ trợ tiếng Việt và 23 ngôn ngữ khác
  • ⚡ Inference nhanh: Tối ưu GPU với mixed precision (FP16)
  • 📝 Văn bản dài: Tự động chia câu, ghép audio mượt mà với crossfade

Thông số kỹ thuật

Thuộc tínhGiá trị
Sample Rate24,000 Hz
Audio FormatMono, 16-bit
Vocabulary Size2,549 tokens
Max Text Length2,048 tokens
Max Audio Length~40 giây

📚 Training Data

Model được fine-tune trên 3,000+ giờ dữ liệu tiếng Việt chất lượng cao:

DatasetMô tảThời lượngSpeakers
ViVoiceDữ liệu giọng đọc đa dạng, nhiều vùng miền~1,000h500+
PhoAudiobookSách nói tiếng Việt, giọng chuyên nghiệp~1,200h100+
Dolly-AudioDữ liệu nội bộ, đa phong cách~800h200+

Base Model

  • Chatterbox Multilingual by Resemble AI
  • Pretrained trên 23 ngôn ngữ: Arabic, Chinese, Danish, Dutch, English, Finnish, French, German, Greek, Hebrew, Hindi, Italian, Japanese, Korean, Malay, Norwegian, Polish, Portuguese, Russian, Spanish, Swahili, Swedish, Turkish
  • Vocabulary mở rộng thêm tokens cho tiếng Việt

🚀 Quick Start

Cài đặt

Hoặc từ source:

git clone https://github.com/iamdinhthuan/viterbox
cd viterbox
pip install -e .

Sử dụng cơ bản

from viterbox import Viterbox

# Load model (tự động download)
tts = Viterbox.from_pretrained("cuda")

# Generate speech
audio = tts.generate("Xin chào, tôi là Viterbox!")

# Save to file
tts.save_audio(audio, "output.wav")

Voice Cloning

# Clone voice từ audio mẫu (3-10 giây)
audio = tts.generate(
    text="Tôi có thể nói bằng giọng của bạn!",
    language="vi",
    audio_prompt="reference.wav",
    exaggeration=0.5,
    cfg_weight=0.5,
)

Xử lý văn bản dài

text = """
Việt Nam là một quốc gia nằm ở phía đông bán đảo Đông Dương.
Đất nước có hình chữ S với chiều dài hơn 1600 km.
Thủ đô Hà Nội là trung tâm văn hóa của cả nước.
"""

audio = tts.generate(
    text=text,
    language="vi",
    sentence_pause_ms=500,  # Nghỉ 0.5s giữa các câu
)

🎛️ Parameters

ParameterTypeDefaultDescription
textstrrequiredVăn bản cần đọc
languagestr"vi"Mã ngôn ngữ ("vi" hoặc "en")
audio_promptstr/PathNoneĐường dẫn audio mẫu cho voice cloning
exaggerationfloat0.5Mức độ biểu cảm (0.0-2.0)
cfg_weightfloat0.5Độ bám sát giọng mẫu (0.0-1.0)
temperaturefloat0.8Độ ngẫu nhiên (0.1-1.0)
top_pfloat0.9Top-p sampling
repetition_penaltyfloat1.2Penalty cho việc lặp từ
sentence_pause_msint500Thời gian nghỉ giữa các câu (ms)
crossfade_msint50Thời gian crossfade khi ghép audio (ms)

⚙️ System Requirements

RequirementMinimumRecommended
Python3.10+3.11+
CUDA11.8+12.0+
RAM8 GB16 GB
VRAM6 GB8 GB+

⚠️ Limitations

  • Audio mẫu nên sạch, không nhiễu, độ dài 3-10 giây
  • Chưa hỗ trợ streaming inference
  • Văn bản quá dài (>500 từ) có thể giảm chất lượng
  • Một số từ tiếng Anh trong văn bản Việt có thể phát âm chưa chuẩn

🔒 Ethical Considerations

Intended Use

  • Tạo nội dung audio cho podcast, audiobook, e-learning
  • Accessibility tools cho người khiếm thị
  • Virtual assistants và chatbots
  • Nghiên cứu và phát triển TTS

Misuse Prevention

  • KHÔNG sử dụng để tạo deepfake hoặc nội dung lừa đảo
  • KHÔNG clone giọng nói mà không có sự đồng ý của chủ sở hữu
  • KHÔNG tạo nội dung vi phạm bản quyền hoặc pháp luật

📄 License

CC BY-NC 4.0 (Creative Commons Attribution-NonCommercial 4.0)

  • ✅ Sử dụng cho mục đích phi thương mại
  • ✅ Chia sẻ, sửa đổi với ghi nguồn
  • ❌ KHÔNG được sử dụng cho mục đích thương mại

Liên hệ thương mại: contextbox.ai


🙏 Acknowledgements


📧 Contact


📚 Citation

@misc{viterbox2025,
  author = {Dolly VN, ContextBoxAI},
  title = {Viterbox: Vietnamese Text-to-Speech with Voice Cloning},
  year = {2025},
  publisher = {HuggingFace},
  url = {https://huggingface.co/dolly-vn/viterbox}
}
audio
chatterbox
speech-synthesis
text-to-speech
vietnamese
viterbox
viterbox-tts
voice-cloning