🎙️ DeepLearning-Phoneme

Riconoscimento fonetico IPA da audio con architettura Ensemble (WavLM + XLS-R)

Sistema di Automatic Phoneme Recognition (APR) e Pronunciation Scoring per speaker non-nativi, basato su ensemble di modelli WavLM e XLS-R con Late Fusion.

---

📚 Documentazione

La documentazione completa del progetto è disponibile nella cartella docs/:

• 🦁 Model Zoo: Dettagli su tutti i modelli implementati (WavLM, HuBERT, Whisper, SpeechTokenizer, Qwen2-Audio, MMS).
• 🏗️ Architecture Details: Approfondimenti tecnici su Weighted Layer Sum, Ensemble e Custom CTC Heads.
• 🧪 Benchmark Guide: Metriche, Dataset (SpeechOcean762) e protocolli di valutazione.
• 📓 Experiments Log: Diario cronologico degli esperimenti e risultati.
• 📚 References: Bibliografia e paper citati.

---

✨ Features

• Riconoscimento fonemi IPA da audio inglese
• Ensemble SOTA con WavLM + XLS-R e Late Fusion
• Weighted Layer Sum per combinazione ottimale dei layer
• Benchmark scientifico su SpeechOcean762 (speaker non-nativi)
• Supporto multi-ambiente: Locale, Google Colab, Kaggle

---

🤖 Modelli Implementati

Dettagli completi: docs/MODEL_ZOO.md

Quick Start

Installazione

git clone https://github.com/maurocarlu/DeepLearning-Phoneme.git
cd DeepLearning-Phoneme
pip install -r requirements.txt

Valutazione Modelli

# Valutazione modelli standard (WavLM, HuBERT, XLS-R)
python scripts/evaluation/evaluate_speechocean.py --model-path outputs/final_model

# Valutazione SpeechTokenizer (Discrete)
python scripts/evaluation/evaluate_speechtokenizer.py --model-path outputs/speechtokenizer

Training

Vedi il notebook unificato per addestrare qualsiasi modello: notebooks/unified_trainer.ipynb

Struttura Progetto

DeepLearning-Phoneme/
├── docs/                       # 📘 DOCUMENTAZIONE COMPLETA
│   ├── MODEL_ZOO.md            # Dettagli modelli
│   ├── ARCHITECTURE_DETAILS.md # Dettagli tecnici
│   └── BENCHMARK_GUIDE.md      # Guida valutazione
├── notebooks/                  # Jupyter notebooks
├── scripts/                    # Script Python
│   ├── training/               # Script di training
│   ├── evaluation/             # Script di valutazione
│   └── data/                   # Processing dati
├── src/                        # Moduli sorgente
└── EXPERIMENTS.md              # Log risultati

Autori

Progetto universitario - Deep Learning, Magistrale Anno 2