GPT-2 Implementations

Collection d'implémentations GPT-2 en Python et Rust pour comparer différentes stratégies d'optimisation.

Implémentations

Python

Rust

Benchmarks

Voir BENCHMARKS.md pour une analyse détaillée.

Résumé (GPT-2 base, Apple Silicon)

Usage

Lancer les benchmarks

./test-engines.sh                              # benchmark tous les engines
./test-engines.sh --list                       # lister engines/modèles disponibles
./test-engines.sh -e pytorch-gpt2-kvcache      # engine spécifique
./test-engines.sh -m openai-community/gpt2-xl  # modèle spécifique
./test-engines.sh --all                        # tous les modèles

Tester un engine individuellement

Python:

source .venv/bin/activate
cd pytorch-gpt2-kvcache
python main.py "Once upon a time" --model openai-community/gpt2 --profile

Rust:

cd gpt2-rs-threads-crossbeam
cargo build --release
./target/release/gpt2-rs-threads-crossbeam \
    --model ~/models/openai-community/gpt2 \
    --prompt "Once upon a time" \
    --max-tokens 30 \
    --profile

Setup

Télécharger les modèles

./download-models.sh

Environnement Python

python3 -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt

Build Rust

cd gpt2-rs-threads-crossbeam
cargo build --release

Modèles supportés

• GPT-2 (124M) - 523 MB
• GPT-2 Medium (355M) - 1.4 GB
• GPT-2 Large (774M) - 3.0 GB
• GPT-2 XL (1.5B) - 6.0 GB

Format: Hugging Face avec model.safetensors.