Slayer — open Polish LLM lab

Teza: konkurencyjny polski model językowy (11–14B) da się złożyć super tanio (~15–20k zł compute), nowoczesnymi metodami, w pełni otwarcie i odtwarzalnie — i być o epsilon lepszym od punktu odniesienia. Wszystko jawne: od pomiaru po trening, bez benchmaxxingu.

🌐 Na żywo: slayer.fabryka.ai · leaderboard · pomiar na żywo

Bielik-11B-v3 jest tu punktem odniesienia (rzetelne porównanie), nie celem ataku. To niezależny, komplementarny lab — więcej prób na bramkę dla całej polskiej sceny AI.

---

Aktualny wynik — Bielik-11B-v3 vs Qwen3.5-9B

Pomiar Fazy 0 (baseline). Oba modele: 4-bit GGUF, ollama @ RTX 3090, deterministycznie, mierzone czysto (agregaty, zero inspekcji itemów), wiele seedów.

Stan: Bielik 1 : 8 Qwen3.5-9B (9 ważnych osi). INCLUDE-44: loader naprawiony (PR #20 - mapowanie gold 0-based) i z powrotem w narzędziach leaderboardu. Wraca do tej tabeli po pełnym re-runie Fazy 0; dotąd tylko pilotaż n=50 (Bielik 70 / Qwen 64), za mały na headline.

Wniosek: Qwen3.5-9B jest wyraźnie mocniejszy (zwłaszcza rozumowanie EN), a wąsko wygrywa na większości osi polskich. Bielik trzyma jedynie LLMzSzŁ (egzaminy państwowe/zawodowe PL) — czyli dokładnie oś naszego targetu urzędniczo-prawniczego. Decyzja: baza = Qwen3.5-9B + polska specjalizacja.

---

Zasada czystości (no benchmaxxing)

• Zbiory ewaluacyjne (LLMzSzŁ, PES, PoQuAD, Belebele, FLORES, regresja EN) służą wyłącznie do pomiaru — nigdy w treningu.
• Zdolności budujemy na niezależnych danych; benchmark tylko weryfikuje uogólnienie na held-out.
• Mierzymy tylko publiczne, pobieralne, deterministyczne zbiory. Zamknięte (EQ-Bench, CPTUB, PLCC) — osobno.
• Korpusy treningowe przechodzą dekontaminację względem zbiorów testowych.

Strategia treningu — tańsza ścieżka vs Bielik

Bielik-11B-v3 (raport techniczny) trenowano pełnym, kosztownym pipeline'em: Mistral 7B → Depth Up-Scaling → CPT ~1.1T tokenów → SFT (~20M instrukcji) → DPO/DPO-P (114k) → GRPO/RLVR (143k, weryfikatory matma/STEM-MCQ/tool-use). Tokenizera PL nie rozszerzano; pary preferencji generowano m.in. DeepSeek-V3.

Nasza teza „super tanio + epsilon": startujemy z Qwen3.5-9B (bije Bielika 8:1 wg leaderboardu) → pomijamy najdroższy etap (CPT) → tani QLoRA SFT + GRPO/RLVR z weryfikatorem MCQ, celowany w jedyną oś Bielika (LLMzSzŁ) i prawo/administrację. Generowanie danych: DeepSeek (jak Bielik). Pełna metodyka: /trening.

Licencja bazy: Qwen3.5-9B jest na Apache 2.0 — wolno komercyjnie używać, fine-tunować i otwarcie wydać pochodną (z zachowaniem noty licencyjnej), bez klauzul typu MAU. Kompromis: bazujemy na zagranicznych wagach (mniejsza suwerenność łańcucha niż własna baza Bielika), ale trening/hosting w PL i pełna jawność receptury.

Reprodukcja

Wymagania: ollama, Python 3.10+. pip install -e . (lub uv sync).

Wyniki benchmarków trafiają do ~/bench_results (lub export BENCH_OUT=/ścieżka/do/wyników).

ollama pull qwen3.5:9b
ollama pull hf.co/speakleash/Bielik-11B-v3.0-Instruct-GGUF:Q4_K_M

# pojedynczy benchmark (MCQ): bench <nazwa> <N|0=full> <seed>
python3 bench/bench_mcq.py llmzszl 400 42
python3 bench/bench_poquad.py 1000 42      # PoQuAD + sędzia-LLM
python3 bench/bench_flores.py 600 42       # FLORES (gated — wymaga HF_TOKEN)

# pełna kolejka + dashboard
bash bench/run_all.sh
python3 bench/make_dashboard.py            # -> results/leaderboard.json

Struktura

bench/        harness ewaluacyjny (MCQ, PoQuAD+judge, FLORES, GSM8K), orkiestrator, dashboard
results/      wyniki (leaderboard.json, status.json)
*.html        strona (slayer.fabryka.ai) — modularny system: assets/lab.css + assets/site.js

Współpraca

Szukamy ludzi: dane (korpusy prawno-urzędowe), ewaluacje, trening (SFT/DPO/GRPO), infra — oraz firm (use case) i fundatorów compute.

• 📋 Zadania od początkujących · 🧪 Metody treningu
• ✍️ Dołącz / zapisz się · Discord

Licencja

MIT — patrz LICENSE. Wyniki i metodyka są otwarte.