---

license: apache-2.0
language:

• ru
• kk
  base_model: Qwen/Qwen2.5-3B
  tags:
• history
• kazakhstan
• qlora
• fine-tuned
• text-generation
  pipeline_tag: text-generation

---

Qwen2.5-3B История Казахстана 🇰🇿

Модель fine-tuned на учебнике истории Казахстана (11 класс) с использованием QLoRA.

Использование

from transformers import AutoModelForCausalLM, AutoTokenizer                                                                
                                                                                                                            
model = AutoModelForCausalLM.from_pretrained("rsyrlybay/qwen2.5-3b-history-kazakhstan")                                 
tokenizer = AutoTokenizer.from_pretrained("rsyrlybay/qwen2.5-3b-history-kazakhstan")                                    
                                                                                                                            
messages = [                                                                                                                
    {"role": "system", "content": "Ты — эксперт по истории Казахстана."},                                                   
    {"role": "user", "content": "Кто основал Казахское ханство?"}                                                           
]                                                                                                                           
                                                                                                                            
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)                                  
inputs = tokenizer([text], return_tensors="pt")                                                                             
outputs = model.generate(**inputs, max_new_tokens=200)                                                                      
print(tokenizer.decode(outputs[0], skip_special_tokens=True))                                                               
                                                                                                                            
Детали обучения                                                                                                             
┌────────────┬─────────────┐                                                                                                
│  Параметр  │  Значение   │                                                                                                
├────────────┼─────────────┤                                                                                                
│ Base model │ Qwen2.5-3B  │                                                                                                
├────────────┼─────────────┤                                                                                                
│ Method     │ QLoRA       │                                                                                                
├────────────┼─────────────┤                                                                                                
│ LoRA r     │ 32          │                                                                                                
├────────────┼─────────────┤                                                                                                
│ LoRA alpha │ 64          │                                                                                                
├────────────┼─────────────┤                                                                                                
│ Dataset    │ 660 Q&A пар │                                                                                                
├────────────┼─────────────┤                                                                                                
│ Epochs     │ 3           │                                                                                                
└────────────┴─────────────┘                                                                                                
Примеры вопросов                                                                                                            
                                                                                                                            
- Когда и где был найден Золотой человек?                                                                                   
- Кто такой аль-Фараби?                                                                                                     
- Что такое Жеты Жаргы?                                                                                                     
- Какие последствия имел голод 1930-х годов?