aiksa2090/Agentic-Swarm

๐Ÿง  Multi-Agent AI System running 100% offline using Google Gemma-4 models. 5 specialized AI agents collaborate in infinite loops for brainstorming. Features: Dynamic VRAM swapping, 4-bit NF4 quantization, WhatsApp-style RTL UI, live token streaming, AI-powered agent customization. Built with PySide6 + PyTorch + Transformers.

71

stars

4

commits

Python

primary language

Apr 19, 2026

updated

README

๐Ÿง  Agentic Swarm

ู†ุธุงู… ุฐูƒุงุก ุงุตุทู†ุงุนูŠ ู…ุชุนุฏุฏ ุงู„ูˆูƒู„ุงุก ูŠุนู…ู„ ู…ุญู„ูŠุงู‹ ุจุงู„ูƒุงู…ู„ โ€” Multi-Agent AI System Running 100% Offline

Quick Start โ€ข Requirements โ€ข Models โ€ข Usage โ€ข Architecture

Python PySide6 PyTorch CUDA Gemma-4 License Status


๐Ÿ“– ู†ุธุฑุฉ ุนุงู…ุฉ โ€” Overview

Agentic Swarm ู‡ูˆ ุชุทุจูŠู‚ ุณุทุญ ู…ูƒุชุจ ุฃุตู„ูŠ (Native Desktop Application) ู…ุจู†ูŠ ุจู€ Python ูˆ PySide6ุŒ ูŠูุฏูŠุฑ ูุฑูŠู‚ุงู‹ ู…ู† 5 ูˆูƒู„ุงุก ุฐูƒุงุก ุงุตุทู†ุงุนูŠ ูŠุนู…ู„ูˆู† ุจุดูƒู„ ุชุนุงูˆู†ูŠ ูˆู…ุชุณู„ุณู„ ููŠ ุญู„ู‚ุฉ ู„ุง ู†ู‡ุงุฆูŠุฉ ู„ู„ุนุตู ุงู„ุฐู‡ู†ูŠ ูˆุชุทูˆูŠุฑ ุงู„ุฃููƒุงุฑ.

Agentic Swarm is a native desktop application built with Python & PySide6 that orchestrates a team of 5 AI agents working collaboratively in an infinite loop for brainstorming and iterative idea development. It runs 100% offline on your local hardware using Google's Gemma-4 model family.

โœจ ุฃุจุฑุฒ ุงู„ู…ู…ูŠุฒุงุช โ€” Key Features

ุงู„ู…ูŠุฒุฉุงู„ูˆุตู
๐Ÿ”’ Offline-FirstูŠุนู…ู„ ุจุงู„ูƒุงู…ู„ ุจุฏูˆู† ุฅู†ุชุฑู†ุช ุจุนุฏ ุชุญู…ูŠู„ ุงู„ู†ู…ุงุฐุฌ
๐Ÿง  5 AI Agents5 ูˆูƒู„ุงุก ู…ุชุฎุตุตูŠู† ูŠุชุนุงูˆู†ูˆู† ููŠ ุญู„ู‚ุฉ ู„ุง ู†ู‡ุงุฆูŠุฉ
โšก 4-bit Quantizationุถุบุท NF4 ู…ุน ุถุบุท ู…ุฒุฏูˆุฌ ู„ุฃู‚ุตู‰ ุชูˆููŠุฑ ููŠ VRAM
๐Ÿ”„ Dynamic VRAM Swappingู…ุจุงุฏู„ุฉ ุฐูƒูŠุฉ: ุญู…ู‘ู„ โ†’ ูˆู„ู‘ุฏ โ†’ ูุฑู‘ุบ ู„ูƒู„ ูˆูƒูŠู„
๐ŸŽจ WhatsApp-Style UIูˆุงุฌู‡ุฉ ุฑุณูˆู…ูŠุฉ ุฃู†ูŠู‚ุฉ ุจุชุตู…ูŠู… ู…ุณุชูˆุญู‰ ู…ู† WhatsApp Dark
๐Ÿ“ก Live Streamingุจุซ ุงู„ุชูˆูƒู†ุงุช ุญุฑูุงู‹ ุญุฑูุงู‹ ููŠ ุงู„ูˆู‚ุช ุงู„ูุนู„ูŠ
๐Ÿค– AI CustomizationุชุฎุตูŠุต ุงู„ูˆูƒู„ุงุก ุจุงู„ุฐูƒุงุก ุงู„ุงุตุทู†ุงุนูŠ ุฃูˆ ูŠุฏูˆูŠุงู‹
๐Ÿ‘ค Human-in-the-Loopุชุฏุฎู„ ุจุดุฑูŠ ุญูŠ ุฃุซู†ุงุก ุนู…ู„ ุงู„ูˆูƒู„ุงุก
๐Ÿ’พ Templates Systemุญูุธ ูˆุชุญู…ูŠู„ ู‚ูˆุงู„ุจ ุชุฎุตูŠุต ุฌุงู‡ุฒุฉ
๐Ÿฉบ Live Diagnosticsุณุฌู„ ุชุดุฎูŠุตูŠ ุญูŠ ู„ู…ุฑุงู‚ุจุฉ ุงู„ุฃุฏุงุก
๐ŸŒ Full RTL Supportุฏุนู… ูƒุงู…ู„ ู„ู„ุบุฉ ุงู„ุนุฑุจูŠุฉ (ู…ู† ุงู„ูŠู…ูŠู† ู„ู„ูŠุณุงุฑ)

๐Ÿ–ฅ๏ธ ู„ู‚ุทุงุช ุงู„ุดุงุดุฉ โ€” Screenshots

1

ุงู„ู‡ูŠูƒู„

โšก Quick Start

# 1. Clone the repository
git clone https://github.com/alka2090/Agentic-Swarm.git
cd Agentic-Swarm

# 2. Download at least one Gemma-4 model (smallest first)
pip install huggingface_hub
huggingface-cli login
huggingface-cli download google/gemma-4-e2b-it

# 3. Run the application
.\run_project.ps1

โš ๏ธ ูŠุชุทู„ุจ ูƒุฑุช ุดุงุดุฉ NVIDIA ุจุฐุงูƒุฑุฉ 12GB+ โ€” Requires NVIDIA GPU with 12GB+ VRAM


๐Ÿ“‹ ุงู„ู…ุชุทู„ุจุงุช โ€” Requirements

ู…ุชุทู„ุจุงุช ุงู„ุฌู‡ุงุฒ โ€” Hardware Requirements

ุงู„ู…ูƒูˆู‘ู†ุงู„ุญุฏ ุงู„ุฃุฏู†ู‰ุงู„ู…ุซุงู„ูŠ
ู†ุธุงู… ุงู„ุชุดุบูŠู„Windows 10 (64-bit)Windows 11
ูƒุฑุช ุดุงุดุฉ NVIDIARTX 3060 (12GB VRAM)RTX 4070+ (12GB+ VRAM)
ุงู„ุฐุงูƒุฑุฉ (RAM)16GB DDR432GB DDR5
ุงู„ู…ุนุงู„ุฌ (CPU)Intel i5 / Ryzen 5Intel i9 / Ryzen 9
ู…ุณุงุญุฉ ุงู„ู‚ุฑุต50GB ูุงุฑุบุฉ100GB+
ุฅู†ุชุฑู†ุชู…ุทู„ูˆุจ ู…ุฑุฉ ูˆุงุญุฏุฉ ู„ู„ุชุซุจูŠุชุจุนุฏ ุงู„ุชุซุจูŠุช: ู„ุง ูŠุญุชุงุฌ ุฅู†ุชุฑู†ุช

ู…ุชุทู„ุจุงุช ุงู„ุจุฑู…ุฌูŠุงุช โ€” Software Requirements

ุงู„ุจุฑู†ุงู…ุฌุงู„ุฅุตุฏุงุฑุฑุงุจุท ุงู„ุชุญู…ูŠู„ู…ู„ุงุญุธุฉ
Python3.10+python.orgโš ๏ธ ูุนู‘ู„ "Add to PATH" ุฃุซู†ุงุก ุงู„ุชุซุจูŠุช
NVIDIA Driver525+nvidia.comุฃุนุฏ ุงู„ุชุดุบูŠู„ ุจุนุฏ ุงู„ุชุซุจูŠุช
CUDA Toolkit12.4+CUDA 12.6ุงุฎุชุฑ "Express Install"
PyTorch2.x+cu126pytorch.orgุงู„ุชุซุจูŠุช ุนุจุฑ ุงู„ุฃู…ุฑ ุฃุฏู†ุงู‡

๐Ÿ”ง ุงู„ุชุซุจูŠุช ุงู„ูƒุงู…ู„ โ€” Full Installation Guide

ุงู„ุฎุทูˆุฉ 1: ุชุซุจูŠุช Python

# ุชุญู…ูŠู„ Python 3.13 ู…ู† ุงู„ู…ูˆู‚ุน ุงู„ุฑุณู…ูŠ
# โš ๏ธ ุฃุซู†ุงุก ุงู„ุชุซุจูŠุช: ูุนู‘ู„ ุฎูŠุงุฑ "Add python.exe to PATH"

# ุงู„ุชุญู‚ู‚:
python --version
# ุงู„ู…ุชูˆู‚ุน: Python 3.13.x

ุงู„ุฎุทูˆุฉ 2: ุชุซุจูŠุช NVIDIA Driver + CUDA

# 1. ุซุจู‘ุช ุฃุญุฏุซ ุชุนุฑูŠู NVIDIA ู…ู†: https://www.nvidia.com/Download/index.aspx
# 2. ุฃุนุฏ ุชุดุบูŠู„ ุงู„ูƒู…ุจูŠูˆุชุฑ
# 3. ุซุจู‘ุช CUDA Toolkit 12.6 ู…ู†: https://developer.nvidia.com/cuda-12-6-0-download-archive

# ุงู„ุชุญู‚ู‚:
nvidia-smi
nvcc --version

ุงู„ุฎุทูˆุฉ 3: ุชุซุจูŠุช PyTorch ู…ุน ุฏุนู… CUDA

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126
# ุงู„ุชุญู‚ู‚ ู…ู† ุฃู† PyTorch ูŠุฑู‰ ูƒุฑุช ุงู„ุดุงุดุฉ:
python -c "import torch; print('CUDA:', torch.cuda.is_available()); print('GPU:', torch.cuda.get_device_name(0))"
# ุงู„ู…ุชูˆู‚ุน: CUDA: True | GPU: NVIDIA GeForce RTX XXXX

ุงู„ุฎุทูˆุฉ 4: ุชุญู…ูŠู„ ู†ู…ุงุฐุฌ Gemma-4

# ุชุซุจูŠุช ุฃุฏุงุฉ HuggingFace
pip install huggingface_hub

# ุชุณุฌูŠู„ ุงู„ุฏุฎูˆู„ (ุชุญุชุงุฌ ุญุณุงุจ ู…ุฌุงู†ูŠ ุนู„ู‰ huggingface.co)
huggingface-cli login

โš ๏ธ ูŠุฌุจ ู‚ุจูˆู„ ุชุฑุฎูŠุต ูƒู„ ู†ู…ูˆุฐุฌ ู…ู† ุตูุญุชู‡ ุนู„ู‰ HuggingFace ู‚ุจู„ ุงู„ุชุญู…ูŠู„ (ุงู†ุธุฑ ู‚ุณู… ุงู„ู†ู…ุงุฐุฌ ุฃุฏู†ุงู‡)

# ุชุญู…ูŠู„ ุงู„ู†ู…ุงุฐุฌ (ุงุจุฏุฃ ุจุงู„ุฃุตุบุฑ):
huggingface-cli download google/gemma-4-e2b-it      # ~5GB  โ€” ุงุจุฏุฃ ุจู‡ุฐุง
huggingface-cli download google/gemma-4-e4b-it      # ~9GB  โ€” ุงุฎุชูŠุงุฑูŠ
huggingface-cli download google/gemma-4-26b-a4b-it  # ~28GB โ€” ุงุฎุชูŠุงุฑูŠ
huggingface-cli download google/gemma-4-31b-it      # ~35GB โ€” ุงุฎุชูŠุงุฑูŠ

ุงู„ุฎุทูˆุฉ 5: ุงุณุชู†ุณุงุฎ ูˆุชุดุบูŠู„ ุงู„ู…ุดุฑูˆุน

# ุงุณุชู†ุณุงุฎ ุงู„ู…ุดุฑูˆุน
git clone https://github.com/alka2090/Agentic-Swarm.git
cd Agentic-Swarm

# ุงู„ุณู…ุงุญ ุจุชุดุบูŠู„ ุงู„ุณูƒุฑุจุชุงุช (ู…ุฑุฉ ูˆุงุญุฏุฉ ูู‚ุท)
Set-ExecutionPolicy -Scope CurrentUser -ExecutionPolicy RemoteSigned

# ุชุดุบูŠู„ ุงู„ุจุฑู†ุงู…ุฌ (ูŠุซุจุช ุงู„ู…ูƒุชุจุงุช ุชู„ู‚ุงุฆูŠุงู‹ ููŠ ุฃูˆู„ ู…ุฑุฉ)
.\run_project.ps1

๐Ÿค– ุงู„ู†ู…ุงุฐุฌ ุงู„ู…ุณุชุฎุฏู…ุฉ โ€” Models

ูŠุณุชุฎุฏู… ุงู„ู…ุดุฑูˆุน ู†ู…ุงุฐุฌ Google Gemma-4 ุงู„ู…ูุชูˆุญุฉ ุงู„ู…ุตุฏุฑ (Apache 2.0) ู…ู† Google DeepMind.

1๏ธโƒฃ ุนุงุฆู„ุฉ ุงู„ู†ู…ุงุฐุฌ ุงู„ุทุฑููŠุฉ โ€” Edge-Optimized Family

ุชุชู…ูŠุฒ ุจุชู‚ู†ูŠุฉ "Per-Layer Embeddings" (PLE) ู„ุฒูŠุงุฏุฉ ุงู„ูƒูุงุกุฉ ุนู„ู‰ ุงู„ุฃุฌู‡ุฒุฉ ุงู„ุตุบูŠุฑุฉ.

Gemma 4 E2B โ€” ุงู„ู†ู…ูˆุฐุฌ ุงู„ุฃุฎู ูˆุงู„ุฃุณุฑุน

ุงู„ู…ูˆุงุตูุฉุงู„ู‚ูŠู…ุฉ
ุงู„ู…ุนุฑูgoogle/gemma-4-e2b-it
ุงู„ู…ุนู„ู…ุงุช2.3 ู…ู„ูŠุงุฑ ูุนุงู„ุฉ (5.1 ู…ู„ูŠุงุฑ ุฅุฌู…ุงู„ุงู‹)
ุณูŠุงู‚ ุงู„ุฅุฏุฎุงู„128,000 Token
ุงู„ูˆุณุงุฆุทู†ุตุŒ ุตูˆุฑุŒ ูˆุตูˆุช (Native Audio)
ุงู„ุญุฌู… (4-bit)~1.5GB VRAM
ุงู„ุฃุฏุงุกู…ุตู…ู… ู„ู„ุฃุฌู‡ุฒุฉ ุงู„ุทุฑููŠุฉ ูˆุฃุฌู‡ุฒุฉ IoT
๐Ÿ”— HuggingFacegoogle/gemma-4-e2b-it
huggingface-cli download google/gemma-4-e2b-it

Gemma 4 E4B โ€” ุงู„ู…ุชูˆุณุท ุงู„ู‚ูˆูŠ

ุงู„ู…ูˆุงุตูุฉุงู„ู‚ูŠู…ุฉ
ุงู„ู…ุนุฑูgoogle/gemma-4-e4b-it
ุงู„ู…ุนู„ู…ุงุช4.5 ู…ู„ูŠุงุฑ ูุนุงู„ุฉ (8 ู…ู„ูŠุงุฑ ุฅุฌู…ุงู„ุงู‹)
ุณูŠุงู‚ ุงู„ุฅุฏุฎุงู„128,000 Token
ุงู„ูˆุณุงุฆุทู†ุตุŒ ุตูˆุฑุŒ ูˆุตูˆุช (Native Audio)
ุงู„ุญุฌู… (4-bit)~3GB VRAM
ุงู„ุฃุฏุงุกูŠุชููˆู‚ ุนู„ู‰ ู†ู…ุงุฐุฌ ุงู„ู€ 7B ุงู„ู‚ุฏูŠู…ุฉ ููŠ ุงู„ู…ู†ุทู‚ ุงู„ุจุฑู…ุฌูŠ
๐Ÿ”— HuggingFacegoogle/gemma-4-e4b-it
huggingface-cli download google/gemma-4-e4b-it

2๏ธโƒฃ ุนุงุฆู„ุฉ ุฎู„ูŠุท ุงู„ุฎุจุฑุงุก โ€” MoE Family

ู…ุนู…ุงุฑูŠุฉ ู‡ุฌูŠู†ุฉ ูุงุฆู‚ุฉ ุงู„ูƒูุงุกุฉ โ€” ุชูุนู‘ู„ ูู‚ุท ุงู„ุฎุจุฑุงุก ุงู„ู…ุทู„ูˆุจูŠู†.

Gemma 4 26B A4B (MoE) โ€” ุงู„ุณุฑุนุฉ ู…ุน ุงู„ุฐูƒุงุก

ุงู„ู…ูˆุงุตูุฉุงู„ู‚ูŠู…ุฉ
ุงู„ู…ุนุฑูgoogle/gemma-4-26b-a4b-it
ุงู„ู…ุนู„ู…ุงุช25.2 ู…ู„ูŠุงุฑ ุฅุฌู…ุงู„ูŠ (3.8 ู…ู„ูŠุงุฑ ูุนุงู„ุฉ ุฃุซู†ุงุก ุงู„ู…ุนุงู„ุฌุฉ)
ุณูŠุงู‚ ุงู„ุฅุฏุฎุงู„256,000 Token
ุงู„ูˆุณุงุฆุทู†ุต ูˆุตูˆุฑ (ุจุฏู‚ุฉ ุนุงู„ูŠุฉ)
ุงู„ุญุฌู… (4-bit)~13.3GB VRAM
ุงู„ุฃุฏุงุกูุงุฆู‚ ุงู„ุณุฑุนุฉุŒ ู…ุซุงู„ูŠ ู„ู„ุจุฑู…ุฌุฉ ุงู„ู…ุนู‚ุฏุฉ ูˆุงู„ูˆูƒู„ุงุก
๐Ÿ”— HuggingFacegoogle/gemma-4-26b-a4b-it
huggingface-cli download google/gemma-4-26b-a4b-it

3๏ธโƒฃ ุนุงุฆู„ุฉ ุงู„ู†ู…ุงุฐุฌ ุงู„ูƒุซูŠูุฉ โ€” Dense Frontier Family

ุงู„ู†ู…ูˆุฐุฌ ุงู„ุฃุถุฎู… ูˆุงู„ุฃุฐูƒู‰ ููŠ ุงู„ุณู„ุณู„ุฉ.

Gemma 4 31B (Dense) โ€” ุงู„ูˆุญุด ุงู„ุญู‚ูŠู‚ูŠ ๐Ÿ”ฅ

ุงู„ู…ูˆุงุตูุฉุงู„ู‚ูŠู…ุฉ
ุงู„ู…ุนุฑูgoogle/gemma-4-31b-it
ุงู„ู…ุนู„ู…ุงุช30.7 ู…ู„ูŠุงุฑ ู…ุนู„ู…ุฉ (ูƒุซูŠู ุจุงู„ูƒุงู…ู„)
ุณูŠุงู‚ ุงู„ุฅุฏุฎุงู„256,000 Token
ุงู„ูˆุณุงุฆุทู†ุต ูˆุตูˆุฑ (ุฃุนู„ู‰ ุฏู‚ุฉ ููŠ ูู‡ู… ุงู„ู…ุณุชู†ุฏุงุช)
ุงู„ุญุฌู… (4-bit)~16.4GB VRAM
ุงู„ุฃุฏุงุกุงู„ู…ุฑูƒุฒ #3 ุนุงู„ู…ูŠุงู‹ ุจูŠู† ุงู„ู†ู…ุงุฐุฌ ุงู„ู…ูุชูˆุญุฉ โ€” ุชููƒูŠุฑ ู…ู†ุทู‚ูŠ ุนู…ูŠู‚
๐Ÿ”— HuggingFacegoogle/gemma-4-31b-it
huggingface-cli download google/gemma-4-31b-it

๐Ÿ“Š ุฌุฏูˆู„ ุงู„ู…ู‚ุงุฑู†ุฉ ุงู„ุดุงู…ู„

ุงู„ู†ู…ูˆุฐุฌุงู„ู…ุนู„ู…ุงุชVRAM (4-bit)ุงู„ุณูŠุงู‚ุงู„ูˆุณุงุฆุทุงู„ุงุณุชุฎุฏุงู… ุงู„ุฃู…ุซู„
gemma-4-e2b-it2.3B~1.5GB128Kู†ุต+ุตูˆุฑ+ุตูˆุชุจุญุซ ุณุฑูŠุนุŒ ุชู„ุฎูŠุตุŒ ู…ุณูˆุฏุงุช
gemma-4-e4b-it4.5B~3GB128Kู†ุต+ุตูˆุฑ+ุตูˆุชุฃูƒูˆุงุฏ ู…ุชูˆุณุทุฉุŒ ุชุญู„ูŠู„ ุจูŠุงู†ุงุช
gemma-4-26b-a4b-it25.2B (MoE)~13.3GB256Kู†ุต+ุตูˆุฑุจุฑู…ุฌุฉ ู…ุนู‚ุฏุฉุŒ ู…ุญุงูƒุงุฉ ู…ู†ุทู‚ูŠุฉ
gemma-4-31b-it30.7B (Dense)~16.4GB256Kู†ุต+ุตูˆุฑุชููƒูŠุฑ ุนู…ูŠู‚ุŒ ู‚ุฑุงุฑุงุช ู…ุนู‚ุฏุฉ

โ„น๏ธ ู…ุนู„ูˆู…ุงุช ุชู‚ู†ูŠุฉ ู‡ุงู…ุฉ

  • ุงู„ู…ุณุชูˆุฏุน ุงู„ุฑุณู…ูŠ: google-deepmind/gemma
  • ุงู„ุชุฑุฎูŠุต: Apache 2.0 (ู…ูุชูˆุญุฉ ุจุงู„ูƒุงู…ู„)
  • ุชุญุฏูŠุซ ุงู„ู…ูƒุชุจุงุช:
    pip install -U transformers huggingface_hub
    

๐Ÿ›๏ธ ุงู„ุจู†ูŠุฉ ุงู„ู…ุนู…ุงุฑูŠุฉ โ€” Architecture

โ”Œโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”
โ”‚                    ๐Ÿ–ฅ๏ธ Presentation Layer                    โ”‚
โ”‚    main_window.py โ”‚ customization_dialog.py โ”‚ components.py โ”‚
โ”‚    app_style.py โ”‚ details_dialog.py โ”‚ diagnosis_dialog.py   โ”‚
โ”œโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”ค
โ”‚                    ๐Ÿ”„ Orchestration Layer                   โ”‚
โ”‚              ai_worker.py โ”‚ orchestrator.py                 โ”‚
โ”œโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”ค
โ”‚                    ๐Ÿง  AI Engine Layer                       โ”‚
โ”‚                       ai_engine.py                          โ”‚
โ”œโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”ค
โ”‚                    ๐Ÿ’พ Data Layer                             โ”‚
โ”‚          database.py โ”‚ SQLite โ”‚ JSON Configs                โ”‚
โ””โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”˜

๐Ÿ“ ู‡ูŠูƒู„ ุงู„ู…ุดุฑูˆุน โ€” Project Structure

Agentic-Swarm/
โ”œโ”€โ”€ ๐Ÿ“„ desktop_app.py          โ† Entry point โ€” ู†ู‚ุทุฉ ุงู„ุฏุฎูˆู„
โ”œโ”€โ”€ ๐Ÿ“„ run_project.ps1         โ† Auto-launch script โ€” ุณูƒุฑุจุช ุงู„ุชุดุบูŠู„ ุงู„ุชู„ู‚ุงุฆูŠ
โ”œโ”€โ”€ ๐Ÿ“„ fix_os_1455.ps1         โ† Virtual memory fix โ€” ุฅุตู„ุงุญ ุงู„ุฐุงูƒุฑุฉ ุงู„ุงูุชุฑุงุถูŠุฉ
โ”œโ”€โ”€ ๐Ÿ“„ requirements.txt        โ† Python dependencies โ€” ุงู„ู…ูƒุชุจุงุช ุงู„ู…ุทู„ูˆุจุฉ
โ”œโ”€โ”€ ๐Ÿ“ backend/
โ”‚   โ”œโ”€โ”€ ๐Ÿ“„ ai_engine.py        โ† AI model loader/generator โ€” ู…ุญุฑูƒ ุงู„ุฐูƒุงุก ุงู„ุงุตุทู†ุงุนูŠ
โ”‚   โ”œโ”€โ”€ ๐Ÿ“„ orchestrator.py     โ† Agent orchestration โ€” ุงู„ู…ู†ุณู‚ ุงู„ู…ุฑูƒุฒูŠ
โ”‚   โ””โ”€โ”€ ๐Ÿ“„ database.py         โ† SQLite database โ€” ู‚ุงุนุฏุฉ ุงู„ุจูŠุงู†ุงุช
โ”œโ”€โ”€ ๐Ÿ“ gui/
โ”‚   โ”œโ”€โ”€ ๐Ÿ“„ main_window.py      โ† Main window (3-panel layout) โ€” ุงู„ู†ุงูุฐุฉ ุงู„ุฑุฆูŠุณูŠุฉ
โ”‚   โ”œโ”€โ”€ ๐Ÿ“„ customization_dialog.py โ† Agent customization โ€” ุชุฎุตูŠุต ุงู„ูˆูƒู„ุงุก
โ”‚   โ”œโ”€โ”€ ๐Ÿ“„ diagnosis_dialog.py โ† Live diagnostics โ€” ุงู„ุชุดุฎูŠุต ุงู„ุญูŠ
โ”‚   โ”œโ”€โ”€ ๐Ÿ“„ details_dialog.py   โ† Model details viewer โ€” ุนุงุฑุถ ุงู„ุชูุงุตูŠู„
โ”‚   โ”œโ”€โ”€ ๐Ÿ“„ components.py       โ† Custom widgets โ€” ู…ูƒูˆู†ุงุช ู…ุฎุตุตุฉ
โ”‚   โ”œโ”€โ”€ ๐Ÿ“„ app_style.py        โ† WhatsApp Dark QSS โ€” ุฃู†ู…ุงุท ุงู„ุชุตู…ูŠู…
โ”‚   โ”œโ”€โ”€ ๐Ÿ“„ ai_worker.py        โ† Background QThreads โ€” ุฎูŠูˆุท ุงู„ุนู…ู„
โ”‚   โ””โ”€โ”€ ๐Ÿ“„ models_data.py      โ† Model specs HTML โ€” ุจูŠุงู†ุงุช ุงู„ู†ู…ุงุฐุฌ
โ””โ”€โ”€ ๐Ÿ“ config/
    โ”œโ”€โ”€ ๐Ÿ“„ current_config.json โ† Active agent config โ€” ุฅุนุฏุงุฏุงุช ุงู„ูˆูƒู„ุงุก
    โ””โ”€โ”€ ๐Ÿ“„ settings.json       โ† Global settings โ€” ุงู„ุฅุนุฏุงุฏุงุช ุงู„ุนุงู…ุฉ

๐Ÿ’ก ูƒูŠู ูŠุนู…ู„ุŸ โ€” How It Works

ุงู„ู…ุณุชุฎุฏู… ูŠูƒุชุจ ููƒุฑุฉ โ†’ SwarmWorker (QThread) โ†’ Orchestrator โ†’ ุญู„ู‚ุฉ ู„ุง ู†ู‡ุงุฆูŠุฉ:
  โ”‚
  โ”œโ”€โ”€ ุงู„ูˆูƒูŠู„ #1: ุชุญู…ูŠู„ ุงู„ู†ู…ูˆุฐุฌ โ†’ ุชูˆู„ูŠุฏ (Streaming) โ†’ ุชูุฑูŠุบ VRAM
  โ”œโ”€โ”€ ุงู„ูˆูƒูŠู„ #2: ุชุญู…ูŠู„ ุงู„ู†ู…ูˆุฐุฌ โ†’ ุชูˆู„ูŠุฏ (Streaming) โ†’ ุชูุฑูŠุบ VRAM
  โ”œโ”€โ”€ ุงู„ูˆูƒูŠู„ #3: ุชุญู…ูŠู„ ุงู„ู†ู…ูˆุฐุฌ โ†’ ุชูˆู„ูŠุฏ (Streaming) โ†’ ุชูุฑูŠุบ VRAM
  โ”œโ”€โ”€ ุงู„ูˆูƒูŠู„ #4: ุชุญู…ูŠู„ ุงู„ู†ู…ูˆุฐุฌ โ†’ ุชูˆู„ูŠุฏ (Streaming) โ†’ ุชูุฑูŠุบ VRAM
  โ””โ”€โ”€ ุงู„ูˆูƒูŠู„ #5: ุชุญู…ูŠู„ ุงู„ู†ู…ูˆุฐุฌ โ†’ ุชูˆู„ูŠุฏ (Streaming) โ†’ ุชูุฑูŠุบ VRAM โ†’ ุญูุธ ุงู„ู…ุณูˆุฏุฉ
        โ”‚
        โ””โ”€โ”€ ุงู„ุนูˆุฏุฉ ู„ู„ูˆูƒูŠู„ #1 (ุฏูˆุฑุฉ ุฌุฏูŠุฏุฉ) โ† โˆž

ุงุณุชุฑุงุชูŠุฌูŠุฉ ุฅุฏุงุฑุฉ ุงู„ุฐุงูƒุฑุฉ โ€” VRAM Management

ุงู„ู†ู…ูˆุฐุฌุงู„ุงุณุชุฑุงุชูŠุฌูŠุฉ
E2B / E4BGPU ูู‚ุท โ€” ูŠุชุณุน ุจุณู‡ูˆู„ุฉ
26B MoEGPU ู…ุน ุญุฏ max_memory: 14.5GiB
31B DenseGPU 14.5GiB + CPU Offload 16GiB

ุงู„ุชูุฑูŠุบ ุงู„ู†ูˆูˆูŠ ุจุนุฏ ูƒู„ ูˆูƒูŠู„:

accelerate.release_memory(model) โ†’ del model โ†’ gc.collect() โ†’ torch.cuda.empty_cache() โ†’ torch.cuda.synchronize()

๐ŸŽฎ ุงู„ุงุณุชุฎุฏุงู… โ€” Usage

ุจุฏุก ุฌู„ุณุฉ ุนุตู ุฐู‡ู†ูŠ

  1. ุดุบู‘ู„ ุงู„ุจุฑู†ุงู…ุฌ ุนุจุฑ .\run_project.ps1
  2. ุงูƒุชุจ ููƒุฑุชูƒ ููŠ ู…ุฑุจุน ุงู„ุฅุฏุฎุงู„
  3. ุงุถุบุท Enter โ€” ุงู„ูˆูƒู„ุงุก ุณูŠุจุฏุฃูˆู† ุงู„ุนู…ู„ ุชู„ู‚ุงุฆูŠุงู‹

ุชุฎุตูŠุต ุงู„ูˆูƒู„ุงุก

  • ุงุถุบุท ๐ŸŽ›๏ธ ุชุฎุตูŠุต ุงู„ู†ู…ุงุฐุฌ ูˆุงู„ูˆูƒู„ุงุก
  • ุบูŠู‘ุฑ ุงุณู… ูƒู„ ูˆูƒูŠู„ ูˆุฏูˆุฑู‡ ูˆุงู„ู†ู…ูˆุฐุฌ ุงู„ู…ุณุชุฎุฏู…
  • ุฃูˆ ุงูƒุชุจ ูˆุตูุงู‹ ูˆุงุถุบุท "ุจุฏุก ุชุฎุตูŠุต ุงู„ูƒู„" ู„ู„ุชุฎุตูŠุต ุจุงู„ุฐูƒุงุก ุงู„ุงุตุทู†ุงุนูŠ

ุงู„ุชุฏุฎู„ ุฃุซู†ุงุก ุงู„ุนู…ู„

  • ุงูƒุชุจ ุฑุณุงู„ุฉ ุฌุฏูŠุฏุฉ ุฃุซู†ุงุก ุนู…ู„ ุงู„ูˆูƒู„ุงุก โ†’ ุณุชูุญู‚ู† ูƒู€ "ุฃู…ุฑ ุฅุฏุงุฑูŠ"

๐Ÿ› ๏ธ ุงู„ุชู‚ู†ูŠุงุช ุงู„ู…ุณุชุฎุฏู…ุฉ โ€” Tech Stack

ุงู„ุชู‚ู†ูŠุฉุงู„ุงุณุชุฎุฏุงู…
Python 3.13ุงู„ู„ุบุฉ ุงู„ุฃุณุงุณูŠุฉ
PySide6 (Qt 6)ูˆุงุฌู‡ุฉ ุณุทุญ ุงู„ู…ูƒุชุจ ุงู„ุฃุตู„ูŠุฉ
PyTorchู…ุญุฑูƒ ุงู„ุญุณุงุจ ุงู„ุชู†ุณูˆุฑูŠ GPU
Hugging Face Transformersุชุญู…ูŠู„ ูˆุชุดุบูŠู„ ุงู„ู†ู…ุงุฐุฌ
BitsAndBytesุถุบุท 4-bit NF4
Accelerateุฅุฏุงุฑุฉ device_map ูˆ CPU offload
SQLite3ู‚ุงุนุฏุฉ ุงู„ุจูŠุงู†ุงุช ุงู„ู…ุญู„ูŠุฉ

โ“ ุญู„ ุงู„ู…ุดุงูƒู„ ุงู„ุดุงุฆุนุฉ โ€” Troubleshooting

โŒ python is not recognized

ุงู„ุณุจุจ: ู„ู… ุชููุนู‘ู„ "Add to PATH" ุฃุซู†ุงุก ุชุซุจูŠุช Python. ุงู„ุญู„: ุฃุนุฏ ุชุซุจูŠุช Python ูˆูุนู‘ู„ ุงู„ุฎูŠุงุฑ.

โŒ torch.cuda.is_available() ูŠุฑุฌุน False

ุงู„ุญู„:

  1. ุชุฃูƒุฏ ู…ู† ุชุซุจูŠุช CUDA Toolkit
  2. ุฃุนุฏ ุชุซุจูŠุช PyTorch: pip install torch --index-url https://download.pytorch.org/whl/cu126
  3. ุฃุนุฏ ุชุดุบูŠู„ ุงู„ูƒู…ุจูŠูˆุชุฑ
โŒ CUDA out of memory

ุงู„ุญู„: ุบูŠู‘ุฑ ุงู„ู†ู…ูˆุฐุฌ ุงู„ู…ุนูŠู‘ู† ู„ูƒู„ ูˆูƒูŠู„ ุฅู„ู‰ gemma-4-e2b-it (ุงู„ุฃุตุบุฑ) ู…ู† ู†ุงูุฐุฉ ุงู„ุชุฎุตูŠุต.

โŒ execution of scripts is disabled
Set-ExecutionPolicy -Scope CurrentUser -ExecutionPolicy RemoteSigned
โŒ OSError: model not found

ุงู„ุณุจุจ: ุงู„ู†ู…ูˆุฐุฌ ุบูŠุฑ ู…ุญู…ู‘ู„. ุงู„ุญู„: huggingface-cli download google/gemma-4-e2b-it


๐Ÿ“„ ุงู„ุชุฑุฎูŠุต โ€” License

This project is licensed under the Apache License 2.0 โ€” see the LICENSE file for details.

The Gemma-4 models are also licensed under Apache 2.0 by Google DeepMind.


๐Ÿ™ ุดูƒุฑ ูˆุชู‚ุฏูŠุฑ โ€” Acknowledgments

  • Google DeepMind โ€” ู„ู†ู…ุงุฐุฌ Gemma-4 ุงู„ู…ูุชูˆุญุฉ
  • Hugging Face โ€” ู„ุงุณุชุถุงูุฉ ุงู„ู†ู…ุงุฐุฌ ูˆู…ูƒุชุจุฉ Transformers
  • The Qt Company โ€” ู„ุฅุทุงุฑ ุนู…ู„ Qt 6 ูˆ PySide6
  • PyTorch โ€” ู„ู…ุญุฑูƒ ุงู„ุญุณุงุจ ุงู„ุชู†ุณูˆุฑูŠ

Built with โค๏ธ for the open-source AI community

Contributors

aiksa2090

4 commits

aiksa2090/Agentic-Swarm

๐Ÿง  Multi-Agent AI System running 100% offline using Google Gemma-4 models. 5 specialized AI agents collaborate in infinite loops for brainstorming. Features: Dynamic VRAM swapping, 4-bit NF4 quantization, WhatsApp-style RTL UI, live token streaming, AI-powered agent customization. Built with PySide6 + PyTorch + Transformers.

71

stars

4

commits

Python

primary language

Apr 19, 2026

updated

README

๐Ÿง  Agentic Swarm

ู†ุธุงู… ุฐูƒุงุก ุงุตุทู†ุงุนูŠ ู…ุชุนุฏุฏ ุงู„ูˆูƒู„ุงุก ูŠุนู…ู„ ู…ุญู„ูŠุงู‹ ุจุงู„ูƒุงู…ู„ โ€” Multi-Agent AI System Running 100% Offline

Quick Start โ€ข Requirements โ€ข Models โ€ข Usage โ€ข Architecture

Python PySide6 PyTorch CUDA Gemma-4 License Status


๐Ÿ“– ู†ุธุฑุฉ ุนุงู…ุฉ โ€” Overview

Agentic Swarm ู‡ูˆ ุชุทุจูŠู‚ ุณุทุญ ู…ูƒุชุจ ุฃุตู„ูŠ (Native Desktop Application) ู…ุจู†ูŠ ุจู€ Python ูˆ PySide6ุŒ ูŠูุฏูŠุฑ ูุฑูŠู‚ุงู‹ ู…ู† 5 ูˆูƒู„ุงุก ุฐูƒุงุก ุงุตุทู†ุงุนูŠ ูŠุนู…ู„ูˆู† ุจุดูƒู„ ุชุนุงูˆู†ูŠ ูˆู…ุชุณู„ุณู„ ููŠ ุญู„ู‚ุฉ ู„ุง ู†ู‡ุงุฆูŠุฉ ู„ู„ุนุตู ุงู„ุฐู‡ู†ูŠ ูˆุชุทูˆูŠุฑ ุงู„ุฃููƒุงุฑ.

Agentic Swarm is a native desktop application built with Python & PySide6 that orchestrates a team of 5 AI agents working collaboratively in an infinite loop for brainstorming and iterative idea development. It runs 100% offline on your local hardware using Google's Gemma-4 model family.

โœจ ุฃุจุฑุฒ ุงู„ู…ู…ูŠุฒุงุช โ€” Key Features

ุงู„ู…ูŠุฒุฉุงู„ูˆุตู
๐Ÿ”’ Offline-FirstูŠุนู…ู„ ุจุงู„ูƒุงู…ู„ ุจุฏูˆู† ุฅู†ุชุฑู†ุช ุจุนุฏ ุชุญู…ูŠู„ ุงู„ู†ู…ุงุฐุฌ
๐Ÿง  5 AI Agents5 ูˆูƒู„ุงุก ู…ุชุฎุตุตูŠู† ูŠุชุนุงูˆู†ูˆู† ููŠ ุญู„ู‚ุฉ ู„ุง ู†ู‡ุงุฆูŠุฉ
โšก 4-bit Quantizationุถุบุท NF4 ู…ุน ุถุบุท ู…ุฒุฏูˆุฌ ู„ุฃู‚ุตู‰ ุชูˆููŠุฑ ููŠ VRAM
๐Ÿ”„ Dynamic VRAM Swappingู…ุจุงุฏู„ุฉ ุฐูƒูŠุฉ: ุญู…ู‘ู„ โ†’ ูˆู„ู‘ุฏ โ†’ ูุฑู‘ุบ ู„ูƒู„ ูˆูƒูŠู„
๐ŸŽจ WhatsApp-Style UIูˆุงุฌู‡ุฉ ุฑุณูˆู…ูŠุฉ ุฃู†ูŠู‚ุฉ ุจุชุตู…ูŠู… ู…ุณุชูˆุญู‰ ู…ู† WhatsApp Dark
๐Ÿ“ก Live Streamingุจุซ ุงู„ุชูˆูƒู†ุงุช ุญุฑูุงู‹ ุญุฑูุงู‹ ููŠ ุงู„ูˆู‚ุช ุงู„ูุนู„ูŠ
๐Ÿค– AI CustomizationุชุฎุตูŠุต ุงู„ูˆูƒู„ุงุก ุจุงู„ุฐูƒุงุก ุงู„ุงุตุทู†ุงุนูŠ ุฃูˆ ูŠุฏูˆูŠุงู‹
๐Ÿ‘ค Human-in-the-Loopุชุฏุฎู„ ุจุดุฑูŠ ุญูŠ ุฃุซู†ุงุก ุนู…ู„ ุงู„ูˆูƒู„ุงุก
๐Ÿ’พ Templates Systemุญูุธ ูˆุชุญู…ูŠู„ ู‚ูˆุงู„ุจ ุชุฎุตูŠุต ุฌุงู‡ุฒุฉ
๐Ÿฉบ Live Diagnosticsุณุฌู„ ุชุดุฎูŠุตูŠ ุญูŠ ู„ู…ุฑุงู‚ุจุฉ ุงู„ุฃุฏุงุก
๐ŸŒ Full RTL Supportุฏุนู… ูƒุงู…ู„ ู„ู„ุบุฉ ุงู„ุนุฑุจูŠุฉ (ู…ู† ุงู„ูŠู…ูŠู† ู„ู„ูŠุณุงุฑ)

๐Ÿ–ฅ๏ธ ู„ู‚ุทุงุช ุงู„ุดุงุดุฉ โ€” Screenshots

1

ุงู„ู‡ูŠูƒู„

โšก Quick Start

# 1. Clone the repository
git clone https://github.com/alka2090/Agentic-Swarm.git
cd Agentic-Swarm

# 2. Download at least one Gemma-4 model (smallest first)
pip install huggingface_hub
huggingface-cli login
huggingface-cli download google/gemma-4-e2b-it

# 3. Run the application
.\run_project.ps1

โš ๏ธ ูŠุชุทู„ุจ ูƒุฑุช ุดุงุดุฉ NVIDIA ุจุฐุงูƒุฑุฉ 12GB+ โ€” Requires NVIDIA GPU with 12GB+ VRAM


๐Ÿ“‹ ุงู„ู…ุชุทู„ุจุงุช โ€” Requirements

ู…ุชุทู„ุจุงุช ุงู„ุฌู‡ุงุฒ โ€” Hardware Requirements

ุงู„ู…ูƒูˆู‘ู†ุงู„ุญุฏ ุงู„ุฃุฏู†ู‰ุงู„ู…ุซุงู„ูŠ
ู†ุธุงู… ุงู„ุชุดุบูŠู„Windows 10 (64-bit)Windows 11
ูƒุฑุช ุดุงุดุฉ NVIDIARTX 3060 (12GB VRAM)RTX 4070+ (12GB+ VRAM)
ุงู„ุฐุงูƒุฑุฉ (RAM)16GB DDR432GB DDR5
ุงู„ู…ุนุงู„ุฌ (CPU)Intel i5 / Ryzen 5Intel i9 / Ryzen 9
ู…ุณุงุญุฉ ุงู„ู‚ุฑุต50GB ูุงุฑุบุฉ100GB+
ุฅู†ุชุฑู†ุชู…ุทู„ูˆุจ ู…ุฑุฉ ูˆุงุญุฏุฉ ู„ู„ุชุซุจูŠุชุจุนุฏ ุงู„ุชุซุจูŠุช: ู„ุง ูŠุญุชุงุฌ ุฅู†ุชุฑู†ุช

ู…ุชุทู„ุจุงุช ุงู„ุจุฑู…ุฌูŠุงุช โ€” Software Requirements

ุงู„ุจุฑู†ุงู…ุฌุงู„ุฅุตุฏุงุฑุฑุงุจุท ุงู„ุชุญู…ูŠู„ู…ู„ุงุญุธุฉ
Python3.10+python.orgโš ๏ธ ูุนู‘ู„ "Add to PATH" ุฃุซู†ุงุก ุงู„ุชุซุจูŠุช
NVIDIA Driver525+nvidia.comุฃุนุฏ ุงู„ุชุดุบูŠู„ ุจุนุฏ ุงู„ุชุซุจูŠุช
CUDA Toolkit12.4+CUDA 12.6ุงุฎุชุฑ "Express Install"
PyTorch2.x+cu126pytorch.orgุงู„ุชุซุจูŠุช ุนุจุฑ ุงู„ุฃู…ุฑ ุฃุฏู†ุงู‡

๐Ÿ”ง ุงู„ุชุซุจูŠุช ุงู„ูƒุงู…ู„ โ€” Full Installation Guide

ุงู„ุฎุทูˆุฉ 1: ุชุซุจูŠุช Python

# ุชุญู…ูŠู„ Python 3.13 ู…ู† ุงู„ู…ูˆู‚ุน ุงู„ุฑุณู…ูŠ
# โš ๏ธ ุฃุซู†ุงุก ุงู„ุชุซุจูŠุช: ูุนู‘ู„ ุฎูŠุงุฑ "Add python.exe to PATH"

# ุงู„ุชุญู‚ู‚:
python --version
# ุงู„ู…ุชูˆู‚ุน: Python 3.13.x

ุงู„ุฎุทูˆุฉ 2: ุชุซุจูŠุช NVIDIA Driver + CUDA

# 1. ุซุจู‘ุช ุฃุญุฏุซ ุชุนุฑูŠู NVIDIA ู…ู†: https://www.nvidia.com/Download/index.aspx
# 2. ุฃุนุฏ ุชุดุบูŠู„ ุงู„ูƒู…ุจูŠูˆุชุฑ
# 3. ุซุจู‘ุช CUDA Toolkit 12.6 ู…ู†: https://developer.nvidia.com/cuda-12-6-0-download-archive

# ุงู„ุชุญู‚ู‚:
nvidia-smi
nvcc --version

ุงู„ุฎุทูˆุฉ 3: ุชุซุจูŠุช PyTorch ู…ุน ุฏุนู… CUDA

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126
# ุงู„ุชุญู‚ู‚ ู…ู† ุฃู† PyTorch ูŠุฑู‰ ูƒุฑุช ุงู„ุดุงุดุฉ:
python -c "import torch; print('CUDA:', torch.cuda.is_available()); print('GPU:', torch.cuda.get_device_name(0))"
# ุงู„ู…ุชูˆู‚ุน: CUDA: True | GPU: NVIDIA GeForce RTX XXXX

ุงู„ุฎุทูˆุฉ 4: ุชุญู…ูŠู„ ู†ู…ุงุฐุฌ Gemma-4

# ุชุซุจูŠุช ุฃุฏุงุฉ HuggingFace
pip install huggingface_hub

# ุชุณุฌูŠู„ ุงู„ุฏุฎูˆู„ (ุชุญุชุงุฌ ุญุณุงุจ ู…ุฌุงู†ูŠ ุนู„ู‰ huggingface.co)
huggingface-cli login

โš ๏ธ ูŠุฌุจ ู‚ุจูˆู„ ุชุฑุฎูŠุต ูƒู„ ู†ู…ูˆุฐุฌ ู…ู† ุตูุญุชู‡ ุนู„ู‰ HuggingFace ู‚ุจู„ ุงู„ุชุญู…ูŠู„ (ุงู†ุธุฑ ู‚ุณู… ุงู„ู†ู…ุงุฐุฌ ุฃุฏู†ุงู‡)

# ุชุญู…ูŠู„ ุงู„ู†ู…ุงุฐุฌ (ุงุจุฏุฃ ุจุงู„ุฃุตุบุฑ):
huggingface-cli download google/gemma-4-e2b-it      # ~5GB  โ€” ุงุจุฏุฃ ุจู‡ุฐุง
huggingface-cli download google/gemma-4-e4b-it      # ~9GB  โ€” ุงุฎุชูŠุงุฑูŠ
huggingface-cli download google/gemma-4-26b-a4b-it  # ~28GB โ€” ุงุฎุชูŠุงุฑูŠ
huggingface-cli download google/gemma-4-31b-it      # ~35GB โ€” ุงุฎุชูŠุงุฑูŠ

ุงู„ุฎุทูˆุฉ 5: ุงุณุชู†ุณุงุฎ ูˆุชุดุบูŠู„ ุงู„ู…ุดุฑูˆุน

# ุงุณุชู†ุณุงุฎ ุงู„ู…ุดุฑูˆุน
git clone https://github.com/alka2090/Agentic-Swarm.git
cd Agentic-Swarm

# ุงู„ุณู…ุงุญ ุจุชุดุบูŠู„ ุงู„ุณูƒุฑุจุชุงุช (ู…ุฑุฉ ูˆุงุญุฏุฉ ูู‚ุท)
Set-ExecutionPolicy -Scope CurrentUser -ExecutionPolicy RemoteSigned

# ุชุดุบูŠู„ ุงู„ุจุฑู†ุงู…ุฌ (ูŠุซุจุช ุงู„ู…ูƒุชุจุงุช ุชู„ู‚ุงุฆูŠุงู‹ ููŠ ุฃูˆู„ ู…ุฑุฉ)
.\run_project.ps1

๐Ÿค– ุงู„ู†ู…ุงุฐุฌ ุงู„ู…ุณุชุฎุฏู…ุฉ โ€” Models

ูŠุณุชุฎุฏู… ุงู„ู…ุดุฑูˆุน ู†ู…ุงุฐุฌ Google Gemma-4 ุงู„ู…ูุชูˆุญุฉ ุงู„ู…ุตุฏุฑ (Apache 2.0) ู…ู† Google DeepMind.

1๏ธโƒฃ ุนุงุฆู„ุฉ ุงู„ู†ู…ุงุฐุฌ ุงู„ุทุฑููŠุฉ โ€” Edge-Optimized Family

ุชุชู…ูŠุฒ ุจุชู‚ู†ูŠุฉ "Per-Layer Embeddings" (PLE) ู„ุฒูŠุงุฏุฉ ุงู„ูƒูุงุกุฉ ุนู„ู‰ ุงู„ุฃุฌู‡ุฒุฉ ุงู„ุตุบูŠุฑุฉ.

Gemma 4 E2B โ€” ุงู„ู†ู…ูˆุฐุฌ ุงู„ุฃุฎู ูˆุงู„ุฃุณุฑุน

ุงู„ู…ูˆุงุตูุฉุงู„ู‚ูŠู…ุฉ
ุงู„ู…ุนุฑูgoogle/gemma-4-e2b-it
ุงู„ู…ุนู„ู…ุงุช2.3 ู…ู„ูŠุงุฑ ูุนุงู„ุฉ (5.1 ู…ู„ูŠุงุฑ ุฅุฌู…ุงู„ุงู‹)
ุณูŠุงู‚ ุงู„ุฅุฏุฎุงู„128,000 Token
ุงู„ูˆุณุงุฆุทู†ุตุŒ ุตูˆุฑุŒ ูˆุตูˆุช (Native Audio)
ุงู„ุญุฌู… (4-bit)~1.5GB VRAM
ุงู„ุฃุฏุงุกู…ุตู…ู… ู„ู„ุฃุฌู‡ุฒุฉ ุงู„ุทุฑููŠุฉ ูˆุฃุฌู‡ุฒุฉ IoT
๐Ÿ”— HuggingFacegoogle/gemma-4-e2b-it
huggingface-cli download google/gemma-4-e2b-it

Gemma 4 E4B โ€” ุงู„ู…ุชูˆุณุท ุงู„ู‚ูˆูŠ

ุงู„ู…ูˆุงุตูุฉุงู„ู‚ูŠู…ุฉ
ุงู„ู…ุนุฑูgoogle/gemma-4-e4b-it
ุงู„ู…ุนู„ู…ุงุช4.5 ู…ู„ูŠุงุฑ ูุนุงู„ุฉ (8 ู…ู„ูŠุงุฑ ุฅุฌู…ุงู„ุงู‹)
ุณูŠุงู‚ ุงู„ุฅุฏุฎุงู„128,000 Token
ุงู„ูˆุณุงุฆุทู†ุตุŒ ุตูˆุฑุŒ ูˆุตูˆุช (Native Audio)
ุงู„ุญุฌู… (4-bit)~3GB VRAM
ุงู„ุฃุฏุงุกูŠุชููˆู‚ ุนู„ู‰ ู†ู…ุงุฐุฌ ุงู„ู€ 7B ุงู„ู‚ุฏูŠู…ุฉ ููŠ ุงู„ู…ู†ุทู‚ ุงู„ุจุฑู…ุฌูŠ
๐Ÿ”— HuggingFacegoogle/gemma-4-e4b-it
huggingface-cli download google/gemma-4-e4b-it

2๏ธโƒฃ ุนุงุฆู„ุฉ ุฎู„ูŠุท ุงู„ุฎุจุฑุงุก โ€” MoE Family

ู…ุนู…ุงุฑูŠุฉ ู‡ุฌูŠู†ุฉ ูุงุฆู‚ุฉ ุงู„ูƒูุงุกุฉ โ€” ุชูุนู‘ู„ ูู‚ุท ุงู„ุฎุจุฑุงุก ุงู„ู…ุทู„ูˆุจูŠู†.

Gemma 4 26B A4B (MoE) โ€” ุงู„ุณุฑุนุฉ ู…ุน ุงู„ุฐูƒุงุก

ุงู„ู…ูˆุงุตูุฉุงู„ู‚ูŠู…ุฉ
ุงู„ู…ุนุฑูgoogle/gemma-4-26b-a4b-it
ุงู„ู…ุนู„ู…ุงุช25.2 ู…ู„ูŠุงุฑ ุฅุฌู…ุงู„ูŠ (3.8 ู…ู„ูŠุงุฑ ูุนุงู„ุฉ ุฃุซู†ุงุก ุงู„ู…ุนุงู„ุฌุฉ)
ุณูŠุงู‚ ุงู„ุฅุฏุฎุงู„256,000 Token
ุงู„ูˆุณุงุฆุทู†ุต ูˆุตูˆุฑ (ุจุฏู‚ุฉ ุนุงู„ูŠุฉ)
ุงู„ุญุฌู… (4-bit)~13.3GB VRAM
ุงู„ุฃุฏุงุกูุงุฆู‚ ุงู„ุณุฑุนุฉุŒ ู…ุซุงู„ูŠ ู„ู„ุจุฑู…ุฌุฉ ุงู„ู…ุนู‚ุฏุฉ ูˆุงู„ูˆูƒู„ุงุก
๐Ÿ”— HuggingFacegoogle/gemma-4-26b-a4b-it
huggingface-cli download google/gemma-4-26b-a4b-it

3๏ธโƒฃ ุนุงุฆู„ุฉ ุงู„ู†ู…ุงุฐุฌ ุงู„ูƒุซูŠูุฉ โ€” Dense Frontier Family

ุงู„ู†ู…ูˆุฐุฌ ุงู„ุฃุถุฎู… ูˆุงู„ุฃุฐูƒู‰ ููŠ ุงู„ุณู„ุณู„ุฉ.

Gemma 4 31B (Dense) โ€” ุงู„ูˆุญุด ุงู„ุญู‚ูŠู‚ูŠ ๐Ÿ”ฅ

ุงู„ู…ูˆุงุตูุฉุงู„ู‚ูŠู…ุฉ
ุงู„ู…ุนุฑูgoogle/gemma-4-31b-it
ุงู„ู…ุนู„ู…ุงุช30.7 ู…ู„ูŠุงุฑ ู…ุนู„ู…ุฉ (ูƒุซูŠู ุจุงู„ูƒุงู…ู„)
ุณูŠุงู‚ ุงู„ุฅุฏุฎุงู„256,000 Token
ุงู„ูˆุณุงุฆุทู†ุต ูˆุตูˆุฑ (ุฃุนู„ู‰ ุฏู‚ุฉ ููŠ ูู‡ู… ุงู„ู…ุณุชู†ุฏุงุช)
ุงู„ุญุฌู… (4-bit)~16.4GB VRAM
ุงู„ุฃุฏุงุกุงู„ู…ุฑูƒุฒ #3 ุนุงู„ู…ูŠุงู‹ ุจูŠู† ุงู„ู†ู…ุงุฐุฌ ุงู„ู…ูุชูˆุญุฉ โ€” ุชููƒูŠุฑ ู…ู†ุทู‚ูŠ ุนู…ูŠู‚
๐Ÿ”— HuggingFacegoogle/gemma-4-31b-it
huggingface-cli download google/gemma-4-31b-it

๐Ÿ“Š ุฌุฏูˆู„ ุงู„ู…ู‚ุงุฑู†ุฉ ุงู„ุดุงู…ู„

ุงู„ู†ู…ูˆุฐุฌุงู„ู…ุนู„ู…ุงุชVRAM (4-bit)ุงู„ุณูŠุงู‚ุงู„ูˆุณุงุฆุทุงู„ุงุณุชุฎุฏุงู… ุงู„ุฃู…ุซู„
gemma-4-e2b-it2.3B~1.5GB128Kู†ุต+ุตูˆุฑ+ุตูˆุชุจุญุซ ุณุฑูŠุนุŒ ุชู„ุฎูŠุตุŒ ู…ุณูˆุฏุงุช
gemma-4-e4b-it4.5B~3GB128Kู†ุต+ุตูˆุฑ+ุตูˆุชุฃูƒูˆุงุฏ ู…ุชูˆุณุทุฉุŒ ุชุญู„ูŠู„ ุจูŠุงู†ุงุช
gemma-4-26b-a4b-it25.2B (MoE)~13.3GB256Kู†ุต+ุตูˆุฑุจุฑู…ุฌุฉ ู…ุนู‚ุฏุฉุŒ ู…ุญุงูƒุงุฉ ู…ู†ุทู‚ูŠุฉ
gemma-4-31b-it30.7B (Dense)~16.4GB256Kู†ุต+ุตูˆุฑุชููƒูŠุฑ ุนู…ูŠู‚ุŒ ู‚ุฑุงุฑุงุช ู…ุนู‚ุฏุฉ

โ„น๏ธ ู…ุนู„ูˆู…ุงุช ุชู‚ู†ูŠุฉ ู‡ุงู…ุฉ

  • ุงู„ู…ุณุชูˆุฏุน ุงู„ุฑุณู…ูŠ: google-deepmind/gemma
  • ุงู„ุชุฑุฎูŠุต: Apache 2.0 (ู…ูุชูˆุญุฉ ุจุงู„ูƒุงู…ู„)
  • ุชุญุฏูŠุซ ุงู„ู…ูƒุชุจุงุช:
    pip install -U transformers huggingface_hub
    

๐Ÿ›๏ธ ุงู„ุจู†ูŠุฉ ุงู„ู…ุนู…ุงุฑูŠุฉ โ€” Architecture

โ”Œโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”
โ”‚                    ๐Ÿ–ฅ๏ธ Presentation Layer                    โ”‚
โ”‚    main_window.py โ”‚ customization_dialog.py โ”‚ components.py โ”‚
โ”‚    app_style.py โ”‚ details_dialog.py โ”‚ diagnosis_dialog.py   โ”‚
โ”œโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”ค
โ”‚                    ๐Ÿ”„ Orchestration Layer                   โ”‚
โ”‚              ai_worker.py โ”‚ orchestrator.py                 โ”‚
โ”œโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”ค
โ”‚                    ๐Ÿง  AI Engine Layer                       โ”‚
โ”‚                       ai_engine.py                          โ”‚
โ”œโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”ค
โ”‚                    ๐Ÿ’พ Data Layer                             โ”‚
โ”‚          database.py โ”‚ SQLite โ”‚ JSON Configs                โ”‚
โ””โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”˜

๐Ÿ“ ู‡ูŠูƒู„ ุงู„ู…ุดุฑูˆุน โ€” Project Structure

Agentic-Swarm/
โ”œโ”€โ”€ ๐Ÿ“„ desktop_app.py          โ† Entry point โ€” ู†ู‚ุทุฉ ุงู„ุฏุฎูˆู„
โ”œโ”€โ”€ ๐Ÿ“„ run_project.ps1         โ† Auto-launch script โ€” ุณูƒุฑุจุช ุงู„ุชุดุบูŠู„ ุงู„ุชู„ู‚ุงุฆูŠ
โ”œโ”€โ”€ ๐Ÿ“„ fix_os_1455.ps1         โ† Virtual memory fix โ€” ุฅุตู„ุงุญ ุงู„ุฐุงูƒุฑุฉ ุงู„ุงูุชุฑุงุถูŠุฉ
โ”œโ”€โ”€ ๐Ÿ“„ requirements.txt        โ† Python dependencies โ€” ุงู„ู…ูƒุชุจุงุช ุงู„ู…ุทู„ูˆุจุฉ
โ”œโ”€โ”€ ๐Ÿ“ backend/
โ”‚   โ”œโ”€โ”€ ๐Ÿ“„ ai_engine.py        โ† AI model loader/generator โ€” ู…ุญุฑูƒ ุงู„ุฐูƒุงุก ุงู„ุงุตุทู†ุงุนูŠ
โ”‚   โ”œโ”€โ”€ ๐Ÿ“„ orchestrator.py     โ† Agent orchestration โ€” ุงู„ู…ู†ุณู‚ ุงู„ู…ุฑูƒุฒูŠ
โ”‚   โ””โ”€โ”€ ๐Ÿ“„ database.py         โ† SQLite database โ€” ู‚ุงุนุฏุฉ ุงู„ุจูŠุงู†ุงุช
โ”œโ”€โ”€ ๐Ÿ“ gui/
โ”‚   โ”œโ”€โ”€ ๐Ÿ“„ main_window.py      โ† Main window (3-panel layout) โ€” ุงู„ู†ุงูุฐุฉ ุงู„ุฑุฆูŠุณูŠุฉ
โ”‚   โ”œโ”€โ”€ ๐Ÿ“„ customization_dialog.py โ† Agent customization โ€” ุชุฎุตูŠุต ุงู„ูˆูƒู„ุงุก
โ”‚   โ”œโ”€โ”€ ๐Ÿ“„ diagnosis_dialog.py โ† Live diagnostics โ€” ุงู„ุชุดุฎูŠุต ุงู„ุญูŠ
โ”‚   โ”œโ”€โ”€ ๐Ÿ“„ details_dialog.py   โ† Model details viewer โ€” ุนุงุฑุถ ุงู„ุชูุงุตูŠู„
โ”‚   โ”œโ”€โ”€ ๐Ÿ“„ components.py       โ† Custom widgets โ€” ู…ูƒูˆู†ุงุช ู…ุฎุตุตุฉ
โ”‚   โ”œโ”€โ”€ ๐Ÿ“„ app_style.py        โ† WhatsApp Dark QSS โ€” ุฃู†ู…ุงุท ุงู„ุชุตู…ูŠู…
โ”‚   โ”œโ”€โ”€ ๐Ÿ“„ ai_worker.py        โ† Background QThreads โ€” ุฎูŠูˆุท ุงู„ุนู…ู„
โ”‚   โ””โ”€โ”€ ๐Ÿ“„ models_data.py      โ† Model specs HTML โ€” ุจูŠุงู†ุงุช ุงู„ู†ู…ุงุฐุฌ
โ””โ”€โ”€ ๐Ÿ“ config/
    โ”œโ”€โ”€ ๐Ÿ“„ current_config.json โ† Active agent config โ€” ุฅุนุฏุงุฏุงุช ุงู„ูˆูƒู„ุงุก
    โ””โ”€โ”€ ๐Ÿ“„ settings.json       โ† Global settings โ€” ุงู„ุฅุนุฏุงุฏุงุช ุงู„ุนุงู…ุฉ

๐Ÿ’ก ูƒูŠู ูŠุนู…ู„ุŸ โ€” How It Works

ุงู„ู…ุณุชุฎุฏู… ูŠูƒุชุจ ููƒุฑุฉ โ†’ SwarmWorker (QThread) โ†’ Orchestrator โ†’ ุญู„ู‚ุฉ ู„ุง ู†ู‡ุงุฆูŠุฉ:
  โ”‚
  โ”œโ”€โ”€ ุงู„ูˆูƒูŠู„ #1: ุชุญู…ูŠู„ ุงู„ู†ู…ูˆุฐุฌ โ†’ ุชูˆู„ูŠุฏ (Streaming) โ†’ ุชูุฑูŠุบ VRAM
  โ”œโ”€โ”€ ุงู„ูˆูƒูŠู„ #2: ุชุญู…ูŠู„ ุงู„ู†ู…ูˆุฐุฌ โ†’ ุชูˆู„ูŠุฏ (Streaming) โ†’ ุชูุฑูŠุบ VRAM
  โ”œโ”€โ”€ ุงู„ูˆูƒูŠู„ #3: ุชุญู…ูŠู„ ุงู„ู†ู…ูˆุฐุฌ โ†’ ุชูˆู„ูŠุฏ (Streaming) โ†’ ุชูุฑูŠุบ VRAM
  โ”œโ”€โ”€ ุงู„ูˆูƒูŠู„ #4: ุชุญู…ูŠู„ ุงู„ู†ู…ูˆุฐุฌ โ†’ ุชูˆู„ูŠุฏ (Streaming) โ†’ ุชูุฑูŠุบ VRAM
  โ””โ”€โ”€ ุงู„ูˆูƒูŠู„ #5: ุชุญู…ูŠู„ ุงู„ู†ู…ูˆุฐุฌ โ†’ ุชูˆู„ูŠุฏ (Streaming) โ†’ ุชูุฑูŠุบ VRAM โ†’ ุญูุธ ุงู„ู…ุณูˆุฏุฉ
        โ”‚
        โ””โ”€โ”€ ุงู„ุนูˆุฏุฉ ู„ู„ูˆูƒูŠู„ #1 (ุฏูˆุฑุฉ ุฌุฏูŠุฏุฉ) โ† โˆž

ุงุณุชุฑุงุชูŠุฌูŠุฉ ุฅุฏุงุฑุฉ ุงู„ุฐุงูƒุฑุฉ โ€” VRAM Management

ุงู„ู†ู…ูˆุฐุฌุงู„ุงุณุชุฑุงุชูŠุฌูŠุฉ
E2B / E4BGPU ูู‚ุท โ€” ูŠุชุณุน ุจุณู‡ูˆู„ุฉ
26B MoEGPU ู…ุน ุญุฏ max_memory: 14.5GiB
31B DenseGPU 14.5GiB + CPU Offload 16GiB

ุงู„ุชูุฑูŠุบ ุงู„ู†ูˆูˆูŠ ุจุนุฏ ูƒู„ ูˆูƒูŠู„:

accelerate.release_memory(model) โ†’ del model โ†’ gc.collect() โ†’ torch.cuda.empty_cache() โ†’ torch.cuda.synchronize()

๐ŸŽฎ ุงู„ุงุณุชุฎุฏุงู… โ€” Usage

ุจุฏุก ุฌู„ุณุฉ ุนุตู ุฐู‡ู†ูŠ

  1. ุดุบู‘ู„ ุงู„ุจุฑู†ุงู…ุฌ ุนุจุฑ .\run_project.ps1
  2. ุงูƒุชุจ ููƒุฑุชูƒ ููŠ ู…ุฑุจุน ุงู„ุฅุฏุฎุงู„
  3. ุงุถุบุท Enter โ€” ุงู„ูˆูƒู„ุงุก ุณูŠุจุฏุฃูˆู† ุงู„ุนู…ู„ ุชู„ู‚ุงุฆูŠุงู‹

ุชุฎุตูŠุต ุงู„ูˆูƒู„ุงุก

  • ุงุถุบุท ๐ŸŽ›๏ธ ุชุฎุตูŠุต ุงู„ู†ู…ุงุฐุฌ ูˆุงู„ูˆูƒู„ุงุก
  • ุบูŠู‘ุฑ ุงุณู… ูƒู„ ูˆูƒูŠู„ ูˆุฏูˆุฑู‡ ูˆุงู„ู†ู…ูˆุฐุฌ ุงู„ู…ุณุชุฎุฏู…
  • ุฃูˆ ุงูƒุชุจ ูˆุตูุงู‹ ูˆุงุถุบุท "ุจุฏุก ุชุฎุตูŠุต ุงู„ูƒู„" ู„ู„ุชุฎุตูŠุต ุจุงู„ุฐูƒุงุก ุงู„ุงุตุทู†ุงุนูŠ

ุงู„ุชุฏุฎู„ ุฃุซู†ุงุก ุงู„ุนู…ู„

  • ุงูƒุชุจ ุฑุณุงู„ุฉ ุฌุฏูŠุฏุฉ ุฃุซู†ุงุก ุนู…ู„ ุงู„ูˆูƒู„ุงุก โ†’ ุณุชูุญู‚ู† ูƒู€ "ุฃู…ุฑ ุฅุฏุงุฑูŠ"

๐Ÿ› ๏ธ ุงู„ุชู‚ู†ูŠุงุช ุงู„ู…ุณุชุฎุฏู…ุฉ โ€” Tech Stack

ุงู„ุชู‚ู†ูŠุฉุงู„ุงุณุชุฎุฏุงู…
Python 3.13ุงู„ู„ุบุฉ ุงู„ุฃุณุงุณูŠุฉ
PySide6 (Qt 6)ูˆุงุฌู‡ุฉ ุณุทุญ ุงู„ู…ูƒุชุจ ุงู„ุฃุตู„ูŠุฉ
PyTorchู…ุญุฑูƒ ุงู„ุญุณุงุจ ุงู„ุชู†ุณูˆุฑูŠ GPU
Hugging Face Transformersุชุญู…ูŠู„ ูˆุชุดุบูŠู„ ุงู„ู†ู…ุงุฐุฌ
BitsAndBytesุถุบุท 4-bit NF4
Accelerateุฅุฏุงุฑุฉ device_map ูˆ CPU offload
SQLite3ู‚ุงุนุฏุฉ ุงู„ุจูŠุงู†ุงุช ุงู„ู…ุญู„ูŠุฉ

โ“ ุญู„ ุงู„ู…ุดุงูƒู„ ุงู„ุดุงุฆุนุฉ โ€” Troubleshooting

โŒ python is not recognized

ุงู„ุณุจุจ: ู„ู… ุชููุนู‘ู„ "Add to PATH" ุฃุซู†ุงุก ุชุซุจูŠุช Python. ุงู„ุญู„: ุฃุนุฏ ุชุซุจูŠุช Python ูˆูุนู‘ู„ ุงู„ุฎูŠุงุฑ.

โŒ torch.cuda.is_available() ูŠุฑุฌุน False

ุงู„ุญู„:

  1. ุชุฃูƒุฏ ู…ู† ุชุซุจูŠุช CUDA Toolkit
  2. ุฃุนุฏ ุชุซุจูŠุช PyTorch: pip install torch --index-url https://download.pytorch.org/whl/cu126
  3. ุฃุนุฏ ุชุดุบูŠู„ ุงู„ูƒู…ุจูŠูˆุชุฑ
โŒ CUDA out of memory

ุงู„ุญู„: ุบูŠู‘ุฑ ุงู„ู†ู…ูˆุฐุฌ ุงู„ู…ุนูŠู‘ู† ู„ูƒู„ ูˆูƒูŠู„ ุฅู„ู‰ gemma-4-e2b-it (ุงู„ุฃุตุบุฑ) ู…ู† ู†ุงูุฐุฉ ุงู„ุชุฎุตูŠุต.

โŒ execution of scripts is disabled
Set-ExecutionPolicy -Scope CurrentUser -ExecutionPolicy RemoteSigned
โŒ OSError: model not found

ุงู„ุณุจุจ: ุงู„ู†ู…ูˆุฐุฌ ุบูŠุฑ ู…ุญู…ู‘ู„. ุงู„ุญู„: huggingface-cli download google/gemma-4-e2b-it


๐Ÿ“„ ุงู„ุชุฑุฎูŠุต โ€” License

This project is licensed under the Apache License 2.0 โ€” see the LICENSE file for details.

The Gemma-4 models are also licensed under Apache 2.0 by Google DeepMind.


๐Ÿ™ ุดูƒุฑ ูˆุชู‚ุฏูŠุฑ โ€” Acknowledgments

  • Google DeepMind โ€” ู„ู†ู…ุงุฐุฌ Gemma-4 ุงู„ู…ูุชูˆุญุฉ
  • Hugging Face โ€” ู„ุงุณุชุถุงูุฉ ุงู„ู†ู…ุงุฐุฌ ูˆู…ูƒุชุจุฉ Transformers
  • The Qt Company โ€” ู„ุฅุทุงุฑ ุนู…ู„ Qt 6 ูˆ PySide6
  • PyTorch โ€” ู„ู…ุญุฑูƒ ุงู„ุญุณุงุจ ุงู„ุชู†ุณูˆุฑูŠ

Built with โค๏ธ for the open-source AI community

Contributors

aiksa2090

4 commits

Languages

Python

95.5%

PowerShell

4.5%