Küçük Dil Modelleri (SLM): Nedir, Hangisi, Ne Zaman LLM Yerine?
Küçük dil modelleri neden 2026'nın gündeminde? SLM'in ne demek olduğu, Gemma 4, Qwen3.5, Ministral 3, Granite 4.2, Phi-4-mini, SmolLM3 ve LFM2.5 gibi aileler, SLM ile LLM arasında karar tablosu, distillation, quantization, LoRA, cihazda çalıştırma, LLM+SLM yönlendirme ve kendi görevin için değerlendirme.
Güncellendi:
Kısa özet
Küçük dil modelleri (SLM), büyük dil modelleriyle (LLM) aynı temele sahip ama dizüstü bilgisayarda, telefonda ya da tek bir GPU'da çalışabilecek kadar küçük tutulmuş modellerdir. 2026'da konuşulmalarının sebebi basit: birçok gerçek iş, yüz milyarlarca parametrelik bir model gerektirmiyor. Etiketleme, bilgi çıkarma, yönlendirme, kısa özetler ve bir ajanın içindeki tekrarlı araç çağrıları, doğru seçilmiş küçük bir modelle daha ucuz, daha hızlı ve veriyi dışarı çıkarmadan yapılabiliyor.
Bu rehberde önce "küçük"ün ne demek olduğunu netleştiriyoruz, sonra Ekim 2026 itibarıyla öne çıkan açık ağırlıklı aileleri (boyut ve lisanslarıyla) listeliyoruz. Ardından bir SLM–LLM karar tablosu, modelleri küçülten teknikler, cihazda çalıştırma seçenekleri, LLM ile SLM'i birlikte kullanan bir yönlendirme deseni ve kendi görevin için nasıl değerlendirme yapacağın geliyor.
Not: Model adları, boyutları ve lisanslar 24 Ekim 2026 itibarıyla Hugging Face model kartlarından ve üreticilerin sayfalarından kontrol edildi. Hız ve kalite rakamları üreticilerin kendi ölçümleri; metinde kime ait olduğunu belirttik. Bu alan hızlı değişiyor; karar vermeden önce model kartının güncel halini oku.
"Küçük" ne kadar küçük?
SLM için herkesin kabul ettiği bir parametre sınırı yok. Üç farklı bakış açısı var ve hepsi kendi içinde makul:
- İşlevsel tanım. NVIDIA Research'ün "Small Language Models are the Future of Agentic AI" makalesi (Belcak ve ark., ilk sürüm Haziran 2025, son sürüm Eylül 2026) SLM'i şöyle tanımlıyor: yaygın bir tüketici cihazına sığan ve tek bir kullanıcının isteklerine pratik gecikmeyle cevap verebilen dil modeli. Bu tanım bilinçli olarak zamana bağlı: bugün "büyük" olan, donanım geliştikçe yarın "küçük" olabilir.
- Kaba parametre aralığı. Aynı makale "2025 itibarıyla 10 milyar parametrenin altındaki çoğu modeli SLM saymaya hazırız" diyor. Sektörde de pratikte ~0,1B–10B aralığı SLM diye anılıyor. 12–14B modeller (ör. Ministral 3 14B, Gemma 4 12B) gri bölgede.
- Dağıtım yeri. Bazı üreticiler boyuttan çok hedef cihazdan söz ediyor: Google, Gemma 4'ün E2B ve E4B modellerini "mobil ve edge cihazlar", 12B ve üstünü "tüketici GPU'ları ve iş istasyonları" için konumluyor.
Parametre sayısı da tek başına yanıltıcı olabilir. İki örnek:
- "Etkili" parametre: Gemma 4 E2B'nin model kartı 2,3B etkili, gömme tablolarıyla birlikte 5,1B toplam parametre bildiriyor. "E", katman başına gömme (Per-Layer Embeddings) tekniğinden geliyor: bu tablolar büyük ama sadece hızlı arama için kullanılıyor.
- Mixture of Experts: Liquid AI'ın LFM2.5-8B-A1B'si toplamda ~8B parametreye sahip ama adındaki "A1B" her token için yaklaşık 1B parametrenin aktif olduğunu söylüyor. MoE modellerde hız aktif parametreye, bellek ihtiyacı ise toplam parametreye yakındır.
Pratik kural: "Bu model küçük mü?" yerine "Bu model benim donanımımda, benim gecikme bütçemle ve benim görevimde yeterince iyi mi?" diye sor.
Neden 2026'da bu kadar gündemde?
1. Maliyet. Bir API'ye her istek için ödeme yapmak, trafik büyüdükçe en büyük kalem haline geliyor. NVIDIA makalesi, 7B'lik bir SLM'i servis etmenin 70–175B'lik bir LLM'e göre gecikme, enerji ve FLOP açısından 10–30 kat daha ucuz olduğunu söylüyor (yazarların literatürden derlediği tahmin, kendi ölçümün değil). Kesin oran senin donanımına ve trafiğine bağlı, ama yön açık.
2. Gecikme. Küçük model hem daha az hesap yapar hem de kullanıcıya yakın (cihazda ya da aynı veri merkezinde) çalışabilir. Ağ gidiş-dönüşü ortadan kalkınca otomatik tamamlama, sesli arayüz ve gerçek zamanlı sınıflandırma gibi işler mümkün hale gelir.
3. Cihazda çalışma. Telefon ve dizüstü bilgisayar donanımı artık 1–4B'lik quantize modelleri taşıyabiliyor. Apple, Apple Intelligence'ın merkezinde ~3B parametrelik bir cihaz içi model olduğunu ve 2025'te tanıttığı Foundation Models framework ile uygulama geliştiricilerinin bu modele doğrudan erişebildiğini açıkladı; Apple bu modeli 2-bit quantization-aware training ile sıkıştırdığını belirtiyor. Google, Gemma 4 E2B/E4B'yi "dizüstü bilgisayar ve mobil cihazlarda verimli yerel çalışma" için tasarladığını yazıyor.
4. Gizlilik ve veri egemenliği. Model senin cihazında ya da sunucunda çalışırsa istem ve belgeler dışarı çıkmak zorunda kalmaz. Sağlık, hukuk, finans ve kurum içi verilerde bu tek başına belirleyici olabilir. (Bkz. AI ve veri gizliliği.)
5. Ajanlar ve yönlendirme. Bir AI ajanı tek bir görevde onlarca model çağrısı yapar ve bu çağrıların çoğu dar ve tekrarlıdır: "bu çıktıyı JSON'a çevir", "hangi aracı çağırmalıyım", "bu belge ilgili mi". NVIDIA makalesinin ana tezi de bu: ajanların içindeki çağrıların önemli bir kısmı SLM'lere devredilebilir, genel sohbet yeteneği gereken yerlerde ise heterojen sistemler (farklı boyutta modeller bir arada) kullanılmalı.
Ekim 2026 itibarıyla öne çıkan SLM aileleri
Aşağıdaki tablo yalnızca Hugging Face model kartlarından doğrulayabildiğimiz bilgileri içeriyor. "Parametre" sütunu kartta yazan değer; parantez içindekiler Hugging Face'in safetensors dosyalarından hesapladığı toplam.
| Aile (üretici) | Küçük boyutlar | Lisans | Bağlam | Öne çıkan |
|---|---|---|---|---|
| Gemma 4 (Google) | E2B (2,3B etkili / 5,1B toplam), E4B (4,5B etkili / 8B toplam); 12B üst sınırda | Apache 2.0 | 128K (E2B/E4B), 256K (12B) | Metin + görsel + ses girişi; mobil ve edge için tasarlandı; 140'tan fazla dil; E2B/E4B 31 Mart 2026, 12B 3 Haziran 2026 |
| Qwen3.5 (Alibaba) | 0.8B, 2B, 4B, 9B | Apache 2.0 | 262.144 token (yerel) | Görsel-metin modeli; düşünme ve düşünmeme modu; 0.8B varsayılan olarak düşünmeme modunda; küçük boyutlar 2 Mart 2026 |
| Ministral 3 (Mistral AI) | 3B, 8B, 14B (Base, Instruct, Reasoning) | Apache 2.0 | 256K | Görsel girişi; edge için tasarlandı; Mistral'e göre 3B FP8'de 8 GB VRAM'e, 14B 24 GB'a sığar; 2 Aralık 2025 |
| Granite 4.2 (IBM) | 3B, 8B | Apache 2.0 | 128K yerel, 512K'ya uzatma | Yerleşik düşünme (reasoning) ve araç çağırma; 25 Ağustos 2026 |
| Phi-4-mini (Microsoft) | 3.8B (instruct, reasoning, flash-reasoning) | MIT | 128K | Sentetik ve filtrelenmiş "akıl yürütme yoğun" veri; Şubat 2025 tarihli; Microsoft sonradan Phi-mini-MoE gibi başka küçük Phi modelleri de yayımladı |
| SmolLM3 (Hugging Face) | 3B | Apache 2.0 | 64K eğitim, YaRN ile 128K | Tamamen açık: ağırlıklar + veri karışımı + eğitim ayarları; düşünme modu açılıp kapanabilir; 6 ana dil |
| LFM2.5 (Liquid AI) | 230M, 350M, 1.2B, 2.6B, 8B-A1B (MoE) | LFM Open License v1.0 | 32K (1.2B) | Hibrit evrişim + dikkat mimarisi; cihaz içi kullanım için tasarlandı |
| Llama 3.2 (Meta) | 1B, 3B | Llama 3.2 Community License (erişim onaylı) | 128K (Meta'nın quantize sürümlerinde 8K) | Yalnız metin; 25 Eylül 2024; Hugging Face'teki en yeni küçük Llama hâlâ bu |
Tablodan çıkan birkaç pratik ders:
- Lisans, model seçimini daraltır. Apache 2.0 ve MIT ticari kullanımda en az sürtünmeli seçenekler. LFM Open License v1.0, yıllık geliri 10 milyon dolar ve üzeri olan şirketlerin ticari kullanımını lisans kapsamı dışında bırakıyor. Llama 3.2 için Hugging Face'te erişim onayı gerekiyor ve kendi lisans koşulları var.
- "Küçük" artık çok modlu da olabilir. Gemma 4 E2B/E4B ses ve görsel, Qwen3.5 ve Ministral 3 görsel alıyor. Telefonda konuşmayı yazıya döken ya da fotoğraf okuyan bir model artık 2–4B ölçeğinde.
- Uzun bağlam ≠ ucuz bağlam. 128K–262K bağlam kâğıt üzerinde mümkün, ama bağlam uzadıkça KV cache belleği büyür. Telefonda pratik bağlam, kartta yazandan çok daha kısa olacaktır.
- Benchmark'lar üreticinin. Model kartlarındaki skor tablolarının neredeyse tamamı üreticilerin kendi ölçümü. Liquid AI, LFM2.5-1.2B için AMD CPU'da saniyede 239, mobil NPU'da 82 token ve 1 GB'ın altında bellek bildiriyor; Mistral, 3B'nin 8 GB VRAM'e sığdığını söylüyor. Bunlar başlangıç noktası, karar verisi değil.
SLM mi, LLM mi? Karar tablosu
| Soru | SLM'e işaret eder | LLM'e işaret eder |
|---|---|---|
| Görev ne kadar dar? | Tek tip, tekrarlı, iyi tanımlı (sınıflandırma, çıkarma, biçim dönüştürme) | Açık uçlu, her istekte farklı |
| Ne kadar dünya bilgisi gerekiyor? | Az; bilgi istemde ya da RAG ile veriliyor | Çok; modelin kendi bilgisine güveniyorsun |
| Akıl yürütme derinliği | Kısa, birkaç adım | Uzun, çok adımlı, matematik, zor kod |
| Gecikme bütçesi | Onlarca–yüzlerce milisaniye | Birkaç saniye kabul edilebilir |
| Veri nerede kalmalı? | Cihazda ya da kendi sunucunda | Bulut sağlayıcı kabul edilebilir |
| İstek hacmi | Yüksek (binlerce–milyonlarca/gün) | Düşük ya da düzensiz |
| Bağlantı | Çevrimdışı ya da zayıf bağlantı | Her zaman çevrimiçi |
| Etiketli verin var mı? | Var; LoRA ile uyarlayabilirsin | Yok; few-shot istemle idare etmen gerek |
| Hata maliyeti | Düşük ya da hatalar bir sonraki adımda yakalanıyor | Yüksek ve hatayı yakalayacak bir kontrol yok |
İki sütundan da işaret varsa (ki çoğu gerçek sistemde öyledir), cevap genellikle ikisi birden: rutin istekleri SLM'e, zor ya da belirsiz olanları LLM'e gönderen bir yönlendirme katmanı. Aşağıda bunun bir örneği var.
Küçük modelleri iyi yapan teknikler
Distillation (bilgi damıtma)
Distillation, büyük bir "öğretmen" modelin çıktılarını kullanarak küçük bir "öğrenci" modeli eğitmektir. Fikir Hinton, Vinyals ve Dean'in 2015 tarihli "Distilling the Knowledge in a Neural Network" makalesine dayanıyor: öğrenci yalnızca doğru cevabı değil, öğretmenin olasılık dağılımını da öğrenir. Bugün iki biçimde görüyoruz:
- Logit/olasılık distillation: Öğrenci, öğretmenin token olasılıklarını taklit eder. Öğretmenin ağırlıklarına ya da çıktı olasılıklarına erişim gerektirir.
- Sentetik veriyle distillation: Büyük model bir görev için örnekler ve cevaplar üretir, küçük model bu veriyle ince ayarlanır. Microsoft'un Phi-4-mini kartı modelin "sentetik veri ve filtrelenmiş web verisi" üzerine kurulduğunu söylüyor; IBM de Granite 4.2'nin eğitim verisinde dahili üretilmiş sentetik veriye yer veriyor.
Dikkat: Ticari bir API'nin çıktılarıyla model eğitmek, o sağlayıcının kullanım koşullarıyla çelişebilir. Öğretmen modelin lisansını ve koşullarını kontrol et.
Quantization (nicemleme)
Quantization, ağırlıkları 16 bit yerine 8 ya da 4 bitle saklamaktır. Bellek kabaca bit sayısıyla orantılı küçülür, hız da genellikle artar. Yalnız ağırlıklar için kaba hesap:
| Model boyutu | FP16 / BF16 | 8-bit | 4-bit (yaklaşık) |
|---|---|---|---|
| 1B | ~2 GB | ~1 GB | ~0,6 GB |
| 3–4B | ~6–8 GB | ~3–4 GB | ~2–2,5 GB |
| 8–9B | ~16–18 GB | ~8–9 GB | ~5 GB |
| 14B | ~28 GB | ~14 GB | ~8–9 GB |
Bu tablo sadece ağırlıkları içerir. Üstüne KV cache (bağlam uzunluğuyla büyür), çalışma ortamının ek yükü ve çok modlu modellerde görsel/ses kodlayıcıları eklenir. Kendi donanımın için hesabı GPU / VRAM hesaplayıcı ile yapabilirsin.
Gerçek dünyadan bir sağlama: Ollama kütüphanesindeki 4-bit (q4_K_M) dosyalar, yalnız metin modellerinde bu tabloyla uyumlu: Phi-4-mini (3.8B) 2,5 GB, Granite 4.2 3B 2,2 GB, Granite 4.2 8B 5,3 GB. Çok modlu modellerde ise dosya belirgin biçimde büyük: Gemma 4 E2B 4,6 GB, E4B 6,6 GB, Qwen3.5-9B 6,6 GB, Ministral 3 3B 3,0 GB. Fark gömme tablolarından ve görsel/ses kodlayıcılarından geliyor; Gemma 4 E2B'deki "2B", telefonda 2B'lik bellek demek değil.
Bazı üreticiler quantize sürümleri kendileri yayımlıyor: Google, Gemma 4 için QAT (quantization-aware training) ile eğitilmiş q4_0 GGUF dosyaları; Qwen büyük Qwen3.5 boyutları için FP8 ve GPTQ-Int4; Mistral FP8 ve GGUF; IBM FP8 ve GGUF paylaşıyor. Mümkünse üreticinin kendi quantize sürümünü tercih et; topluluk sürümlerinde kalite değişkendir.
LoRA ile ince ayar
Küçük modelin asıl gücü, kendi görevine göre ucuzca uyarlanabilmesi. LoRA (Hu ve ark., 2021) modelin ağırlıklarını dondurur ve her katmana küçük, eğitilebilir düşük ranklı matrisler ekler; makale GPT-3 175B üzerinde eğitilebilir parametre sayısının 10.000 kat, GPU belleğinin 3 kat azaldığını bildiriyor. QLoRA (Dettmers ve ark., 2023) bunu 4-bit quantize edilmiş bir temel modelle birleştirir; makale 65B'lik bir modeli tek bir 48 GB GPU'da ince ayarlayabildiklerini gösteriyor. 3–4B'lik bir modelde bu, tüketici sınıfı tek bir GPU'da LoRA eğitimi anlamına gelir.
Ne zaman fine-tuning? İstem mühendisliği ve birkaç örnekle hedef kaliteye ulaşamıyorsan, elinde birkaç yüz–birkaç bin kaliteli örnek varsa ve görev sabitse. Bilgi eklemek için değil, biçim ve davranış öğretmek için en iyi sonucu verir; güncel bilgi için RAG daha uygundur.
Cihazda ve edge'de çalıştırma
SLM'i nerede çalıştıracağın, hangi araçları kullanacağını belirler.
| Hedef | Çalışma ortamı | Not |
|---|---|---|
| Dizüstü / masaüstü | Ollama, llama.cpp, LM Studio | GGUF formatı; CPU ve GPU; en kolay başlangıç |
| Apple silicon Mac | MLX (mlx-lm) |
Apple'ın birleşik belleğinden yararlanır |
| Sunucu (çok kullanıcı) | vLLM | Yüksek eşzamanlılık; Qwen3.5 ve Ministral 3 kartları vLLM komutları veriyor |
| Android / iOS | Google LiteRT-LM, PyTorch ExecuTorch, MLC LLM | Mobil CPU/GPU/NPU; Google, Gemma 3n için LiteRT-LM paketleri yayımlıyor |
| Çapraz platform | ONNX Runtime GenAI | Phi, Ministral 3 ve LFM2.5 için ONNX sürümleri var |
| Tarayıcı | Transformers.js (WebGPU) | Sunucu olmadan, kullanıcının tarayıcısında |
| Apple uygulamaları | Foundation Models framework | Apple'ın kendi ~3B cihaz içi modeline erişim; model seçemezsin |
Ollama ile birkaç küçük modeli denemek tek satır (etiketler ollama.com/library'den, Ekim 2026):
ollama run gemma4:e2b
ollama run qwen3.5:4b
ollama run ministral-3:3b
ollama run granite4.2:3b
ollama run phi4-miniYerelde model çalıştırmanın ayrıntıları (donanım seçimi, araç karşılaştırması, kurulum) için kardeş rehbere bak: Yerelde LLM çalıştırma. Araç bazında sayfalar Yerel AI bölümünde.
Desen: LLM + SLM yönlendirme ve kademeli (cascade) çağrı
En yaygın üretim deseni "her şeyi küçük modele ver" değil, önce küçük modeli dene, gerekirse büyüğe çık. Bu fikrin iki akademik temeli var:
- FrugalGPT (Chen, Zaharia, Zou, 2023): Sorguları önce ucuz modele gönderen, cevap yeterince iyi değilse daha pahalı modele çıkan bir LLM cascade öneriyor.
- RouteLLM (Ong ve ark., 2024): İnsan tercih verisiyle eğitilmiş bir yönlendirici, her sorgu için güçlü ya da zayıf modelden hangisinin kullanılacağına karar veriyor.
Basit bir kademeli çağrı şöyle görünür: SLM cevabı yapılandırılmış biçimde üretir, kod bu cevabı doğrular; cevap şemaya uymuyorsa ya da model "emin değilim" diyorsa istek büyük modele gider.
# pip install openai
import json, os
from openai import OpenAI
# Yerel SLM: Ollama'nın OpenAI uyumlu uç noktası
slm = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# Bulut LLM: OpenAI uyumlu herhangi bir sağlayıcı
llm = OpenAI(base_url=os.environ["CLOUD_BASE_URL"], api_key=os.environ["CLOUD_API_KEY"])
LABELS = {"fatura", "teknik", "satis", "belirsiz"}
PROMPT = (
"Destek mesajını sınıflandır. Sadece JSON döndür: "
'{"label": "fatura|teknik|satis|belirsiz"}. Emin değilsen "belirsiz" de.\n\nMesaj: '
)
def ask(client, model, text):
r = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": PROMPT + text}],
temperature=0,
)
return r.choices[0].message.content
def classify(text):
try:
label = json.loads(ask(slm, "qwen3.5:4b", text))["label"]
if label in LABELS and label != "belirsiz":
return label, "slm"
except (json.JSONDecodeError, KeyError, TypeError):
pass # bozuk çıktı = yükselt
label = json.loads(ask(llm, os.environ["CLOUD_MODEL"], text))["label"]
return label, "llm"
print(classify("Mart faturamda iki kez ücret alınmış."))Bu desende dikkat edilecekler:
- Yükseltme sinyali önemli. Şema doğrulaması, izin verilen etiket kümesi ve "belirsiz" seçeneği en basit sinyaller. Daha iyisi, ayrı bir doğrulayıcı ya da kalibre olasılık döndüren bir karar modeli (bkz. System One modelleri).
- Oranı ölç. Asıl metrik "isteklerin yüzde kaçı SLM'de kaldı" ve "SLM'de kalanların doğruluğu". İlk hafta iki modeli paralel çalıştırıp farkı karşılaştır.
- Gizliliği yükseltmede kaybetme. Veri cihazda kalsın diye SLM seçtiysen, bulut modele yükseltme bu vaadi bozar. Kullanıcı onayı, maskeleme ya da yükseltmeyi tamamen kapatma seçeneklerini baştan tasarla.
- Ajanlarda alt görevlere böl. Bir ajanın planlamasını büyük model yaparken, biçim dönüştürme, araç argümanı çıkarma ya da belge filtreleme gibi alt görevleri SLM'e vermek, NVIDIA makalesinin önerdiği heterojen yapının pratik hali.
Kendi görevin için nasıl değerlendirirsin?
Genel benchmark skorları küçük modelleri sıralamak için zayıf bir sinyal. Asıl karar, senin görevinde ölçülmeli.
1. Değerlendirme seti kur. Gerçek trafikten 50–200 örnek seç, doğru cevapları elle yaz. Kolay, tipik ve zor örnekleri karıştır; Türkçe kullanıyorsan Türkçe örnekler, kısaltmalar ve yazım hatalarıyla birlikte.
2. Karşılaştırma tabanı belirle. Aynı seti şu an kullandığın büyük modelde çalıştır. Hedef "LLM kadar iyi" değil, "işin gerektirdiği kadar iyi" olmalı.
3. İki üç aday seç. Lisansın ve donanımın elediği modelleri baştan çıkar. Tipik bir kısa liste: bir 1–2B (ör. Qwen3.5-2B, LFM2.5-1.2B), bir 3–4B (ör. Gemma 4 E4B, Ministral 3 3B, Granite 4.2 3B, Phi-4-mini) ve bir 8–9B (ör. Qwen3.5-9B, Ministral 3 8B).
4. Hedef ortamda ölç. Kaliteyle birlikte şunları kaydet:
- İlk token gecikmesi ve saniyedeki token, hedef donanımda (telefonda ölçeceksen telefonda)
- Tepe bellek kullanımı, kullanacağın bağlam uzunluğunda
- Quantize sürümün kalitesi, orijinal sürümle aynı sette
- Şemaya uymayan ya da biçimi bozuk çıktı oranı
5. Hata türlerine bak. Ortalama doğruluk yetmez. Küçük model hangi örneklerde yanılıyor? Bunlar bir kuralla ya da yükseltmeyle yakalanabilir mi? Hatalar tahmin edilebilir bir alt kümede toplanıyorsa yönlendirme deseni iyi çalışır.
6. Yeterli değilse sırayla dene: daha iyi istem ve birkaç örnek → RAG ile bağlam → LoRA ince ayar → bir üst boyut. Bir üst boyuta geçmek genellikle en pahalı adımdır, o yüzden en sona bırak.
Kontrol listesi
- Lisans, ticari kullanım senaryomla uyumlu mu (gelir eşikleri, erişim onayı)?
- Model, hedef dillerimi model kartında listeliyor mu, kendi örneklerimle test ettim mi?
- Bellek hesabına KV cache ve çok modlu kodlayıcılar dahil mi?
- Quantize sürümü orijinaliyle aynı sette karşılaştırdım mı?
- Yükseltme (fallback) yolu ve oranı izleniyor mu?
- Model sürümü sabitlendi mi (etiket yerine belirli bir sürüm ya da dosya özeti)?
Devamı için
- Small Language Model — kavramın kısa tanımı.
- Quantization, Distillation, LoRA — küçültme ve uyarlama teknikleri.
- Mixture of Experts ve KV Cache — bellek ve hız hesabını etkileyen iki kavram.
- Yerelde LLM çalıştırma — donanım ve araç seçimi.
- System One modelleri — yönlendirme kararları için tek geçişli karar modelleri.
- AI mi, ML mi, LLM mi? — bazen doğru cevap klasik bir sınıflandırıcı.
Kaynaklar
- Belcak ve ark. (NVIDIA Research), Small Language Models are the Future of Agentic AI, arXiv:2506.02153 — https://arxiv.org/abs/2506.02153
- Gemma 4 E2B model kartı — https://huggingface.co/google/gemma-4-E2B-it · Gemma sürüm notları — https://ai.google.dev/gemma/docs/releases
- Qwen3.5-0.8B ve Qwen3.5-9B model kartları — https://huggingface.co/Qwen/Qwen3.5-0.8B, https://huggingface.co/Qwen/Qwen3.5-9B · Qwen3.5 GitHub README (sürüm notları) — https://github.com/QwenLM/Qwen3.5
- Ministral 3 3B ve 14B model kartları — https://huggingface.co/mistralai/Ministral-3-3B-Instruct-2512, https://huggingface.co/mistralai/Ministral-3-14B-Instruct-2512 · Mistral, Introducing Mistral 3 — https://mistral.ai/news/mistral-3
- Granite 4.2 3B model kartı — https://huggingface.co/ibm-granite/granite-4.2-3b · IBM, Granite 4.2 LLMs: How They're Built — https://huggingface.co/blog/ibm-granite/granite-4-2
- Phi-4-mini-instruct model kartı — https://huggingface.co/microsoft/Phi-4-mini-instruct
- SmolLM3-3B model kartı — https://huggingface.co/HuggingFaceTB/SmolLM3-3B
- LFM2.5-1.2B-Instruct model kartı ve LFM Open License v1.0 — https://huggingface.co/LiquidAI/LFM2.5-1.2B-Instruct
- Llama 3.2 1B Instruct — https://huggingface.co/meta-llama/Llama-3.2-1B-Instruct · Llama 3.2 model kartı (GitHub) — https://github.com/meta-llama/llama-models/blob/main/models/llama3_2/MODEL_CARD.md · Meta, Llama 3.2 duyurusu — https://ai.meta.com/blog/llama-3-2-connect-2024-vision-edge-mobile-devices/
- Apple, Apple Intelligence Foundation Language Models 2025 — https://machinelearning.apple.com/research/apple-foundation-models-2025-updates
- Hinton, Vinyals, Dean, Distilling the Knowledge in a Neural Network (2015) — https://arxiv.org/abs/1503.02531
- Hu ve ark., LoRA (2021) — https://arxiv.org/abs/2106.09685 · Dettmers ve ark., QLoRA (2023) — https://arxiv.org/abs/2305.14314
- Chen, Zaharia, Zou, FrugalGPT (2023) — https://arxiv.org/abs/2305.05176 · Ong ve ark., RouteLLM (2024) — https://arxiv.org/abs/2406.18665
- Çalışma ortamları: https://github.com/google-ai-edge/LiteRT-LM · https://github.com/pytorch/executorch · https://github.com/mlc-ai/mlc-llm · https://github.com/microsoft/onnxruntime-genai · https://github.com/huggingface/transformers.js
- Ollama model kütüphanesi ve etiket boyutları — https://ollama.com/library (ör. https://ollama.com/library/gemma4/tags)
Sık sorulan sorular
SLM nedir?
SLM (small language model, küçük dil modeli), büyük dil modelleriyle aynı mimariye sahip ama dizüstü bilgisayar, telefon ya da tek bir GPU üzerinde çalışabilecek kadar küçük tutulmuş bir dil modelidir. Pratikte genellikle birkaç yüz milyon ile yaklaşık 10 milyar parametre arasındaki modeller bu adla anılır.
Küçük dil modeli kaç parametredir?
Evrensel bir sınır yoktur. NVIDIA Research'ün SLM makalesi işlevsel bir tanım kullanır (tüketici cihazına sığan ve pratik gecikmeyle çalışan model) ve 10 milyarın altındaki çoğu modeli SLM saymaya hazır olduğunu belirtir; 12–14B modeller bazen küçük, bazen orta sayılır.
Küçük dil modeli telefonda çalışır mı?
Evet, 1–4B civarındaki ve 4-bit quantize edilmiş modeller güncel telefonlarda çalışabilir. Gemma 4 E2B/E4B ve LFM2.5 gibi modeller üreticileri tarafından açıkça mobil ve edge kullanımı için tasarlandı; Google'ın LiteRT-LM'i, PyTorch ExecuTorch ve MLC LLM bunun için kullanılan çalışma ortamlarıdır. Hız ve bellek cihaza göre değişir, kendi cihazında ölçmek gerekir.
SLM mi LLM mi kullanmalıyım?
Görev dar, tekrarlı ve iyi tanımlıysa, veri cihazdan çıkmamalıysa ya da gecikme kritikse önce bir SLM dene. Geniş dünya bilgisi, uzun akıl yürütme ya da belirsiz açık uçlu görevler için büyük model daha güvenli; birçok sistem ikisini bir yönlendirici ile birlikte kullanır.
En iyi küçük dil modeli hangisi?
Tek bir en iyi model yok; sonuç görevine, diline, donanımına ve lisans ihtiyacına bağlı. 2026'da Gemma 4, Qwen3.5, Ministral 3, Granite 4.2, Phi-4-mini, SmolLM3 ve LFM2.5 aileleri öne çıkıyor; 50–200 örnekten oluşan kendi değerlendirme setinle iki üç adayı karşılaştırmak en sağlam yoldur.
Küçük dil modelleri Türkçe biliyor mu?
Bazıları biliyor ama düzey modelden modele değişir. Örneğin Phi-4-mini'nin model kartı Türkçeyi destekli diller arasında listeler, Gemma 4 kartı 140'tan fazla dil desteğinden söz eder; yine de küçük modellerde dil kalitesi kırılgandır, kendi Türkçe örneklerinle test etmelisin.
SLM'ler ücretsiz mi?
Açık ağırlıklı SLM'lerin çoğu ücretsiz indirilebilir; Qwen3.5, Gemma 4, Ministral 3, Granite 4.2 ve SmolLM3 Apache 2.0, Phi-4-mini MIT lisanslıdır. Ancak Llama 3.2 kendi topluluk lisansını, LFM2.5 ise yıllık geliri 10 milyon doları aşan şirketlerin ticari kullanımını sınırlayan bir lisansı kullanır; donanım ve işletme maliyeti de sana aittir.