Speculative Decoding
Tahmin et, sonra doğrula · draft model ve verifier
Küçük ve hızlı bir 'draft' modelin birkaç token'ı önceden tahmin ettiği, büyük 'hedef' modelin bunları tek bir ileri geçişte doğrulayıp kabul ya da reddettiği hızlandırma tekniği; doğru uygulanırsa çıktının olasılık dağılımı değişmez.
Bir LLM cevabı token token üretir: her yeni token için modelin tüm ağırlıkları bellekten bir kez okunur. Yerel donanımda ve küçük batch'lerde bu adım hesaplamadan çok bellek bant genişliğiyle sınırlıdır; büyük model 1 token'ı işlerken de 5 token'ı işlerken de yaklaşık aynı süreyi harcar. Speculative decoding bu boşluğu kullanır.
Döngü şöyle işler:
- Draft model (aynı tokenizer'ı kullanan küçük bir model) sıradaki k token'ı hızlıca tahmin eder.
- Hedef model (verifier) bu k token'ı tek bir ileri geçişte birlikte değerlendirir ve her pozisyon için kendi olasılıklarını hesaplar.
- Draft token'lar soldan sağa kontrol edilir. Draft'ın q(x) olasılıkla önerdiği x token'ı, hedefin olasılığı p(x) ise min(1, p(x)/q(x)) olasılıkla kabul edilir. İlk reddedilen pozisyonda hedef, max(0, p − q) dağılımından (normalize edilerek) yeni bir token örnekler ve tur biter. Hepsi kabul edilirse hedef bir token daha ekler.
Bu değiştirilmiş rejection sampling sayesinde üretilen metin hedef modelin tek başına üreteceği dağılımla birebir aynıdır. Bunu birbirinden bağımsız iki çalışma gösterdi: Leviathan, Kalman ve Matias (2023), "Fast Inference from Transformers via Speculative Decoding" (ICML 2023; T5-XXL'de çıktıyı değiştirmeden 2–3 kat hızlanma) ve Chen ve ark. (2023, DeepMind), "Accelerating Large Language Model Decoding with Speculative Sampling" (Chinchilla 70B'de 2–2,5 kat; dağılım "donanım sayısal hassasiyeti sınırları içinde" korunuyor). Kalite kaybı yok; kazanç tamamen hızda ve draft'ın ne kadar sık tuttuğuna (kabul oranı, α) bağlı. Leviathan ve ark.'nın formülüne göre hedef modelin bir geçişinde beklenen token sayısı (1 − α^(k+1)) / (1 − α).
Draft modelsiz varyantlar:
- Medusa (Cai ve ark., 2024, "Medusa: Simple LLM Inference Acceleration Framework with Multiple Decoding Heads"): hedef modelin üstüne birkaç ek "decoding head" eğitilir; adaylar ağaç hâlinde doğrulanır. Makalede Medusa-1 2,2 katın üzerinde, Medusa-2 2,3–3,6 kat hızlanma bildiriliyor. Makalenin "typical acceptance" seçeneği birebir dağılım eşitliği yerine kaliteyi korumayı hedefler.
- EAGLE (Li ve ark., 2024, "EAGLE: Speculative Sampling Requires Rethinking Feature Uncertainty"): hafif bir draft katmanı token yerine hedef modelin sondan bir önceki katmanındaki özellikleri tahmin eder; LLaMA2-Chat 70B'de 2,7–3,5 kat gecikme hızlanması, dağılım korunarak. 2025'te EAGLE-3 geldi.
- N-gram / prompt lookup: Draft olarak model yerine metnin kendisi kullanılır; son birkaç token prompt'ta ya da geçmişte daha önce geçtiyse onu izleyen token'lar aday olur. Apoorv Saxena'nın 2023'teki "Prompt Lookup Decoding" deposu bu fikri yaydı. Kod düzenleme, özet, RAG gibi girdiden çok kopyalanan işlerde etkili, ek model gerektirmez.
- MTP (multi-token prediction): Bazı modeller birden fazla token'ı tahmin eden yerleşik kafalarla eğitiliyor; vLLM ve llama.cpp bunları draft olarak kullanabiliyor.
Araçlarda (Kasım 2026 dokümanlarına göre):
- llama.cpp (
llama-server):-md/--spec-draft-modelile draft model,--spec-typeile yöntem (draft-simple,draft-eagle3,draft-mtp,ngram-simple,ngram-mod…; varsayılannone),--spec-draft-n-maxile tur başına draft token (varsayılan 3). Eski--draft-max/--draft-minbayrakları kaldırıldı. - vLLM:
--speculative-configJSON'u;methodalanıdraft_model,ngram,mtp,suffix, EAGLE gibi yöntemleri seçer,num_speculative_tokenstur başına draft sayısıdır. - MLX-LM (Apple Silicon):
mlx_lm.generateiçin--draft-modelve--num-draft-tokens(varsayılan 3).
Yerel kurulum için yerel LLM rehberine, temel kavramlar için inference ve KV cache sayfalarına bak.
Kıdemli bir editör ve hızlı yazan bir stajyer düşün. Stajyer cümlenin devamını beş kelime ileriden tahmin edip yazıyor; editör beş kelimeye tek bakışta göz atıyor. İlk üçü kendisinin de yazacağı kelimelerse onları onaylıyor, dördüncüde "hayır, ben şunu derdim" deyip kendi kelimesini yazıyor ve stajyer oradan devam ediyor.
Sonuç metin, editörün tek başına yazacağı metinle aynı; ama editör her kelimeyi tek tek düşünmek yerine çoğu zaman birkaç kelimeyi birden onaylıyor. Stajyer ne kadar iyi tahmin ederse iş o kadar hızlanıyor; sürekli yanılıyorsa editör boşuna okuma yapmış oluyor.
Kabul oranı α = 0,8 ve tur başına k = 4 draft token için Leviathan ve ark.'nın formülü hedef modelin her geçişinde ortalama (1 − 0,8⁵) / (1 − 0,8) ≈ 3,4 token verir; normal üretimde bu sayı 1. Gerçek hızlanma bundan düşüktür, çünkü draft modelin de çalışması zaman alır ve reddedilen token'lar boşa gider.
Yerel bir kod asistanında büyük bir modeli aynı ailenin çok küçük bir modeliyle eşleştiriyorsun. Kod tamamlamada sonraki token'lar çoğu zaman tahmin edilebilir (parantezler, değişken adları, tekrarlayan kalıplar), kabul oranı yüksek olur. Aynı kurulumda yaratıcı, yüksek temperature'lı bir hikâye isteğinde kazanç belirgin biçimde azalabilir.
Bir dosyayı yeniden yazdıran "şu fonksiyonu yeniden adlandır" türü isteklerde ise ek modele hiç gerek kalmayabilir: n-gram/prompt lookup, cevabın büyük kısmını girdiden kopyalayarak önerir.
Hangi durumda ne kadar kazandığını tahminle değil ölçümle bul:
llama-server'ın /metrics çıktısındaki
llamacpp:spec_decode_num_accepted_tokens_total ve
llamacpp:spec_decode_num_draft_tokens_total sayaçları kabul oranını
verir.
# Ayrı bir draft model (aynı tokenizer'ı kullanan küçük model)
llama-server -m hedef-model.gguf \
-md draft-model.gguf --spec-type draft-simple \
--spec-draft-n-max 8
# Draft modelsiz: geçmişteki n-gram'lardan tahmin
llama-server -m hedef-model.gguf --spec-type ngram-simple --spec-draft-n-max 64# vLLM: prompt içindeki n-gram eşleşmeleriyle speculative decoding
vllm serve <hedef-model> --speculative-config '{
"method": "ngram",
"num_speculative_tokens": 4,
"prompt_lookup_min": 2,
"prompt_lookup_max": 5
}'
# MLX-LM (Apple Silicon): draft modelle üretim
mlx_lm.generate --model <hedef-model> --draft-model <draft-model> \
--num-draft-tokens 3 --prompt "Merhaba"- Tek kullanıcılı yerel inference'ta token üretim hızı (tok/s) darboğazsa
- Aynı tokenizer'ı paylaşan küçük bir kardeş model ya da hazır EAGLE/MTP draft'ı varsa
- Kod tamamlama, düzenleme, özet ve RAG gibi tahmin edilebilir ya da girdiden kopyalanan çıktılarda
- Çıktı kalitesinden ödün vermeden gecikmeyi düşürmek istiyorsan
- VRAM zaten sınırdaysa; draft model de ağırlık ve kendi KV cache'i için bellek ister
- Yüksek eşzamanlılıklı sunucularda; vLLM dokümanı model tabanlı yöntemlerde kazancın yüksek QPS'te azaldığını gösteriyor
- Draft ile hedefin tokenizer'ı uyuşmuyorsa ve aracın bunun için özel bir yolu yoksa
Her yöntemin kayıpsız olduğunu sanmak
Standart rejection sampling dağılımı korur. vLLM dokümanı FLy verification gibi gevşetilmiş doğrulamaların dağılımı korumadığını açıkça yazıyor; Medusa'nın typical acceptance seçeneği de birebir eşitlik garantisi vermez.
Draft modeli fazla büyük seçmek
Draft hedefe ne kadar yakınsa kabul oranı o kadar yüksek, ama kendisi de yavaşlar. Aynı aileden birkaç boyutu dene, doğru dengeyi ölçerek bul.
Kabul oranını ölçmemek
Düşük kabul oranında speculative decoding normal üretimden yavaş olabilir. llama.cpp metrik sayaçları ya da vLLM'in istek başına kabul metrikleriyle ölç.
Kayan nokta farklarını hata sanmak
Teoride dağılım aynı, ama donanım sayısal hassasiyeti yüzünden token logprob'ları birebir aynı çıkmayabilir. vLLM logprob kararlılığını garanti etmediğini belirtiyor.