Temperature
Sıcaklık — rastgelelik ayarı
LLM çıktısının ne kadar tutarlı (deterministik) ya da çeşitli (yaratıcı) olacağını ayarlayan, genelde 0–2 arası sayısal parametre.
Bir LLM her token üretirken sıradaki olası token'lara olasılık atar. "Once upon a" sonrası muhtemelen "time" gelir (%70), "morning" gelir (%5), "fish" gelir (%0.1). Temperature bu olasılık dağılımını şekillendirir.
0 = her zaman en olası token'ı seç (deterministik). Aynı prompt'a aynı cevap. 0.7 = olasılıkları orta derecede karıştır (denge). 1.5+ = düşük olasılıkları bile cesurca seç (yaratıcı, tahmin edilemez).
Matematiksel olarak softmax'a uygulanan bir bölücüdür: olasılıklar
prob^(1/T) ile yeniden ölçeklenir. Top-p (nucleus) ve top-k
sampling ile birlikte kullanılır.
DJ'in sound mixerini düşün. 0 = tek track, hep aynı şarkı. 0.7 = birkaç şarkıdan parçalar, akıcı bir mix. 1.5 = rastgele 30 kanaldan parçalar, deneysel ama bazen kaotik. Aynı kütüphane, farklı çıktı.
Sınıflandırma API'si yazıyorsun: kullanıcı mesajını "spam | normal | acil" olarak etiketle. T = 0 kullan — aynı mesaj her zaman aynı etiketi almalı. Aksi halde aynı mesaj bazen "spam" bazen "normal" gelir, test yazamazsın.
Yaratıcı yazma: blog girişi öner. T = 0.8 kullan — her seferinde farklı açılış, farklı ton. T = 0 koyarsan model her zaman aynı klişe açılışı yazar.
- Deterministik sonuç şart: sınıflandırma, çıkarım, structured output → T ≈ 0
- Bilgi sorularında: factual Q&A → T ≈ 0.2
- Genel sohbet, yardım, açıklama → T ≈ 0.7
- Yaratıcı yazma, brainstorm, çeşitlilik istenince → T ≈ 0.9–1.2
- T = 0 koyup 'neden hep aynı cevap' diye şikayet etmek (anlamı bu)
- T = 2 koyup 'cevap saçma' demek (çok yüksek = anlamsız token akımı)
- Tek başına 'yaratıcılık' parametresi sanmak — yaratıcı fikirler iyi prompt'tan gelir, T'den değil
Temperature ≠ yaratıcılık
Yüksek T daha 'çeşitli' çıktı verir, ama daha 'yaratıcı' değil. Yaratıcı sonuç için iyi prompt + örnekler şart, sonra ince ayar olarak T.
Reproducibility için seed unutmak
T = 0 koymak yetmez bazı modellerde — aynı çıktı için seed parametresi de gerekir (OpenAI'de var, Anthropic'te yok).
Çok yüksek T'de halüsinasyon patlaması
T > 1.0 modeli düşük olasılıklı (genelde yanlış) token'lara iter. Halüsinasyon oranı dramatik artar.