Evals
LLM uygulamaları için tekrarlanabilir testler
Bir LLM uygulamasının kendi görevlerinde ne kadar iyi çalıştığını ölçen tekrarlanabilir testler: girdiler, beklenen davranış ve bir puanlama yöntemi. Prompt, model ya da araç değiştiğinde 'daha mı iyi, daha mı kötü?' sorusunun cevabı.
Eval (evaluation'ın kısası), LLM dünyasında yazılımdaki test paketinin karşılığı. Farkı şu: LLM çıktısı çoğu zaman tek bir doğru cevaba sahip değildir ve aynı girdi iki kez farklı cevap verebilir. Bu yüzden bir eval üç parçadan oluşur:
- Girdi: tercihen gerçek kullanımdan gelen bir örnek (canlıdaki bir konuşma, bir destek bileti, ekibin elle denediği bir prompt).
- Beklenen davranış: bazen tam cevap, çoğu zaman bir kriter ("iade tutarı sipariş tutarını geçmemeli").
- Puanlama yöntemi: kod tabanlı kontrol (tam eşleşme, JSON şeması, birim testi), LLM-as-a-judge ya da insan değerlendirmesi.
Eval'ler iki yerde çalışır. Offline eval, sabit ve sürümlü bir eval setinde değişikliği canlıya almadan önce (genelde CI'da) ölçer. Online eval, canlı trafikten alınan örneklemde kaliteyi izler. İkisi bir döngü oluşturur: canlıda görülen hatalar eval setine girer, set bir sonraki değişikliği yakalar.
Benchmark ile farkı: benchmark herkesin aynı sorularla modelleri karşılaştırdığı ortak bir sınavdır; eval ise senin uygulamanın senin görevlerinde nasıl davrandığını ölçer.
Bir restoranın tadım listesi gibi. Michelin rehberi (benchmark) hangi restoranın genel olarak iyi olduğunu söyler; ama şef yeni bir tarifi menüye koymadan önce kendi müdavimlerinin en sık sipariş ettiği yemeklerle karşılaştırır, tuzunu ölçer, servis süresine bakar. Menüye girdikten sonra da her akşam birkaç tabağı geri çevirip tadar. İlki offline eval, ikincisi online eval.
Bir e-ticaret destek botunda prompt değiştirilecek. Ekip:
- Son ayın destek biletlerinden, kullanıcının memnun kalmadığı 40 konuşmayı seçip eval setine ekliyor (kişisel veriler maskeli).
- Her örneğe kod kontrolleri yazıyor: cevap geçerli JSON mu, sipariş numarası doğru biçimde mi, iade tutarı sayı mı.
- "İade politikasına uygun mu?" sorusu için ikili (geçti/kaldı) bir LLM hakem kullanıyor; hakemi önce uzmanın etiketlediği bir örneklemde ölçüyor.
- Her örneği birkaç kez çalıştırıyor, çünkü aynı girdi farklı çıktı verebiliyor; skoru oran olarak raporluyor.
- CI'da eşik koyuyor: skor ana daldakinin altına düşerse PR geçmiyor.
Canlıya çıktıktan sonra trafiğin bir kısmı aynı hakeme asenkron gönderiliyor; "kaldı" alan konuşmalar incelenip sete ekleniyor.
import json
CASES = [
{"id": "refund-001", "input": "Siparişim ORD-123456 hasarlı geldi, iade istiyorum.",
"must_contain": "ORD-123456"},
{"id": "refund-002", "input": "İade süresi kaç gün?", "must_contain": "gün"},
]
RUNS = 3 # aynı girdi farklı çıktı verebilir
def run_app(text: str) -> str:
... # uygulamanı burada çağır, JSON string döndürsün
def check(case, output) -> bool:
try:
data = json.loads(output)
except json.JSONDecodeError:
return False
return case["must_contain"] in data.get("message", "")
passed = sum(check(c, run_app(c["input"])) for c in CASES for _ in range(RUNS))
print(f"pass rate: {passed / (len(CASES) * RUNS):.0%}")- Prompt, model, sıcaklık ya da araç setini değiştirmeden önce ve sonra
- İki model arasında kendi görevlerin için seçim yaparken
- Canlıda görülen bir hatanın bir daha geri gelmemesi için (regresyon testi)
- Ajanlarda: görevin gerçekten tamamlanıp tamamlanmadığını ortamın son durumundan ölçmek için
- Tek seferlik, kimsenin tekrar çalıştırmayacağı bir deneme için ayrıntılı bir altyapı kurmak
- Genel model yeteneğini ölçmek için: bunun için benchmark'lar var
- Kullanıcı memnuniyetinin yerine: eval seti canlı sinyalleri tamamlar, onların yerini tutmaz
Yalnızca uydurma örneklerle başlamak
LLM'e ürettirilmiş sentetik örnekler kapsamı genişletir ama gerçek kullanıcıyı temsil etmez. Anthropic'in ajan eval'leri yazısı (Ocak 2026), gerçek hatalardan seçilmiş 20-50 basit görevin iyi bir başlangıç olduğunu söylüyor.
Tek koşuya güvenmek
temperature 0 bile determinizm garantisi vermiyor: OpenAI seed parametresini 'en iyi çaba' olarak tanımlıyor, Thinking Machines (2025) batch boyutunun sonucu değiştirebildiğini gösterdi. Her örneği birkaç kez çalıştır, oran raporla; sürümler arası küçük farklara güvenme.
Yalnızca toplam skora bakmak
Genel skor sabitken bir kategori çökebilir. Örnekleri etiketle ve sonuçları kırılımlarla oku.
Geçmeyen örneği setten silmek
Set kod gibi sürümlenir. Geçmeyen bir örneği silmek regresyonu gizler; örnek yanlışsa düzelt ve nedenini yaz.
Hakemi ölçmeden kullanmak
LLM hakemin pozisyon, uzunluk ve kendini kayırma yanlılıkları belgelenmiş durumda (Zheng ve ark., 2023). Skorlarına güvenmeden önce insan etiketli ayrı bir örneklemde uyuşmasını ölç.