AI Atlas
Orta · ~2 dk okuma #evals #evaluation #testing

Evals

LLM uygulamaları için tekrarlanabilir testler

Bir LLM uygulamasının kendi görevlerinde ne kadar iyi çalıştığını ölçen tekrarlanabilir testler: girdiler, beklenen davranış ve bir puanlama yöntemi. Prompt, model ya da araç değiştiğinde 'daha mı iyi, daha mı kötü?' sorusunun cevabı.

EVAL DÖNGÜSÜ · CANLIDAN SETE, SETTEN CI'AEVAL SETİgerçek vakalarsürümlüÇALIŞTIR × kaynı girdi,farklı çıktıPUANLAkod → hakem→ insanCI KAPISIeşik altı =merge yokfaturaiadetekniktoplamı değil kırılımı okuCANLItrace · ucuz kontroller her çağrıda · hakem örneklemdeyayınlabaşarısız trace→ yeni testCanlıda görülen her hata eval setine girer; set bir sonraki değişikliği CI'da yakalar
Tanım

Eval (evaluation'ın kısası), LLM dünyasında yazılımdaki test paketinin karşılığı. Farkı şu: LLM çıktısı çoğu zaman tek bir doğru cevaba sahip değildir ve aynı girdi iki kez farklı cevap verebilir. Bu yüzden bir eval üç parçadan oluşur:

  • Girdi: tercihen gerçek kullanımdan gelen bir örnek (canlıdaki bir konuşma, bir destek bileti, ekibin elle denediği bir prompt).
  • Beklenen davranış: bazen tam cevap, çoğu zaman bir kriter ("iade tutarı sipariş tutarını geçmemeli").
  • Puanlama yöntemi: kod tabanlı kontrol (tam eşleşme, JSON şeması, birim testi), LLM-as-a-judge ya da insan değerlendirmesi.

Eval'ler iki yerde çalışır. Offline eval, sabit ve sürümlü bir eval setinde değişikliği canlıya almadan önce (genelde CI'da) ölçer. Online eval, canlı trafikten alınan örneklemde kaliteyi izler. İkisi bir döngü oluşturur: canlıda görülen hatalar eval setine girer, set bir sonraki değişikliği yakalar.

Benchmark ile farkı: benchmark herkesin aynı sorularla modelleri karşılaştırdığı ortak bir sınavdır; eval ise senin uygulamanın senin görevlerinde nasıl davrandığını ölçer.

Benzetme

Bir restoranın tadım listesi gibi. Michelin rehberi (benchmark) hangi restoranın genel olarak iyi olduğunu söyler; ama şef yeni bir tarifi menüye koymadan önce kendi müdavimlerinin en sık sipariş ettiği yemeklerle karşılaştırır, tuzunu ölçer, servis süresine bakar. Menüye girdikten sonra da her akşam birkaç tabağı geri çevirip tadar. İlki offline eval, ikincisi online eval.

Gerçek dünyadan örnek

Bir e-ticaret destek botunda prompt değiştirilecek. Ekip:

  1. Son ayın destek biletlerinden, kullanıcının memnun kalmadığı 40 konuşmayı seçip eval setine ekliyor (kişisel veriler maskeli).
  2. Her örneğe kod kontrolleri yazıyor: cevap geçerli JSON mu, sipariş numarası doğru biçimde mi, iade tutarı sayı mı.
  3. "İade politikasına uygun mu?" sorusu için ikili (geçti/kaldı) bir LLM hakem kullanıyor; hakemi önce uzmanın etiketlediği bir örneklemde ölçüyor.
  4. Her örneği birkaç kez çalıştırıyor, çünkü aynı girdi farklı çıktı verebiliyor; skoru oran olarak raporluyor.
  5. CI'da eşik koyuyor: skor ana daldakinin altına düşerse PR geçmiyor.

Canlıya çıktıktan sonra trafiğin bir kısmı aynı hakeme asenkron gönderiliyor; "kaldı" alan konuşmalar incelenip sete ekleniyor.

Kod örnekleri
Asgari eval döngüsü: kod kontrolü + tekrar + oran python
import json

CASES = [
    {"id": "refund-001", "input": "Siparişim ORD-123456 hasarlı geldi, iade istiyorum.",
     "must_contain": "ORD-123456"},
    {"id": "refund-002", "input": "İade süresi kaç gün?", "must_contain": "gün"},
]
RUNS = 3  # aynı girdi farklı çıktı verebilir

def run_app(text: str) -> str:
    ...  # uygulamanı burada çağır, JSON string döndürsün

def check(case, output) -> bool:
    try:
        data = json.loads(output)
    except json.JSONDecodeError:
        return False
    return case["must_contain"] in data.get("message", "")

passed = sum(check(c, run_app(c["input"])) for c in CASES for _ in range(RUNS))
print(f"pass rate: {passed / (len(CASES) * RUNS):.0%}")
Ne zaman kullan
  • Prompt, model, sıcaklık ya da araç setini değiştirmeden önce ve sonra
  • İki model arasında kendi görevlerin için seçim yaparken
  • Canlıda görülen bir hatanın bir daha geri gelmemesi için (regresyon testi)
  • Ajanlarda: görevin gerçekten tamamlanıp tamamlanmadığını ortamın son durumundan ölçmek için
Ne zaman kullanma
  • Tek seferlik, kimsenin tekrar çalıştırmayacağı bir deneme için ayrıntılı bir altyapı kurmak
  • Genel model yeteneğini ölçmek için: bunun için benchmark'lar var
  • Kullanıcı memnuniyetinin yerine: eval seti canlı sinyalleri tamamlar, onların yerini tutmaz
Sık yapılan hatalar

Yalnızca uydurma örneklerle başlamak

LLM'e ürettirilmiş sentetik örnekler kapsamı genişletir ama gerçek kullanıcıyı temsil etmez. Anthropic'in ajan eval'leri yazısı (Ocak 2026), gerçek hatalardan seçilmiş 20-50 basit görevin iyi bir başlangıç olduğunu söylüyor.

Tek koşuya güvenmek

temperature 0 bile determinizm garantisi vermiyor: OpenAI seed parametresini 'en iyi çaba' olarak tanımlıyor, Thinking Machines (2025) batch boyutunun sonucu değiştirebildiğini gösterdi. Her örneği birkaç kez çalıştır, oran raporla; sürümler arası küçük farklara güvenme.

Yalnızca toplam skora bakmak

Genel skor sabitken bir kategori çökebilir. Örnekleri etiketle ve sonuçları kırılımlarla oku.

Geçmeyen örneği setten silmek

Set kod gibi sürümlenir. Geçmeyen bir örneği silmek regresyonu gizler; örnek yanlışsa düzelt ve nedenini yaz.

Hakemi ölçmeden kullanmak

LLM hakemin pozisyon, uzunluk ve kendini kayırma yanlılıkları belgelenmiş durumda (Zheng ve ark., 2023). Skorlarına güvenmeden önce insan etiketli ayrı bir örneklemde uyuşmasını ölç.