LLM-as-a-Judge
Başka bir modelin çıktısını puanlayan LLM
Bir LLM'e rubrik verip başka bir modelin (ya da kendisinin) çıktısını puanlatmak. Kodla kontrol edilemeyen ama yazılı bir kriterle tarif edilebilen kaliteyi ölçeklenebilir biçimde ölçmenin yolu; ama önce insan etiketlerine göre kalibre edilmesi gerekir.
LLM-as-a-judge, eval'lerde puanlamayı bir LLM'e yaptırmaktır. Terimi yaygınlaştıran çalışma Zheng ve ark. (2023), "Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena" (NeurIPS 2023). Makale üç biçim tanımlıyor:
- İkili karşılaştırma (pairwise): soru + iki cevap; hakem hangisinin iyi olduğunu ya da beraberliği söyler.
- Tek cevap puanlama: hakem tek bir cevaba doğrudan puan verir.
- Referanslı puanlama: hakeme bir referans çözüm de verilir.
Makaleye göre GPT-4 gibi güçlü bir hakem, insan tercihleriyle %80'in üzerinde uyuştu; bu, insanların kendi aralarındaki uyuşmayla aynı seviye. Aynı çalışma belgelenmiş yanlılıkları da sıralıyor:
- Pozisyon yanlılığı: karar cevapların sırasına göre değişebilir.
- Uzunluk (verbosity) yanlılığı: daha uzun cevabı, daha iyi olmasa da tercih etmek.
- Kendini kayırma (self-enhancement): hakemin kendi ürettiği cevapları kayırması. Zheng ve ark. bunu kesinleştiremediklerini yazıyor; Panickssery ve ark. (2024) modellerin kendi metinlerini tanıyabildiğini ve bunun kendini kayırmayla ilişkili olduğunu raporladı.
- Sınırlı akıl yürütme: hakem, verilen yanlış cevaba kanıp kendi çözebileceği bir soruda bile hatalı puan verebilir.
Hakem bir ölçüm aletidir: kullanmadan önce insan etiketli bir örneklemde ölçülür, sonra ölçeklenir.
Bir yarışmada jüriye yardımcı hakem eklemek gibi. Yardımcı hakem yorulmaz ve binlerce performansı izleyebilir; ama ilk gün baş jürinin yanında oturur, aynı performansları birlikte puanlarlar ve puanlar karşılaştırılır. Yardımcı hakem hep sahneye ilk çıkanı kayırıyorsa ya da uzun performansa otomatik yüksek not veriyorsa, tek başına bırakılmaz. Ve kendi öğrencisini puanlamasına izin verilmez.
Bir destek botunun cevaplarının "iade politikasına uygun" olup olmadığı kodla kontrol edilemiyor. Ekip:
- Alan uzmanına 200 cevabı geçti/kaldı olarak etiketletiyor ve örneklemi ikiye bölüyor: biri hakem prompt'unu geliştirmek, diğeri ölçmek için.
- Değerlendirilen modelden farklı bir model ailesinden hakem seçiyor; rubrik dar ve ikili: "Cevap 30 günü aşan bir iade vaat ediyor mu? Önce gerekçeni yaz, sonra yalnızca PASS ya da FAIL."
- Ayrılmış yarıda karışıklık matrisine ve Cohen's kappa'ya bakıyor; hakemin insanla uyuşmadığı vakaları okuyunca rubrikteki belirsiz bir cümleyi düzeltiyor.
- İki prompt sürümünü karşılaştırırken her çifti iki kez, cevapların yerini değiştirerek soruyor; yalnızca iki sırada da kazanan sürümü kazanan sayıyor.
JUDGE_PROMPT = """Kullanıcı sorusu ve iki asistan cevabı aşağıda.
Hangisi soruyu daha doğru ve yardımcı biçimde cevaplıyor?
Uzunluk tek başına bir kalite ölçütü değildir.
Önce kısa gerekçeni yaz, son satıra yalnızca A, B ya da TIE yaz.
[Soru]
{question}
[Cevap A]
{a}
[Cevap B]
{b}"""
def judge(question, a, b) -> str:
... # hakem modelini çağır, son satırı ("A" | "B" | "TIE") döndür
def pairwise(question, answer_1, answer_2) -> str:
first = judge(question, answer_1, answer_2) # 1 = A
second = judge(question, answer_2, answer_1) # 1 = B
if first == "A" and second == "B":
return "answer_1"
if first == "B" and second == "A":
return "answer_2"
return "tie" # iki sırada farklı karar = beraberlik- Kriter yazılabiliyor ama kodla kontrol edilemiyorsa: ton, sadakat, politika uyumu, yardımcılık
- İki prompt ya da model sürümünü çok sayıda örnekte karşılaştırırken
- Canlı trafiğin bir örnekleminde kaliteyi asenkron izlerken
- İnsan değerlendirmesinin ölçeklenmediği ama insanla uyuşmanın ölçülebildiği durumlarda
- Cevap kodla kontrol edilebiliyorsa (JSON şeması, tam eşleşme, birim testi): kod daha hızlı, ucuz ve tekrarlanabilir
- Hakemin insan etiketleriyle uyuşması hiç ölçülmemişse, karar vermek için
- Hakemin kendisinin de bilmediği, uzmanlık gerektiren doğruluk sorularında referans vermeden
Pozisyon yanlılığını yok saymak
Wang ve ark. (2023), yalnızca cevapların sırasını değiştirerek sonucu çevirebildiklerini gösterdi: ChatGPT hakemken Vicuna-13B 80 sorunun 66'sında ChatGPT'yi 'yendi'. İkili karşılaştırmada her çifti iki sırada sor.
Değerlendirilen modeli hakem yapmak
Kendini kayırma riski var: Panickssery ve ark. (2024), kendini tanıma yeteneği ile kendini kayırma yanlılığının gücü arasında doğrusal bir ilişki buldu. Mümkünse farklı bir model ailesinden hakem kullan.
Yalnızca yüzde uyuşmaya bakmak
Etiketlerin çoğu 'geçti' ise her şeye 'geçti' diyen bir hakem de yüksek uyuşma gösterir. Karışıklık matrisi, gerçek pozitif/negatif oranları ve Cohen's kappa gibi şansa göre düzeltilmiş bir ölçüye bak.
Aynı örneklerde hem ayarlayıp hem ölçmek
Hakem prompt'unu geliştirdiğin örneklerde ölçersen hakemi o örneklere ezberletirsin. Ayrı, görülmemiş bir örneklem tut.
Geniş ve çok kriterli rubrikler
'1-10 arası genel kalite' gibi puanlar zor kalibre edilir. Anthropic'in dokümanı net rubrikler ve 'yalnızca correct ya da incorrect' gibi belirgin çıktılar öneriyor; her kriter için ayrı, ikili bir hakem genellikle daha kolay ölçülür.