Sentetik Veri
Modelle üretilen eğitim ve değerlendirme verisi
İnsanlardan toplanmak yerine bir model (ya da program, simülatör) tarafından üretilen veri: talimat-cevap çiftleri, tercih verisi, test soruları. Ucuz ve hızlı ölçeklenir; ama kalitesi, çeşitliliği ve hukuki durumu ayrıca denetlenmek zorunda.
Sentetik veri, gerçek dünyadan toplanmak yerine üretilen veridir. LLM döneminde bu çoğunlukla bir modelin yazdığı metin demek: talimat ve cevap çiftleri, çok adımlı akıl yürütme örnekleri, iki cevap arasında tercih etiketleri, bir sınıflandırıcı için az görülen sınıflardan örnekler ya da bir sistemi sınamak için test soruları.
Başlıca kullanım alanları:
- Talimat ve fine-tuning verisi: Elle etiketlemesi pahalı olan soru-cevap çiftlerini güçlü bir modelle üretip daha küçük bir modeli fine-tune etmek.
- Distillation: Büyük "öğretmen" modelin çıktıları, küçük "öğrenci" modelin eğitim verisi olur. Sentetik veri üretmek çoğu zaman distillation'ın ilk adımıdır.
- Tercih ve ödül verisi: RLHF benzeri yöntemler için cevap çiftleri üretip bir modelle ya da insanla puanlamak.
- Değerlendirme (eval): Gerçek kullanıcı sorusu az olduğunda test senaryoları, uç durumlar ve saldırı denemeleri üretmek; ayrıntı için evals.
Alanı şekillendiren çalışma Self-Instruct'tır: Wang ve ark. (2022), "Self-Instruct: Aligning Language Models with Self-Generated Instructions" (ACL 2023). Yöntem elle yazılmış küçük bir tohum görev kümesiyle (yayımlanan depoda 175 görev) başlar; model bunlardan yeni talimatlar, girdiler ve çıktılar üretir, geçersiz ya da mevcut olanlara fazla benzeyen örnekler elenir ve kalanlar havuza eklenerek döngü tekrarlanır. Sonuçta yaklaşık 52 bin talimat ve 82 bin örnek çıktı. Bu veriyle fine-tune edilen GPT-3, Super-NaturalInstructions üzerinde orijinal modele göre mutlak %33 iyileşme gösterdi ve InstructGPT-001 ile aynı düzeye geldi.
Ana risk model collapse: Shumailov ve ark. (2024), "AI models collapse when trained on recursively generated data" (Nature 631, 755–759). Makale, model üretimi içeriğin eğitimde ayrım gözetmeden kullanılmasının kalıcı bozulmalara yol açtığını gösteriyor: kuşaktan kuşağa model kendi çıktısıyla eğitildikçe orijinal dağılımın kuyrukları (nadir ama gerçek örnekler) kaybolur. Pratik dersi: sentetik veriyi gerçek veriyle karıştır, kaynağını etiketle ve çeşitliliği ölç.
Hukuki tarafta: modelin çıktısını başka bir model eğitmek için kullanmak, üreten modelin kullanım şartlarına bağlıdır. Örneğin Anthropic'in ticari şartları hizmetlerin "rakip AI modelleri eğitmek" dahil rakip ürün geliştirmek için kullanılmasını yasaklıyor; Gemini API şartları da hizmetin "rakip modeller geliştirmek" için kullanılmasını yasaklıyor. Llama 3.1 lisansı ise çıktılarla başka model eğitmeye izin veriyor, ama dağıtılan modelin adının "Llama" ile başlamasını şart koşuyor.
Bir öğretmenin sınavlara hazırlık için kendi yazdığı alıştırma soruları gibi. Gerçek sınav sorusu az olduğunda yüzlerce benzer soru yazmak öğrenciye çok şey kazandırır.
Ama öğretmen hep aynı tarzda soru yazarsa öğrenci yalnızca o tarzı öğrenir; gerçek sınavdaki alışılmadık soru onu şaşırtır. Daha kötüsü, öğrenci yarın öğretmen olup kendi yazdığı sorularla yeni öğrenciler yetiştirirse her kuşakta soruların çeşitliliği biraz daha azalır. Model collapse budur.
Bir e-ticaret şirketi müşteri e-postalarını sınıflandıran küçük bir model istiyor, ama "iade + hasarlı ürün + yurt dışı kargo" gibi nadir kombinasyonlardan elinde yalnızca birkaç örnek var.
- Kategori listesi ve 30 gerçek (anonimleştirilmiş) e-postayla güçlü bir modele her nadir kategoriden farklı ton, uzunluk ve dil hatalarıyla 200'er e-posta yazdırıyorlar.
- Tekrara düşen ve birbirine fazla benzeyen örnekleri benzerlik ölçüsüyle eliyor, bir kısmını elle kontrol ediyorlar.
- Sentetik örnekleri gerçek verinin yanına ekleyip modeli eğitiyorlar.
- Değerlendirmeyi yalnızca gerçek ve modelin hiç görmediği e-postalar üzerinde yapıyorlar. Sentetik test seti yalnız kullanılsaydı model, üreten modelin üslubunu tanımayı öğrendiği için olduğundan iyi görünebilirdi.
Eval tarafında da benzer bir akış var: bir RAG sistemi için dokümanlardan soru-cevap çiftleri üretip cevapları LLM-as-judge ile puanlamak hızlı bir başlangıçtır; ama üretilen sorulardan bir örneklemi insanların doğrulaması gerekir.
- Etiketli veri az ve pahalıyken; özellikle nadir sınıflar ve uç durumlar için
- Büyük bir modelin davranışını daha küçük, ucuz bir modele aktarmak (distillation) istiyorsan ve lisans izin veriyorsa
- Eval setini genişletmek, saldırı ve uç durum senaryoları üretmek için
- Gerçek kişisel veriyi paylaşamadığın durumlarda test ve geliştirme verisi olarak (gizlilik kontrolleriyle birlikte)
- Üreten modelin kullanım şartları çıktıyı rakip model eğitmek için kullanmayı yasaklıyorsa
- Gerçek veri bol ve temizse; sentetik veri genellikle gerçeğin yerine değil yanına konur
- Nihai başarı ölçümü için tek kaynak olarak; son değerlendirme gerçek veride yapılmalı
Model collapse'ı hafife almak
Shumailov ve ark. (2024) ayrım gözetmeden, kuşaktan kuşağa model çıktısıyla eğitimin dağılımın kuyruklarını sildiğini gösterdi. Gerçek veriyi atma, sentetik veriyi etiketle ve karışım oranını takip et.
Çeşitlilik yanılgısı
Aynı prompt'la binlerce örnek üretmek çoğu zaman aynı kalıbın varyasyonlarını verir. Persona, konu, zorluk ve format gibi eksenleri bilinçli olarak değiştir, benzer örnekleri ele.
Hataların çoğalması
Üreten model halüsinasyon görüyorsa yanlış bilgi eğitim verisine girer ve öğrenci model onu güvenle tekrarlar. Doğrulanabilir alanlarda (kod, matematik) çıktıyı test ya da hesapla kontrol et.
Kullanım şartlarını okumamak
Anthropic ve Gemini API şartları rakip model geliştirmeyi yasaklıyor; açık ağırlıklı modellerin lisanslarında da adlandırma gibi şartlar var. Veri üretmeden önce şartları oku ve sakla.
Sentetik veriyi anonim sanmak
Model, örnek olarak verdiğin gerçek kayıtlardan isim, adres ya da cümle kopyalayabilir. Prompt'a koyduğun gerçek veriyi anonimleştir ve üretilen veriyi kişisel veri açısından tara.