Prompt Caching
Önek önbellekleme · tekrar eden girdiyi ucuza okumak
Aynı önekle (system prompt, araç tanımları, uzun doküman) başlayan isteklerde modelin o kısım için hesapladığı KV durumunu saklayıp yeniden kullanma; tekrar eden input token'ları çok daha ucuza ve daha hızlı işlenir.
Model bir prompt'u okurken her token için attention'ın key/value durumlarını hesaplar (KV cache). Ardışık istekler aynı başlangıcı paylaşıyorsa (aynı system prompt, aynı araç listesi, aynı 50 sayfalık sözleşme) bu hesap her seferinde tekrar yapılır. Prompt caching o ortak önekin (prefix) KV durumunu sağlayıcının tarafında saklar; sonraki istek aynı önekle gelirse o kısım yeniden hesaplanmaz, cache'ten okunur.
Dört kavram her sağlayıcıda karşına çıkar:
- Tam önek eşleşmesi: Cache, prompt'un başından itibaren birebir aynı olan kısmı yakalar. Başa eklenen tek bir zaman damgası, sırası değişen bir araç ya da farklı bir görsel, ondan sonraki her şeyi cache dışı bırakır. Ortada aynı olan parça işe yaramaz.
- Cache breakpoint: Önekin nerede biteceğini (cache'e nereye kadar yazılacağını) belirleyen işaret. Kimi sağlayıcıda otomatik, kimide senin koyduğun bir alan.
- TTL (yaşam süresi): Kayıt kullanılmadan ne kadar yaşar. Genellikle dakikalar düzeyinde; bazı sağlayıcılar ücretli olarak saatlere uzatır.
- Yazma ve okuma fiyatı: Cache'ten okunan token normal input'tan çok ucuzdur. Bazı sağlayıcılar cache'e yazılan token için ise normalden pahalı bir tarife uygular; yani cache, önek en az birkaç kez tekrar kullanılınca kâra geçer.
Sağlayıcılar (resmî dokümanlara göre, Kasım 2026):
- OpenAI: Desteklenen modellerde varsayılan olarak açık, kod değişikliği gerekmez. GPT-5.6 ve sonrasında asgari önek 1.024 görünür input token'ı; cache okuması normal input'un 0,1 katı (GPT-6.1 Sol ve Terra'da 0,05 katı). Cache yazma varsayılan
30mTTL için 1,25 kat, Responses API'deki12hTTL için 2,5 kat. Breakpoint varsayılan olarak son uygun mesajın sonuna otomatik konur;prompt_cache_breakpointile elle de işaretlenebilir (istek başına en çok dört cache yazımı). Daha eski modellerde yazma ücreti yok;in_memorykayıtlar tipik olarak 5–10 dakika boşta kalınca (en fazla bir saat) düşer,24hseçeneği ise 24 saate kadar tutar. - Anthropic:
cache_control: {"type": "ephemeral"}ile açılır; isteğin en üstüne konursa otomatik, içerik bloklarına konursa açık breakpoint olur (en çok 4). Varsayılan TTL 5 dakika ve her okumada bedavaya yenilenir;"ttl": "1h"ile 1 saat seçilebilir. Yazma 5 dakikalık TTL için 1,25 kat, 1 saatlik için 2 kat; okuma standart olarak 0,1 kat (Opus 5.5 ve Sonnet 5.5'te 0,05, Fable 5.1 ve Mythos 5.1'de 0,025 kat). Asgari önek modele göre 512 ile 4.096 token arası; altındaki istekler hata vermeden cache'siz işlenir. Sistem her breakpoint'ten geriye en çok 20 blok bakar. - Google Gemini: Implicit caching Gemini 2.5 ve sonrası tüm modellerde varsayılan olarak açık; asgari önek 2.5 modellerinde 2.048, Gemini 3.x ve Gemini 4 Argon'da 4.096 token. Tasarruf garantisi yok; isabet olursa indirim otomatik yansır. Explicit caching (beta,
v1beta) ise içeriği elle bir cache nesnesine koyar, tasarrufu garanti eder; TTL verilmezse 1 saat, üst ya da alt sınır yok. Cache'lenen token'ın indirimli fiyatına ek olarak saatlik depolama ücreti ödenir. Explicit caching Gemini 3 ve 2.5 modellerindegenerateContentile çalışır; Interactions API'de ve Gemini 4 Argon ile sonrasında desteklenmiyor. - DeepSeek: "Context Caching on Disk" herkes için varsayılan olarak açık. İstek ve cevap sınırlarında, ortak öneklerde ve uzun girdilerde sabit aralıklarla "cache prefix unit" yazılır; sonraki isteğin bu birimlerden biriyle tam eşleşmesi gerekir. Sistem "best-effort" çalışır, isabet garantisi yok; kullanılmayan cache birkaç saat ile birkaç gün içinde silinir. Yazma ücreti yok: fiyat sayfasında
deepseek-flashiçin cache isabeti 1M token başına $0,006, ıskası $0,30 (yoğun saat; yoğun olmayan saatte $0,003 ve $0,15).
Rakamlar sık değişiyor; karar vermeden önce sağlayıcının fiyat sayfasına bak, hesabı maliyet hesaplayıcısıyla yap.
Bir çevirmene her gün aynı 40 sayfalık şirket sözlüğünü verip ardından o günün tek sayfalık metnini veriyorsun. Akıllı bir çevirmen sözlüğü her sabah baştan okumaz; dünkü notlarına bakar ve sadece yeni sayfaya geçer.
Ama notları sayfa sırasına bağlı: sözlüğün başına bugünün tarihini eklersen "bu başka bir sözlük" der ve her şeyi yeniden okur. Notlar da sonsuza kadar saklanmaz; bir süre bakmazsa atar. Prompt caching tam olarak bu: sabit kısım önde ve aynı kaldıkça okuma ucuzdur.
Bir destek botu her istekte 20.000 token'lık sabit bir önek gönderiyor: system prompt, araç tanımları ve ürün dokümanı. Kullanıcı mesajı en sonda, birkaç yüz token. Model Claude Sonnet 4.6 (Anthropic fiyat sayfası: input $3, 5 dakikalık cache yazma $3,75, cache okuma $0,30; hepsi 1M token başına).
Beş dakika içinde gelen 100 istek için yalnızca önekin maliyeti:
- Cache'siz: 100 × 20.000 = 2M token × $3 = $6,00
- Cache'li: ilk istek yazar (20.000 × $3,75/M = $0,075), kalan 99 istek okur (1,98M × $0,30/M = $0,594) → toplam ≈ $0,67
Kullanıcı mesajları ve çıktı her iki durumda aynı ücretlendirilir. Aynı botta biri system prompt'un en başına "Bugün: 8 Kasım 2026 14:03:27" satırını eklerse önek her istekte değişir, her istek yeniden yazma fiyatından ödenir ve cache faydadan çok zarar getirir. Çözüm: değişen her şeyi önekin sonuna, kullanıcı mesajının yanına taşımak. Daha fazla yöntem için token azaltma rehberine bak.
{
"model": "claude-sonnet-4-6",
"max_tokens": 1024,
"system": [
{
"type": "text",
"text": "<20.000 token'lık sabit talimat ve ürün dokümanı>",
"cache_control": { "type": "ephemeral", "ttl": "1h" }
}
],
"messages": [
{ "role": "user", "content": "Siparişim nerede?" }
]
}# Anthropic: cache_creation_input_tokens (yazılan), cache_read_input_tokens (okunan)
# OpenAI: usage.input_tokens_details.cached_tokens ve cache_write_tokens
# Gemini: usage.total_cached_tokens
# DeepSeek: usage.prompt_cache_hit_tokens ve prompt_cache_miss_tokens
curl -s https://api.deepseek.com/chat/completions \
-H "Authorization: Bearer $DEEPSEEK_API_KEY" -H "Content-Type: application/json" \
-d @request.json | jq '.usage | {prompt_cache_hit_tokens, prompt_cache_miss_tokens}'- Uzun ve sabit bir system prompt, araç listesi ya da doküman her istekte tekrar ediyorsa
- Çok turlu sohbet ve ajan döngüleri; geçmiş her turda büyüyerek aynı önekle tekrar gönderiliyor
- Aynı belge üzerinde art arda çok soru soran RAG ya da analiz akışları
- İlk token gecikmesi (TTFT) önemliyse; cache'ten okunan önek yeniden hesaplanmaz
- Önek asgari eşiğin altındaysa (sağlayıcıya ve modele göre 512 ile 4.096 token); zaten cache'lenmez
- Her istek farklı bir belgeyle başlıyorsa; yazma ücreti olan sağlayıcıda maliyet artar
- İstekler TTL'den seyrek geliyorsa; her seferinde yeniden yazma ödersin
Değişen içeriği başa koymak
Zaman damgası, kullanıcı adı, rastgele örnek sırası ya da oturum kimliği önekin başındaysa her istek ıska olur. Sabit kısım önde, değişken kısım en sonda olmalı.
Araç listesini her istekte farklı sıralamak
Araç tanımları da önekin parçası. Sırayı ya da şemayı istekten isteğe değiştirmek cache'i kırar; listeyi sabit tut, yeni araçları sona ekle.
Yazma ücretini unutmak
Anthropic'te ve OpenAI'ın yeni modellerinde cache'e yazmak normal input'tan pahalı. Önek bir kez kullanılıp atılıyorsa cache maliyeti artırır; en az birkaç okuma beklenmeli.
Implicit caching'e güvenip ölçmemek
Gemini implicit caching ve DeepSeek tasarruf garantisi vermiyor; OpenAI'da da isabet yönlendirmeye bağlı. usage alanlarındaki cache sayılarını izle, isabet oranını gerçekten ölç.
Cache'i çıktı tekrarı sanmak
Prompt caching yalnızca girdinin hesaplanmasını atlar. Cevap yine baştan üretilir ve temperature gibi ayarlara göre değişir; aynı soruya aynı cevabı saklamak ayrı bir uygulama cache'idir.