GPU Hesaplayıcı

Model boyutu + quant → kaç GB VRAM lazım, hangi GPU yeter.

MODEL

PARAMETRE (MİLYAR)

AĞIRLIK HASSASİYETİ

KV CACHE HASSASİYETİ

TAHMİNİ TOPLAM BELLEK

Ağırlıklar

KV cache

Eğitim (grad + optimizer + aktivasyon)

Runtime + ek

GPU	Kullanım	Token/sn	TTFT	Fiyat

GPU

ADET

SİSTEM RAM (GB)

RAM BANT GENİŞLİĞİ

Nasıl hesaplanıyor?

KV cache modelin gerçek mimarisinden hesaplanır (HF config.json): katman × KV başlığı × başlık boyutu; MLA, kayan pencere ve hibrit (lineer dikkat) katmanlar ayrıca ele alınır.
MoE modellerde bellek toplam parametreyle, hız aktif parametreyle hesaplanır.
Üretim hızı bellek bant genişliğiyle sınırlıdır: her token için aktif ağırlıklar + KV okunur (%70 verim). Hesaplama tavanı %40 MFU. TTFT, istemin tamamının ön-işlenme süresidir.
Çoklu GPU: NVLink / Infinity Fabric'te tensor parallel (×0,85 ölçeklenme); PCIe'de katman bölme (bellek eklenir, hız eklenmez). GPU başına %92, Apple'da RAM'in %75'i kullanılabilir kabul edilir.
Runtime payı 0,75 GB + ağırlıkların %5'i. Gerçek kullanım motora (vLLM, llama.cpp, Ollama) göre ±%10-20 değişir.