Model Quantization Nedir ve 4 Bit 8 Bit Ne Anlama Gelir?
Dil modellerinde 4 bit ve 8 bit quantization kavramlarını RAM ve performans üzerinden açıklıyoruz.
Hakan E. · · Akademi
Quantization, model ağırlıklarını daha düşük hassasiyetli sayılarla saklayarak modelin bellek ihtiyacını azaltma yöntemidir. Örneğin 16 bit yerine 8 bit veya 4 bit temsil kullanıldığında aynı model daha az RAM veya VRAM tüketebilir.
Bu sayede normalde bilgisayarınıza sığmayan bir model daha küçük hale gelebilir. Ancak hassasiyet düştükçe kalite ve hız üzerinde farklı etkiler görülebilir. Her model aynı şekilde davranmaz. Modeli küçültmek valizi kapatmaya benzer, bazen biraz üstüne oturmanız gerekir.