QLoRA Nedir ve 4 Bit Model Eğitimi Nasıl Çalışır?
QLoRA'nın quantization ve LoRA'yı birleştirerek GPU belleği ihtiyacını nasıl azalttığını anlatıyoruz.
Hakan E. · · Akademi
QLoRA, LoRA yaklaşımını quantization ile birleştirir. Temel model daha düşük bit hassasiyetinde bellekte tutulurken küçük LoRA katmanları eğitilir. Böylece büyük bir modeli daha sınırlı GPU belleğiyle özelleştirmek mümkün hale gelir.
Buradaki fikir modelin her parametresini yüksek hassasiyetle bellekte tutmak zorunda olmamaktır. Eğitim sırasında gerekli hesaplar dikkatli biçimde yönetilir. Böylece daha önce yalnızca pahalı sunucularda yapılabilen bazı denemeler daha ulaşılabilir donanımlara iner. GPU'nun da biraz nefes almaya hakkı var.