LoRA Nedir ve Büyük Dil Modelleri Nasıl Daha Ucuza Eğitilir?
LoRA yönteminin büyük bir modeli tamamen yeniden eğitmeden nasıl özelleştirdiğini kolayca açıklıyoruz.
Hakan E. · · Akademi
LoRA, büyük bir dil modelinin bütün ağırlıklarını değiştirmek yerine küçük ek matrisler eğiterek modeli belirli bir işe uyarlama yöntemidir. Ana model büyük ölçüde sabit kalır. Eğitilen parametre sayısı azaldığı için gereken GPU belleği ve eğitim maliyeti de düşer.
Bu yöntem özellikle kendi veri setinizle bir modele yeni bir üslup, görev veya alan bilgisi öğretmek istediğinizde kullanışlıdır. Tam fine tuning yerine daha küçük bir adaptasyon katmanı eğitirsiniz. Yani bütün evi yeniden yapmak yerine birkaç odayı tadilata alırsınız.
LoRA'nın güzel tarafı farklı adapter'ların aynı temel model üzerinde ayrı ayrı saklanabilmesidir. Böylece her görev için dev model dosyasının yeni bir kopyasını tutmak zorunda kalmazsınız.