vLLM Nedir ve Dil Modeli Sunucuları Nasıl Hızlanır?
vLLM'in çok kullanıcılı dil modeli servislerinde neden tercih edildiğini kolay biçimde açıklıyoruz.
Hakan E. · · Akademi
vLLM, büyük dil modellerini yüksek throughput ile servis etmek için geliştirilmiş bir inference sistemidir. Amaç aynı GPU üzerinde çok sayıda isteği daha verimli biçimde işleyebilmektir.
Dil modeli çalışırken KV cache önemli miktarda GPU belleği kullanır. vLLM bu belleğin daha verimli yönetilmesine yardımcı olan teknikler kullanır. Böylece aynı donanım daha fazla eş zamanlı isteği karşılayabilir.
Tek kişinin ara sıra soru sorduğu yerel modelde fark küçük olabilir. Ama yüzlerce kullanıcı aynı modele bağlanıyorsa işler değişir. O noktada GPU'nun önünde sıra numarası dağıtmamak için iyi bir inference motoru gerekir.