Ollama Nedir ve Bilgisayarda Yerel Yapay Zeka Nasıl Çalıştırılır?
Ollama ile dil modellerini kendi bilgisayarınızda çalıştırma mantığını kolay biçimde açıklıyoruz.
Hakan E. · · Akademi
Ollama, desteklenen dil modellerini bilgisayarınıza indirip yerel olarak çalıştırmayı kolaylaştıran bir araçtır. Model indirme, çalıştırma ve API üzerinden erişim gibi işleri basit komutlarla yapabilirsiniz.
Yerel çalıştırmanın önemli avantajlarından biri verinin dış servise gitmek zorunda olmamasıdır. Ayrıca API başına ücret ödemeden deney yapabilirsiniz. Bunun karşılığında RAM, GPU ve disk alanını siz sağlarsınız. Bulut faturasını kapatıp elektrik faturasıyla tanışmış olursunuz.
Modelin ne kadar hızlı çalışacağı cihazınıza ve seçtiğiniz model boyutuna bağlıdır. Küçük quantized modeller laptoplarda bile kullanılabilirken büyük modeller güçlü GPU ve yüksek RAM isteyebilir.