LLM Nedir ve Büyük Dil Modelleri Nasıl Çalışır
Büyük dil modellerinin token ve tahmin mantığıyla nasıl metin ürettiğini kolay biçimde anlatıyoruz.
Hakan E. · · Akademi
LLM, çok büyük miktarda metin üzerinde eğitilmiş bir dil modelidir. Metni token adı verilen küçük parçalara ayırır ve mevcut token'lardan sonra hangi token'ın gelme olasılığının yüksek olduğunu hesaplar.
Bu işlem defalarca tekrarlandığında cümleler ve uzun metinler oluşur. Modelin cevabı bir veritabanından hazır paragraf çekmek değildir. Her adımda olası devamı hesaplar. Çok gelişmiş bir otomatik tamamlama demek haksızlık olur ama tamamen yanlış da sayılmaz.
Model büyüdükçe daha karmaşık dil ilişkilerini öğrenebilir. Ancak büyük olmak otomatik olarak doğru olmak anlamına gelmez. Çok büyük modeller de gayet özgüvenli biçimde saçmalayabilir.