The spelled-out intro to language modeling: building makemore

Video özeti

Bu ders niteliğindeki video, basit bir bigram karakter düzeyinde dil modelinin uygulamalı inşasını adım adım gösteriyor; amaç daha sonra Transformer düzeyinde modellere geçiş için temel oluşturmak. Başlangıçta veri okuma ve keşfi, bigramların sayılması ve Python ile torch tensorlerine dönüştürülmesi anlatılıyor; örnekler üzerinden büyükram tensörünün görselleştirilmesi, örnekleme (sampling) ve satırların vektörize normalizasyonu gibi verimli uygulamalar ele alınıyor. Ardından loss fonksiyonu (negatif log olasılık), model smoothing, bir sinir ağı yaklaşımıyla veri hazırlığı, one-hot kodlama, tek lineer katmanlı basit bir neural net, softmax’a dönüşüm, vektörize loss, backward ve PyTorch ile güncelleme adımları gösteriliyor; finalde tüm parçaların birleştirilmesi, örnekleme ve sonraki adımlar özetleniyor. Makine öğrenmesi/derin öğrenme ve temel Python bilgisi olanlar için ideal; PyTorch deneyimi olmasa bile tensörler ve matris işlemlerine aşina olmak izlemenizi kolaylaştırır. İzleyici, büyükram tabanlı modelin hem istatistiksel hem de basit neural net yaklaşımlarıyla nasıl kurulduğunu, verimli vektörize uygulamaları, loss ve eğitim döngüsünü pratik kod örnekleriyle öğrenmiş olacak ve makemore projesi gibi takip adımlarına hazır hale gelecek.

Bölümler

1. 0:00Giriş ve veri keşfi
2. 6:24Bigram sayımı: Python ve tensor
3. 24:02Modelden örnekleme (sampling)
4. 50:14Loss fonksiyonu ve vektörize hesaplama
5. 1:02:57Neural net yaklaşımı: veri hazırlığı
6. 1:13:53Tek katmanlı neural net ve softmax
7. 1:35:49Vektörize loss, backward ve güncelleme
8. 1:47:49Özet, örnekleme ve sonraki adımlar

Öne çıkan fikirler

• Basit bir bigram modeli hem istatistiksel sayım hem de tek katmanlı neural net ile uygulanabilir ve aralarındaki bağlantılar açıktır.
• Verimli eğitim ve örnekleme için tensör vektörizasyonu ve satır normalizasyonu önemlidir.
• PyTorch’ta one-hot kodlamanın pratikte tek bir ağırlık matrisi satırını seçmekle eşdeğer olduğu önemli bir optimizasyondur.

Özet ve bölüm başlıkları Opendart editörlüğünde hazırlanmıştır; videonun içeriği ve hakları kanal sahibine aittir.