Let's build GPT: from scratch, in code, spelled out.

Video özeti

Bu uzun ders, GPT modelini sıfırdan kodlayarak transformer mimarisinin temel bileşenlerini, eğitim sürecini ve uygulama ayrıntılarını adım adım gösteriyor; tokenizasyon, veri hazırlama, bigram baslangıç modeli, self-attention, multi-head attention, feedforward katmanları, residual bağlantılar, layernorm ve ölçeklendirme gibi konuları kod üzerinden açıklıyor. Makine öğrenimi mühendisleri ve araştırmacılar için tasarlanmış; PyTorch/Tensor ayrıntılarını ve nanoGPT benzeri yaklaşımları takip ederek gerçek bir implementasyon yazmak isteyenlere somut kazançlar sağlar. Ders, hem teorik açıklamalar hem de pratik kod parçalarıyla modelin nasıl inşa edilip eğitileceğini, pozisyonel kodlamanın rolünü ve dikkat mekanizmasının matematiksel altyapısını gösteriyor; ayrıca pretraining vs. finetuning ve RLHF gibi modern uygulama konularına dair bağlam sunuyor. Kaynak kod ve Colab bağlantıları sunulduğundan, izleyici dersi takip edip kendi denemelerini çalıştırabilir.

Bölümler

1. 0:00Giriş: ChatGPT, Transformers ve örnekler
2. 9:28Tokenizasyon ve veri hazırlama
3. 22:11Basit bigram dil modelinden eğitim adımları
4. 47:11Kendine-dikkatin özü: matris çarpımıyla ağırlıklı toplama
5. 1:02:00Self-attention tabanlı sürüm (kritik kısım)
6. 1:11:38Dikkatin iletişim rolü ve boyut yorumu
7. 1:24:25Transformer bloklarındaki feedforward katmanlar
8. 1:48:53GPT uygulamaları: pretraining, finetuning ve ChatGPT ilişkisi

Öne çıkan fikirler

• Transformer’ın gücü, kendine-dikkatin (self-attention) girişleri ağırlıklı şekilde toplamasıyla ortaya çıkar.
• Basit bir bigram modelinden başlayıp adım adım self-attention içeren mimariye geçmek, tasarımın mantığını kavramayı sağlar.
• Pratik bir GPT uygulaması için tokenizasyon, veri bölme ve eğitim boru hattı (training loop) gibi altyapı adımlarını doğru kurmak kritik rol oynar.

Özet ve bölüm başlıkları Opendart editörlüğünde hazırlanmıştır; videonun içeriği ve hakları kanal sahibine aittir.