Lewati ke konten

Model Sekuens dan Transformer

Dari RNN dan LSTM ke self-attention — arsitektur di balik setiap LLM modern.

Tingkat
Menengah
Pelajaran
3
Total waktu
56 min
Simulasi
3
Termasuk di Pengantar Deep Learning & Neural Network · $9
Tools yang dipakai
  • Python
  • PyTorch
  • NumPy
Keterampilan
  • RNN & LSTM
  • Self-attention
  • Transformer
Coba sekarang — gratis

Ini simulasi asli dari modulnya. Tanpa akun.

Yang akan Anda bisa

  • Menjelaskan self-attention dengan matriks Q, K, V
  • Membaca diagram arsitektur transformer

Sebelum mulai

Hanya saran, tidak pernah mengunci — Anda bisa mulai di sini.

  • training-deep-networks
Modul yang membantu lebih dulu

Silabus

3 pelajaran · 56 min

Judul dan ringkasan setiap pelajaran terbuka untuk umum. Isi pelajarannya terbuka setelah Anda memiliki jalurnya.

Semua pelajaran di Pengantar Deep Learning & Neural Network
  1. RNN dan LSTM

    16 min

    Memproses urutan satu langkah demi satu, dan kenapa itu sulit dilatih untuk urutan panjang.

    Termasuk dalam jalurnya
  2. Mekanisme Attention

    20 min

    Query, key, value — setiap token memutuskan token mana yang perlu ia lihat.

    Termasuk dalam jalurnya Simulasi
  3. Arsitektur Transformer

    20 min

    Multi-head attention, positional encoding, dan blok yang ditumpuk di setiap LLM.

    Termasuk dalam jalurnya Simulasi
Akses seumur hidup
$9
Beli jalurnya
Lainnya di Pengantar Deep Learning & Neural Network
Modul · Pemula

Dasar-Dasar Neural Network

Apa yang sebenarnya dihitung sebuah neural network, kenapa nonlinearitas adalah intinya, dan bagaimana bobotnya belajar.

  • 4 pelajaran
  • 1j 20m
  • 7 simulasi
Termasuk di Pengantar Deep Learning & Neural Network· $9
Modul · Menengah

Melatih Jaringan yang Dalam

Optimizer, jadwal learning rate, inisialisasi, normalisasi, dan regularisasi — hal-hal yang membuat pelatihan benar-benar konvergen.

  • 4 pelajaran
  • 1j 5m
  • 4 simulasi
Termasuk di Pengantar Deep Learning & Neural Network· $9
Modul · Menengah

PyTorch untuk Deep Learning

Tensor, autograd, nn.Module, DataLoader, dan pelatihan di GPU — PyTorch secukupnya untuk bekerja sendiri.

  • 4 pelajaran
  • 1j 14m
  • 2 simulasi
Termasuk di Pengantar Deep Learning & Neural Network· $9
Modul · Menengah

Convolutional Neural Networks

Konvolusi, pooling, dan arsitektur CNN — kenapa berbagi bobot membuat gambar bisa dipelajari.

  • 3 pelajaran
  • 54 min
  • 4 simulasi
Termasuk di Pengantar Deep Learning & Neural Network· $9