Modul 5 · Pengantar Deep Learning & Neural Network
Model Sekuens dan Transformer: pelajaran
Dari RNN dan LSTM ke self-attention — arsitektur di balik setiap LLM modern.
3 pelajaran · 56 min
Apa yang diajarkan modul ini, apa yang perlu Anda kuasai lebih dulu, dan cara Anda berlatih ada di halaman silabusnya.
Buka silabusRNN dan LSTM
16 minMemproses urutan satu langkah demi satu, dan kenapa itu sulit dilatih untuk urutan panjang.
Termasuk dalam jalurnyaMekanisme Attention
20 minQuery, key, value — setiap token memutuskan token mana yang perlu ia lihat.
Termasuk dalam jalurnya Ada simulasinyaArsitektur Transformer
20 minMulti-head attention, positional encoding, dan blok yang ditumpuk di setiap LLM.
Termasuk dalam jalurnya Ada simulasinya