Lewati ke konten

Melatih Jaringan yang Dalam

Optimizer, jadwal learning rate, inisialisasi, normalisasi, dan regularisasi — hal-hal yang membuat pelatihan benar-benar konvergen.

Tingkat
Menengah
Pelajaran
4
Total waktu
1j 5m
Simulasi
4
Termasuk di Pengantar Deep Learning & Neural Network · $9
Tools yang dipakai
  • Python
  • PyTorch
  • NumPy
Keterampilan
  • SGD, Momentum, Adam
  • BatchNorm & LayerNorm
  • Dropout & weight decay
Coba sekarang — gratis

Ini simulasi asli dari modulnya. Tanpa akun.

Yang akan Anda bisa

  • Memilih optimizer dan jadwal learning rate untuk masalah baru
  • Mendiagnosis gradien yang hilang atau meledak

Sebelum mulai

Hanya saran, tidak pernah mengunci — Anda bisa mulai di sini.

  • neural-network-foundations
Modul yang membantu lebih dulu

Silabus

4 pelajaran · 1j 5m

Judul dan ringkasan setiap pelajaran terbuka untuk umum. Isi pelajarannya terbuka setelah Anda memiliki jalurnya.

Semua pelajaran di Pengantar Deep Learning & Neural Network
  1. Optimizer: SGD, Momentum, Adam

    18 min

    Apa yang sebenarnya dilakukan Adam, dan kapan SGD biasa masih menang.

    Termasuk dalam jalurnya Simulasi
  2. Jadwal Learning Rate dan Warmup

    15 min

    Cosine decay, warmup, dan cara mencari learning rate dalam sepuluh menit.

    Termasuk dalam jalurnya Simulasi
  3. Inisialisasi dan Normalisasi

    16 min

    Kenapa Xavier dan He ada, dan apa yang diperbaiki BatchNorm dan LayerNorm.

    Termasuk dalam jalurnya Simulasi
  4. Regularisasi: Dropout, Weight Decay, Early Stopping

    16 min

    Tiga cara mencegah jaringan menghafal, dan cara memilih di antaranya.

    Termasuk dalam jalurnya Simulasi
Akses seumur hidup
$9
Beli jalurnya
Lainnya di Pengantar Deep Learning & Neural Network
Modul · Pemula

Dasar-Dasar Neural Network

Apa yang sebenarnya dihitung sebuah neural network, kenapa nonlinearitas adalah intinya, dan bagaimana bobotnya belajar.

  • 4 pelajaran
  • 1j 20m
  • 7 simulasi
Termasuk di Pengantar Deep Learning & Neural Network· $9
Modul · Menengah

PyTorch untuk Deep Learning

Tensor, autograd, nn.Module, DataLoader, dan pelatihan di GPU — PyTorch secukupnya untuk bekerja sendiri.

  • 4 pelajaran
  • 1j 14m
  • 2 simulasi
Termasuk di Pengantar Deep Learning & Neural Network· $9
Modul · Menengah

Convolutional Neural Networks

Konvolusi, pooling, dan arsitektur CNN — kenapa berbagi bobot membuat gambar bisa dipelajari.

  • 3 pelajaran
  • 54 min
  • 4 simulasi
Termasuk di Pengantar Deep Learning & Neural Network· $9
Modul · Menengah

Model Sekuens dan Transformer

Dari RNN dan LSTM ke self-attention — arsitektur di balik setiap LLM modern.

  • 3 pelajaran
  • 56 min
  • 3 simulasi
Termasuk di Pengantar Deep Learning & Neural Network· $9