Modul 2 · Pengantar Deep Learning & Neural Network
Melatih Jaringan yang Dalam: pelajaran
Optimizer, jadwal learning rate, inisialisasi, normalisasi, dan regularisasi — hal-hal yang membuat pelatihan benar-benar konvergen.
4 pelajaran · 1j 5m
Apa yang diajarkan modul ini, apa yang perlu Anda kuasai lebih dulu, dan cara Anda berlatih ada di halaman silabusnya.
Buka silabusOptimizer: SGD, Momentum, Adam
18 minApa yang sebenarnya dilakukan Adam, dan kapan SGD biasa masih menang.
Termasuk dalam jalurnya Ada simulasinyaJadwal Learning Rate dan Warmup
15 minCosine decay, warmup, dan cara mencari learning rate dalam sepuluh menit.
Termasuk dalam jalurnya Ada simulasinyaInisialisasi dan Normalisasi
16 minKenapa Xavier dan He ada, dan apa yang diperbaiki BatchNorm dan LayerNorm.
Termasuk dalam jalurnya Ada simulasinyaRegularisasi: Dropout, Weight Decay, Early Stopping
16 minTiga cara mencegah jaringan menghafal, dan cara memilih di antaranya.
Termasuk dalam jalurnya Ada simulasinya