Pelajaran
Pengantar Deep Learning & Neural Network: semua pelajaran
Jaringan saraf, dari satu neuron sampai transformer.
6 modul · 21 pelajaran · 1 gratis untuk dibaca sekarang
Tentang jalur ini: hasil belajar, tools, dan hargaModul 1Dasar-Dasar Neural Network
4 pelajaranApa yang sebenarnya dihitung sebuah neural network, kenapa nonlinearitas adalah intinya, dan bagaimana bobotnya belajar.
Sebuah neuron hanyalah jumlah berbobot ditambah satu fungsi yang membengkokkan. Tumpuk beberapa, dan garis lurus berubah menjadi batas apa pun yang Anda butuhkan.
Fungsi Aktivasi: ReLU, GELU, dan Kawan-Kawan
15 minKenapa sigmoid hampir hilang dari lapisan tersembunyi, dan apa yang menggantikannya.
Termasuk dalam jalurnya Ada simulasinyaBackpropagation Tanpa Rasa Takut
20 minAturan rantai, graf komputasi, dan kenapa satu backward pass cukup untuk jutaan bobot.
Termasuk dalam jalurnya Ada simulasinyaTraining Loop Pertama Anda di PyTorch
25 minDari tensor ke model yang terlatih: forward, loss, backward, step — dan cara membaca kurvanya.
Termasuk dalam jalurnya Ada simulasinya
Modul 2Melatih Jaringan yang Dalam
4 pelajaranOptimizer, jadwal learning rate, inisialisasi, normalisasi, dan regularisasi — hal-hal yang membuat pelatihan benar-benar konvergen.
Optimizer: SGD, Momentum, Adam
18 minApa yang sebenarnya dilakukan Adam, dan kapan SGD biasa masih menang.
Termasuk dalam jalurnya Ada simulasinyaJadwal Learning Rate dan Warmup
15 minCosine decay, warmup, dan cara mencari learning rate dalam sepuluh menit.
Termasuk dalam jalurnya Ada simulasinyaInisialisasi dan Normalisasi
16 minKenapa Xavier dan He ada, dan apa yang diperbaiki BatchNorm dan LayerNorm.
Termasuk dalam jalurnya Ada simulasinyaRegularisasi: Dropout, Weight Decay, Early Stopping
16 minTiga cara mencegah jaringan menghafal, dan cara memilih di antaranya.
Termasuk dalam jalurnya Ada simulasinya
Modul 3PyTorch untuk Deep Learning
4 pelajaranTensor, autograd, nn.Module, DataLoader, dan pelatihan di GPU — PyTorch secukupnya untuk bekerja sendiri.
Tensor dan Autograd
20 minBentuk, broadcasting, dan bagaimana PyTorch merekam operasi untuk menghitung gradien.
Termasuk dalam jalurnya Ada simulasinyaMembangun Model dengan nn.Module
18 minMenyusun lapisan, parameter, dan mode train/eval tanpa kejutan.
Termasuk dalam jalurnya Ada simulasinyaDataset dan DataLoader
18 minBatching, shuffling, dan augmentasi yang tidak membuat GPU menunggu.
Termasuk dalam jalurnyaGPU dan Mixed Precision
18 minMemindahkan pelatihan ke GPU, dan kapan float16/bfloat16 aman dipakai.
Termasuk dalam jalurnya
Modul 4Convolutional Neural Networks
3 pelajaranKonvolusi, pooling, dan arsitektur CNN — kenapa berbagi bobot membuat gambar bisa dipelajari.
Cara Kerja Konvolusi
18 minKernel, stride, padding, dan kenapa satu filter bisa dipakai di seluruh gambar.
Termasuk dalam jalurnya Ada simulasinyaArsitektur CNN: dari LeNet ke ResNet
18 minIde-ide yang bertahan — dan skip connection yang membuat jaringan sangat dalam bisa dilatih.
Termasuk dalam jalurnya Ada simulasinyaTransfer Learning
18 minMemakai model pralatih ketika Anda hanya punya beberapa ratus gambar.
Termasuk dalam jalurnya Ada simulasinya
Modul 5Model Sekuens dan Transformer
3 pelajaranDari RNN dan LSTM ke self-attention — arsitektur di balik setiap LLM modern.
RNN dan LSTM
16 minMemproses urutan satu langkah demi satu, dan kenapa itu sulit dilatih untuk urutan panjang.
Termasuk dalam jalurnyaMekanisme Attention
20 minQuery, key, value — setiap token memutuskan token mana yang perlu ia lihat.
Termasuk dalam jalurnya Ada simulasinyaArsitektur Transformer
20 minMulti-head attention, positional encoding, dan blok yang ditumpuk di setiap LLM.
Termasuk dalam jalurnya Ada simulasinya
Modul 6Deep Learning dalam Praktik
3 pelajaranMen-debug pelatihan, melacak eksperimen, dan satu proyek akhir dari data mentah sampai model yang dievaluasi.
Men-debug Neural Network
18 minOverfit satu batch dulu, baru yang lain: resep untuk model yang tidak mau belajar.
Termasuk dalam jalurnya Ada simulasinyaMelacak Eksperimen
14 minMencatat konfigurasi, metrik, dan artefak supaya hasil minggu lalu bisa diulang.
Termasuk dalam jalurnyaProyek Akhir: Klasifikasi Gambar
45 minDari folder gambar sampai model yang dievaluasi dengan jujur.
Termasuk dalam jalurnya