Modul 3 · MLOps: Deploy Model Machine Learning & Deep Learning
Menyajikan Deep Learning dan LLM: pelajaran
GPU, batching, kuantisasi, dan format seperti ONNX — membuat model besar cukup cepat dan cukup murah.
4 pelajaran · 1j 6m
Apa yang diajarkan modul ini, apa yang perlu Anda kuasai lebih dulu, dan cara Anda berlatih ada di halaman silabusnya.
Buka silabusLatensi, Throughput, dan Batching
16 minKenapa batch yang lebih besar menaikkan throughput dan latensi sekaligus, di mana titik jenuhnya, dan dua kenop yang mengendalikannya di server inferensi.
Termasuk dalam jalurnyaONNX dan Optimasi Model
16 minMengekspor model ke satu format graf yang dijalankan runtime C++ di CPU, GPU, dan ponsel — dan memverifikasi bahwa hasilnya masih model yang sama.
Termasuk dalam jalurnyaKuantisasi
16 minint8 dan 4-bit: bagaimana bobot float dipetakan ke bilangan bulat kecil, apa yang hilang, apa yang didapat, dan cara mengukurnya pada model Anda sendiri.
Termasuk dalam jalurnyaMenyajikan LLM
18 minKV cache, continuous batching, dan server inferensi: kenapa menyajikan model bahasa adalah soal memori GPU, dan kenop mana yang menentukan berapa pengguna yang bisa dilayani satu kartu.
Termasuk dalam jalurnya