Lewati ke konten

Vision Transformer dan Model Multimodal

ViT, CLIP, dan model vision-language — ketika gambar dan teks berbagi satu ruang embedding.

Tingkat
Menengah
Pelajaran
3
Total waktu
52 min
Simulasi
2
Termasuk di Computer Vision dengan Deep Learning · $9
Tools yang dipakai
  • Python
  • PyTorch
  • OpenCV
Keterampilan
  • ViT
  • CLIP
  • Vision-language model
Coba sekarang — gratis

Ini simulasi asli dari modulnya. Tanpa akun.

Yang akan Anda bisa

  • Menjelaskan bagaimana ViT memotong gambar menjadi token
  • Membangun pencarian gambar dengan embedding CLIP

Sebelum mulai

Hanya saran, tidak pernah mengunci — Anda bisa mulai di sini.

  • image-classification-with-cnns
Modul yang membantu lebih dulu

Silabus

3 pelajaran · 52 min

Judul dan ringkasan setiap pelajaran terbuka untuk umum. Isi pelajarannya terbuka setelah Anda memiliki jalurnya.

Semua pelajaran di Computer Vision dengan Deep Learning
  1. Vision Transformer (ViT)

    18 min

    Patch sebagai token, dan kapan ViT mengalahkan CNN.

    Termasuk dalam jalurnya Simulasi
  2. CLIP dan Embedding Gambar-Teks

    18 min

    Klasifikasi zero-shot dan pencarian gambar dengan kalimat.

    Termasuk dalam jalurnya Simulasi
  3. Model Vision-Language

    16 min

    LLM yang bisa membaca gambar: apa yang bisa, apa yang belum, dan cara mengujinya.

    Termasuk dalam jalurnya
Akses seumur hidup
$9
Beli jalurnya
Lainnya di Computer Vision dengan Deep Learning
Modul · Pemula

Dasar-Dasar Citra Digital

Gambar sebagai angka, konvolusi sebagai jumlah berbobot yang digeser, dan kenapa CNN mempelajari filternya sendiri.

  • 3 pelajaran
  • 48 min
  • 4 simulasi
Termasuk di Computer Vision dengan Deep Learning· $9
Modul · Menengah

Klasifikasi Gambar dengan CNN

Membangun CNN di PyTorch, transfer learning dari model pralatih, dan mengevaluasi classifier dengan jujur.

  • 3 pelajaran
  • 56 min
  • 3 simulasi
Termasuk di Computer Vision dengan Deep Learning· $9
Modul · Menengah

Deteksi Objek

Bounding box, IoU, detektor satu tahap seperti YOLO, dan cara membaca mAP.

  • 3 pelajaran
  • 53 min
  • 3 simulasi
Termasuk di Computer Vision dengan Deep Learning· $9
Modul · Menengah

Segmentasi Gambar

Klasifikasi per piksel: segmentasi semantik dan instance, U-Net, dan model segmentasi umum.

  • 3 pelajaran
  • 46 min
  • 2 simulasi
Termasuk di Computer Vision dengan Deep Learning· $9