Lewati ke konten

Mengevaluasi Aplikasi LLM

Dataset evaluasi, LLM-as-judge, dan uji regresi untuk prompt — mengganti "kelihatannya bagus" dengan angka.

Tingkat
Menengah
Pelajaran
3
Total waktu
44 min
Simulasi
1
Termasuk di LLM, Prompt Engineering & Context Engineering · $9
Tools yang dipakai
  • Python
  • Claude
  • OpenAI
  • Gemini
Keterampilan
  • Dataset evaluasi
  • LLM-as-judge

Yang akan Anda bisa

  • Membangun set evaluasi dari kasus nyata
  • Mendeteksi regresi sebelum prompt baru dirilis

Sebelum mulai

Hanya saran, tidak pernah mengunci — Anda bisa mulai di sini.

  • building-with-llm-apis
Modul yang membantu lebih dulu

Silabus

3 pelajaran · 44 min

Judul dan ringkasan setiap pelajaran terbuka untuk umum. Isi pelajarannya terbuka setelah Anda memiliki jalurnya.

Semua pelajaran di LLM, Prompt Engineering & Context Engineering
  1. Membangun Set Evaluasi

    16 min

    Set evaluasi adalah lalu lintas Anda sendiri, dipilih dengan sengaja, dengan kriteria yang bisa diperiksa kode — bukan tiga pertanyaan yang Anda coba sebelum rilis.

    Termasuk dalam jalurnya Simulasi
  2. LLM sebagai Penilai

    15 min

    Model bisa menilai jawaban model lain — asalkan rubriknya sempit, biasnya diketahui, dan kesepakatannya dengan manusia pernah diukur dengan kappa, bukan sekadar persentase.

    Termasuk dalam jalurnya
  3. Uji Regresi untuk Prompt

    13 min

    Prompt adalah kode tanpa compiler. Taruh di repositori, jalankan set evaluasi pada setiap perubahan, dan blokir rilis ketika kasus yang tadinya lulus berubah gagal.

    Termasuk dalam jalurnya
Akses seumur hidup
$9
Beli jalurnya
Lainnya di LLM, Prompt Engineering & Context Engineering
Modul · Pemula

Cara Kerja LLM

Token, embedding, attention, dan prediksi token berikutnya — mekanika yang menjelaskan hampir semua perilaku LLM.

  • 4 pelajaran
  • 1j 4m
  • 3 simulasi
Termasuk di LLM, Prompt Engineering & Context Engineering· $9
Modul · Pemula

Dasar Prompt Engineering

Instruksi yang jelas, contoh, penalaran bertahap, dan keluaran terstruktur — teknik yang terbukti, tanpa mantra.

  • 4 pelajaran
  • 58 min
  • 1 simulasi
Termasuk di LLM, Prompt Engineering & Context Engineering· $9
Modul · Menengah

Context Engineering

Apa yang masuk ke jendela konteks, dari mana asalnya, dan dalam urutan apa — keterampilan inti membangun aplikasi LLM.

  • 4 pelajaran
  • 1j 4m
  • 2 simulasi
Termasuk di LLM, Prompt Engineering & Context Engineering· $9
Modul · Menengah

Membangun dengan API LLM

Memanggil API, streaming, tool calling, caching, dan mengendalikan biaya serta latensi di produksi.

  • 4 pelajaran
  • 1j 6m
  • 5 simulasi
Termasuk di LLM, Prompt Engineering & Context Engineering· $9