Cara Kerja LLM
Token, embedding, attention, dan prediksi token berikutnya — mekanika yang menjelaskan hampir semua perilaku LLM.
- 4 pelajaran
- 1j 4m
- 3 simulasi
Memanggil API, streaming, tool calling, caching, dan mengendalikan biaya serta latensi di produksi.
Hanya saran, tidak pernah mengunci — Anda bisa mulai di sini.
Judul dan ringkasan setiap pelajaran terbuka untuk umum. Isi pelajarannya terbuka setelah Anda memiliki jalurnya.
Semua pelajaran di LLM, Prompt Engineering & Context EngineeringSatu endpoint, satu bentuk permintaan: pesan, peran, dan parameter — lalu streaming supaya pengguna tidak menatap layar kosong.
Model tidak menjalankan apa pun: ia meminta, kode Anda mengeksekusi, lalu hasilnya dikirim kembali. Memahami pembagian kerja itu adalah seluruh keamanan tool calling.
Tagihan LLM didominasi token masukan yang dikirim berulang. Prompt caching, konteks yang dipangkas, batch, dan model yang cukup — dalam urutan itu.
API akan melambat dan sesekali gagal. Aplikasi yang bertahan tahu error mana yang boleh diulang, menunggu dengan backoff dan jitter, membatasi konkurensi, dan punya rencana cadangan.
Token, embedding, attention, dan prediksi token berikutnya — mekanika yang menjelaskan hampir semua perilaku LLM.
Instruksi yang jelas, contoh, penalaran bertahap, dan keluaran terstruktur — teknik yang terbukti, tanpa mantra.
Apa yang masuk ke jendela konteks, dari mana asalnya, dan dalam urutan apa — keterampilan inti membangun aplikasi LLM.
Dataset evaluasi, LLM-as-judge, dan uji regresi untuk prompt — mengganti "kelihatannya bagus" dengan angka.