LLM, Prompt Engineering & Context Engineering: semua pelajaran

Menulis prompt seperti brief untuk rekan kerja baru yang sangat pintar tapi tanpa konteks.

Memilih contoh yang mengajarkan pola, bukan yang disalin mentah-mentah.

Kapan meminta model berpikir bertahap membantu, dan kapan hanya menambah token.

JSON, skema, dan validasi supaya keluaran model bisa dipakai kode.

Instruksi, data, contoh, riwayat, dan alat — menyusun konteks sebagai sebuah desain.

Chunking, embedding, pencarian, dan reranking — dan cara tahu apakah retrieval-nya bekerja.

Lost in the middle, distraksi, dan kapan meringkas lebih baik daripada menyertakan semuanya.

Riwayat yang dipangkas, ringkasan berjalan, dan memori jangka panjang yang bisa diaudit.

Satu endpoint, satu bentuk permintaan: pesan, peran, dan parameter — lalu streaming supaya pengguna tidak menatap layar kosong.

Model tidak menjalankan apa pun: ia meminta, kode Anda mengeksekusi, lalu hasilnya dikirim kembali. Memahami pembagian kerja itu adalah seluruh keamanan tool calling.

Tagihan LLM didominasi token masukan yang dikirim berulang. Prompt caching, konteks yang dipangkas, batch, dan model yang cukup — dalam urutan itu.

API akan melambat dan sesekali gagal. Aplikasi yang bertahan tahu error mana yang boleh diulang, menunggu dengan backoff dan jitter, membatasi konkurensi, dan punya rencana cadangan.

Set evaluasi adalah lalu lintas Anda sendiri, dipilih dengan sengaja, dengan kriteria yang bisa diperiksa kode — bukan tiga pertanyaan yang Anda coba sebelum rilis.

Model bisa menilai jawaban model lain — asalkan rubriknya sempit, biasnya diketahui, dan kesepakatannya dengan manusia pernah diukur dengan kappa, bukan sekadar persentase.

Prompt adalah kode tanpa compiler. Taruh di repositori, jalankan set evaluasi pada setiap perubahan, dan blokir rilis ketika kasus yang tadinya lulus berubah gagal.

Model memilih token yang paling masuk akal, bukan yang paling benar. Obatnya bukan permintaan untuk "jangan mengarang", tapi menaruh sumbernya di konteks, meminta kutipan yang bisa dicek, dan mengizinkan "tidak ditemukan".

Model membaca instruksi Anda dan ulasan produk lewat saluran yang sama: token. Ketika data berisi perintah, tidak ada prompt yang bisa memisahkannya — yang bisa adalah arsitektur yang membatasi kerusakan.

Guardrail adalah kode yang memeriksa masukan dan keluaran tanpa memercayai model. Monitoring adalah yang memberi tahu Anda bahwa kualitas turun — sebelum pengguna yang memberi tahu.