Bagaimana LLM Membaca Prompt Anda
Prompt Anda dipotong menjadi token, diubah menjadi vektor, lalu setiap token memutuskan token lain mana yang penting. Tiga langkah itu menjelaskan kenapa prompt yang baik bekerja.
Yang akan Anda bisa
- Menjelaskan token dan kenapa jumlahnya menentukan biaya dan batas
- Membaca kemiripan makna sebagai jarak antar-vektor
- Menjelaskan attention dan apa artinya untuk menyusun konteks
Sebuah large language model (LLM) melakukan satu hal: diberi sebuah teks, ia menghitung probabilitas untuk token berikutnya. Menjawab pertanyaan, menulis kode, meringkas dokumen — semuanya adalah token berikutnya, diulang ratusan kali. Untuk memahami kenapa sebuah prompt bekerja, Anda perlu tahu tiga hal yang terjadi sebelum token itu dipilih.
1. Token: satuan yang sebenarnya dibaca model#
Model tidak membaca huruf atau kata. Teks dipotong menjadi token — potongan yang sering muncul, kira-kira sepotong kata. Kata umum dalam bahasa Inggris sering menjadi satu token; kata yang jarang, angka panjang, dan banyak bahasa selain Inggris terpecah menjadi lebih banyak token.
2. Embedding: makna sebagai geometri#
Setiap token diubah menjadi sebuah vektor — daftar ratusan sampai ribuan angka — yang disebut embedding. Embedding dilatih sehingga teks dengan makna yang mirip berakhir di posisi yang berdekatan. "Kucing" dekat dengan "anjing", jauh dari "obligasi".
- a, b
- dua vektor embedding
- a · b
- hasil kali titik
- ‖a‖
- panjang vektor
import numpy as np def cos(a, b): return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b)) a = np.array([1, 2, 0])b = np.array([2, 4, 0]) # arah sama, panjang berbedac = np.array([0, 0, 3]) # tegak lurus print(round(cos(a, b), 3))print(round(cos(a, c), 3))1.0
0.0Inilah dasar retrieval dan RAG: ubah dokumen dan pertanyaan menjadi embedding, ambil yang terdekat, lalu taruh di prompt. Kemiripan makna bekerja tanpa kecocokan kata — tapi juga bisa salah dengan cara yang tidak akan pernah dilakukan pencarian kata kunci.
3. Attention: setiap token memilih apa yang dilihat#
Embedding awal sebuah token sama di setiap kalimat. Kata "bank" punya vektor yang sama di "bank sungai" dan "bank sentral". Yang membedakannya adalah attention: di setiap lapisan, setiap token menghitung seberapa besar ia harus memperhatikan setiap token lain, lalu mencampur informasinya sesuai bobot itu.
- Q
- query — apa yang dicari token ini
- K
- key — apa yang ditawarkan setiap token
- V
- value — informasi yang diambil
- dₖ
- dimensi key; pembagian menjaga softmax tetap stabil
Apa artinya untuk prompt Anda#
| Mekanika | Konsekuensi praktis |
|---|---|
| Semua yang ada di konteks bisa diperhatikan | Teks yang tidak relevan bukan netral — ia bersaing untuk mendapat attention. Buang yang tidak perlu. |
| Model meneruskan pola | Contoh (few-shot) dan format yang konsisten adalah instruksi terkuat yang bisa Anda beri. |
| Konteks panjang tidak dibaca merata | Informasi di tengah konteks yang sangat panjang lebih sering terlewat (Liu dkk., 2023). Taruh hal penting di awal atau akhir. |
| Token adalah biaya | Konteks yang ringkas lebih murah, lebih cepat, dan sering lebih akurat. |
Anda menerjemahkan prompt sistem dari bahasa Inggris ke bahasa Indonesia. Apa yang paling mungkin terjadi?
Retrieval berbasis embedding menemukan dokumen tentang "harga paket" untuk kueri "berapa biaya langganan". Kenapa?