Membangun dengan API LLM: pelajaran

Satu endpoint, satu bentuk permintaan: pesan, peran, dan parameter — lalu streaming supaya pengguna tidak menatap layar kosong.

Model tidak menjalankan apa pun: ia meminta, kode Anda mengeksekusi, lalu hasilnya dikirim kembali. Memahami pembagian kerja itu adalah seluruh keamanan tool calling.

Tagihan LLM didominasi token masukan yang dikirim berulang. Prompt caching, konteks yang dipangkas, batch, dan model yang cukup — dalam urutan itu.

API akan melambat dan sesekali gagal. Aplikasi yang bertahan tahu error mana yang boleh diulang, menunggu dengan backoff dan jitter, membatasi konkurensi, dan punya rencana cadangan.