Mengevaluasi Aplikasi LLM: pelajaran

Set evaluasi adalah lalu lintas Anda sendiri, dipilih dengan sengaja, dengan kriteria yang bisa diperiksa kode — bukan tiga pertanyaan yang Anda coba sebelum rilis.

Model bisa menilai jawaban model lain — asalkan rubriknya sempit, biasnya diketahui, dan kesepakatannya dengan manusia pernah diukur dengan kappa, bukan sekadar persentase.

Prompt adalah kode tanpa compiler. Taruh di repositori, jalankan set evaluasi pada setiap perubahan, dan blokir rilis ketika kasus yang tadinya lulus berubah gagal.