Representasi Teks: pelajaran

Model tidak bisa menghitung dengan kata. Cara kita mengubah kata menjadi angka menentukan apa yang bisa dipelajari model — dan apa yang tidak akan pernah bisa.

Model tidak pernah melihat kata — ia melihat token. Cara teks dipotong menentukan kosakata, panjang urutan, biaya API, dan kenapa bahasa Indonesia lebih mahal dari bahasa Inggris.

Hitung kata, bobotkan dengan kelangkaannya, dan Anda punya baseline klasifikasi teks yang selesai dilatih dalam hitungan detik — dan sering sulit dikalahkan.