Representasi Teks
Dari one-hot ke word embedding ke embedding kontekstual — bagaimana mesin mewakili makna kata.
- 3 pelajaran
- 50 min
- 4 simulasi
Named entity recognition, ekstraksi relasi, dan mengubah dokumen bebas menjadi data terstruktur.
Hanya saran, tidak pernah mengunci — Anda bisa mulai di sini.
Judul dan ringkasan setiap pelajaran terbuka untuk umum. Isi pelajarannya terbuka setelah Anda memiliki jalurnya.
Semua pelajaran di Natural Language Processing (NLP)Klasifikasi memberi satu label per dokumen. Ekstraksi butuh label per token: siapa, organisasi apa, di mana, kapan — dan skema BIO adalah cara menuliskannya supaya mesin bisa belajar.
Dari faktur dan kontrak ke record JSON yang siap masuk database: skema yang menjaga tipe, kode yang menjaga kebenaran, dan loop yang memutuskan kapan manusia harus melihat.
"Akurasi 95%" tidak mengatakan apa-apa tentang sistem ekstraksi. Yang penting: per entitas atau per token, per kolom atau rata-rata, dan kesalahan mana yang membuat uang hilang.
Dari one-hot ke word embedding ke embedding kontekstual — bagaimana mesin mewakili makna kata.
Analisis sentimen, deteksi topik, dan routing tiket — dari TF-IDF + regresi logistik sampai fine-tuning transformer.
Encoder, decoder, BERT dan GPT — arsitektur yang mengubah NLP, dan cara memakai model pralatih.
Embedding kalimat, database vektor, dan mengevaluasi retrieval — fondasi pencarian modern dan RAG.