Data Engineer
Membangun pipeline yang membawa data tepat waktu dan benar: SQL, Python, orkestrasi, dan warehouse.
Yang dibahas di jalur ini
Jalur karier untuk calon data engineer. Bagaimana data berpindah (ETL vs ELT, batch vs streaming, pipeline yang aman dijalankan ulang), SQL dan pemodelan data, Python untuk pipeline, orkestrasi dan penjadwalan seperti di Airflow atau n8n, warehouse dan lakehouse, serta kualitas data dan monitoring. Contohnya dari sistem yang umum di Indonesia: payment gateway, marketplace, dan aplikasi mobile. Sebaiknya diambil setelah Dasar-Dasar AI & Data.
Baru mengenal AI? Setiap jalur dibangun di atas Dasar-Dasar AI & Data.
Yang akan bisa Anda lakukan
- Merancang pipeline yang idempoten dan aman dijalankan ulang
- Memodelkan data dengan tabel fakta dan dimensi
- Menjadwalkan dan mengorkestrasi job dengan retry dan alert
- Menguji dan memantau kualitas data
Unit dan bite
- Unit 14 biteSekitar 12 menit
Bagaimana data berpindah
Pipeline, ETL vs ELT, batch vs streaming, dan pipeline yang aman dijalankan ulang.
- 3 menit
Apa yang dikerjakan data engineer
Membangun dan merawat jalan tol data, supaya analis dan data scientist tidak perlu memikirkannya.
- 3 menit
Anatomi sebuah pipeline
Pemicu, extract, transform, load, tujuan — dan kapan batch sudah cukup.
- 3 menit
ETL vs ELT
Merapikan sebelum dimuat, atau memuat dulu lalu merapikan di warehouse — dan kenapa data mentah layak disimpan.
- 3 menit
Aman dijalankan ulang
Pipeline pasti gagal sesekali. Yang penting: menjalankannya ulang tidak menggandakan data.
- Unit 25 biteSekitar 15 menit
SQL & pemodelan data
Tabel fakta dan dimensi, grain, dan skema yang membuat analis cepat dan angka konsisten.
- 3 menit
Tabel aplikasi vs tabel analitik
Kenapa skema yang bagus untuk aplikasi belum tentu bagus untuk laporan.
- 3 menit
Fakta dan dimensi
Kejadian yang diukur dan konteks yang menjelaskannya: star schema.
- 3 menit
Memilih grain
Satu baris itu mewakili apa? Keputusan terpenting dalam desain tabel fakta.
- 3 menit
Join yang menggandakan angka
Menggabungkan pesanan dengan item lalu menjumlahkan total pesanan: kesalahan klasik.
- 3 menit
Dimensi yang berubah
Pelanggan pindah kota: laporan lama ikut berubah, atau tetap seperti dulu?
- Unit 35 biteSekitar 15 menit
Python untuk pipeline
Memanggil API, menangani pagination dan retry, dan memilih format file yang tepat.
- 3 menit
Memanggil API
Request, response JSON, dan kode status yang perlu dicek.
- 3 menit
Pagination dan rate limit
Mengambil semua halaman tanpa melewati batas permintaan per menit.
- 3 menit
Retry dan backoff
Mencoba lagi dengan jeda yang makin panjang, dan kapan harus menyerah.
- 3 menit
CSV, JSON, dan Parquet
Format mana untuk pertukaran, mana untuk analitik, dan kenapa tipe data penting.
- 3 menit
Rahasia dan konfigurasi
API key di environment atau secrets manager, bukan di dalam kode.
- Unit 45 biteSekitar 15 menit
Orkestrasi & penjadwalan
Menjalankan banyak job dalam urutan yang benar, dengan retry, alert, dan backfill — seperti di Airflow atau n8n.
- 3 menit
Apa kerja orkestrator
Dari cron sederhana ke alat yang tahu urutan, status, dan riwayat setiap job.
- 3 menit
DAG dan dependensi
Job yang menunggu job lain selesai, dan job yang bisa berjalan paralel.
- 3 menit
Jadwal dan backfill
Menjalankan pipeline untuk tanggal-tanggal yang terlewat tanpa merusak data.
- 3 menit
Retry dan alert
Berapa kali mencoba ulang, dan siapa yang dibangunkan kalau tetap gagal.
- 3 menit
n8n vs Airflow
Alur visual untuk otomasi cepat, kode untuk pipeline data yang besar.
- Unit 55 biteSekitar 15 menit
Warehouse & lakehouse
Tempat data analitik tinggal: penyimpanan kolumnar, partisi, lapisan data, dan biaya query.
- 3 menit
OLTP vs OLAP
Database untuk melayani aplikasi vs database untuk menjawab pertanyaan.
- 3 menit
Penyimpanan kolumnar
Kenapa membaca tiga kolom dari tabel 200 kolom bisa sangat cepat dan murah.
- 3 menit
Lake, warehouse, lakehouse
File murah di object storage, tabel rapi di warehouse, dan gabungan keduanya.
- 3 menit
Lapisan bronze, silver, gold
Data mentah, data bersih, dan data siap pakai — masing-masing untuk siapa.
- 3 menit
Partisi dan biaya
Query yang memindai seluruh tabel setiap lima menit, dan tagihan yang ikut membengkak.
- Unit 65 biteSekitar 15 menit
Kualitas data & monitoring
Tes data, kontrak data, pemantauan, dan cara menangani insiden data.
- 3 menit
Dimensi kualitas data
Lengkap, unik, valid, konsisten, dan tepat waktu — lima hal yang bisa diuji.
- 3 menit
Tes di dalam pipeline
not null, unique, accepted values, dan freshness — dijalankan setiap kali data dimuat.
- 3 menit
Kontrak data
Kesepakatan dengan tim aplikasi supaya perubahan kolom tidak merusak laporan diam-diam.
- 3 menit
Monitoring dan ambang batas
Rata-rata yang menyembunyikan kerusakan, dan ambang yang benar-benar membunyikan alarm.
- 3 menit
Menangani insiden data
Hentikan kerusakan, beri tahu pengguna data, perbaiki, lalu cegah terulang.
Pertanyaan tentang jalur ini
Belajar
Berapa lama menyelesaikan Data Engineer?
Sekitar 87 menit total: 6 unit yang terdiri dari 29 bite, masing-masing sekitar tiga menit, dan setiap bite diakhiri pertanyaan singkat. Anda bisa mengerjakan satu bite sehari atau beberapa sekaligus.
Apakah saya perlu bisa coding?
Tidak. Setiap jalur Datamew ditulis untuk profesional tanpa latar belakang teknis. Kalau ada hitungan, itu jenis hitungan yang bisa dilakukan di ponsel atau spreadsheet.
Saya harus mulai dari mana?
Semua orang mulai dari Dasar-Dasar AI & Data, yang membahas cara kerja AI, cara menulis prompt yang baik, dan cara membaca data dengan jujur. Setelah itu ambil Data Engineer sesuai peran Anda.
Kapan saya bisa mulai belajar?
Datamew segera hadir di iOS dan Android. Belum ada tanggal rilis maupun harga yang diumumkan: gabung waitlist dan kami akan memberi tahu saat aplikasinya tersedia.
Apakah tersedia dalam Bahasa Indonesia?
Ya. Datamew ditulis dalam Bahasa Indonesia dan Bahasa Inggris.
Jalur lainnya
- Dasar-Dasar AI & DataCara kerja AI, cara memberinya instruksi, dan cara membaca angka dengan jujur.
- Data AnalystDari pertanyaan bisnis ke jawaban yang bisa dipakai: spreadsheet, SQL, grafik, dan dashboard.
- Data ScientistPrediksi, eksperimen, dan model yang dipakai bisnis: Python, statistik, dan machine learning.
Bacaan sambil menunggu
Panduan dari tim Datamew, gratis di web hari ini.
Cara Menjadi Data Analyst di Indonesia: Skill, Roadmap, dan Gaji (2026)
Untuk menjadi data analyst, pelajari spreadsheet, SQL, satu tool BI seperti Looker Studio atau Power BI, statistik dasar, dan cara menjelaskan temuan dengan bahasa sederhana. Dasarnya bisa dikuasai dalam sekitar enam bulan belajar paruh waktu, lalu Anda butuh dua atau tiga proyek portofolio untuk dipanggil wawancara. Rata-rata gaji data analyst di Indonesia menurut Indeed sekitar Rp6,3 juta per bulan.
8 menit bacaCara Menjadi Data Scientist di Indonesia: Skill, Roadmap, dan Gaji (2026)
Data scientist memakai Python, statistik, dan machine learning untuk memprediksi apa yang akan terjadi dan menguji apa yang berhasil. Kebanyakan orang sampai ke sana lewat data analysis dulu: kuasai SQL dan statistik, lalu Python, eksperimen, dan machine learning, yang butuh sekitar satu tahun belajar paruh waktu. Di Indonesia, rata-rata gaji data scientist di Indeed sekitar Rp14,5 juta per bulan.
8 menit bacaJadi yang pertama memakai aplikasinya
Tinggalkan email Anda dan kami akan memberi tahu saat Datamew tersedia di ponsel Anda. Satu email saat rilis, tanpa spam.
- Segera hadir diApp Store
- Segera hadir diGoogle Play
- Pakai sekarang diweb