A/B testing
Mengukur apakah sebuah perubahan benar-benar berhasil, dengan dua grup acak dan hasil yang dibaca jujur.
Yang dibahas di kursus ini
Metode untuk menjawab "apakah perubahan ini menaikkan pesanan?" tanpa tertipu musim, gajian, atau kebetulan. Anda belajar apa yang bisa dan tidak bisa dijawab A/B test, memilih satu metrik utama, kenapa pembagian acak mengalahkan perbandingan sebelum-sesudah, kenapa tes kecil menyesatkan, dan cara membaca selang selisih B − A. Lalu uji hipotesis, ukuran sampel dan power, serta jebakan yang sering ditemui di perusahaan. Widget interaktif menunjukkan bagaimana jumlah pengunjung mengubah apa yang bisa Anda simpulkan.
Baru mengenal AI? Mulai dari Dasar-dasar AI & data.
Bagian dari jalur karier:Data analystData scientist
Yang akan bisa Anda lakukan
- Merancang A/B test dengan satu metrik utama dan guardrail
- Menjelaskan kenapa perbandingan sebelum-sesudah menyesatkan
- Memperkirakan berapa pengunjung yang dibutuhkan sebuah tes
- Membaca selang selisih B − A dan mengambil keputusan yang jujur
Unit dan bite
- Unit 15 biteSekitar 15 menit
Dasar A/B test
Apa yang dijawab A/B test, satu metrik utama, kenapa harus acak, kenapa tes kecil menyesatkan, dan cara membaca hasilnya.
- 3 menit
Apa yang dijawab A/B test
Satu perubahan, dua grup acak, satu periode: A/B test menjawab "apakah perubahan ini menyebabkan selisihnya?" dan tidak lebih dari itu.
- 3 menit
Satu metrik utama
Tentukan satu metrik yang memutuskan hasil tes sebelum tes dimulai, dan beberapa guardrail yang tidak boleh memburuk.
- 3 menit
Kenapa harus acak
Perbandingan "sebelum vs sesudah" mencampur efek perubahan dengan semua hal lain yang ikut berubah. Pembagian acak memisahkannya.
- 3 menit
Tes kecil menyesatkan
Dengan sedikit pengunjung, angka konversi bergoyang begitu lebar sehingga "pemenang" bisa muncul dari kebetulan saja.
- 3 menit
Membaca hasil A/B test
Lihat selang selisih B − A terhadap 0: seluruhnya di atas, seluruhnya di bawah, atau mencakup 0. Lalu tanyakan apakah besarnya sepadan.
- Unit 23 biteSekitar 9 menit
Merancang tes
Rancangan, ukuran sampel, dan kapan berhenti. Distribusi dan p-value dibahas di kursus Statistik.
- 3 menit
Merancang A/B test
Unit randomisasi, metrik utama, dan guardrail sebelum tes dimulai.
- 3 menit
Ukuran sampel dan power
Berapa lama tes harus berjalan untuk melihat kenaikan 0,5 poin persentase.
- 3 menit
Mengintip dan berhenti terlalu cepat
Menghentikan tes saat p-value pertama kali di bawah 0,05 melipatgandakan alarm palsu.
- Unit 34 biteSekitar 12 menit
Jebakan A/B test
Hal-hal yang membuat tes yang dirancang dengan baik tetap memberi jawaban yang salah.
- 3 menit
Efek kebaruan
Pengguna mengklik karena sesuatu baru, bukan karena lebih baik. Cara melihatnya dari data per minggu.
- 3 menit
Grup yang tidak seimbang
Rencananya 50/50, hasilnya 52/48. Kenapa itu tanda ada yang rusak, bukan kebetulan.
- 3 menit
Memancing di segmen
"Tidak menang secara keseluruhan, tapi menang di pengguna Android di Surabaya": kenapa itu hampir selalu kebetulan.
- 3 menit
Grup yang saling memengaruhi
Di marketplace dan ojek online, grup A dan B berbagi penjual dan pengemudi yang sama.
- Unit 44 biteSekitar 12 menit
Eksperimen di perusahaan
Dari satu tes ke kebiasaan: rencana tertulis, guardrail, jadwal tes, dan berbagi hasil yang jujur.
- 3 menit
Menulis rencana tes
Hipotesis, metrik utama, ukuran sampel, dan aturan berhenti, ditulis sebelum tes dimulai.
- 3 menit
Metrik guardrail
Metrik yang tidak boleh memburuk: pembatalan, keluhan, kecepatan aplikasi, margin.
- 3 menit
Beberapa tes sekaligus
Kapan dua tes boleh berjalan bersamaan, dan menghindari tes saat 11.11 atau Lebaran.
- 3 menit
Berbagi hasil tes
Menulis hasil yang kalah dan yang tidak jelas sejujur yang menang, supaya perusahaan belajar.
Pertanyaan tentang kursus ini
Belajar
Berapa lama menyelesaikan A/B testing?
Sekitar 48 menit total: 4 unit yang terdiri dari 16 bite, masing-masing sekitar tiga menit, dan setiap bite diakhiri pertanyaan singkat. Anda bisa mengerjakan satu bite sehari atau beberapa sekaligus.
Apakah saya perlu bisa coding?
Tidak untuk memulai. Kursus fondasi menjelaskan setiap ide dengan bahasa sehari-hari lebih dulu; kalau sebuah kursus memakai SQL atau Python, kursus itu mengajarkannya dari awal, dengan playground di dalam pelajaran.
Saya harus mulai dari mana?
Kalau Anda baru mengenal AI, mulai dari Dasar-dasar AI & data. Kalau Anda sudah tahu pekerjaan yang dituju, ikuti jalur kariernya; A/B testing punya tempat di dalamnya.
Kapan saya bisa mulai belajar?
Datamew segera hadir di iOS dan Android. Belum ada tanggal rilis maupun harga yang diumumkan: gabung waitlist dan kami akan memberi tahu saat aplikasinya tersedia.
Apakah tersedia dalam Bahasa Indonesia?
Ya. Datamew ditulis dalam Bahasa Indonesia dan Bahasa Inggris.
Kursus lainnya
- Dasar-dasar AI & dataCara kerja AI, cara memberinya instruksi, dan cara membaca angka dengan jujur.
- Data analystCara analis berpikir dan bekerja: dari pertanyaan bisnis ke jawaban yang dipakai orang.
- Data engineerMembangun pipeline yang membawa data tepat waktu dan benar: SQL, Python, orkestrasi, dan warehouse.
- Data scientistApa yang dikerjakan data scientist, dan cara memakai LLM dalam pekerjaannya.
- Persiapan dataDari export mentah ke tabel yang bisa dipercaya: bentuk yang rapi, nilai kosong, duplikat, dan format.
- Visualisasi dataGrafik yang menjawab pertanyaan dengan jujur, dari memilih jenisnya sampai dashboard dan cerita.
- SQL untuk analisisBertanya langsung ke database: menyaring, meringkas, menggabungkan tabel, dan window function.
- StatistikDasar statistik yang dipakai setiap peran data: meringkas, membaca sebaran, dan mengukur ketidakpastian.
- Supervised dan unsupervised learningDua cara mesin belajar dari data: dengan jawaban, dan tanpa jawaban.
- Rekomendasi produkCara kerja "mungkin Anda suka", data di baliknya, dan cara membuktikan dampaknya.
- ForecastingPerkirakan permintaan sebagai rentang, siap untuk Ramadan, 11.11, dan 12.12.
- Segmentasi pelangganMembagi pelanggan ke kelompok yang berbeda, lalu memperlakukan setiap kelompok dengan berbeda.
- Analitik media sosialMembaca angka Instagram, TikTok, dan YouTube dengan jujur, dan memakai AI tanpa tertipu.
- AI untuk rekonsiliasi keuanganMencocokkan mutasi rekening dengan invoice: aturan dulu, AI untuk sisanya, manusia yang memutuskan.
- AI untuk SEOCara kerja pencarian di era jawaban AI, riset kata kunci, Search Console, dan menulis dengan AI secara bertanggung jawab.
Bacaan sambil menunggu
Panduan dari tim Datamew, gratis di web hari ini.
Cara Menjadi Data Analyst di Indonesia: Skill, Roadmap, dan Gaji (2026)
Untuk menjadi data analyst, pelajari spreadsheet, SQL, satu tool BI seperti Looker Studio atau Power BI, statistik dasar, dan cara menjelaskan temuan dengan bahasa sederhana. Dasarnya bisa dikuasai dalam sekitar enam bulan belajar paruh waktu, lalu Anda butuh dua atau tiga proyek portofolio untuk dipanggil wawancara. Rata-rata gaji data analyst di Indonesia menurut Indeed sekitar Rp6,3 juta per bulan.
8 menit bacaCara Menjadi Data Scientist di Indonesia: Skill, Roadmap, dan Gaji (2026)
Data scientist memakai Python, statistik, dan machine learning untuk memprediksi apa yang akan terjadi dan menguji apa yang berhasil. Kebanyakan orang sampai ke sana lewat data analysis dulu: kuasai SQL dan statistik, lalu Python, eksperimen, dan machine learning, yang butuh sekitar satu tahun belajar paruh waktu. Di Indonesia, rata-rata gaji data scientist di Indeed sekitar Rp14,5 juta per bulan.
8 menit bacaJadi yang pertama memakai aplikasinya
Tinggalkan email Anda dan kami akan memberi tahu saat Datamew tersedia di ponsel Anda. Satu email saat rilis, tanpa spam.
- Segera hadir diApp Store
- Segera hadir diGoogle Play
- Pakai sekarang diweb