Uji A/B Tujuan: Sampel dan Ketidakpastian

Dua tujuan menerima lalu lintas, satu mencatat tingkat konversi yang lebih tinggi, dan sebuah dasbor tampaknya menawarkan pemenang yang jelas. Bagian tersulitnya adalah memutuskan apakah perbedaan tersebut cukup informatif untuk ditindaklanjuti. Sampel yang kecil, audiens yang tidak konsisten, halaman yang berubah-ubah, dan kunjungan berulang dapat mempersulit perbandingan. Rencanakan pengukuran sebelum mengarahkan lalu lintas, lalu laporkan hasil observasi dan alasan mengapa hasil itu belum tentu dapat digeneralisasikan ke kampanye berikutnya.

Pengujian tujuan A/B dimulai dengan satu hasil yang jelas

Tentukan apa yang dianggap sukses sebelum pengujian dimulai. Pendaftaran yang telah selesai berbeda dengan membuka formulir, dan pesanan yang sudah dibayar berbeda dengan sekadar membuka halaman pembayaran. Pilih hasil utama yang mencerminkan keputusan yang ingin Anda buat. Catat cara setiap tujuan melaporkannya dan pastikan aturan yang sama diterapkan pada kedua varian.

Tentukan juga penyebutnya. Rasio yang dihitung dari permintaan tercatat belum tentu sama dengan rasio berdasarkan individu berbeda atau sesi yang memenuhi syarat. Jika satu orang dapat menghasilkan beberapa pengamatan, akui ketergantungan tersebut ketika menafsirkan hasil. Panduan pelacakan konversi membantu menetapkan jalur pengukuran. Eksperimen tidak dapat menyelamatkan definisi hasil yang berubah di tengah-tengah perbandingan atau berbeda di antara dua halaman.

Jelaskan audiens dan aturan pembagian lalu lintas

Perbandingan antara pengunjung seluler di satu laman dan pengunjung desktop di laman lain tidak mengisolasi pengaruh laman tersebut. Membandingkan satu tujuan selama promosi dengan tujuan lain setelah promosi berakhir juga tidak memisahkan pengaruh halaman itu sendiri. Tentukan siapa yang memenuhi syarat, bagaimana lalu lintas dibagi, dan kondisi mana yang ingin Anda pertahankan tetap sama. Jaga agar aturan pembagian lalu lintas tetap stabil saat mengumpulkan observasi yang direncanakan.

Lumeraya mendukung persentase lalu lintas dalam aturan perutean yang berlaku, tapi itu bukan janji platform eksperimen statistik yang lengkap. Pembagian lalu lintas didasarkan pada karakteristik permintaan dan bukan pada identitas terverifikasi untuk setiap orang. Perubahan karakteristik atau lingkungan bersama tersebut dapat memengaruhi siapa yang mengikuti suatu rute. Periksa bagaimana pengaturan Anda berperilaku, dokumentasikan unit yang sebenarnya Anda amati, dan hindari mendeskripsikan persentase perutean sebagai jumlah pasti dari orang yang dibagi secara acak dan independen.

Baca persentase bersama jumlah pengamatan yang mendasarinya

Misalkan perbandingan ilustratif mencatat 20 konversi dari 200 pengamatan yang memenuhi syarat untuk A dan 30 dari 200 pengamatan untuk B. Tingkat yang diamati adalah 10 persen dan 15 persen: perbedaan sebesar lima poin persentase, atau peningkatan relatif sebesar 50 persen dibandingkan A. Deskripsi tersebut merujuk pada sampel yang sama, namun deskripsi tersebut dapat menimbulkan kesan yang sangat berbeda jika penghitungannya dihilangkan.

Kedua cara penyampaian itu tidak membuktikan bahwa peningkatan tersebut stabil. Angka-angka rekaan ini menggambarkan aritmatika, bukan patokan Lumeraya atau eksperimen yang dipublikasikan. Selalu tampilkan pembilang dan penyebut di samping rasio. Hasil berdasarkan beberapa konversi dapat berubah secara signifikan ketika ada beberapa konversi lagi yang datang. Sebelum menyatakan suatu variasi berhasil, tanyakan apakah observasi yang tersedia cukup tepat untuk mengambil keputusan dan apakah proses pengukurannya kredibel.

Rencanakan ukuran sampel berdasarkan perbedaan yang bermanfaat

Tidak ada jumlah kunjungan universal yang menjadikan setiap perbandingan menentukan. Ukuran sampel yang diperlukan bergantung pada rasio awal, besarnya perbedaan yang ingin dideteksi, prosedur statistik yang dipilih, dan ketidakpastian yang dapat diterima. Mendeteksi perbaikan kecil umumnya memerlukan lebih banyak informasi dibandingkan mendeteksi perbaikan besar dengan asumsi serupa. Gunakan metode yang sesuai dengan unit pengukuran dan hasil Anda.

Interval kepercayaan menggambarkan ketidakpastian estimasi rasio berdasarkan suatu model; interval ini tidak mengatasi masalah pembagian lalu lintas atau pelacakan. NIST menjelaskan metode statistik untuk proporsi dan memperingatkan keterbatasan pendekatan sederhana pada sampel kecil atau hasil yang jarang terjadi. Untuk mengambil keputusan penting, gunakan alat statistik yang sesuai atau tinjauan yang berkualitas daripada menciptakan label kepercayaan dari warna dasbor. Dokumentasikan asumsi sehingga orang lain dapat memahami bagaimana kesimpulan dicapai.

Tetapkan rencana observasi sebelum memeriksa hasil

Tentukan durasi yang direncanakan, informasi target, dan proses peninjauan terlebih dahulu. Perhitungkan siklus kegiatan yang relevan bagi audiens, misalnya perbedaan perilaku pada tiap hari dalam seminggu, tanpa berasumsi bahwa jumlah hari yang sewenang-wenang menjamin validitas. Jaga agar tujuan dan aturan pengukurannya tetap stabil kecuali masalah keselamatan atau operasional memerlukan intervensi. Catat setiap interupsi daripada berpura-pura pengumpulan terus berlanjut tanpa perubahan.

Berulang kali memeriksa perhitungan signifikansi konvensional yang dirancang untuk sampel berukuran tetap dan berhenti pada hasil pertama yang menguntungkan dapat membuat bukti yang dilaporkan menyesatkan. Jika Anda memerlukan pemantauan berkelanjutan, gunakan analisis yang dirancang untuk proses tersebut. Pemeriksaan operasional harus tetap dilanjutkan: formulir yang rusak atau halaman yang tidak tersedia memerlukan perhatian. Pisahkan pemeriksaan keandalan tersebut dari perubahan berulang kali pada eksperimen karena tingkat konversi saat ini mengecewakan.

Periksa kualitas lalu lintas dan hasil yang hilang

Pratinjau tautan, permintaan otomatis, pengujian internal, dan kunjungan berulang dapat memengaruhi observasi yang tersedia untuk Anda. Terapkan perlakuan yang konsisten pada kedua varian, dan dokumentasikan pengecualian sebelum memeriksa pilihan mana yang memberikan hasil yang diinginkan. Label bot merupakan perkiraan berdasarkan sinyal yang tersedia; label itu tidak memberikan pengetahuan yang sempurna tentang setiap pengunjung. Tinjau kembali lonjakan dan kesenjangan yang tidak biasa daripada hanya mengandalkan satu total agregat.

Panduan kualitas lalu lintas memberikan konteks untuk menafsirkan aktivitas otomatis. Periksa juga apakah peristiwa konversi datang terlambat, diblokir, atau dihapus duplikatnya secara berbeda antar tujuan. Halaman yang kehilangan data pelacakan mungkin tampak berkinerja buruk meskipun penggunanya menyelesaikan tindakan yang diinginkan. Selesaikan ketidakkonsistenan pengukuran sebelum menghubungkan seluruh perbedaan dengan desain atau teks halaman.

Laporkan keputusan beserta batasan praktisnya

Laporan yang berguna menyatakan audiens, tanggal, metode pembagian lalu lintas, jumlah pengamatan, rasio, metode penilaian ketidakpastian, dan segala penyimpangan dari rencana. Jelaskan apa yang berubah antara A dan B dan apa yang tetap. Jika hasilnya tidak meyakinkan, sebutkan keputusan apa yang dapat diambil secara wajar: terus kumpulkan informasi, pertahankan halaman yang lebih sederhana, atau rancang ulang perbandingan untuk mendapatkan perbedaan yang lebih bermakna.

Saat bekerja dengan Lumeraya Links, gunakan perutean dan lalu lintas yang tercatat sebagai masukan untuk proses tersebut, lalu lihat Bantuan Links untuk mengetahui kemampuan yang tersedia pada akun Anda. Jangan berasumsi bahwa rute berbasis persentase secara otomatis menjamin pembagian berdasarkan individu, signifikansi statistik, atau bukti sebab akibat. Kekuatan kesimpulan bergantung pada eksperimen dan pengukurannya, tidak hanya pada alat yang digunakan untuk mengarahkan kunjungan ke halaman tujuan.

Sebelum meluncurkan perbandingan berikutnya, tulislah rencana satu halaman yang berisi hasil, audiens yang memenuhi syarat, aturan pembagian lalu lintas, dan pendekatan penghentian. Setelah itu, pertahankan agar penghitungan aktual tetap terlihat dan nyatakan ketidakpastian dalam paragraf yang sama dengan hasilnya. Praktik tersebut membuat temuan yang sederhana namun berguna menjadi lebih berharga daripada klaim perbaikan yang mengesankan yang hilang ketika seseorang mengkaji bagaimana hal tersebut diukur.