Hedef A/B Testleri: Örneklem ve Belirsizlik

İki hedef trafik alıyor, biri daha yüksek bir dönüşüm oranı kaydediyor ve bir kontrol paneli basit bir kazanan sunuyor gibi görünüyor. Zor kısım, farkın harekete geçmeye yetecek kadar bilgilendirici olup olmadığına karar vermektir. Küçük örneklemler, tutarsız hedef kitleler, değişen sayfalar ve tekrarlanan ziyaretçiler, karşılaştırmayı karmaşık hale getirebilir. Trafiği yönlendirmeden önce ölçümü planlayın, ardından hem gözlemlenen sonucu hem de bir sonraki kampanyaya genellenemeyebilecek nedenleri raporlayın.

A/B hedef testi tek bir net sonuçla başlar

Test başlamadan önce neyin başarı olarak sayıldığını tanımlayın. Tamamlanmış bir kayıt, bir formu açmaktan farklıdır ve ücretli bir sipariş, ödeme sayfasına ulaşmaktan farklıdır. Vermek istediğiniz kararı yansıtan birincil sonucu seçin. Her bir hedefin bunu nasıl bildirdiğini kaydedin ve aynı kuralın her iki varyanta de uygulandığından emin olun.

Ayrıca paydayı da tanımlayın. Kaydedilen isteklere dayalı bir oran, farklı kişilere veya uygun oturumlara dayalı bir oranla aynı olmak zorunda değildir. Bir kişi birden fazla gözlem üretebiliyorsa, sonuçları yorumlarken bu bağımlılığı kabul edin. Dönüşüm izleme kılavuzu, ölçüm yolunun oluşturulmasına yardımcı olur. Karşılaştırmanın yarısında değişen veya iki sayfa arasında farklılık gösteren bir sonuç tanımını deney kurtaramaz.

Hedef kitleyi ve atama kurallarını anlaşılır tutun

Bir sayfadaki mobil ziyaretçiler ile diğer bir sayfadaki masaüstü ziyaretçiler arasındaki karşılaştırma, sayfanın etkisini izole etmez. Bir indirim sırasında bir destinasyonu, satış bittikten sonra başka bir destinasyonla karşılaştırmak da geçerli değildir. Kimin uygun olduğunu, trafiğin nasıl atandığını ve hangi farklılıkları sabit tutmayı planladığınızı belirtin. Planlanan gözlemleri toplarken atama kuralını sabit tutun.

Lumeraya, geçerli yönlendirme kuralları dahilinde trafik yüzdelerini destekler ancak bu, eksiksiz bir istatistiksel deney platformunun vaadi değildir. Atama, her kişi için doğrulanmış bir kimlik yerine istek özelliklerine dayanmaktadır. Bu özelliklerdeki veya paylaşılan ortamlardaki değişiklikler, rotayı takip edenleri etkileyebilir. Kurulumunuzun nasıl davrandığını kontrol edin, gerçekte gözlemlediğiniz birimi belgeleyin ve yönlendirme yüzdesini bağımsız olarak rastgele seçilen kişilerin tam sayısı olarak tanımlamaktan kaçının.

Temel sayımların yanındaki yüzdeleri okuyun

Açıklayıcı bir karşılaştırmanın A için 200 uygun gözlemden 20 dönüşümü ve B için 200 uygun gözlemden 30 dönüşümü kaydettiğini varsayalım. Gözlemlenen oranlar yüzde 10 ve yüzde 15'tir: beş yüzde puanlık bir fark veya A'ya göre yüzde 50'lik bir artış. Bu açıklamalar aynı örneğe atıfta bulunur, ancak sayımlar atlandığında çok farklı izlenimler yaratabilirler.

Her iki ifade de iyileşmenin istikrarlı olduğunu kanıtlamaz. Bu icat edilen sayılar, bir Lumeraya karşılaştırmasını veya yayınlanmış bir deneyi değil, aritmetiği göstermektedir. Her zaman oranların yanında pay ve paydayı gösterin. Birkaç dönüşüme dayalı bir sonuç, birkaç dönüşüm daha geldiğinde önemli ölçüde değişebilir. Bir varyasyonu başarılı olarak nitelendirmeden önce, mevcut gözlemlerin karar için yeterince kesin olup olmadığını ve ölçüm sürecinin güvenilir olup olmadığını sorun.

Örneklem büyüklüğünü faydalı bir farka göre planlayın

Her karşılaştırmayı belirleyici kılacak evrensel bir ziyaret sayısı yoktur. Gerekli örneklem büyüklüğü temel orana, tespit etmek istediğiniz farkın büyüklüğüne, seçilen istatistiksel prosedüre ve kabul edilebilir belirsizliğe bağlıdır. Küçük bir gelişmeyi tespit etmek genellikle benzer varsayımlar altında büyük bir gelişmeyi tespit etmekten daha fazla bilgi gerektirir. Ölçüm biriminize ve sonucunuza uygun bir yöntem kullanın.

Güven aralıkları, bir model kapsamında tahmin edilen oranlar etrafındaki belirsizliği tanımlar; atama veya takipteki sorunları ortadan kaldırmazlar. NIST, oranlara yönelik yöntemleri açıklar ve küçük örnekler veya az sayıda sonuçla basit yaklaşımlar hakkında uyarılar yapar. Önemli bir karar için, gösterge tablosunun renginden bir güven etiketi icat etmek yerine uygun bir istatistiksel araç veya nitelikli inceleme kullanın. Başka bir kişinin sonuca nasıl ulaşıldığını anlayabilmesi için varsayımları belgeleyin.

Sonuçları kontrol etmeden önce bir gözlem planı belirleyin

Planlanan süreye, hedef bilgilere ve inceleme sürecine önceden karar verin. Rastgele gün sayısının geçerliliği garanti ettiğini varsaymadan, farklı hafta içi davranışlar gibi hedef kitle için önemli olan olağan iş döngüsünü hesaba katın. Güvenlik veya operasyonel bir sorun müdahale gerektirmediği sürece hem varış noktalarını hem de ölçüm kurallarını sabit tutun. Veri toplamanın değişmeden devam ettiğini iddia etmek yerine herhangi bir kesintiyi kaydedin.

Sabit örneklem için tasarlanmış standart anlamlılık hesaplarının tekrar tekrar kontrol edilmesi ve ilk olumlu sonuçta testin durdurulması, rapor edilen kanıtları yanıltıcı hale getirebilir. Sürekli izlemeye ihtiyacınız varsa bu süreç için tasarlanmış bir analiz kullanın. Operasyonel kontroller ne olursa olsun devam etmelidir: bozuk bir form veya kullanılamayan bir sayfayla ilgilenilmesi gerekir. Mevcut dönüşüm oranı hayal kırıklığı yarattığından, bu güvenilirlik kontrollerini denemeyi tekrar tekrar değiştirmekten ayırın.

Trafik kalitesini ve eksik sonuçları inceleyin

Bağlantı önizlemeleri, otomatik istekler, dahili testler ve tekrarlanan ziyaretler, kullanabileceğiniz gözlemleri etkileyebilir. Hangi seçeneğin tercih edilen sonucu verdiğini incelemeden önce her iki varyanta de tutarlı bir işlem uygulayın ve hariç tutulanları belgeleyin. Bot etiketleri mevcut sinyallere dayalı tahminlerdir; bunlar her ziyaretçinin mükemmel bilgisi değildir. Tek bir toplam toplama güvenmek yerine olağandışı ani artışları ve boşlukları inceleyin.

Trafik kalitesi kılavuzu, otomatik etkinliğin yorumlanmasına ilişkin bağlam sağlar. Ayrıca dönüşüm etkinliklerinin geç mi ulaştığını, engellendiğini mi yoksa hedefler arasında farklı şekilde tekilleştirilip kaldırılmadığını da kontrol edin. İzleme verilerini kaybeden bir sayfa, kullanıcıları amaçlanan işlemi tamamlasa bile düşük performans gösteriyor gibi görünebilir. Farkın tamamını tasarıma veya metne bağlamadan önce ölçüm tutarsızlıklarını çözün.

Bir kararı pratik sınırlarıyla birlikte bildirin

Yararlı bir rapor, hedef kitleyi, tarihleri, atama yöntemini, sayımları, oranları, belirsizlik yöntemini ve plandan sapmaları belirtir. A ve B arasında nelerin değiştiğini ve nelerin sabit kaldığını açıklayın. Sonuç yetersizse, hangi kararın makul bir şekilde verilebileceğini söyleyin: bilgi toplamaya devam edin, daha basit sayfayı tutun veya karşılaştırmayı daha anlamlı bir fark etrafında yeniden tasarlayın.

Lumeraya Links ile çalışırken, yönlendirmeyi ve kaydedilen trafiği bu sürecin girdileri olarak kullanın, ardından hesabınızın kullanabileceği özellikler için Links Yardımı'na başvurun. Yüzdeye dayalı bir rotanın otomatik olarak kişi düzeyinde atama, istatistiksel anlamlılık veya nedensel kanıt sağladığını varsaymayın. Sonucun gücü, yalnızca varış noktalarına ulaşmak için kullanılan araca değil, deneye ve ölçümlerine bağlıdır.

Bir sonraki karşılaştırmaya başlamadan önce sonucu, uygun hedef kitleyi, atama kuralını ve durdurma yaklaşımını içeren tek sayfalık bir plan yazın. Daha sonra gerçek sayımları görünür tutun ve belirsizliği sonuçla aynı paragrafta belirtin. Bu uygulama, mütevazı ama kullanışlı bir bulguyu, biri nasıl ölçüldüğünü incelediğinde ortadan kaybolan etkileyici bir iyileştirme iddiasından daha değerli kılar.