A/B गंतव्य परीक्षण: नमूना और अनिश्चितता

दो गंतव्यों को ट्रैफ़िक प्राप्त होता है, एक उच्च रूपांतरण दर रिकॉर्ड करता है, और एक डैशबोर्ड एक स्पष्ट विजेता की पेशकश करता प्रतीत होता है। कठिन हिस्सा यह तय करना है कि क्या अंतर कार्रवाई करने के लिए पर्याप्त जानकारीपूर्ण है। छोटे नमूने, असंगत दर्शक, बदलते पृष्ठ और बार-बार आने वाले विज़िटर सभी तुलना को जटिल बना सकते हैं। ट्रैफ़िक को निर्देशित करने से पहले माप की योजना बनाएं, फिर देखे गए परिणाम के साथ वे कारण भी बताएं जिनकी वजह से वही निष्कर्ष अगले अभियान पर लागू होना जरूरी नहीं है।

A/B गंतव्य परीक्षण एक स्पष्ट परिणाम के साथ शुरू होता है

परीक्षण शुरू होने से पहले परिभाषित करें कि सफलता क्या मानी जाती है। एक पूर्ण पंजीकरण एक फॉर्म खोलने से अलग है, और एक भुगतान किया गया ऑर्डर चेकआउट तक पहुंचने से अलग है। ऐसा प्राथमिक परिणाम चुनें जो उस निर्णय को दर्शाता हो जो आप लेना चाहते हैं। रिकॉर्ड करें कि प्रत्येक गंतव्य इसकी रिपोर्ट कैसे करता है और सुनिश्चित करें कि दोनों प्रकारों पर समान नियम लागू होता है।

हर को भी परिभाषित करें। रिकॉर्ड किए गए अनुरोधों पर आधारित दर आवश्यक रूप से अलग-अलग लोगों या योग्य सत्रों पर आधारित दर नहीं है। यदि एक व्यक्ति कई अवलोकन उत्पन्न कर सकता है, तो परिणामों की व्याख्या करते समय उस निर्भरता को स्वीकार करें। रूपांतरण ट्रैकिंग गाइड माप पथ स्थापित करने में मदद करता है। एक प्रयोग ऐसी परिणाम परिभाषा को नहीं बचा सकता जो तुलना के बीच में बदल जाती है या दो पृष्ठों के बीच भिन्न होती है।

दर्शकों और असाइनमेंट नियमों को समझने योग्य रखें

एक पृष्ठ पर मोबाइल विज़िटर और दूसरे पृष्ठ पर डेस्कटॉप विज़िटर के बीच तुलना पृष्ठ के प्रभाव को अलग नहीं करती है। इसी तरह, प्रचार ऑफ़र के दौरान एक गंतव्य की तुलना ऑफ़र खत्म होने के बाद दूसरे गंतव्य से करने पर भी केवल पेज का प्रभाव अलग नहीं किया जा सकता। निर्दिष्ट करें कि कौन पात्र है, ट्रैफ़िक कैसे आवंटित किया गया है, और आप किन परिस्थितियों को समान रखना चाहते हैं। नियोजित अवलोकन एकत्र करते समय असाइनमेंट नियम को स्थिर रखें।

Lumeraya लागू रूटिंग नियमों के भीतर ट्रैफ़िक प्रतिशत का समर्थन करता है, लेकिन यह पूर्ण सांख्यिकीय प्रयोग मंच का वादा नहीं है। असाइनमेंट प्रत्येक व्यक्ति के लिए सत्यापित पहचान के बजाय अनुरोध विशेषताओं पर आधारित है। उन विशेषताओं या साझा वातावरण में परिवर्तन किसी मार्ग का अनुसरण करने वाले को प्रभावित कर सकता है। जांचें कि आपका सेटअप कैसा व्यवहार करता है, उस इकाई का दस्तावेजीकरण करें जिसे आप वास्तव में देखते हैं, और स्वतंत्र और यादृच्छिक तरीके से बांटे गए लोगों की सटीक संख्या के रूप में रूटिंग प्रतिशत का वर्णन करने से बचें।

प्रतिशत के साथ उसके पीछे की वास्तविक संख्याएं भी देखें

मान लीजिए कि एक उदाहरणात्मक तुलना में ए के लिए 200 पात्र अवलोकनों में से 20 रूपांतरण और बी के लिए 200 में से 30 रूपांतरण दर्ज किए गए हैं। देखी गई दरें 10 प्रतिशत और 15 प्रतिशत हैं: पांच प्रतिशत अंकों का अंतर, या ए पर 50 प्रतिशत की सापेक्ष वृद्धि। वे विवरण एक ही नमूने को संदर्भित करते हैं, फिर भी जब गिनती छोड़ दी जाती है तो वे बहुत अलग प्रभाव पैदा कर सकते हैं।

कोई भी शब्द यह स्थापित नहीं करता कि सुधार स्थिर है। ये काल्पनिक संख्याएं अंकगणित को दर्शाती हैं, न कि Lumeraya के मानक परिणाम या प्रकाशित प्रयोग को। हमेशा अंश और हर को दरों के साथ दिखाएँ। कुछ रूपांतरणों पर आधारित परिणाम कई और रूपांतरण आने पर काफी हद तक बदल सकते हैं। किसी बदलाव को सफल कहने से पहले, पूछें कि क्या उपलब्ध अवलोकन निर्णय के लिए पर्याप्त सटीक हैं और क्या माप प्रक्रिया विश्वसनीय है।

एक उपयोगी अंतर के आधार पर नमूना आकार की योजना बनाएं

विज़िट की कोई सार्वभौमिक संख्या नहीं है जो हर तुलना को निर्णायक बनाती हो। आवश्यक नमूना आकार बेसलाइन दर, आप जिस अंतर का पता लगाना चाहते हैं उसका आकार, चुनी गई सांख्यिकीय प्रक्रिया और स्वीकार्य अनिश्चितता पर निर्भर करता है। किसी छोटे सुधार का पता लगाने के लिए आम तौर पर समान धारणाओं के तहत बड़े सुधार का पता लगाने की तुलना में अधिक जानकारी की आवश्यकता होती है। अपनी माप इकाई और परिणाम के लिए उपयुक्त विधि का उपयोग करें।

विश्वास अंतराल (कॉन्फिडेंस इंटरवल) किसी मॉडल के आधार पर अनुमानित दरों की अनिश्चितता बताते हैं; वे असाइनमेंट या ट्रैकिंग में आने वाली समस्याओं को दूर नहीं करते हैं। NIST अनुपात के तरीकों की व्याख्या करता है और छोटे नमूनों या कुछ परिणामों के साथ सरल अनुमानों के बारे में सावधान करता है। किसी महत्वपूर्ण निर्णय के लिए, डैशबोर्ड रंग से कॉन्फिडेंस लेबल का आविष्कार करने के बजाय एक उपयुक्त सांख्यिकीय उपकरण या योग्य समीक्षा का उपयोग करें। धारणाओं का दस्तावेजीकरण करें ताकि दूसरा व्यक्ति समझ सके कि निष्कर्ष पर कैसे पहुंचा गया।

परिणामों की जाँच करने से पहले एक अवलोकन योजना निर्धारित करें

नियोजित अवधि, जुटाई जाने वाली जानकारी की मात्रा और समीक्षा प्रक्रिया पहले से तय कर लें। दर्शकों के लिए प्रासंगिक सामान्य गतिविधि चक्र को ध्यान में रखें, जैसे सप्ताह के अलग-अलग दिनों में व्यवहार का बदलना। यह न मानें कि किसी मनमानी संख्या में दिनों तक परीक्षण चलाने से परिणाम की वैधता सुनिश्चित हो जाएगी। जब तक किसी सुरक्षा या परिचालन संबंधी समस्या में हस्तक्षेप की आवश्यकता न हो, दोनों गंतव्यों और उनके माप नियमों को स्थिर रखें। संग्रह अपरिवर्तित रहने का दिखावा करने के बजाय किसी भी रुकावट को रिकॉर्ड करें।

निश्चित आकार के नमूने के लिए बनी सामान्य सांख्यिकीय सार्थकता की गणनाएं बार-बार दोहराना और पहले अनुकूल परिणाम पर रुकना रिपोर्ट किए गए साक्ष्य को भ्रामक बना सकता है। यदि आपको निरंतर निगरानी की आवश्यकता है, तो उस प्रक्रिया के लिए डिज़ाइन किए गए विश्लेषण का उपयोग करें। सेवा ठीक चल रही है या नहीं, इसकी जांच हर हाल में जारी रहनी चाहिए: टूटे हुए फॉर्म या अनुपलब्ध पृष्ठ पर ध्यान देने की आवश्यकता है। प्रयोग को बार-बार बदलने से उन विश्वसनीयता जांचों को अलग करें क्योंकि वर्तमान रूपांतरण दर निराशाजनक है।

ट्रैफ़िक गुणवत्ता और छूटे हुए परिणामों का निरीक्षण करें

लिंक पूर्वावलोकन, स्वचालित अनुरोध, आंतरिक परीक्षण और बार-बार की विज़िट आपके लिए उपलब्ध अवलोकनों को प्रभावित कर सकते हैं। दोनों विकल्पों के डेटा के साथ एक जैसा व्यवहार करें। कौन सा विकल्प मनचाहा परिणाम देता है यह देखने से पहले ही लिख लें कि किन अवलोकनों को विश्लेषण से बाहर रखा जाएगा। बॉट लेबल उपलब्ध संकेतों के आधार पर अनुमान हैं; वे प्रत्येक आगंतुक के बारे में पूर्ण जानकारी नहीं रखते। एक कुल योग पर निर्भर रहने के बजाय असामान्य स्पाइक्स और अंतराल की समीक्षा करें।

ट्रैफ़िक गुणवत्ता गाइड स्वचालित गतिविधि की व्याख्या के लिए संदर्भ प्रदान करती है। यह भी जांचें कि क्या रूपांतरण ईवेंट देर से आते हैं, अवरुद्ध होते हैं, या अलग-अलग गंतव्यों में उनके डुप्लिकेट हटाने के तरीके अलग हैं। एक पेज जो ट्रैकिंग डेटा खो देता है, वह तब भी खराब प्रदर्शन करता हुआ दिखाई दे सकता है, जब उसके उपयोगकर्ता इच्छित कार्रवाई पूरी कर लेते हैं। संपूर्ण अंतर का श्रेय डिज़ाइन या पेज के पाठ को देने से पहले माप संबंधी विसंगतियों को हल करें।

किसी निर्णय की व्यावहारिक सीमाओं के साथ रिपोर्ट करें

एक उपयोगी रिपोर्ट दर्शकों, तिथियों, असाइनमेंट पद्धति, गिनती, दरों, अनिश्चितता का आकलन करने की पद्धति और योजना से किसी भी विचलन के बारे में बताती है। बताएं कि ए और बी के बीच क्या बदलाव आया और क्या स्थिर रहा। यदि परिणाम अनिर्णायक है, तो बताएं कि उचित रूप से क्या निर्णय लिया जा सकता है: जानकारी एकत्र करना जारी रखें, सरल पृष्ठ रखें, या अधिक सार्थक अंतर के आधार पर तुलना को फिर से डिज़ाइन करें।

Lumeraya Links के साथ काम करते समय, उस प्रक्रिया के इनपुट के रूप में इसकी रूटिंग और रिकॉर्ड किए गए ट्रैफ़िक का उपयोग करें, फिर अपने खाते में उपलब्ध क्षमताओं के लिए लिंक्स सहायता से परामर्श लें। यह न मानें कि प्रतिशत-आधारित मार्ग स्वचालित रूप से व्यक्ति-स्तरीय असाइनमेंट, सांख्यिकीय सार्थकता या कारण-परिणाम संबंध का प्रमाण प्रदान करता है। निष्कर्ष की ताकत प्रयोग और उसके माप पर निर्भर करती है, न कि केवल गंतव्य तक पहुंचने के लिए उपयोग किए जाने वाले उपकरण पर।

अगली तुलना शुरू करने से पहले, एक पृष्ठ की योजना लिखें जिसमें परिणाम, योग्य दर्शक, असाइनमेंट नियम और परीक्षण रोकने का नियम शामिल हो। इसके बाद, वास्तविक गिनती दृश्यमान रखें और परिणाम के समान पैराग्राफ में अनिश्चितता बताएं। यह अभ्यास एक प्रभावशाली सुधार के दावे की तुलना में एक मामूली लेकिन उपयोगी खोज को अधिक मूल्यवान बनाता है जो तब गायब हो जाता है जब कोई इसकी जांच करता है कि इसे कैसे मापा गया था।