Majaribio ya A/B

Jaribio Rahisi Zaidi

Jaribio la A/B ni mojawapo ya aina rahisi na zenye nguvu zaidi za majaribio. Unachukua matoleo mawili ya kitu, unaonyesha toleo A kwa kundi moja la watu na toleo B kwa lingine, na kupima lipi linafanya vizuri zaidi. Makampuni ya teknolojia yanatumia majaribio ya A/B kuboresha kila kitu kutoka rangi za vitufe hadi kurasa za bei hadi vipengele vizima vya bidhaa. Lakini mantiki sawa inatumika katika tiba (dawa dhidi ya placebo), elimu (mbinu ya kufundisha A dhidi ya B), na masoko (kichwa cha somo cha barua pepe A dhidi ya B).

Nguvu ya majaribio ya A/B inatoka kwa nasibu. Kwa kuwagawa watu kwa nasibu katika kundi A au kundi B, unaondoa ushawishi wa vigezo vya kuchanganya. Tofauti yoyote ya matokeo kati ya makundi inaweza kuhusishwa na mabadiliko uliyoyafanya, si tofauti zilizokuwepo tayari kati ya watu. Hii ni kanuni sawa nyuma ya majaribio yaliyodhibitiwa kwa nasibu katika tiba, ambayo yanachukuliwa kuwa kiwango cha dhahabu cha ushahidi.

Kuunda Jaribio

Jaribio zuri la A/B linaanza na nadharia wazi na kipimo kimoja kinachoweza kupimwa. "Tunaamini kuwa kubadilisha kitufe cha kujiandikisha kutoka kijani hadi bluu kutaongeza kiwango cha kubofya." Kipimo ni kiwango cha kubofya. Udhibiti (A) ni kitufe cha kijani. Matibabu (B) ni kitufe cha bluu. Kila kitu kingine kinabaki sawa kabisa.

Kanuni hii ya "badilisha kitu kimoja" ni muhimu. Ukibadilisha rangi ya kitufe, maandishi, na mpangilio wa ukurasa kwa wakati mmoja, na ubadilishaji ukapanda, hujui mabadiliko yapi yalisababisha uboreshaji. Majaribio ya vigezo vingi yanapo kwa kujaribu mabadiliko mengi kwa wakati mmoja, lakini yanahitaji sampuli kubwa zaidi na uchambuzi mgumu zaidi.

Unahitaji pia kuamua mapema jaribio litaendeshwa kwa muda gani. Hii inategemea hesabu yako ya ukubwa wa sampuli, ambayo inazingatia kiwango chako cha sasa cha ubadilishaji, athari ndogo inayoweza kugunduliwa (uboreshaji mdogo zaidi unaojali), na kiwango chako cha kujiamini unachokitaka. Kuendesha jaribio bila ukubwa wa sampuli ulioamuliwa mapema ni mojawapo ya makosa ya kawaida zaidi katika majaribio ya A/B.

Ukubwa wa Sampuli: Kwa Nini Una Umuhimu Sana

Ukubwa wa sampuli unaamua nguvu ya kitakwimu ya jaribio lako, ambayo ni uwezo wake wa kugundua athari halisi inapokuwepo. Na wageni wachache sana, unaweza kukosa uboreshaji wa kweli kwa sababu matokeo yana kelele sana kuwa ya uhakika. Na wengi sana, unapoteza muda na rasilimali kuendesha jaribio zaidi ya inavyohitajika.

Tuseme kiwango chako cha sasa cha ubadilishaji ni 3.2% na unataka kugundua angalau uboreshaji wa alama 0.5 ya asilimia. Kulingana na kiwango chako cha kujiamini na mahitaji ya nguvu, unaweza kuhitaji wageni 15,000 hadi 30,000 kwa kila kundi. Ukiwa na wageni 1,000 tu kwa kundi, jaribio litakuwa dhaifu na uwezekano mkubwa utapata matokeo yasiyo na uhakika, hata toleo jipya likiwa bora kweli.

Vipindi vya kujiamini hapo juu vinaonyesha viwango vya ubadilishaji vilivyokadiriwa kwa kila kundi. Angalia vinaingiliana kidogo. Kama tofauti hii ina umuhimu wa kitakwimu inategemea ukubwa halisi wa sampuli na kiwango cha kuingiliana. Vipindi vya kujiamini vinapoingiliana kidogo tu au kutoingiliana kabisa, una ushahidi wenye nguvu zaidi kuwa tofauti ni ya kweli.

Umuhimu wa Kitakwimu katika Majaribio ya A/B

Baada ya kukusanya data ya kutosha, unafanya jaribio la kitakwimu (kawaida jaribio la z la uwiano mbili au jaribio la chi-mraba) kuamua kama tofauti kati ya makundi ina umuhimu wa kitakwimu. Matokeo ni thamani ya p. Ikiwa thamani ya p iko chini ya kizingiti chako (kawaida 0.05), unahitimisha tofauti haiwezekani kuwa kwa bahati peke yake.

Lakini umuhimu haukuambii hadithi yote. Uboreshaji wenye umuhimu wa kitakwimu wa alama 0.02 ya asilimia ni wa kweli kwa maana ya kitakwimu lakini pengine haustahili juhudi za uhandisi kutekeleza. Daima oanisha jaribio lako la umuhimu na mtazamo wa ukubwa halisi wa athari. Je uboreshaji wa alama 0.5 ya asilimia katika ubadilishaji unatafsiri kuwa mapato ya maana? Hiyo inategemea muktadha wa biashara yako.

Timu fulani zinatumia njia za Bayesian badala ya thamani za p za kawaida. Majaribio ya A/B ya Bayesian yanakupa kauli ya moja kwa moja ya uwezekano: "kuna uwezekano wa 94% kuwa toleo B ni bora kuliko toleo A." Watendaji wengi wanaona hii kuwa angavu zaidi kuliko thamani ya p ya kawaida, ambayo inajibu swali tofauti kidogo.

Mitego ya Kawaida

Kuchungulia matokeo mapema sana. Hii ni kosa la kawaida zaidi na lenye uharibifu zaidi. Ukiangalia matokeo yako kila siku na kusimamisha jaribio mara ya kwanza unapoona umuhimu, utaongeza kwa kiasi kikubwa kiwango chako cha chanya za uongo. Majaribio ya kitakwimu yameundwa kutathminiwa mara moja, kwa ukubwa wa sampuli ulioamuliwa mapema. Ukihitaji kufuatilia matokeo yanapokuja, tumia mbinu za majaribio ya mfululizo zinazozingatia kuangalia mara kwa mara.

Kuendesha matoleo mengi sana. Kujaribu matoleo matano kwa wakati mmoja (A/B/C/D/E) kunaonekana na ufanisi, lakini kunazidisha nafasi za chanya za uongo. Na matoleo matano na kizingiti cha umuhimu cha 5%, una takriban nafasi ya 19% ya angalau chanya moja ya uongo. Unahitaji kutumia marekebisho kwa ulinganisho wa mengi au kuendesha sampuli kubwa zaidi.

Kupuuza sehemu. Jaribio la A/B linaweza kuonyesha hakuna tofauti kwa jumla, lakini toleo B linaweza kufanya vizuri zaidi kwa watumiaji wa simu huku likifanya vibaya zaidi kwa watumiaji wa kompyuta. Athari hizi zinaghairi kwa jumla. Uchambuzi wa sehemu unaweza kufunua maarifa ya thamani, lakini uwe mwangalifu: kujaribu sehemu nyingi pia kunaongeza hatari ya chanya za uongo.

Kujaribu bila trafiki ya kutosha. Tovuti ndogo au bidhaa zenye trafiki ya chini mara nyingi haziwezi kufikia ukubwa wa sampuli unaohitajika ndani ya muda unaofaa. Kuendesha jaribio kwa miezi mitatu kunaingiza athari za msimu na vichanganyaji vingine. Trafiki yako ikipungua sana kwa athari unayotaka kugundua, fikiria kujaribu mabadiliko makubwa zaidi (ambayo yanahitaji sampuli chache kugundua) au kutumia mbinu za ubora badala yake.