Gwajin A/B

Gwajin Da Ya Fi Sauƙi

Gwajin A/B ɗaya ne daga cikin mafi sauƙin kuma mafi ƙarfin nau'ukan gwaji. Ka ɗauki sigogi biyu na wani abu, ka nuna sigar A ga ƙungiya ɗaya na mutane kuma sigar B ga wata ƙungiya, ka auna wacce ta fi kyau. Kamfanonin fasaha suna amfani da gwaje-gwajen A/B don inganta komai daga launin maballin zuwa shafukan farashin zuwa dukkan fasalolin kaya. Amma dabara ɗaya ce ta shafi likitanci (magani da placebo), ilimi (hanyar koyarwa A da B), da talla (taken imel A da B).

Ƙarfin gwajin A/B ya fito daga bazuwar. Ta hanyar sanya mutane zuwa ƙungiya A ko ƙungiya B bazuwar, kana kawar da tasirin masu canzawa masu rikitarwa. Duk wani bambanci a cikin sakamako tsakanin ƙungiyoyin ana iya jingina shi ga canjin da ka yi, ba ga bambancin da ya riga ya kasance tsakanin mutane ba. Wannan ƙa'ida ɗaya ce da ke bayan gwaje-gwajen da aka sarrafa bazuwar a likitanci, waɗanda ake ɗaukar su a matsayin mafi kyawun shaida.

Tsara Gwajin

Kyakkyawan gwajin A/B yana farawa da hasashe a sarari da ma'aunin da za a iya auna guda ɗaya. "Muna tunanin canza maballin rajista daga kore zuwa shudi zai ƙara adadin danna." Ma'aunin shine adadin danna. Sarrafa (A) shine maballin kore. Maganin (B) shine maballin shudi. Komai yana kasancewa iri ɗaya.

Wannan ƙa'idar "canza abu ɗaya" tana da muhimmanci. Idan ka canza launin maballin, rubutun, da tsarin shafi duk a lokaci guda, kuma siyarwa ta ƙaru, ba ka san wane canji ne ya haifar da ingantawa ba. Gwajin masu canzawa da yawa yana nan don gwada canje-canje da yawa a lokaci guda, amma yana buƙatar samfurori mafi girma da nazari mafi rikitarwa.

Kana kuma buƙatar yanke shawara tun da wuri yawan lokacin da gwajin zai gudana. Wannan ya dogara ne da lissafin girman samfurin ka, wanda ke la'akari da adadin siyarwa na yanzu, mafi ƙarancin tasirin da za a iya gano (mafi ƙarancin ingantawa da kake damuwa da shi), da matakin amincewa da kake so. Gudanar da gwaji ba tare da girman samfuri da aka ƙayyade tun da wuri ba ɗaya ne daga cikin kura-kurai da aka fi yi a gwajin A/B.

Girman Samfuri: Dalilin Da Ya Sa Ya Yi Muhimmanci Sosai

Girman samfuri yana tantance ƙarfin kididdiga na gwajinka, wanda shine iyawarsa ta gano tasiri na gaske lokacin da ɗaya ya wanzu. Tare da ƙarancin baƙi, za ka iya rasa ingantawa ta gaske saboda sakamako suna da hayaniya sosai don kasancewa masu ƙarfi. Tare da yawa, kana ɓata lokaci da albarkatun gudanar da gwajin fiye da yadda ya kamata.

Ka ɗauka adadin siyarwarka na yanzu shine kashi 3.2% kuma kana son gano aƙalla ingantawa ta maki 0.5 na kashi. Dangane da matakin amincewa da buƙatun ƙarfin ka, za ka iya buƙatar baƙi 15,000 zuwa 30,000 a kowace ƙungiya. Idan kana da baƙi 1,000 kawai a kowace ƙungiya, gwajin ba zai kasance da ƙarfi ba kuma da alama za ka sami sakamako marar tabbas, ko da sabuwar sigar ta fi kyau da gaske.

Tazarar amincewa da ke sama suna nuna ƙididdigen adadin siyarwa na kowace ƙungiya. Ka lura cewa suna haɗuwa kaɗan. Ko wannan bambancin yana da mahimmancin kididdiga ya dogara ne da ainihin girman samfuri da matakin haɗuwa. Lokacin da tazarar amincewa bai da yawa ko ba su haɗu ba kwata-kwata, kana da shaida mafi ƙarfi cewa bambancin na gaske ne.

Mahimmancin Kididdiga A Gwaje-gwajen A/B

Bayan tattara isassun bayanai, kana gudanar da gwajin kididdiga (yawanci gwajin z na rabo biyu ko gwajin chi-murabba'i) don tantance ko bambancin tsakanin ƙungiyoyi yana da mahimmancin kididdiga. Sakamakon ƙimar p ne. Idan ƙimar p ta kasance ƙasa da iyakarka (yawanci 0.05), ka yanke hukunci cewa bambancin bai yiwu ya kasance saboda dama kawai ba.

Amma mahimmanci bai ba da labarin gabaɗaya ba. Ingantawa mai mahimmancin kididdiga na maki kashi 0.02 na gaske ne a ma'anar kididdiga amma wataƙila bai cancanci ƙoƙarin injiniyanci na aiwatarwa ba. Koyaushe ka haɗa gwajin mahimmancinka tare da kallon ainihin girman tasirin. Shin ingantawar maki kashi 0.5 a siyarwa tana nufin kudin shiga mai ma'ana? Hakan ya dogara ne da mahallin kasuwancinka.

Wasu ƙungiyoyi suna amfani da hanyoyin Bayesian maimakon ƙimar p na yau da kullum. Gwajin A/B na Bayesian yana ba ka bayani kai tsaye na yiwuwar: "akwai yiwuwar kashi 94% cewa sabuwar siga B ta fi ta A." Masu aiki da yawa sun ga wannan ya fi sauƙin fahimta fiye da ƙimar p na yau da kullum, wanda ke amsa tambaya mabambanciya.

Kura-kurai Da Ake Saba Yi

Leken sakamako da wuri. Wannan shine kura-kurain da aka fi yi kuma mafi ɓarna. Idan ka duba sakamakonka kowace rana ka tsaya da gwajin lokacin farko da ka ga mahimmanci, za ka ƙara adadin sakamako na ƙarya sosai. An tsara gwaje-gwajen kididdiga don a kimanta su sau ɗaya, a girman samfuri da aka ƙayyade tun da wuri. Idan dole ne ka saka idanu a kan sakamako yayin da suke shigowa, yi amfani da hanyoyin gwajin jeri da ke la'akari da kallon da aka maimaita.

Gudanar da sigogi da yawa. Gwada sigogi biyar a lokaci guda (A/B/C/D/E) ya yi kama da amfani, amma yana ninka damar sakamako na ƙarya. Tare da sigogi biyar da iyakar mahimmanci na 5%, kana da kusan kashi 19% na damar aƙalla sakamako na ƙarya ɗaya. Kana buƙatar amfani da gyara don kwatancen da yawa ko gudanar da manyan samfurori.

Yin watsi da ɓangarori. Gwajin A/B na iya nuna cewa babu bambanci gabaɗaya, amma sabuwar siga B na iya aiki da kyau sosai ga masu amfani da wayar hannu yayin da take aiki da muni ga masu amfani da kwamfuta. Waɗannan tasirin suna soke juna a cikin jimlar. Nazarin ɓangarori na iya bayyana fahimtar mai daraja, amma ka yi hankali: gwada ɓangarori da yawa kuma yana ƙara haɗarin sakamako na ƙarya.

Gwaji ba tare da isassun zirga-zirga ba. Ƙananan gidajen yanar gizo ko kayayyaki masu ƙarancin zirga-zirga yawanci ba sa iya cimma buƙatun girman samfuri a cikin lokaci mai dacewa. Gudanar da gwaji na watanni uku yana gabatar da tasirin lokaci-lokaci da sauran masu rikitarwa. Idan zirga-zirgar ka ya yi ƙanƙanta sosai don tasirin da kake son ganowa, ka yi la'akari da gwada babban canji (wanda ke buƙatar ƙarancin samfurori don ganowa) ko amfani da hanyoyin inganci maimakon haka.