"Muhimu" Ina Maana Gani Kweli?
Mtafiti anaposema matokeo ni "yenye umuhimu wa kitakwimu," ana maana kuwa athari iliyozingatiwa haiwezekani kutokea kwa bahati tu. Hasa, uwezekano wa kuona matokeo kama hayo ikiwa hakuna athari ya kweli ni mdogo sana, kawaida chini ya 5%. Hii ndiyo thamani ya p inapima.
Lakini hapa kuna tatizo: umuhimu wa kitakwimu haimaanishi muhimu, yenye maana, au yenye manufaa. Matokeo yanaweza kuwa na umuhimu wa kitakwimu huku yakiwa madogo sana hivi kwamba hakuna mtu anayejali kwa vitendo. Kuelewa tofauti hii ni mojawapo ya ujuzi wenye thamani zaidi unazoweza kukuza kama msomaji wa utafiti.
Wakati Athari Ndogo Zinaonekana za Kuvutia
Fikiria kampuni inajaribu mpangilio mpya wa tovuti na kupata kuwa inaongeza wastani wa muda watumiaji wanatumia kwenye tovuti kwa sekunde 0.8. Na sampuli ya wageni 500,000, tofauti hii inazalisha thamani ya p ya 0.001, ambayo ina umuhimu mkubwa wa kitakwimu. Lakini je sekunde 0.8 za ziada za kutazama zina umuhimu kwa biashara? Pengine hapana. Athari ni ya kweli kwa maana ya kitakwimu, lakini haina thamani ya vitendo.
Hii inatokea kwa sababu umuhimu wa kitakwimu unategemea sana ukubwa wa sampuli. Na sampuli kubwa ya kutosha, hata tofauti ndogo sana kati ya vikundi viwili itazalisha thamani ndogo ya p. Jaribio linakuwa na hisia sana hivi kwamba linagundua athari za kiwango cha kelele ambazo hazionekani na hazina umuhimu katika ulimwengu halisi.
Kampuni ya dawa inajaribu dawa mpya ya shinikizo la damu kwa wagonjwa 50,000. Dawa inapunguza shinikizo la damu la systolic kwa 1.2 mmHg kulinganisha na placebo, na matokeo yana umuhimu wa kitakwimu (p = 0.003). Hata hivyo, madaktari wanachukulia kupungua kwa angalau 5-10 mmHg kuwa na umuhimu wa kliniki. Kupungua kwa 1.2 mmHg hakubadilishi uamuzi wowote wa matibabu. Dawa "inafanya kazi" kitakwimu, lakini haina manufaa kwa vitendo.
Umuhimu wa Vitendo: Je Kweli Una Maana?
Umuhimu wa vitendo unauliza swali tofauti: je athari ni kubwa ya kutosha kuwa na maana katika ulimwengu halisi? Hii inategemea muktadha, si hisabati tu. Uboreshaji wa 2% katika ufanisi wa mafuta unaweza kuwa na umuhimu wa vitendo kwa shirika la ndege linalochoma mamilioni ya lita kwa mwaka, lakini haina maana kwa mtu anayeendesha gari kwenda dukani mara moja kwa wiki.
Watafiti wanatumia dhana inayoitwa "ukubwa wa athari" kupima tofauti ilivyo kubwa, bila kutegemea ukubwa wa sampuli. Vipimo vya kawaida vya ukubwa wa athari ni pamoja na Cohen's d (kwa kulinganisha wastani wa vikundi viwili) na mgawo wa uwiano. Ukubwa mdogo wa athari pamoja na thamani ndogo ya p inapaswa kukufanya uwe mwangalifu. Matokeo ni ya kweli lakini yanaweza yasistahili kutendewa.
Angalia katika vipindi vya kujiamini hapo juu jinsi athari ya dawa na safu yake yote ya thamani zinazowezekana zinavyoanguka chini ya kile madaktari wangechukulia kuwa mabadiliko ya maana. Hata ingawa tuna uhakika athari si sifuri, bado ni ndogo sana kuwa na maana.
Jinsi Ukubwa wa Sampuli Unavyoleta Mkanganyiko
Sampuli ndogo zina tatizo la kinyume. Na washiriki wachache sana, utafiti unaweza kushindwa kugundua athari ya kweli na muhimu tu kwa sababu sampuli haikuwa kubwa ya kutosha kuzalisha thamani ya p yenye umuhimu. Hii inaitwa nguvu ndogo ya kitakwimu. Utafiti wa watu 20 unaweza kupata tofauti kubwa, yenye umuhimu wa vitendo lakini kuiripoti kuwa "isiyo na umuhimu wa kitakwimu" kwa sababu sampuli ilikuwa ndogo sana kuwa na uhakika.
Hii ina maana unaweza kupotoshwa pande zote mbili. Sampuli kubwa zinaweza kufanya athari ndogo kuonekana muhimu, na sampuli ndogo zinaweza kufanya athari muhimu kuonekana zisizo na umuhimu. Si thamani ya p wala ukubwa wa sampuli peke yake yanayokuambia kama matokeo yana umuhimu. Unahitaji kuangalia ukubwa halisi wa athari na kuuhukumu dhidi ya muktadha.
Wakati Takwimu Zinapotosha: Mitego ya Ulimwengu Halisi
Vichwa vya habari vinapenda kuripoti matokeo yenye umuhimu wa kitakwimu bila kutaja ukubwa wa athari. "Utafiti unaonyesha kuwa kula chokoleti kunahusishwa na msongo wa mawazo mdogo!" unaweza kutegemea utafiti ambapo walaji wa chokoleti walipata alama 0.3 chini kwenye kipimo cha msongo wa mawazo cha alama 100. Ni kweli kwa ufundi, lakini haina maana kwa vitendo.
Timu za masoko zinatumia hili pia. "Imethibitishwa kliniki kuboresha unyevunyevu wa ngozi" inaweza kumaanisha krimu iliyoongeza unyevunyevu kwa 2% kulinganisha na kutotumia chochote, iliyojaribiwa kwa maelfu ya watu. Dai linasaidiwa na thamani ya p yenye umuhimu, lakini athari haionekani kwa mtu yeyote anayetumia bidhaa.
Kujilinda, daima uliza: athari ni kubwa kiasi gani? Je imeelezwa kwa vitengo unavyoelewa? Je tofauti hii ingebadilisha tabia au maamuzi yako? Ikiwa utafiti unaripoti thamani ya p tu bila kukuambia ukubwa wa athari, hiyo ni ishara ya onyo.
Umuhimu wa kitakwimu unakuambia kama athari labda ni ya kweli. Umuhimu wa vitendo unakuambia kama kweli una maana. Matokeo yanaweza kuwa na umuhimu wa kitakwimu lakini kuwa madogo sana kujali, hasa na sampuli kubwa. Daima angalia ukubwa wa athari, si tu thamani ya p, na jiulize kama tofauti ingebadilisha uamuzi wowote wa ulimwengu halisi.