Иң гади эксперимент
A/B тест - иң гади һәм иң көчле эксперимент формаларының берсе. Нәрсәнең ике версиясен аласыз, А версиясен бер төркем кешеләргә, Б версиясен икенчесенә күрсәтәсез, кайсысы яхшырак эшләвен үлчисез. Технология компанияләре A/B тестларны төймә төсләреннән бәяләр битләренә, бөтен продукт функцияләренә кадәр барысын да оптимальләштерү өчен кулланалар. Ләкин шул ук логика медицинада (дару яки плацебо), белем бирүдә (А яки Б укыту ысулы) һәм маркетингта (А яки Б электрон хат темасы) кулланыла.
A/B тестлауның көче рандомизациядән килә. Кешеләрне очраклы рәвештә А яки Б төркемгә билгеләп, куерткыч үзгәрүчәннәрнең йогынтысын бетерәсез. Төркемнәр арасындагы теләсә нинди аерма сез ясаган үзгәрешкә билгеләнергә мөмкин, кешеләр арасындагы алдан бар аермаларга түгел. Бу медицинадагы рандомизацияләнгән контрольле тикшеренүләрнең шул ук принцибы - дәлилнең алтын стандарты дип санала.
Эксперимент дизайны
Яхшы A/B тест ачык гипотезадан һәм бер үлчәнә торган метрикадан башлана. "Теркәлү төймәсен яшелдән зәңгәргә үзгәртү басу дәрәҗәсен арттырыр дип ышанабыз." Метрика - басу дәрәҗәсе. Контроль (А) - яшел төймә. Эксперимент (Б) - зәңгәр төймә. Калган барысы да бертөрле кала.
Бу "бер нәрсәне генә үзгәрт" принцибы критик. Төймә төсен, текстны һәм бит макетын бер үк вакытта үзгәртсәгез, конверсия артса, нинди үзгәрешнең яхшыруга китергәнен белмисез. Мультивариат тестлау берничә үзгәрешне бер үк вакытта тестлау өчен бар, ләкин ул күпкә зуррак сайламалар һәм катлаулырак анализ таләп итә.
Шулай ук тест ни кадәр эшләячәген алдан билгеләргә кирәк. Бу сайлама күләме исәбеңездән тора, ул хәзерге базис конверсия дәрәҗәсен, минималь ачыклана торган эффектны (сез борчылган иң кечкенә яхшыру) һәм теләгән ышанычлылык дәрәҗәсен исәпкә ала. Тестны алдан билгеләнгән сайлама күләмесез үткәрү - A/B тестлаудагы иң еш хаталарның берсе.
Сайлама күләме: ни өчен шулкадәр мөһим
Сайлама күләме тестыгызның статистик көчен - чын эффект булганда аны ачыклау сәләтен - билгели. Кунаклар бик аз булса, нәтиҗәләр нәтиҗә чыгарырлык тыныч булганлыктан чын яхшыруны калдырырга мөмкинсез. Бик күп булса, тестны кирәгеннән артык озак үткәреп вакыт һәм ресурслар бушка китә.
Хәзерге конверсия дәрәҗәсе 3.2% булып, кимендә 0.5 процент ноктасы яхшыруны ачыкларга теләвегезне фараз итик. Ышанычлылык дәрәҗәсе һәм көч таләпләреннән карап, төркемгә 15,000 дән 30,000 кунак кирәк булырга мөмкин. Төркемгә бары 1,000 кунак булса, тест көче түбән булыр һәм яңа версия чыннан да яхшырак булса да, нәтиҗәсез нәтиҗә алырсыз.
Өстәге ышанычлылык интерваллары һәр төркем өчен бәяләнгән конверсия дәрәҗәләрен күрсәтә. Аларның бераз кисешүенә игътибар итегез. Бу аерманың статистик мөһимме икәнлеге конкрет сайлама күләменнән һәм кисешү дәрәҗәсеннән тора. Ышанычлылык интерваллары аз кисешсә яки бөтенләй кисешмәсә, аерманың чын булуына тагын көчлерәк дәлил бар.
A/B тестларда статистик мөһимлек
Җитәрлек мәгълүмат җыйганнан соң, төркемнәр арасындагы аерманың статистик мөһимме икәнен билгеләү өчен статистик тест (гадәттә ике-пропорция z-тесты яки хи-квадрат тесты) үткәрәсез. Нәтиҗә - p-кыйммәт. P-кыйммәт чигегездән (гадәттә 0.05) түбән булса, аерманың бары тик очраклылыктан булу мөмкинлеге аз дигән нәтиҗәгә киләсез.
Ләкин мөһимлек бөтен хикәяне сөйләми. 0.02 процент ноктасы яхшыру статистик мәгънәдә мөһим, ләкин мөгаен гамәлгә ашыру өчен инженерлык өстәмәсенә тормый. Мөһимлек тесты белән бергә чын эффект зурлыгына карагыз. Конверсия дәрәҗәсендәге 0.5 процент нокта арту мәгънәле керемгә тәрҗемә ителәме? Бу бизнес контекстыгыздан тора.
Кайбер командалар фреквентист p-кыйммәтләре урынына Байес ысуллары кулланалар. Байес A/B тестлауы сезгә турыдан-туры ихтималлык белдерү бирә: "Б варианты А вариантыннан яхшырак дигән 94% ихтималлык бар." Күп практиклар моны стандарт p-кыйммәттән тагын да интуитив дип таба, ул бераз башка сорауга җавап бирә.
Еш очраган тозаклар
Нәтиҗәләргә бик иртә карау. Бу иң еш һәм иң зарарлы хата. Нәтиҗәләрне көн саен тикшерсәгез, мөһимлек күргән беренче тапкыр тестны туктатсагыз, ялган уңай дәрәҗәгезне драматик арттырырсыз. Статистик тестлар бер тапкыр, алдан билгеләнгән сайлама күләмендә бәяләнергә тиеш. Нәтиҗәләрне килгән саен күзәтергә тиеш булсагыз, кабатлы карауларны исәпкә алган тезмә тестлау ысуллары кулланыгыз.
Бик күп вариант тестлау. Биш версияне бер үк вакытта тестлау (A/B/C/D/E) эффектив яңгырый, ләкин ялган уңай мөмкинлеген тапкырлый. Биш вариант белән 5% мөһимлек чигендә, кимендә бер ялган уңай мөмкинлеге якынча 19%. Күп чагыштырулар өчен төзәтмәләр кулланырга яки зуррак сайламалар үткәрергә кирәк.
SaaS компаниясе бәяләр битендә A/B тест үткәрә. Өч көннән соң продукт менеджеры тикшерә: Б варианты 15% югарырак конверсия дәрәҗәсенә ия, p-кыйммәт 0.03. Шатланып, тестны туктата һәм Б вариантын кертә. Ике аттан соң конверсиянең чыннан да яхшырмаганын аңлыйлар. Нәрсә булды? Иртә карау очраклы тайпылуны тотты. Планлаштырылган 10,000 кунак/төркем күләменә көткән булсалар, эффект 2% га кимеер иде һәм мөһим булмас иде.
Сегментларны игнорлау. A/B тест гомуми аерма күрсәтмәскә мөмкин, ләкин Б варианты мобиль кулланучылар өчен бик яхшырак, десктоп кулланучылар өчен начаррак эшләргә мөмкин. Бу эффектлар йомгакта юкка чыга. Сегмент анализы кыйммәтле фикерләр ачарга мөмкин, ләкин сакчыл булыгыз: күп сегментларны тестлау да ялган уңай рискны арттыра.
Җитәрле трафиксыз тестлау. Кечкенә веб-сайтлар яки трафигы аз продуктлар еш кына акыллы вакыт эчендә кирәкле сайлама күләменә ирешә алмыйлар. Тестны өч ай дәвамында үткәрү сезоннарлык эффектлар һәм башка куерткычлар кертә. Трафигыгыз ачыкларга теләгән эффект өчен бик аз булса, зуррак үзгәреш тестлауны (аны ачыклау өчен кимрәк сайлама кирәк) яки сыйфатлы ысуллар кулланауны уйлагыз.
A/B тестлау - нинди версия яхшырак эшләвен табу өчен ике версияне чагыштырган рандомизацияләнгән эксперимент. Яхшы тестлар ачык гипотеза, бер төп метрика, алдан исәпләнгән сайлама күләме һәм нәтиҗәләр чыгарганчы тулы нәтиҗәләрне көтү дисциплинасын таләп итә. Иң зур тозаклар - нәтиҗәләргә бик иртә карау, төзәтмәсез бик күп вариантны тестлау, статистик мөһимлекне практик мөһимлек белән бутау. Дөрес эшләнгәндә, A/B тестлау уйлау урынына сәбәпле дәлил бирә.