"Мөһим" чыннан да нәрсә аңлата?
Тикшеренүче нәтиҗәнең "статистик мөһим" икәнен әйткәндә, ул күзәтелгән эффектның чиста очраклылык аркасында килүе мөмкинлеге бик аз икәнен аңлата. Аерым алганда, чыннан да эффект булмаса шундый нәтиҗә күрү ихтималлыгы бик кечкенә, гадәттә 5% тан аз. P-кыйммәт менә шуны үлчи.
Ләкин тозак шунда: статистик мөһим - бу мөһим, мәгънәле яки файдалы дигәнне аңлатмый. Нәтиҗә статистик мөһим булып, шул ук вакытта практик яктан беркемне дә кызыксындырмаслык кечкенә булырга мөмкин. Бу аерманы аңлау тикшеренү кулланучысы буларак үстерә алган иң кыйммәтле осталыкларның берсе.
Кечкенә эффектлар ничек тәэсирле күренә
Компания яңа веб-сайт макетын тестлый һәм кулланучыларның сайтта уртача булу вакытын 0.8 секундка арттыруын таба. 500,000 кунак сайламасы белән бу аерма p-кыйммәт 0.001 бирә, бу бик югары статистик мөһимлек. Ләкин артык 0.8 секундлы карау бизнес өчен чыннан да мөһимме? Мөгаен юк. Эффект статистик мәгънәдә чын, ләкин практик кыйммәте юк.
Бу шуңа күрә була, чөнки статистик мөһимлек сайлама күләменнән нык тора. Җитәрлек зур сайлама белән, ике төркем арасындагы иң кечкенә аерма да кечкенә p-кыйммәт бирер. Тест шулкадәр сизгер була ки чын тормышта күренмәс һәм әһәмиятсез шау дәрәҗәсендәге эффектларны тота.
Фармацевтика компаниясе 50,000 пациентта яңа кан басымы дарусын тестлый. Дару систолик кан басымын плацебога караганда 1.2 мм сб. ст. кимайтә, нәтиҗә статистик мөһим (p = 0.003). Ләкин табиблар кимендә 5-10 мм сб. ст. кимайтүне клиник мөһим дип саный. 1.2 мм сб. ст. төшү теләсә нинди дәвалау карарын үзгәртмәс. Дару статистик яктан "эшли", ләкин практик яктан файдасыз.
Практик мөһимлек: чыннан да мөһимме?
Практик мөһимлек башка сорау куя: эффект чын тормышта мөһим булырлык зурмы? Бу контексттан тора, бары тик математикадан түгел. Ягулык экономиясендәге 2% яхшыру елга миллионнарча галлон яга торган авиакомпания өчен практик мөһим булырга мөмкин, ләкин атнага бер тапкыр кибеткә йөрүчегә мәгънәсез.
Тикшеренүчеләр аерманың чыннан да ни кадәр зур булуын, сайлама күләменнән мөстәкыйль рәвештә, үлчәү өчен "эффект зурлыгы" дигән төшенчәне кулланалар. Таралган эффект зурлыгы үлчәмнәре Коэн d (ике төркем уртачаларын чагыштыру өчен) һәм корреляция коэффициентлары. Кечкенә эффект зурлыгы кечкенә p-кыйммәт белән бергә сезне сакчыл итәргә тиеш. Нәтиҗә чын, ләкин гамәл итәргә тиешле булмаска мөмкин.
Өстәге ышанычлылык интерваллары дарунң эффекты һәм аның мөмкин кыйммәтләр диапазоны табиблар мөһим дип санаганнан нык түбәнрәк булуын күрсәтә. Эффект нульгә тигез түгел дип ышансак та, ул мөһим булу өчен тиешлечә кечкенә.
Сайлама күләме ничек бутый
Кечкенә сайламаларда каршы проблема бар. Бик аз катнашучы белән тикшеренү чын һәм мөһим эффектны ачыклый алмаска мөмкин, чөнки сайлама мөһим p-кыйммәт чыгарырлык зур түгел. Бу түбән статистик көч дип атала. 20 кешелек тикшеренү зур, практик мәгънәле аерма табарга мөмкин, ләкин сайлама бик кечкенә булганлыктан аны "статистик мөһим түгел" дип белдерергә мөмкин.
Бу ике юнәлештә дә ялгыш юнәлтелергә мөмкин дигәнне аңлата. Зур сайламалар тривиаль эффектларны мөһим итеп күрсәтергә мөмкин, ә кечкенә сайламалар мөһим эффектларны мөһим түгел итеп күрсәтергә мөмкин. P-кыйммәт тә, сайлама күләме дә бердәнбер нәтиҗәнең мөһимлеген әйтми. Эффектның чын зурлыгына караргы һәм аны контекст белән бәяләргә кирәк.
Статистика ничек ялгыш юнәлтә: чын тормыш тозаклары
Газета исемнәре статистик мөһим табылмаларны эффект зурлыгын әйтмичә яратып язалар. "Тикшеренү: шоколад ашау стресс белән бәйле!" 100 баллы стресс шкаласында шоколад ашаучыларның 0.3 балл түбәнрәк балл алуына нигезләнгән булырга мөмкин. Техник яктан дөрес, практик яктан мәгънәсез.
Маркетинг командалары да моны куллана. "Тире дымлылыгын яхшыртуы клиник раслана" - бу дымландыргычның бөтенләй берни кулланмаганга караганда дымлылыкны 2% арттырганын аңлатырга мөмкин, меңнәрчә кешедә тестланган. Дәгъва техник яктан мөһим p-кыйммәт белән расланган, ләкин эффект продуктны кулланучыга күренмәс.
Үзегезне саклау өчен, һәрвакыт сорагыз: эффект ни кадәр зур? Ул аңлый алган берәмлекләрдә белдерелгәнме? Бу аерма тәртибегезне яки карарларыгызны үзгәртер идеме? Тикшеренү эффект зурлыгын әйтмичә бары тик p-кыйммәтне генә белдерсә, бу сакланырлык билге.
Статистик мөһимлек эффектның чын булуы мөмкинлеген әйтә. Практик мөһимлек аның чыннан да мөһимме икәнен әйтә. Нәтиҗә статистик мөһим, ләкин борчыланырлык кечкенә булырга мөмкин, аеруча зур сайламалар белән. Һәрвакыт бары тик p-кыйммәткә түгел, эффект зурлыгына карагыз, һәм үзегезгә аерма теләсә нинди чын тормыш карарын үзгәртер идеме дип сорагыз.