Чому планування важливіше за аналіз
Навіть найкращий статистичний аналіз не врятує погано сплановане дослідження. Як кажуть у статистиці: "сміття на вході -- сміття на виході". Правильне планування дослідження -- це фундамент, без якого висновки будуть ненадійними.
Спостережні дослідження
У спостережному дослідженні ви просто спостерігаєте і записуєте те, що відбувається. Ви не втручаєтесь, не змінюєте умови, не призначаєте лікування.
Держстат збирає дані про доходи українських домогосподарств. Вони не змінюють нічиї доходи -- просто реєструють те, що є. Це класичне спостережне дослідження. Дослідження зв'язку між курінням та здоров'ям -- теж спостережне: дослідники не примушують людей курити, а спостерігають за тими, хто курить добровільно.
Головне обмеження: спостережні дослідження не можуть довести причинність. Вони показують зв'язки, але завжди є ризик конфаундерів.
Експериментальні дослідження
В експерименті дослідник активно змінює одну змінну (незалежну) і спостерігає вплив на іншу (залежну), контролюючи решту.
Фармацевтична компанія тестує новий препарат. 200 пацієнтів випадково ділять на дві групи: одна отримує препарат, інша -- плацебо. Через 3 місяці порівнюють результати. Це рандомізоване контрольоване дослідження -- золотий стандарт медичної науки.
Контрольна група
Контрольна група -- це група, яка не отримує досліджуваного впливу. Вона потрібна для порівняння: без неї ви не знаєте, чи покращення -- від вашого втручання, чи від часу, плацебо-ефекту або інших чинників.
Школа у Харкові тестує нову програму з математики. 5 класів вчаться за новою програмою, 5 -- за старою. Без контрольної групи (старої програми) не можна сказати, чи покращення балів -- від нової програми, чи просто діти стали старшими та досвідченішими.
Рандомізація
Рандомізація (випадковий розподіл) -- це випадкове присвоєння учасників у різні групи. Це найважливіший інструмент для усунення конфаундерів.
Чому це працює? Якщо 200 людей випадково поділити на дві групи по 100, в середньому обидві групи будуть схожі за віком, статтю, здоров'ям та тисячами інших характеристик. Будь-яка різниця в результатах, ймовірно, зумовлена саме лікуванням.
Monobank тестує новий дизайн застосунку. 10 000 користувачів випадково ділять на дві групи: одна бачить старий дизайн, інша -- новий. Порівнюють кількість транзакцій. Рандомізація забезпечує, що обидві групи мають схожий склад за віком, активністю, балансом тощо.
Засліплення
Засліплення (маскування) -- це коли учасники або дослідники не знають, хто в якій групі.
- Одинарне засліплення: учасники не знають, чи отримують лікування чи плацебо.
- Подвійне засліплення: ані учасники, ані дослідники не знають. Це усуває упередженість з обох боків.
Дослідження нового знеболювального. Пацієнти отримують або препарат, або плацебо (однакові таблетки). Ані пацієнт, ані лікар не знають, що саме (подвійне засліплення). Це запобігає плацебо-ефекту у пацієнтів і неусвідомленій упередженості у лікарів.
Внутрішня та зовнішня валідність
Внутрішня валідність: чи можемо ми вірити причинно-наслідковому висновку? Залежить від контролю конфаундерів, рандомізації, засліплення.
Зовнішня валідність: чи можемо ми узагальнити результати? Дослідження на студентах Київського університету може не стосуватися пенсіонерів у Тернополі.
Типи дослідницьких планів
- Поперечне дослідження: одноразовий зріз. Опитування зараз.
- Когортне дослідження: спостереження за групою протягом часу.
- Дослідження "випадок-контроль": порівняння тих, хто має результат, з тими, хто не має.
- Рандомізоване контрольоване: золотий стандарт з випадковим розподілом.
Планування дослідження визначає, яким висновкам можна довіряти. Спостережні дослідження показують зв'язки, але не доводять причинність. Експерименти з рандомізацією, контрольною групою та засліпленням -- найнадійніший спосіб встановити причинно-наслідковий зв'язок. Внутрішня валідність -- довіра до висновку; зовнішня -- можливість його узагальнення.