Как мы на самом деле узнаём правду?
Представьте, что вы хотите выяснить, помогает ли зелёный чай лучше спать. Можно спросить знакомых, которые пьют зелёный чай, хорошо ли они спят. Но у такого подхода масса проблем. Может быть, ваши друзья-чаёвники ещё и регулярно занимаются спортом. А может, они от природы хорошо спят.
Дизайн исследования — это план сбора доказательств. Хороший план помогает отделить то, что действительно является причиной, от того, что просто сопутствует. Плохой план может привести к совершенно ошибочным выводам, иногда с реальными последствиями для здоровья, образования или финансов.
Два основных типа исследований
Каждое исследование относится к одной из двух широких категорий: наблюдательное или экспериментальное. Понимание того, какой тип перед вами, многое говорит о том, насколько можно доверять результатам.
Наблюдательные исследования: смотрим, не вмешиваясь
В наблюдательном исследовании учёные просто наблюдают и фиксируют происходящее. Они ничего не меняют и никого не просят вести себя иначе. Они наблюдают мир таким, какой он есть.
Например, исследователь может наблюдать за 10 000 человек в течение десяти лет, фиксируя, что они едят и развивается ли у них сердечно-сосудистое заболевание. Исследователь не указывает никому, что есть. Он просто наблюдает и записывает.
Наблюдательные исследования полезны, когда экспериментировать на людях нельзя или неэтично. Вы не станете просить подростков начать курить, чтобы посмотреть, что будет. Вместо этого вы наблюдаете за курильщиками и некурящими и сравниваете их здоровье.
Главное ограничение: наблюдательные исследования могут показать, что две вещи связаны, но не могут доказать, что одна вызывает другую. Люди, которые едят больше овощей, могут также больше заниматься спортом, лучше спать и чаще посещать врачей. Помогают ли овощи или все остальные привычки?
Экспериментальные исследования: целенаправленное изменение
В экспериментальном исследовании исследователь намеренно что-то изменяет и измеряет результат. Это «золотой стандарт» для установления причинно-следственных связей.
То, что исследователь изменяет, называется независимой переменной. То, что он измеряет, — зависимой переменной. Всё остальное стараются сохранить максимально одинаковым.
Районное управление образования хочет узнать, улучшает ли новая методика преподавания математики результаты учеников. Берут 20 классов. Десять классов переходят на новую методику (экспериментальная группа). Десять продолжают учиться по-старому (контрольная группа). Через полгода сравнивают результаты тестов. Методика — независимая переменная. Результаты тестов — зависимая.
Зачем нужна контрольная группа
Контрольная группа — это группа, которая не получает изучаемого воздействия. Без контрольной группы невозможно понять, произошли бы результаты сами по себе.
Подумайте о лекарстве от простуды. Если вы приняли новое средство и почувствовали себя лучше через пять дней — это лекарство помогло? Или вы выздоровели бы за пять дней и без него? Без сравнения с людьми, которые не принимали лекарство, узнать невозможно.
В клинических испытаниях контрольная группа часто получает плацебо — «пустышку», неактивный препарат, внешне неотличимый от настоящего. Дело в том, что иногда людям становится лучше просто потому, что они верят, что их лечат. Это называется эффект плацебо, и он удивительно силён.
Рандомизация: обеспечение честности
Как решить, кто попадёт в экспериментальную группу, а кто — в контрольную? Если позволить людям выбирать самим, результаты могут оказаться искажёнными. Люди, которые добровольно записываются на новую программу упражнений, могут быть изначально более мотивированными.
Решение — рандомизация: распределение по группам случайным образом, как при подбрасывании монеты. Тогда любые различия между людьми (возраст, здоровье, мотивация, опыт) распределяются примерно поровну между группами. Это не идеально, но при достаточном числе участников работает удивительно хорошо.
Компания хочет проверить, снижает ли гибкий график стресс у сотрудников. Если позволить сотрудникам самим выбирать гибкий график, его выберут наименее стрессованные люди (потому что они уже лучше управляют своим временем). Вместо этого компания случайным образом назначает отделам гибкий или стандартный график, чтобы группы были сопоставимы.
Ослепление: устранение неосознанного влияния
Даже с лучшими намерениями знание о том, в какой вы группе, может повлиять на результаты. Пациенты, знающие, что получают настоящее лекарство, могут сообщать об улучшении самочувствия. Врачи, знающие, какие пациенты получили реальный препарат, могут неосознанно тщательнее искать у них улучшения.
Простое ослепление означает, что участники не знают, в какой они группе, но исследователи знают. Двойное ослепление означает, что ни участники, ни взаимодействующие с ними исследователи не знают, кто что получает. Отдельная команда хранит эту информацию и раскрывает её только после завершения исследования.
Двойные слепые исследования считаются наиболее надёжными, потому что устраняют предвзятость с обеих сторон. Поэтому в медицинских исследованиях часто звучит фраза «рандомизированное двойное слепое плацебо-контролируемое испытание». Оно сочетает все три защиты: случайное распределение, ослепление с обеих сторон и группу сравнения с плацебо.
Всё вместе: клиническое испытание
Рассмотрим реальный пример. Фармацевтическая компания разрабатывает новый препарат от гипертонии. Вот как выглядит хорошо спланированное исследование:
- Набор участников: Находят 1 000 взрослых с повышенным давлением, согласившихся участвовать.
- Рандомизация: Компьютер случайным образом распределяет 500 человек в группу лекарства и 500 — в группу плацебо.
- Ослепление: Обе таблетки выглядят одинаково. Ни пациенты, ни врачи, измеряющие давление, не знают, кто что получает.
- Измерение: Через три месяца сравнивают показатели давления между группами.
- Анализ: С помощью статистических тестов определяют, является ли разница реальной или случайной.
Если группа с лекарством имеет значительно более низкое давление, чем группа плацебо, и исследование было должным образом рандомизировано и ослеплено, это сильное свидетельство того, что лекарство действительно работает.
Когда эксперимент невозможен
Иногда эксперименты неэтичны или непрактичны. Нельзя случайным образом обрекать людей на бедность, чтобы изучить её влияние на здоровье. Нельзя случайным образом распределять детей по типам семей. В таких случаях исследователи полагаются на наблюдательные исследования и используют статистические методы для учёта различий между группами. Результаты всё равно ценны, но требуют большей осторожности в интерпретации.
Надёжность выводов исследования зависит от его дизайна. Экспериментальные исследования с рандомизацией, контрольными группами и ослеплением дают самые убедительные доказательства причинно-следственных связей. Наблюдательные исследования выявляют важные закономерности, но сами по себе не доказывают причинность. Когда вы сталкиваетесь с научным утверждением, спросите: это был эксперимент или наблюдение? Один этот вопрос скажет многое о том, насколько можно доверять результату.