Числа могут быть одновременно верными и вводящими в заблуждение
Каждый день на вас обрушивается поток статистики. «Исследования показали, что кофе продлевает жизнь.» «Преступность выросла на 200%.» «9 из 10 стоматологов рекомендуют эту пасту.» Все эти утверждения могут опираться на реальные данные, и тем не менее каждое из них может создавать искажённую картину.
Проблема не в самих числах. Проблема — в том, как их подают. Статистика без контекста — как предложение без абзаца: формально верное, но легко понимаемое неправильно. Этот урок даёт вам практический чек-лист для оценки любого статистического утверждения.
Вопрос 1: Кто провёл исследование?
Источник имеет огромное значение. Исследование, опубликованное в рецензируемом научном журнале, прошло проверку другими экспертами в данной области. Статистика из пресс-релиза компании такой проверки не прошла.
Это не значит, что корпоративные исследования всегда неверны, а академические всегда правы. Но знание источника говорит о том, сколько проверок прошли данные.
Заголовок гласит: «Новое исследование: шоколад улучшает память». Вы копаете глубже и обнаруживаете, что исследование финансировалось крупным производителем шоколада, в нём участвовали всего 12 человек, а опубликовано оно в журнале с низкой репутацией. Это меняет уровень серьёзности, с которой стоит относиться к находке. Сравните с исследованием, финансируемым государственным медицинским учреждением, с участием 5 000 человек на протяжении пяти лет, опубликованным в ведущем медицинском журнале. Тема та же, доверие — совершенно разное.
Вопрос 2: Кого и сколько изучали?
Размер выборки имеет значение. Исследование 15 человек может намекнуть на что-то интересное, но ничего не доказывает. Исследование 15 000 человек гораздо весомее. Маленькие исследования с большей вероятностью дают экстремальные результаты просто по случайности.
Не менее важно — кто был в выборке. Исследование сна, проведённое только на студентах, может не подходить для пенсионеров. Исследование питания, проведённое в Японии, может не напрямую относиться к рациону в России. Всегда спрашивайте, похожи ли участники исследования на тех людей, к которым применяют выводы.
Вопрос 3: Кто финансировал?
Финансирование автоматически не делает исследование недостоверным, но создаёт стимулы. Исследования, финансируемые сахарной промышленностью, исторически преуменьшали риски сахара для здоровья. Исследования, финансируемые фармацевтическими компаниями, как правило, находят более благоприятные результаты для своих препаратов, чем независимые исследования тех же лекарств.
Уважаемые журналы теперь требуют от исследователей раскрывать источники финансирования. Если информация о финансировании отсутствует, это само по себе повод для осторожности.
Вопрос 4: Каковы реальные цифры?
Заголовки любят драматичную подачу. «Удваивает риск!» звучит пугающе. Но риск чего именно? Если исходный риск был 1 из 10 000, а он удвоился до 2 из 10 000, это всё ещё очень мало. Если же он вырос с 1 из 10 до 2 из 10, это уже серьёзно.
Всегда ищите абсолютные числа, а не только проценты или множители. «50%-ное увеличение риска» означает совершенно разное в зависимости от отправной точки.
Новостная статья сообщает: «Ежедневное употребление колбасы повышает риск определённого рака на 18%». Звучит тревожно. Но базовый риск этого вида рака — примерно 5 случаев на 100 человек за всю жизнь. Увеличение на 18% поднимает его до примерно 6 из 100. То есть «6% пожизненного риска вместо 5%» звучит совсем иначе, чем «на 18% больше риска». Оба утверждения описывают одни и те же данные, но создают совершенно разные эмоциональные реакции.
Вопрос 5: Это корреляция или причинность?
Это одна из самых частых ошибок в журналистике. То, что две вещи происходят одновременно, не означает, что одна вызывает другую. Продажи мороженого и утопления растут летом — не потому что мороженое вызывает утопления, а потому что в жару люди больше покупают мороженое и больше купаются.
Когда вы видите заголовок вроде «Люди, которые завтракают, зарабатывают больше», спросите себя: завтрак вызывает более высокий доход? Или люди со стабильной, хорошо оплачиваемой работой просто имеют больше времени и привычку к режиму утром? Данные сами по себе не могут сказать, какое объяснение верно.
Осторожно: графики, которые вводят в заблуждение
Графики могут искажать данные незаметным образом. Вот самые распространённые приёмы:
- Обрезанные оси: Столбчатая диаграмма, начинающаяся не с нуля, а, скажем, с 95, может превратить крошечную разницу в гигантскую. Столбик от 95 до 100 выглядит в пять раз выше столбика от 95 до 96, хотя разница невелика.
- Растянутые или сжатые масштабы: Изменение масштаба оси может превратить плавный тренд в драматический скачок или сгладить реальный всплеск в пологую кривую.
- Выборочные временные рамки: Показ динамики акций от минимума к максимуму делает любые инвестиции блестящими. Показ от максимума к минимуму делает те же инвестиции катастрофическими.
- 3D-эффекты: Трёхмерные столбчатые и круговые диаграммы искажают восприятие размеров. Передние сегменты 3D-диаграммы кажутся больше, чем сегменты того же размера на заднем плане.
Тест «По сравнению с чем?»
Когда вы видите статистику, спрашивайте: по сравнению с чем? «Наш продукт на 30% эффективнее.» Эффективнее чего? Чем ничего? Чем главный конкурент? Чем их собственная предыдущая версия? Без чёткого сравнения число почти бессмысленно.
Аналогично, обращайте внимание на недостающий контекст. «Безработица снизилась до 4%.» Это хорошо? Зависит от того, какой она была раньше, каков уровень в сопоставимых странах и как определяется «безработица». Учитываются ли люди, которые перестали искать работу?
Ваш экспресс-чек-лист
Когда вы видите статистическое утверждение в новостях или соцсетях, пройдитесь по этим вопросам:
- Кто проводил исследование и где оно опубликовано?
- Сколько человек изучали и кто они были?
- Кто финансировал исследование?
- Каковы реальные числа за процентами?
- Это причинность или просто связь?
- Честно ли нарисован график?
- Какова точка сравнения?
Не нужно расследовать каждое утверждение как детектив. Но проверка хотя бы двух-трёх из этих вопросов поможет выявить большинство вводящих в заблуждение статистик, прежде чем они повлияют на ваше мышление.
Статистика в новостях часто упрощается, переупаковывается или лишается контекста ради более эффектной подачи. Числа могут быть реальными, но впечатление, которое они создают, может быть ложным. Спрашивая, кто проводил исследование, сколько человек участвовало, кто его финансировал, каковы реальные числа и идёт ли речь о корреляции или причинности, вы сможете быстро оценить, заслуживает ли статистика вашего доверия или скептицизма.