Обновляем свои убеждения
В прошлом уроке мы увидели, как новая информация меняет вероятность. Условная вероятность отвечала на вопрос: «Учитывая, что что-то произошло, какова новая вероятность?» Теорема Байеса идёт дальше, давая нам систематический способ обновлять наши убеждения при появлении новых доказательств.
Названная в честь Томаса Байеса, английского священника и математика XVIII века, эта теорема — одна из самых мощных идей во всей статистике. И несмотря на свою репутацию, основная идея удивительно проста.
Главная идея простым языком
Вот теорема Байеса в обычных словах:
Обновлённое убеждение = Исходное убеждение × Насколько хорошо доказательство подходит ÷ Насколько часто встречается это доказательство в целом
Точнее:
- Начните с того, во что вы верили до этого («априорная» вероятность).
- Посмотрите на новое доказательство и спросите: «Насколько вероятно было бы такое доказательство, если бы моё убеждение было верным?»
- Также учтите: «Насколько вероятно это доказательство вообще — независимо от того, верно ли моё убеждение?»
- Объедините всё это, чтобы получить обновлённое убеждение («апостериорная» вероятность).
Формула
Для тех, кто любит формулы:
P(A | B) = P(B | A) × P(A) ÷ P(B)
Где:
- P(A | B) = вероятность A после наблюдения доказательства B (то, что мы ищем)
- P(B | A) = вероятность наблюдать доказательство B, если A верно
- P(A) = вероятность A до появления нового доказательства (ваше априорное убеждение)
- P(B) = общая вероятность наблюдать доказательство B
Не переживайте, если формула кажется абстрактной. Примеры ниже сделают всё конкретным.
Пример: медицинский тест
Это классический пример теоремы Байеса, продолжающий тему из урока об условной вероятности.
Болезнь встречается у 1 из 200 человек (0,5%). Анализ крови выявляет болезнь в 95% случаев, когда человек болен (это называется «чувствительность»). Но 3% здоровых людей тоже получают ложноположительный результат.
Ваш тест оказался положительным. Какова вероятность, что вы действительно больны?
Шаг 1: Запишем, что мы знаем.
- P(болезнь) = 0,005 (априорная вероятность — 1 из 200)
- P(положительный | болезнь) = 0,95 (тест выявляет 95% больных)
- P(положительный | нет болезни) = 0,03 (3% ложных срабатываний)
Шаг 2: Найдём P(положительный) — общую вероятность положительного теста.
P(положительный) = P(положительный | болезнь) × P(болезнь) + P(положительный | нет болезни) × P(нет болезни)
= (0,95 × 0,005) + (0,03 × 0,995)
= 0,00475 + 0,02985 = 0,03460
Шаг 3: Применим теорему Байеса.
P(болезнь | положительный) = P(положительный | болезнь) × P(болезнь) ÷ P(положительный)
= (0,95 × 0,005) ÷ 0,03460
= 0,00475 ÷ 0,03460 = 0,137, или около 13,7%.
Даже при 95%-ной точности теста положительный результат означает лишь около 14% вероятности реальной болезни. Низкая базовая частота (только 0,5% людей болеют) означает, что большинство положительных результатов — ложные тревоги.
Вот почему врачи часто назначают повторный тест после положительного результата. Если второй тест тоже положительный, вероятность резко возрастает — потому что теперь ваша «априорная» вероятность составляет 13,7% вместо 0,5%.
Подход через конкретные числа
Многим людям теорема Байеса понятнее, если работать с реальными числами людей, а не с вероятностями. Повторим пример выше для 10 000 человек:
Из 10 000 человек:
- 50 больны (0,5% от 10 000).
- 9 950 НЕ больны.
Тестируем 50 больных: 95% тест определяет правильно → 48 положительных результатов.
Тестируем 9 950 здоровых: 3% получают ложноположительный → 299 ложных срабатываний.
Всего положительных результатов: 48 + 299 = 347.
Из этих 347 положительных только 48 реально больны.
48 ÷ 347 = 0,138, или около 13,8%. (Маленькое отличие от 13,7% — это просто округление.)
Такой подход — подсчёт реальных людей — часто воспринимается более интуитивно, чем подстановка чисел в формулу.
Пример: спам-фильтр в почте
Фильтры спама — одно из самых распространённых применений теоремы Байеса в реальном мире.
Допустим, 40% писем в вашем ящике — спам. Слово «БЕСПЛАТНО» встречается в 80% спам-писем, но только в 5% обычных. Пришло письмо со словом «БЕСПЛАТНО». Какова вероятность, что это спам?
Что мы знаем:
- P(спам) = 0,40
- P(«БЕСПЛАТНО» | спам) = 0,80
- P(«БЕСПЛАТНО» | не спам) = 0,05
P(«БЕСПЛАТНО») в целом:
= (0,80 × 0,40) + (0,05 × 0,60) = 0,32 + 0,03 = 0,35
Применяем теорему Байеса:
P(спам | «БЕСПЛАТНО») = (0,80 × 0,40) ÷ 0,35 = 0,32 ÷ 0,35 = 0,914, или около 91,4%.
Письмо со словом «БЕСПЛАТНО» с вероятностью около 91% является спамом. Настоящие спам-фильтры используют ту же логику, но с тысячами слов и признаков вместо одного.
Пример: пожарная сигнализация
Сработала пожарная сигнализация в квартире. Вы знаете по опыту:
- Реальный пожар в вашей квартире случается примерно раз в 10 лет, или около 0,03% вероятности в любой конкретный день.
- При настоящем пожаре сигнализация срабатывает в 99% случаев.
- Без пожара сигнализация всё равно срабатывает примерно в 2% случаев (пригоревшая еда, пар из ванной и т.д.).
Сигнализация только что сработала. Это пожар?
P(пожар | сигнализация) = (0,99 × 0,0003) ÷ [(0,99 × 0,0003) + (0,02 × 0,9997)]
= 0,000297 ÷ (0,000297 + 0,019994) = 0,000297 ÷ 0,020291 = 0,0146, или около 1,5%.
Вероятность реального пожара около 1,5%. Это мало — но не ноль. Проверить всё равно стоит! Суть в том, что большинство срабатываний — ложные тревоги, потому что реальные пожары очень редки по сравнению с пригоревшей кашей.
Почему базовая частота так важна
Во всех этих примерах повторяется одна тема: базовая частота — насколько что-то распространено до появления любых доказательств — оказывает огромное влияние на итоговый ответ.
Когда то, что вы проверяете, редкое (болезнь у 0,5% людей, пожар раз в десятилетие), даже очень точные тесты дают в основном ложные срабатывания. Это не недостаток теста — это базовая математика.
И наоборот, когда что-то распространено (спам составляет 40% почты), даже умеренное доказательство может сильно повысить вероятность.
Практический урок: всегда спрашивайте «насколько это распространено вообще?», прежде чем интерпретировать любой результат теста, предупреждение или индикатор.
Теорема Байеса как способ мышления
Помимо математики, теорема Байеса предлагает ценный способ мышления о мире:
- Начните с того, что знаете. До появления новых данных — какова ваша лучшая оценка? Это ваша априорная вероятность.
- Тщательно взвесьте новые данные. Насколько сильно они указывают в ту или иную сторону?
- Обновляйте пропорционально. Сильные доказательства должны существенно сдвинуть ваши убеждения. Слабые — лишь немного.
- Будьте готовы обновлять снова. Каждое новое доказательство — это возможность уточнить свои представления.
Такой подход — начать с убеждения, собрать доказательства и обновить — является основой научного мышления, медицинской диагностики, следственной работы и принятия решений в целом.
Типичные ловушки
- Игнорирование априорной вероятности. Тест «с точностью 99%» звучит впечатляюще, но если состояние встречается у одного из миллиона, большинство положительных результатов всё равно будут ложными.
- Путаница P(B | A) с P(A | B). Вероятность положительного теста при болезни — НЕ то же самое, что вероятность болезни при положительном тесте.
- Слишком слабое или слишком сильное обновление. Одно слабое доказательство не должно полностью перевернуть сильное исходное убеждение. Но очень сильное доказательство должно вызвать серьёзный пересмотр, даже если оно противоречит начальным представлениям.
Теорема Байеса даёт логичный способ обновлять убеждения при появлении новых данных. Формула P(A | B) = P(B | A) × P(A) ÷ P(B) объединяет ваше исходное убеждение с силой доказательства для получения обновлённой вероятности. Базовая частота — насколько что-то распространено изначально — критически важна и часто упускается из виду. Интерпретируете ли вы результаты медицинских тестов, фильтруете спам или принимаете повседневные решения — мышление по Байесу означает: начните с того, что знаете, взвесьте доказательства и обновляйте убеждения шаг за шагом.