Теорема Байеса: разгадка интуитивного понимания вероятностей в мире данных или как повысить доверие к идее

В мире, где информация буквально осыпается с каждого угла, стоит задача не просто её собрать, но и правильно интерпретировать. Статистика и вероятность играют здесь ключевую роль, и одним из важных инструментов для работы с данными является формула Байеса.

Формула Байеса — это принцип статистики и вероятности, позволяющий пересмотреть наши изначальные представления или убеждения на основе новой информации. Она названа в честь Томаса Байеса, математика XVIII века.

Это формула, позволяющая нам обновлять наше представление о мире, когда появляется новая информация.

Определения элементов формулы Байеса:

Сила формулы Байеса в ее универсальности. Она нашла применение в самых разных областях — от медицины и биологии до информационных технологий и искусственного интеллекта.

Разберем подробнее применимость формулы в разных сферах:

Представьте, что вы врач, и у вас есть тест на редкую болезнь, которая встречается у 1 из 1000 человек. Тест на эту болезнь имеет вероятность ошибки (ложно положительного результата) 5%.

Теперь пациент проходит тест, и результат положительный. Какова вероятность того, что у пациента действительно есть эта болезнь? Используя формулу Байеса, мы можем это вычислить.

Тогда, используя формулу Байеса, апостериорная вероятность (P(A|B)) равна (0.001*0.95)/0.05, что составляет 0.019 или 1.9%. Это гораздо меньше, чем мы могли бы ожидать, учитывая, что тест имеет “вероятность ошибки” всего 5%. Это подчеркивает, как важно учитывать априорные вероятности при интерпретации результатов тестов.

Предположим, у нас есть свидетель, который утверждает, что видел подозреваемого на месте преступления. Этот свидетель правильно идентифицирует подозреваемого в 80% случаев. Кажется, что это довольно надежное свидетельство, верно?

Но давайте рассмотрим ситуацию подробнее. Предположим, что только 1 из 1000 человек в общей популяции мог бы быть виновником. Это наша априорная вероятность (P(A)) — 0.001.

Теперь, какова вероятность (P(B|A)), что свидетель правильно идентифицировал подозреваемого? Это 80%, или 0.8.

Наконец, какова общая вероятность (P(B)) того, что свидетель указал на кого-то как на подозреваемого? Это немного сложнее вычислить, но мы можем примерно прикинуть, что это равно вероятности того, что свидетель ошибся и неправильно идентифицировал невиновного человека (20%, или 0.2), плюс вероятность того, что он правильно идентифицировал виновного (0.8 * 0.001), что составляет приблизительно 0.2.

Используя формулу Байеса, мы получаем, что апостериорная вероятность (P(A|B)) равна (0.001 * 0.8) / 0.2, что равно 0.004, или 0.4%. Это значит, что даже если свидетель правильно идентифицирует подозреваемого в 80% случаев, вероятность того, что именно этот подозреваемый виновен, если он был идентифицирован, составляет менее 1%.

Этот контринтуитивный результат связан с тем, что свидетели могут ошибаться, и в популяции большого числа невиновных людей эти ошибки могут привести к большому числу невиновно обвиненных. Это подчеркивает, как важно учитывать априорные вероятности и не полагаться исключительно на одно свидетельское показание при оценке вины.

Предположим, вы заинтересованы в покупке нового смартфона и вводите запрос “лучший смартфон 2023”. В этом случае, поисковая система делает свою априорную гипотезу о том, что вам, скорее всего, будут интересны обзоры смартфонов, статьи на технологических сайтах, и т.д.

Затем, допустим, вы кликаете на результат, который является обзором нового модели Samsung Galaxy и проводите там некоторое время. После этого вы возвращаетесь к результатам поиска и вводите новый запрос: “сравнение смартфонов”.

В этом случае, ваше поведение (то есть “данные”) было тем, что вы просмотрели обзор Samsung Galaxy. Теперь, когда вы ищете “сравнение смартфонов”, поисковая система может обновить свою априорную гипотезу и предположить, что вам, вероятно, будет интересно сравнение, в котором участвует Samsung Galaxy.

“Вероятность” здесь — это вероятность того, что вы будете искать сравнение смартфонов, в котором участвует Samsung Galaxy, если вы уже просмотрели обзор этого смартфона. “Маргинальная вероятность” может быть оценена как общая вероятность того, что любой пользователь будет искать “сравнение смартфонов” после просмотра обзора смартфона Samsung Galaxy.

Допустим, у вас есть метеорологическая модель, которая предсказывает вероятность дождя. Пусть наша модель предсказывает, что завтра будет дождь с вероятностью 70%.

Однако, вы также знаете, что в данном году именно в этот день в прошлом году шел дождь. Опираясь на эти данные, вы может можете оценить априорную вероятность дождя завтра как 80%.

Предположим, вы также знаете, что в любой день года вероятность дождя составляет 50%.

Тогда, используя формулу Байеса:

Используя формулу Байеса, апостериорная вероятность (P(A|B)) равна (0.8*0.7)/0.5, что составляет 1.12 или 112%. Это не имеет смысла, потому что вероятность не может быть больше 100%. Это указывает на то, что наши начальные предположения были некорректными — скорее всего, мы переоценили априорную вероятность.

Пусть инвестор рассматривает покупку акций определенной компании. Он смотрит на прошлую доходность акций и видит, что они обычно дают положительную доходность. Поэтому его априорное мнение состоит в том, что акции скорее всего принесут доход, скажем, с вероятностью 60%.

Однако, инвестор также следит за новостями и видит, что компания только что объявила о больших потерях. Инвестор знает, что в последний раз, когда компания объявила о больших потерях, акции упали с вероятностью 70%.

Вместе с тем, инвестор также знает, что акции обычно падают (независимо от объявлений компании) с вероятностью 50%.

Используя формулу Байеса, апостериорная вероятность (P(A|B)) равна (0.6*0.7)/0.5, что составляет 0.84 или 84%.

Это может показаться контринтуитивным, но это говорит о том, что, несмотря на негативные новости, инвестор все еще думает, что вероятность положительной доходности акций высока, учитывая их историческую доходность и факт объявления о потерях. Возможно, он верит, что рынок слишком сильно реагирует на эту новость, или что у компании есть другие положительные аспекты, которые компенсируют эту потерю.

Этот пример демонстрирует, как формула Байеса может помочь инвесторам учитывать новую информацию при принятии решений об инвестициях. Однако он также подчеркивает, что формула Байеса зависит от точности начальных предположений. Если наши априорные вероятности неточны, то и наши апостериорные вероятности также могут быть неточными.

Представьте, что вы разрабатываете систему фильтрации спама для электронной почты. Вы обучаете модель на основе примеров спама и “не спама”.

Сначала у вас есть некоторое априорное представление о вероятности того, что любое данное письмо является спамом. Пусть это будет 50% (P(A) = 0.5), для простоты.

Вы обучаете модель распознавать спам на основе определенных признаков (например, наличие слов “распродажа”, “бесплатно” и т.д.). Допустим, модель предсказывает, что письмо является спамом с вероятностью 80%, если эти признаки присутствуют (P(B|A) = 0.8).

Вероятность встретить такие признаки в любом письме (независимо от того, является ли оно спамом) составляет, скажем, 60% (P(B) = 0.6).

Тогда, используя формулу Байеса, вероятность того, что письмо является спамом, учитывая наличие этих признаков (P(A|B)), равна (0.5*0.8)/0.6, или около 0.67 (67%).

Теперь разберем историческое событие четырехсотлетней давности и как могла бы быть применима формула тогда:

Формула Байеса может быть очень полезна в таких ситуациях, где новые научные открытия противоречат устоявшимся общественным взглядам. Вспомните Галилея, который столкнулся с тем, что его идеи о том, что Земля вращается вокруг Солнца, не были приняты обществом, потому что они противоречили учению церкви.

Если бы общество использовало формулу Байеса, то оно могло бы обновить свое понимание вселенной на основе новых данных, представленных Галилеем. Пусть наше априорное убеждение (P(A)) — это идея, что Земля является центром вселенной. Когда Галилей представил свои данные, их можно рассматривать как новые доказательства (B).

Вероятность наступления B (P(B)), в данном случае, будет представлять собой вероятность того, что он мог бы получить такие данные, если Земля действительно вращается вокруг Солнца. Вероятность наступления B при условии A (P(B|A)) будет представлять собой вероятность того, что он мог бы получить такие данные, если Земля действительно была центром вселенной.

Поскольку данные Галилея были вполне совместимы с идеей, что Земля вращается вокруг Солнца, и были весьма несовместимы с идеей, что Земля является центром вселенной, использование формулы Байеса могло бы привести к обновлению общественных взглядов в большей степени, чем это произошло в действительности.

Но важно помнить, что формула Байеса требует открытости для принятия новых данных и готовности пересмотреть свои текущие взгляды — и это может быть непросто в обществе, где устоявшиеся взгляды глубоко укоренены.

Информация, на которую мы опираемся при принятии решений, может быть искажена по множеству причин, и это создаёт сложные проблемы. Например, в ситуации происшествия с единственным свидетелем, его показания могут быть искажены множеством источников в попытке привлечь внимание. Проверить достоверность таких данных зачастую невозможно.

Другой пример — процесс создания собственного бизнеса или принятие решение об эмиграции. Ища истории успеха, мы легко находим положительные примеры, однако истории неудач найти гораздо сложнее, поскольку ими реже делятся и они привлекают меньше внимания. Таким образом, наши суждения могут быть искажены, так как мы можем либо намеренно искажать их в попытке искать позитив и стремиться к цели, либо непреднамеренно сталкиваться с источниками, которые искажают информацию для своих корыстных целей.

В этом контексте можно выделить два распространенных типа смещения. Первый — это “смещение подтверждения” (confirmation bias), когда люди ищут или интерпретируют информацию таким образом, чтобы она подтверждала их уже существующие убеждения или гипотезы, при этом игнорируя противоречащую информацию.

Второй — это “смещение доступности” (availability bias), когда люди полагаются на непосредственно доступные информационные образцы для формирования представлений о конкретной ситуации или категории. Информация, которая легко вызывается в памяти, или доступна, кажется более вероятной.

Формула Байеса может быть полезна для преодоления этих смещений, но только если она применяется критически и с пониманием ее ограничений. Она предлагает механизм для обновления наших вероятностных убеждений на основе новых данных. Важно активно искать информацию, которая может опровергнуть наши текущие убеждения, а также учитывать вероятность того, что доступная нам информация может быть не репрезентативной.

Существуют стратегии и методы критического мышления, которые могут помочь с этим. Например, можно активно искать различные точки зрения, пытаться “доказать неправоту” своей идеи или гипотезы, а также постоянно пересматривать и переоценивать свои взгляды в свете новой информации.

Также важно понимать, что качество ваших выводов с использованием формулы Байеса во многом зависит от качества ваших входных данных. Если ваши исходные данные недостоверны или искажены, то и ваши выводы могут быть недостоверными или искаженными. Это известное утверждение в области анализа данных: “Garbage in, garbage out” (“Входные данные мусор — выходные данные мусор”).

Формула Байеса способна привнести новый взгляд на многие современные вопросы, где есть различие в мнениях и взглядах. Вот несколько примеров:

Споры вокруг искусственного интеллекта (ИИ) и его потенциального влияния на человечество идут на протяжении долгого времени. Некоторые люди опасаются, что ИИ может стать угрозой для человечества, в то время как другие видят в нем огромный потенциал для улучшения жизни людей.

Согласно формуле Байеса, наши представления о том, представляет ли ИИ угрозу, зависят от следующих факторов:

Используя формулу Байеса, мы получаем:

P(A|B) = P(B|A) * P(A) / P(B) = 0.9 * 0.5 / 0.3 = 1.5

Это число больше 1, что означает, что данные, которые мы наблюдали, действительно увеличивают нашу веру в то, что ИИ может представлять угрозу. Однако это не означает, что мы должны сразу признать ИИ угрозой. Формула Байеса говорит нам, что при наличии этих данных наша вера в потенциальную угрозу ИИ увеличивается, но не насколько именно. В этом случае, наше окончательное мнение будет зависеть от того, как мы интерпретируем этот результат, и от других источников информации, которые мы рассмотрим.

Теория “спирали молчания” была предложена немецким политологом Элизабет Ноэль-Нойманн в 1974 году. Эта теория предполагает, что люди более склонны молчать о своих взглядах, если они считают, что эти взгляды не популярны или не приемлемы в обществе. Таким образом, они вступают в “спираль молчания”, поскольку их молчание усиливает впечатление, что их взгляды являются меньшинством.

Применение формулы Байеса к этой теории может быть не совсем очевидно, поскольку формула Байеса обычно используется для обновления вероятностей на основе новых данных. В контексте теории “спирали молчания”, мы обычно не имеем “новых данных” в традиционном смысле этого слова. Однако можно предложить, что формула Байеса может быть применена к изменениям в вероятности того, что человек выразит свое мнение, на основе его восприятия общественного мнения.

Например, допустим, вы считаете, что есть некоторая вероятность (априорная вероятность), что ваши взгляды будут приняты обществом. Но затем вы наблюдаете, что многие люди выражают противоположные взгляды (это ваши “новые данные”). В этом случае вы можете использовать формулу Байеса, чтобы обновить свою вероятность (апостериорная вероятность) того, что ваши взгляды будут приняты, на основе этого нового наблюдения.

Однако важно помнить, что это всего лишь один из возможных способов применения байесовской статистики к этой проблеме, и что реальность может быть гораздо сложнее. Более того, это предполагает, что индивидуумы активно и сознательно обновляют свои вероятности на основе наблюдений, что не всегда является правдой в реальной жизни.

Формула Байеса позволяет нам обновлять наше представление о мире, когда появляется новая информация.

Сила формулы Байеса в ее универсальности. Она нашла применение в самых разных областях — от медицины и биологии до информационных технологий и искусственного интеллекта.

Но важно помнить, что формула Байеса — это лишь инструмент, и как любой инструмент, он эффективен только при правильном использовании. Исходные представления, которые мы используем в формуле, могут быть субъективными или основаны на недостаточных данных, что может исказить наше понимание действительности.

То, как мы интерпретируем новые данные, будет в значительной степени определяться нашими априорными вероятностями. Если у нас очень сильные априорные убеждения, они могут в значительной степени влиять на то, как мы обрабатываем новые данные.

Однако одним из ключевых преимуществ формулы Байеса является её способность к “обучению”. Если мы продолжим получать новые данные, которые противоречат нашим априорным убеждениям, апостериорная вероятность (то есть наше убеждение после просмотра новых данных) будет продолжать меняться в соответствии с этими данными. Это может привести к тому, что в конечном итоге наши убеждения будут изменены.

Важно отметить, что чтобы эффективно использовать формулу Байеса, необходимо быть готовым менять свои априорные убеждения на основе новых данных. Если мы просто игнорируем новые данные, которые противоречат нашим убеждениям, формула Байеса не будет работать эффективно.

Однако, при правильном применении, формула Байеса является мощным инструментом для лучшего понимания мира вокруг нас. Она предлагает структурированный подход к обновлению наших взглядов в свете новой информации, что является одним из ключевых компонентов критического мышления.

Давайте начнем с формулирования наших гипотез. В этом контексте:

Согласно нашим знаниям науки, подавляющее большинство научных доказательств подтверждает Гипотезу A (Земля круглая), поэтому P(A) (вероятность, что Земля круглая до учета любых доказательств) будет очень высокой, а P(B) (вероятность, что Земля плоская) будет очень низкой.

Вместе с этим, мы можем рассмотреть вероятность наблюдения различных данных или “доказательств” при условии, что каждая гипотеза верна. Например, мы могли бы взять “доказательство” в виде фотографий Земли из космоса.

Теперь, с учетом этих “доказательств”, мы можем обновить наши вероятности с помощью теоремы Байеса:

Суть состоит в том, что в любой ситуации, когда у нас есть новые данные или “доказательства”, мы можем использовать теорему Байеса, чтобы обновить наши представления о вероятности различных гипотез. В данном случае большинство доказательств подтверждает, что Земля круглая, поэтому любой байесовский анализ будет поддерживать эту гипотезу.

Давайте подробнее рассмотрим пример плоскоземельцев и их верований:

Априорное убеждение (Prior): Для плоскоземельцев априорная вероятность того, что Земля плоская (Гипотеза B), будет высокой, поскольку это их изначальное убеждение. В то же время, априорная вероятность того, что Земля круглая (Гипотеза A), будет низкой.

Вероятность обнаружения данных (Likelihood): Плоскоземельцы могут рассматривать некоторые данные (например, определенные виды фотографий или видео) как поддельные или недостоверные, поэтому вероятность обнаружения этих данных при условии, что Земля плоская, может быть высокой (P(Data|B) высокая). С другой стороны, вероятность обнаружения этих данных при условии, что Земля круглая, может быть низкой (P(Data|A) низкая).

Маргинальная вероятность (Marginal Probability): Это вероятность обнаружения данных вне зависимости от гипотезы. Для плоскоземельцев эта вероятность может быть высокой, поскольку они рассматривают определенные виды доказательств (например, фотографии Земли из космоса) как общепринятые, но потенциально поддельные.

В численных терминах, пусть:

Тогда, используя формулу Байеса, мы получаем:

Доверие (или уверенность) в идее о плоской Земле после просмотра новых данных = (0.9 * 0.8) / 0.5 = 1.44.

Поскольку вероятность не может превышать 1, в реальности результат был бы “скорректирован” до 1, что говорит о том, что плоскоземельцы остаются полностью уверенными в своей идее даже после просмотра новых данных.

Таким образом, когда плоскоземельцы применяют теорему Байеса к своим убеждениям и доказательствам, они могут прийти к выводу, который поддерживает их изначальное убеждение о том, что Земля плоская, несмотря на то, что большинство людей и научные доказательства указывают на то, что Земля круглая.

Это является отличным примером того, как начальные убеждения и интерпретация доказательств могут сильно повлиять на окончательное убеждение, подкрепляемое теоремой Байеса.