Просто обяснение на теоремата на Бейс. Формула за пълна вероятност

При извеждането на формулата за пълна вероятност се приема, че събитието А, чиято вероятност трябваше да се определи, може да се случи на едно от събитията н 1 , Н 2 , ... , N n, образувайки пълна група от несъвместими по двойки събития. Освен това вероятностите за тези събития (хипотези) са били известни предварително. Да приемем, че е проведен експеримент, в резултат на който събитието Апристигна. Тази допълнителна информация ни позволява да преоценим вероятностите на хипотезите. N i,като изчисли P(H i /A).

или, използвайки формулата за пълна вероятност, получаваме

Тази формула се нарича формула на Байс или теорема за хипотеза. Формулата на Bayes ви позволява да „ревизирате“ вероятностите на хипотезите, след като стане известен резултатът от експеримента, довел до събитието А.

Вероятности Р(Н i)− това са априорните вероятности на хипотезите (те се изчисляват преди експеримента). Вероятностите P(H i /A)− това са постериорните вероятности на хипотезите (те се изчисляват след експеримента). Формулата на Bayes ви позволява да изчислите последващи вероятности от техните предишни вероятности и от условните вероятности на събитие А.

Пример. Известно е, че 5% от всички мъже и 0,25% от всички жени са далтонисти. Произволно избран човек по номера на медицинската си карта страда от цветна слепота. Каква е вероятността да е мъж?

Решение. Събитие А– човек страда от цветна слепота. Пространство от елементарни събития за експеримента - човек се избира по номер на медицинска карта - Ω = ( н 1 , Н 2 ) се състои от 2 събития:

н 1 - избран е мъж,

н 2 – избрана е жена.

Тези събития могат да бъдат избрани като хипотези.

Според условията на задачата (случаен избор), вероятностите за тези събития са еднакви и равни P(N 1 ) = 0.5; P(N 2 ) = 0.5.

В този случай условните вероятности, че човек страда от цветна слепота, са съответно равни:

R(A/N 1 ) = 0.05 = 1/20; R(A/N 2 ) = 0.0025 = 1/400.

Тъй като е известно, че избраното лице е далтонист, т.е. събитието се е случило, ние използваме формулата на Бейс, за да преоценим първата хипотеза:

Пример.Има три еднакви на вид кутии. Първата кутия съдържа 20 бели топки, втората кутия съдържа 10 бели и 10 черни топки, а третата кутия съдържа 20 черни топки. Бяла топка се взема от кутия, избрана на случаен принцип. Изчислете вероятността топката да бъде изтеглена от първото поле.

Решение. Нека означим с Асъбитие - появата на бяла топка. Могат да се направят три предположения (хипотези) относно избора на кутия: н 1 ,н 2 , н 3 – избор съответно на първа, втора и трета кутия.

Тъй като изборът на която и да е от кутиите е еднакво възможен, вероятностите на хипотезите са еднакви:

P(N 1 )=P(N 2 )=P(N 3 )= 1/3.

Според проблема вероятността да изтеглите бяла топка от първото поле е

Вероятност за изтегляне на бяла топка от второто поле

Вероятност за изтегляне на бяла топка от третото поле

Намираме желаната вероятност с помощта на формулата на Бейс:

Повторение на тестове. Формула на Бернули.

Провеждат се N опити, при всяко от които събитие А може да се случи или да не се случи, и вероятността за събитие А във всяко отделно изпитване е постоянна, т.е. не се променя от опит на опит. Вече знаем как да намерим вероятността за събитие А в един експеримент.

От особен интерес е вероятността за възникване определен брой пъти (m пъти) на събитие А в n експеримента. Такива проблеми могат лесно да бъдат решени, ако тестовете са независими.

Деф.Извикват се няколко теста независимо по отношение на събитие А , ако вероятността за събитие А във всеки от тях не зависи от резултатите от други експерименти.

Вероятността P n (m) за настъпване на събитие А точно m пъти (не-настъпване n-m пъти, събитие ) в тези n опита. Събитие А се появява в много различни последователности m пъти).

- Формула на Бернули.

Следните формули са очевидни:

Р n (m по-малко k пъти в n опита.

P n (m>k) = P n (k+1) + P n (k+2) +…+ P n (n) - вероятност за настъпване на събитие A Повече ▼ k пъти в n опита.

Да започнем с един пример. В урната пред теб, еднакво вероятноможе да има (1) две бели топки, (2) една бяла и една черна, (3) две черни. Влачите топката и тя се оказва бяла. Как бихте го оценили сега? вероятносттези три варианта (хипотези)? Очевидно вероятността на хипотеза (3) с две черни топки е = 0. Но как да изчислим вероятностите на двете останали хипотези!? Това може да стане чрез формулата на Бейс, която в нашия случай има формата (номерът на формулата съответства на номера на проверяваната хипотеза):

Изтеглете бележката в или

х– случайна променлива (хипотеза), приемаща следните стойности: х 1- две бели, х 2– един бял, един черен; х 3– две черни; при– случайна променлива (събитие), приемаща стойности: на 1– изважда се бяла топка и на 2– изважда се черна топка; P(x 1)– вероятност за първата хипотеза преди тегленето на топката ( априоривероятност или вероятност предиопит) = 1/3; P(x 2)– вероятност на втората хипотеза преди теглене на топката = 1/3; P(x 3)– вероятност на третата хипотеза преди теглене на топката = 1/3; P(y 1|x 1)– условна вероятност за изтегляне на бяла топка, ако първата хипотеза е вярна (топките са бели) = 1; P(y 1|х 2) – вероятност за изтегляне на бяла топка, ако втората хипотеза е вярна (едната топка е бяла, втората е черна) = ½; P(y 1|x 3) – вероятност за изтегляне на бяла топка, ако третата хипотеза е вярна (и двете черни) = 0; P(y 1)– вероятност за изтегляне на бяла топка = ½; R(y ​​​​2)– вероятност за изтегляне на черна топка = ½; и накрая, това, което търсим - P(x 1|y 1) – вероятността първата хипотеза да е вярна (и двете топки са бели), като се има предвид, че изтеглихме бяла топка ( a posterioriвероятност или вероятност следопит); P(x 2|y 1) – вероятността втората хипотеза да е вярна (едната топка е бяла, втората е черна), при условие че сме изтеглили бяла топка.

Вероятността първата хипотеза (две бели) да е вярна, като се има предвид, че сме изтеглили бяла топка:

Вероятността втората хипотеза да е вярна (едната е бяла, другата е черна), при условие че сме изтеглили бяла топка:

Вероятността третата хипотеза да е вярна (две черни), като се има предвид, че сме изтеглили бяла топка:

Какво прави формулата на Bayes? Това прави възможно, въз основа на априорни вероятности на хипотези - P(x 1), P(x 2), P(x 3)– и вероятностите за настъпване на събития – P(y 1), R(y ​​​​2)– изчисляване на задните вероятности на хипотезите, например вероятността на първата хипотеза, при условие че е изтеглена бяла топка – P(x 1|y 1).

Нека се върнем отново към формула (1). Първоначалната вероятност на първата хипотеза беше P(x 1) = 1/3. С вероятност P(y 1) = 1/2бихме могли да изтеглим бяла топка и то с вероятност P(y 2) = 1/2- черно. Извадихме бялото. Вероятност за рисуване на бяло, при условие че първата хипотеза е вярна P(y 1|x 1) = 1.Формулата на Бейс казва, че откакто е начертано бялото, вероятността на първата хипотеза се е увеличила до 2/3, вероятността на втората хипотеза е все още 1/3, а вероятността на третата хипотеза е станала нула.

Лесно е да се провери, че ако извадим черна топка, задните вероятности ще се променят симетрично: P(x 1|y 2) = 0, P(x 2|y 2) = 1/3, P(x 3|y 2) = 2/3.

Ето какво пише Пиер Симон Лаплас за формулата на Байс в работа, публикувана през 1814 г.:

Това е основният принцип на този клон на анализа на непредвидените обстоятелства, който се занимава с преходите от събития към причини.

Защо формулата на Байс е толкова трудна за разбиране!? Според мен, защото нашият обичаен подход е разсъждение от причини към следствия. Например, ако в една урна има 36 топки, 6 от които са черни, а останалите са бели. Каква е вероятността да изтеглите бяла топка? Формулата на Bayes ви позволява да преминете от събития към причини (хипотези). Ако имаме три хипотези и се е случило събитие, как това събитие (а не алтернативата) е повлияло на първоначалните вероятности на хипотезите? Как са се променили тези вероятности?

Вярвам, че формулата на Байс не се отнася само до вероятностите. Променя парадигмата на възприятието. Какъв е мисловният процес при използване на детерминистичната парадигма? Ако се е случило събитие, каква е причината? Ако е имало инцидент, извънредна ситуация, военен конфликт. Кой или какво беше по тяхна вина? Какво мисли един байесов наблюдател? Каква е структурата на реалността, довела до даденослучай до такава и такава проява... Байесистът разбира, че в в противен случайВ този случай резултатът можеше да е различен...

Нека поставим символите във формули (1) и (2) малко по-различно:

Нека отново да поговорим за това, което виждаме. При еднаква първоначална (априорна) вероятност една от трите хипотези може да е вярна. С еднаква вероятност можем да изтеглим бяла или черна топка. Извадихме бялото. В светлината на тази нова допълнителна информация нашата оценка на хипотезите трябва да бъде преразгледана. Формулата на Бейс ни позволява да направим това числено. Предишната вероятност на първата хипотеза (формула 7) беше P(x 1), беше изтеглена бяла топка, стана задната вероятност на първата хипотеза P(x 1|на 1).Тези вероятности се различават по фактор.

Събитие на 1наречено доказателство, което повече или по-малко потвърждава или опровергава дадена хипотеза х 1. Този коефициент понякога се нарича сила на доказателство. Колкото по-силни са доказателствата (колкото повече коефициентът се различава от единица), толкова по-голям е фактът на наблюдение на 1променя предишната вероятност, толкова повече постериорната вероятност се различава от предишната. Ако доказателствата са слаби (коефициент ~1), последващата вероятност е почти равна на предишната.

Сертификат на 1 V = 2 пъти промени предишната вероятност на хипотезата х 1(формула 4). В същото време доказателства на 1не промени вероятността на хипотезата х 2, тъй като силата му = 1 (формула 5).

Най-общо формулата на Бейс има следния вид:

х– случайна променлива (набор от взаимно изключващи се хипотези), приемаща следните стойности: х 1, х 2, … , хн. при– случайна променлива (набор от взаимно изключващи се събития), приемаща следните стойности: на 1, на 2, … , прин. Формулата на Bayes ви позволява да намерите задната вероятност на дадена хипотеза хазпри настъпване на събитие y j. Числителят е произведението на предишната вероятност на хипотезата хаз – P(xаз) върху вероятността за настъпване на събитие y j, ако хипотезата е вярна хаз – R(y j|xаз). Знаменателят е сумата от произведенията на същото като в числителя, но за всички хипотези. Ако изчислим знаменателя, получаваме общата вероятност за настъпване на събитието прий(ако някоя от хипотезите е вярна) – R(y j) (както във формули 1–3).

Още веднъж за показанията. Събитие y jпредоставя допълнителна информация, която ви позволява да преразгледате предишната вероятност на хипотезата хаз. Доказателствена сила – – съдържа в числителя вероятността за настъпване на събитието y j, ако хипотезата е вярна хаз. Знаменателят е общата вероятност за настъпване на събитието. прий(или вероятността от настъпване на събитие прийосреднено за всички хипотези). прийпо-горе за хипотеза хаз, отколкото средното за всички хипотези, тогава доказателствата играят в ръцете на хипотезата хаз, увеличавайки неговата последна вероятност R(y j|xаз). Ако вероятността за настъпване на събитие прийпо-долу за хипотеза хазот средното за всички хипотези, тогава доказателствата намаляват последващата вероятност R(y j|xаз) Захипотези хаз. Ако вероятността за настъпване на събитие прийза хипотеза хазе същото като средното за всички хипотези, тогава доказателствата не променят последващата вероятност R(y j|xаз) Захипотези хаз.

Ето няколко примера, които се надявам да подсилят разбирането ви за формулата на Бейс.

Задача 2. Двама стрелци независимо стрелят по една и съща мишена, като всеки стреля по един изстрел. Вероятността за попадение в целта за първия стрелец е 0,8, за втория - 0,4. След стрелбата е открита една дупка в мишената. Намерете вероятността тази дупка да принадлежи на първия стрелец. .

Задача 3. Обектът, който се наблюдава, може да бъде в едно от двете състояния: H 1 = (функционира) и H 2 = (не функционира). Предишните вероятности на тези състояния са P(H 1) = 0,7, P(H 2) = 0,3. Има два източника на информация, които предоставят противоречива информация за състоянието на обекта; първият източник съобщава, че обектът не функционира, вторият - че функционира. Известно е, че първият източник дава вярна информация с вероятност 0,9, а с вероятност 0,1 - невярна информация. Вторият източник е по-малко надежден: той предоставя правилна информация с вероятност 0,7 и невярна информация с вероятност 0,3. Намерете постериорните вероятности на хипотезите. .

Задачи 1–3 са взети от учебника на Е. С. Венцел, Л. А. Овчаров. Теория на вероятностите и нейните инженерни приложения, раздел 2.6 Теорема за хипотеза (формула на Байс).

Задача 4 взета от книгата, раздел 4.3 Теорема на Байс.

ИНФОРМАЦИОННИ ТЕХНОЛОГИИ, КОМПЮТРИ И УПРАВЛЕНИЕ

За приложимостта на формулата на Бейс

DOI 10.12737/16076

А. И. Долгов **

1 Акционерно дружество "Конструкторско бюро за радиоконтрол на системите за управление, навигация и комуникация", Ростов на Дон, Руска федерация

За приложимостта на формулата на Байес*** А. И. Долгов1**

1 „Конструкторско бюро за мониторинг на системи за управление, навигация и комуникация” АД, Ростов на Дон, Руска федерация

Обект на това изследване е формулата на Байс. Целта на тази работа е да анализира и разшири обхвата на приложение на формулата. Основната задача е да се проучат публикации, посветени на този проблем, което позволи да се идентифицират недостатъци в използването на формулата на Bayes, водещи до неправилни резултати. Следващата задача е да се конструират модификации на формулата на Bayes, които вземат предвид различни единични доказателства и да получат правилни резултати. И накрая, използвайки примера на конкретни изходни данни, неправилните резултати, получени с помощта на формулата на Bayes, се сравняват с правилните резултати, изчислени с помощта на предложените модификации. За провеждане на изследването са използвани два метода. Първо, беше извършен анализ на принципите за конструиране на известни изрази, използвани за записване на формулата на Байс и нейните модификации. Второ, беше извършена сравнителна оценка на резултатите (включително количествена). Предложените модификации осигуряват по-широко приложение на формулата на Байс в теорията и практиката, включително при решаване на приложни задачи.

Ключови думи: условни вероятности, непоследователни хипотези, съвместими и несъвместими доказателства, нормализация.

Формулата на Bayes" е обект на изследване. Целта на работата е да се анализира приложението на формулата и да се разшири обхватът на нейната приложимост. Проблемът с първи приоритет включва идентифицирането на недостатъците на формулата на Bayes въз основа на проучване на съответните публикации, водещи до неправилни резултати. Следващата задача е да се конструират модификации на формулата на Bayes, за да се осигури отчитане на различни единични индикации за получаване на правилни резултати. И накрая, неправилните резултати, получени с прилагането на формулата на Bayes, се сравняват с правилните резултати, изчислени с помощта на предложени модификации на формулата чрез примера на конкретните изходни данни. В проучванията се използват два метода. Първо се извършва анализ на принципите на конструиране на известните изрази, използвани за записване на байесовата формула и нейните модификации. На второ място се извършва сравнителна оценка на резултатите (включително количествена). Предложените модификации осигуряват по-широко приложение на формулата на Байс както в теорията, така и в практиката, включително решаването на приложните проблеми.

Ключови думи: условни вероятности, несъвместими хипотези, съвместими и несъвместими индикации, нормализиране.

Въведение. Формулата на Байс все повече се използва в теорията и практиката, включително при решаване на приложни задачи с помощта на компютърни технологии. Използването на взаимно независими изчислителни процедури позволява тази формула да се използва особено ефективно при решаване на проблеми на многопроцесорни изчислителни системи, тъй като в този случай паралелната реализация се извършва на нивото на общата верига и при добавяне на следващия алгоритъм или клас проблеми няма нужда да работите отново върху паралелизиране.

Предметът на това изследване е приложимостта на формулата на Bayes за сравнителна оценка на последващите условни вероятности на непоследователни хипотези при различни единични доказателства. Както показва анализът, в такива случаи нормализираните вероятности за несъвместими комбинирани събития, принадлежащи на

S X<и ч и

Е eö И Е X X<и H

„Работата е извършена като част от инициативен изследователски проект.

**Електронна поща: [имейл защитен]

„Изследването се извършва в рамките на независима научноизследователска и развойна дейност.

съответстващи на различни пълни групи от събития. В същото време сравнените резултати се оказват неадекватни на реалните статистически данни. Това се дължи на следните фактори:

Използва се неправилна нормализация;

Наличието или отсъствието на пресичане на взетите под внимание доказателства не се взема предвид.

За да се отстранят установените недостатъци, се идентифицират случаи на приложимост на формулата на Бейс. Ако посочената формула не е приложима, проблемът с конструирането на нейната модификация се решава, като се гарантира, че се вземат предвид различни единични доказателства и се получават правилни резултати. Използвайки конкретни изходни данни като пример, беше извършена сравнителна оценка на резултатите:

Неправилно - получено по формулата на Байс;

Правилно - изчислено с помощта на предложената модификация.

Първоначални разпоредби. Изявленията, посочени по-долу, ще се основават на принципа за запазване на вероятностните съотношения: „Правилната обработка на вероятностите за събития е осъществима само с нормализиране с помощта на един общ нормализиращ делител, който гарантира, че съотношенията на нормализираните вероятности са равни на съотношенията на съответните нормализирани вероятности .” Този принцип представлява субективната основа на теорията на вероятностите, но не е правилно отразен в съвременната учебна и научно-техническа литература.

Ако този принцип бъде нарушен, информацията за степента на вероятност на разглежданите събития се изкривява. Резултатите и решенията, взети на базата на изкривена информация, се оказват неадекватни на реалните статистически данни.

Тази статия ще използва следните концепции:

Елементарно събитие е събитие, което не се дели на елементи;

Комбинирано събитие - събитие, представляващо една или друга комбинация от елементарни събития;

Съвместими събития са събития, които в някои случаи на сравнителна оценка на техните вероятности могат да бъдат несъвместими, а в други случаи съвместими;

Несъвместимите събития са събития, които са несъвместими във всички случаи.

Съгласно теоремата за умножение на вероятностите, вероятността P (I ^E) от произведението на елементарни събития I ^ и

E се изчислява като произведение на вероятностите P(Ik E) = P(E)P(I^E) . В това отношение често се използва формулата на Бейс

се записва във формата P(Ik\E) =---, описвайки дефиницията на задните условни вероятности

P(I^E) хипотези Ik (k = 1,...n), базирани на нормализирането на априорни вероятности P(I^E) на взетите под внимание комбинирани несъвместими събития I до E. Всяко от тези събития представлява продукт, чиито фактори са една от разглежданите хипотези и едно разглеждано доказателство. В същото време обмисляме всичко

възможни събития IKE (k = 1,...n) образуват пълна група IKE от несъвместими комбинирани събития, поради

с които техните вероятности P(Ik E) трябва да се нормализират, като се вземе предвид общата вероятностна формула, според която

рояк P(E) = 2 P(Ik)P(E\Ik). Следователно формулата на Бейс най-често се записва в най-често използваната форма:

R(Ik) R(EIk)

P(Ik\E) = -. (1)

^ катион на формулата на Бейс.

th Анализ на характеристиките на конструирането на формулата на Bayes, насочена към решаване на приложни проблеми, както и примери

„и практическото му приложение ни позволяват да направим важно заключение относно избора на пълна група комбинирани събития, сравнени според степента на вероятност (всяко от които е продукт на две елементарни събития - една от хипотезите и доказателствата, взети в сметка). Такъв избор се прави субективно от лицето, вземащо решение, въз основа на обективни входни данни, присъщи на типичните ситуационни условия: видовете и броя на хипотезите, които се оценяват, и конкретно взетите предвид доказателствата.

Несравними вероятности на хипотези при еднократно противоречиво доказателство. Формулата на Bayes традиционно се използва в случай на определяне на апостериорни условни вероятности, които не са сравними по степен на възможност.

вероятности на хипотези H^ дадени единични несъвместими доказателства, всяко от които може да се „появи

само в комбинация с някоя от тези хипотези." В този случай се избират пълни групи и HkE, комбинирани

къпани събития под формата на продукти, чиито фактори са едно от доказателствата c. (1=1,...,t) и едно

от n разглеждани хипотези.

Формулата на Бейс се използва за сравнителна оценка на вероятностите от комбинирани събития на всяка такава пълна група, която се различава от другите пълни групи не само по взетите предвид доказателства e, но и в общия случай по видовете хипотези H ^ и (или) техният брой n (вижте например)

RNkY = P(Hk) P(eH)

% Р(Нк) Р(Эг\Нк) к = 1

В специалния случай с n = 2

RNk\E,~ P(Hk) P(EN)

% Р(Нк) Р(Э,\Н к) к = 1

и получените резултати са правилни, поради принципа на запазване на вероятностните съотношения:

P(H1E,) _ P(H 1)P(E,\H1) / P(H2) P(E,\H2) = P(H 1) P(E,\H1)

Р(Н 2= % РШ1!) РЭ,\Н0 % ^) РЭ,\Н) "Р(Н 2> 2>"

Субективността на избора на пълна група от комбинирани събития в сравнение със степента на възможност (с

един или друг модифициран от елементарни събития) ви позволява да изберете пълна група от събития и Hk E ■ с

отрицание на елементарното събитие E ■ () и напишете формулата на Бейс (1 = 1,...,t), както следва:

P(Hk\E) -=-RNSh±.

% P(Hk)P(E,Hk)

Тази формула също е приложима и дава възможност да се получат правилни резултати, ако се изчисли

нормализираните вероятности се сравняват при различни разглеждани хипотези, но не и при различни доказателства.

дела. ¡^

Сравними вероятности на хипотези при едно непоследователно доказателство. Съдейки по известните публикации

се използва за сравнителна оценка на последващи условни вероятности на хипотези за различни единични доказателства.

дела. В същото време не се обръща внимание на следния факт. В тези случаи се сравняват нормализираните ^ вероятности на несъвместими (несъвместими) комбинирани събития, принадлежащи към различни пълни групи от n събития. В този случай обаче формулата на Bayes не е приложима, тъй като се сравняват комбинирани събития, които не са включени в една пълна група, нормализирането на вероятностите за което се извършва с помощта на различни n нормализиращи делители. Нормализираните вероятности от несъвместими (несъвместими) комбинирани събития могат да се сравняват само ако принадлежат към една и съща пълна група от събития и са нормализирани ¡3 с помощта на общ делител, равен на сумата от вероятностите на всички нормализирани събития, включени в пълния §

Като цяло, следното може да се счита за несъвместимо доказателство:

Две доказателства (например доказателства и тяхното отричане); ^

Три доказателства (например в игрална ситуация има печалба, загуба и равенство); ^

Четири сертификата (по-специално в спорта, победа, загуба, равенство и преиграване) и др. ^

Нека разгледаме доста прост пример (съответстващ на дадения пример) за използване на формулата на Бейс ^ за определяне на задните условни вероятности на хипотезата H ^ за две несъвместими събития в

под формата на доказателство L]- и неговото отричане L]

P(H,k) - ^. ^ P(A^k", (2)

] E R(Hk> R(A]\vk> k - 1

■ _ P(HkA ]) P(Hk> P(A ]\nc>

P(H, \A,) ----k-]-. (3)

V k\L]> P(A> p

] E R(Hk) R(A]\Hk) до -1

В случаите (2) и (3) субективно избраните пълни групи се сравняват според степента на възможност за ком-

групираните събития са съответно наборите и H към A и и H към A. Това е случаят, когато формулата

k-1 k ] k-1 k ]

Bayes не е приложим, тъй като е нарушен принципът на запазване на вероятностните съотношения - не се спазва равенството на съотношенията на нормализираните вероятности към съотношенията на съответните нормализирани вероятности:

P(N до A]] P(Nk) P(A]\Nk) / P(Nk) P(A]\Nk) P(Nk) P(A] Nk)

P(Nk E P(Nk) P(A]\Nk)/ E P(Nk) P(A]\Nk) P(Nk) P(A] Nk)

k - 1 /k - 1 Съгласно принципа за запазване на вероятностните съотношения, правилната обработка на вероятностите за събития е възможна само при нормализиране с помощта на един общ нормализиращ делител, равен на сумата от всички сравнени нормализирани изрази. Ето защо

E R(Hk)R(A]\Hk) + E R(Hk)R(A]\Hk) - E R(Hk)[P(A]\Hk) + P(Hk) P(A]\Hk )] - EP(Hk) - 1. до -1 до -1 до -1 до -1

По този начин се разкрива фактът, че има разновидности на формулата на Бейс, които се различават от

известен с липсата на нормализиращ делител:

А,) - Р(Н) Р(А]\Нк), Р(Нк А,) - Р(Н) Р(А, Нк). (4)

J към I ■> към

В този случай се наблюдава равенството на съотношенията на нормализираните вероятности към съотношенията на съответните нормализирани вероятности:

t^A^ P(Hk) P(A]\Hk)

A,) R(N k) R(A,Hk)

Въз основа на субективния избор на неконвенционално записани пълни групи от несъвместими комбинирани събития е възможно да се увеличи броят на модификациите на формулата на Bayes, включително доказателства, както и определен брой от техните отрицания. Например най-пълната група от комбинирани събития

и и Hk /"./ ^ и и Hk Yo\ съответства (като се вземе предвид липсата на нормализиращ делител) модификация на формулата; =1 A"=1 ; =1 байесов ly

Р(Нк\~) - Р(Н к) ПЁ^^^

където елементарно събитие под формата на доказателство E\ e II II / "/ е един от елементите на посочената множественост

o При липса на отричане на доказателства, т.е. когато Ё\ = // e и /"./,

^ P(H\E) P(Hk) P(E,\Hk)

E R(Hk) R(E\Hk) k - 1

По този начин, модификация на формулата на Bayes, предназначена да определи условните вероятности на хипотези, сравними по степен на възможност при едно несъвместимо доказателство, изглежда по следния начин. Числителят съдържа нормализираната вероятност за едно от комбинираните несъвместими събития, които образуват пълна група, изразена като произведение на априорни вероятности, а знаменателят съдържа сумата от всички

нормализирани вероятности. В този случай се спазва принципът на поддържане на вероятностните съотношения - и полученият резултат е правилен.

Вероятности на хипотези при еднократно последователно доказателство. Формулите на Bayes традиционно се използват за определяне на сравними постериорни условни вероятности на хипотези Hk (k = 1,...,n), дадени на едно от няколкото считани съвместими доказателства EL (1 = 1,...,m). По-специално (вж

например и ), когато се определят задните условни вероятности P(H 1E^) и P(H 1 E2) за всяко от двете съвместими доказателства E1 и E2, се използват формули от вида:

P(H 1) PE\H1) P(Hj) P(E2Hj) P(H J E1) = --1- и P(H J E 2) =--1-. (5)

I P(Hk) PE\Hk) I P(Hk) P(E2 Hk)

k = 1 k = 1 Моля, имайте предвид, че това е друг случай, при който формулата на Bayes не е приложима. Освен това в този случай трябва да се премахнат два недостатъка:

Илюстрираното нормализиране на вероятностите за комбинирани събития е неправилно, поради факта, че разглежданите събития принадлежат към различни пълни групи;

Символичните записи на комбинираните събития HkEx и HkE2 не отразяват факта, че взетите под внимание доказателства E x и E 2 са съвместими.

За да се елиминира последният недостатък, може да се използва по-подробен запис на комбинирани събития, като се вземе предвид фактът, че съвместимите доказателства E1 и E2 в някои случаи може да са несъвместими, а в други съвместими:

HkE1 = HkE1 E2 и HkE2 = HkE 1E2+HkE1 E2, където E1 и E 2 са доказателства, противоположни на E1 и E 2.

Очевидно в такива случаи произведението на събитията Hk E1E2 се взема предвид два пъти. Освен това би могло да се вземе предвид отново отделно, но това не се случва. Факт е, че в разглежданата ситуация оценяваната ситуация се влияе от три вероятни несъвместими комбинирани събития: HkE1E2, HkE 1E2 и

Hk E1E2. В същото време вземащият решение се интересува само от оценката на степента на възможност

две несъвместими комбинирани събития: HkE1 E2 и HkE 1E2, което съответства на разглеждане само на g

единични сертификати. ¡Ts

По този начин, когато се конструира модификация на формулата на Бейс за определяне на апостериорни условни стойности,

Вероятностите на хипотези с едно съвместимо доказателство трябва да се основават на следното. Лицето, което прие- ^

вземайки решение, се интересува от какъв вид елементарно събитие представлява едно или друго доказателство

разглежданите числа действително са се случили при определени условия. Ако друго елементарно събитие се случи в К

под формата на единен сертификат, се изисква преразглеждане на решението въз основа на резултатите от сравнителна оценка

последващи условни вероятности на хипотези с задължително отчитане на други условия, влияещи върху реалната сума

инсталация 3

Нека въведем следното обозначение: HkE- за едно (и само едно) несъвместимо комбинирано ко-^

съществуване, състоящо се в това, че от разглежданите m > 1 елементарни събития Ei (i = 1,...,m), заедно с хипотезата “

Hk е настъпило едно елементарно събитие Ex и не са настъпили други елементарни събития. се"

В най-простия случай се разглеждат две единични несъвместими доказателства. Ако се потвърди

едно от тях се очаква, условната вероятност за доказателство в общ вид се изразява с формулата l

P(Hk E-) = P(Ei\Hk) -P(EjE^Hk) = P(Ei\Hk) -P(M^Hk)P(M^Hk) , i = 1, -2 (6) ж

Валидността на формулата може да се види ясно (фиг. 1).

Ориз. 1. Геометрична интерпретация на изчислението на P(Hk E-) за / = 1,...,2 С условно независими доказателства

P(K1K2\Hk) = p(E\Hk)P(E2\Hk),

следователно, като се вземе предвид (6)

P(Hk E-) = PE Nk) - P(E1 Nk) P(E21Hk) , = 1,.,2. (7)

По подобен начин вероятността P(HkE-) за едно от три (/ = 1,...,3) несъвместими събития HkE^ се изразява с формулата

Например, когато i = 1:

p(HkEl) = P(Ei\Hk)-[S P(Ei\Hk)P(Ej\Hk)] + P(EiE2E3Hk)

p(HkE-) = P(E7|Hk)- P(E]E^Hk)- P(E7EjHk) + P(E]E2E3\Hk)

Валидността на тази формула е ясно потвърдена от геометричната интерпретация, представена в

Ориз. 2. Геометрична интерпретация на изчислението на P(Hk E-) за / = 1,...,3

С помощта на метода на математическата индукция е възможно да се докаже общата формула за вероятността P(Hk E-) за произволно количество доказателства e, 0=1,...,t):

P(HkE-) = P(E,Hk)- t RE\Hk) P(E]\Hk) + 1 P(E\Hk) P(E]\Hk) P(E^Hk) +■■■ + (-1)

] = 1(] * 0 ],1 * 1

Използвайки теоремата за умножение на вероятностите, записваме условната вероятност P(HkE~-) в две форми:

^ от което следва, че

P(Hk E -) = P(H k) P(E-|Hk) = P(E-) P(Hk

E-)= P(HkE-) "" P(E-)

Използвайки формулата за пълна вероятност P(Ei) = S P(H£) P(Ei Hk) се оказва, че

E-) = P(HkET)

2 P(HkE-) k = 1

Замествайки изрази за P(HkE-) под формата на дясната страна на (8) в получената формула, получаваме окончателния вид на формулата за определяне на задните условни вероятности на хипотези H^ (k = 1,... ,n) за едно от няколкото считани за несъвместими единични доказателства: (E^\Hk)

P(Nk)[P(E,\Nk) - 2 P(E,\Nk) P(Er k) +...+ (-1)t-1 P(P P(Erk)] P(N, E ~) =-] = 1(] * ■----(9)

до 1 p t t t

2 P(N k) 2 [P(E,\N k) - 2 P(EgHk) P(E^Hk) + ...+ (-1)m-1 P(P P (Ep k)]

k=1 , = 1 ) = 1() *,) ■! =1

Сравнителни оценки. Разгледани са доста прости, но илюстративни примери, ограничени до анализ на изчислени последващи условни вероятности на една от двете хипотези, дадени две единични доказателства. 1. Вероятности на хипотези, дадени на противоречиви единични доказателства. Нека сравним резултатите, получени с помощта на формулите на Бейс (2) и (3), като използваме примера на две доказателства L. = L и L. = L с първоначалните данни:

Р(Н1 = 0,7; Р(Н2) = 0,3; Р(Л| Н^ = 0,1; Р(Л\н 1) = 0,9; Р(Л\Н2) = 0,6 ; Р(А\Н2) = 0,4. В разглежданите примери с хипотеза H1 традиционните формули (2) и (3) водят до следните резултати:

R(N.) R(A\No 0 07

P(N, L) =-- 11 = - = 0,28,

2 Р(Н к) Р(А\Нк) к = 1

R(N L R(A\N 1) 0 63

P(N, L) =-- 11 = - = 0,84,

2 Р(Нк) Р(А\Нк) к = 1

образуващи разделяния P(H 1 A) = P(H^ P(L\Hp = 0,07; P(H^ A) = P(H1) P(l|H^ = 0,63. Измененията на предложените формули относно:

Р<Н)Р(АНА-Р(А|Н1) _ 0,07

и с предложените формули (4), които нямат нормализиращи делители: „и

По този начин, в случай на прилагане на предложените формули, съотношението на нормализираните вероятности е равно на съотношението на нормализираните вероятности: K

gt f P(N 1) P(A\N 1) A11 |

При използване на известни формули със същото съотношение -;-=-= 0,11 нормализиран veron

Р(Н 1) Р(А\Н 1) «§

вероятности, посочени в числителите, съотношението на получените нормализирани вероятности: 2

Р(Н 1) Р(А\Н 1) Р(А\Н 1) 0,63

P(N1 L) = 0,28 P(N1 L) = 0,84

Тоест принципът за запазване на вероятностните съотношения не се спазва и се получават неверни резултати. В същото време £

в случай на използване на известни формули, стойността на относителното отклонение на съотношението (11) на задните условни вероятности на хипотезите от правилните резултати (10) се оказва много значима, тъй като възлиза на

°.33 - °.P x 100 = 242%.. I

2. Вероятности на хипотези при дадени съвместими единични доказателства. Нека сравним резултатите, получени с помощта на формулите на Бейс (5) и конструираната правилна модификация (9), като използваме следните начални данни: ^

P(H1 = 0,7; P(H2) = 0,3; P(E1H1) = 0,4; P(E2H1) = 0,8; P(E1\H2) = 0,7; P(E^ H2) = 0,2,113

В разгледаните примери с хипотеза H 2 в случай на използване на традиционни формули (5):

P(H 2) P(E1 H 2) Q, 21

P(H 2 E1) = -2-!-2- = - = Q,429,

I p(Hk) p(El Hk) k = 1

P(H 2) P(E 2 H 2) Q,Q6

P(H2E2) = -2-- = - = 0,097.

I P(Hk) P(E 2 Hk) k = 1

В случай на прилагане на предложената формула (9), като се вземе предвид (7) P(H

Р(Н2) 0,168

E.) ----- 0,291,

Z P(Hk) Z "

Р(Н2) 0,018

E0) ----- 0,031.

Z P(Hk) Z k - 1 i - 1

При използване на предложените правилни формули, поради същите знаменатели, отношението P(H2) -

Нормализираните вероятности, посочени в числителите, са равни на отношението

P(H2)

нормализирани вероятности:

Тоест, спазва се принципът на запазване на вероятностните отношения.

Въпреки това, в случай на използване на известни формули със съотношението на нормализираните вероятности, посочени в числителите

P(H 2) P(E1\H 2) _ 0,21 _3 5 P(H 2)P(E 2 H 2) 0,06,

съотношение на нормализираните вероятности:

P(H 2 = 0,429 = 4,423. (13)

P(H2\e2) 0,097

Тоест принципът за поддържане на вероятностните съотношения, както преди, не се спазва. Освен това, в случай на използване на известни формули, стойността на относителното отклонение на съотношението (13) на задните условни вероятности на хипотези от правилните резултати (12) също се оказва много значима:

9,387 4,423 x 100 = 52,9%.

Заключение. Анализът на конструкцията на специфични формулни отношения, които прилагат формулата на Байс и нейните модификации, предложени за решаване на практически проблеми, ни позволява да заявим следното. Пълната група от сравними комбинирани събития може да бъде избрана субективно от вземащия решение. Този избор се основава на взетите под внимание обективни изходни данни, характерни за типична среда (конкретни видове и брой елементарни събития - оценени хипотези и доказателства). Практически интерес представлява субективният избор на други варианти за цялата съпоставена по степен на възможност група.

ност на комбинираните събития - по този начин се осигурява значително разнообразие от формулни връзки при конструирането на нетрадиционни варианти на модификации на формулата на Бейс. Това от своя страна може да бъде основа за подобряване на математическата поддръжка на софтуерната реализация, както и разширяване на обхвата на приложение на нови формулни отношения за решаване на приложни задачи.

Библиография

1. Гнеденко, Б. В. Елементарно въведение в теорията на вероятностите / Б. В. Гнеденко, А. Я. Хинчин. - 114 New York: Dover Publications, 1962. - 144 r.

2. Венцел, Е. С. Теория на вероятностите / Е. С. Венцел. - 10-то изд., изтрито. - Москва: Висше училище, 2006. - 575 с.

3. Андронов. А. М., Теория на вероятностите и математическа статистика / А. М. Андронов, Е. А. Копитов, Л. Я. Гринглаз. - Санкт Петербург: Питър, 2004. - 481 с.

4. Змитрович, А. И. Интелигентни информационни системи / А. И. Змитрович. - Минск: TetraSystems, 1997. - 496 с.

5. Черноруцки, И. Г. Методи за вземане на решения / И. Г. Черноруцки. - Санкт Петербург: BHV-Петербург, 2005. - 416 с.

6. Naylor, C.-M. Изградете своя собствена експертна система / C.-M. Нейлър. - Chichester: John Wiley & Sons, 1987. - 289 p.

7. Романов, В. П. Интелигентни информационни системи в икономиката / В. П. Романов. - 2-ро изд., изтрито.

Москва: Изпит, 2007. - 496 с.

8. Икономическа ефективност и конкурентоспособност / Д. Ю. Муромцев [и др.]. - Тамбов: Издателство Тамб. състояние техн. университет, 2007.- 96 с.

9. Долгов, А. И. Правилни модификации на формулата на Байс за паралелно програмиране / А. И. Долгов // Суперкомпютърни технологии: материали на 3-то Всеруско. научно-техн конф. - Ростов на Дон. - 2014.- Т. 1 - С. 122-126.

10. Долгов, А. И. За коректността на модификациите на формулата на Бейс / А. И. Долгов // Вестник Дон. състояние техн. un-ta.

2014. - Т. 14, № 3 (78). - С. 13-20.

1. Гнеденко, Б.В., Хинчин, А.Я. Елементарно въведение в теорията на вероятностите. Ню Йорк: Dover Publications, 1962, 144 r.

2. Венцел, Е.С. Теория на вероятностите. 10-то изд., преизп. Москва: Высшая школа, 2006, 575 с. (на руски).

3. Андронов, A.M., Kopytov, E.A., Gringlaz, L.Y. Теория вероятностей и математическа статистика. Санкт Петербург: Питер, 2004, 481 с. (на руски).

4. Змитрович, А.1. Интеллектуальные информационные системы. Минск: ТетраСистемс, 1997, 496 с. (на руски).

5. Черноруцкий, И.Г. Metody prinyatiya решение. СПб.: БХВ-Петербург, 2005, 416 с. (на руски).

6. Naylor, C.-M. Изградете своя собствена експертна система. Чичестър: John Wiley & Sons, 1987, 289 p.

7. Романов, В.П. Интеллектуальные информационные системы в икономиката. 2-ро изд., преизпр. Москва: Экзамен, 2007, 496 с. (на руски).

8. Muromtsev, D.Y., et al. Икономическа ефективност" и конкурентоспособност". Тамбов: Изд-во Тамб. гос. техн. ун-та, 2007, 96 с. (на руски). И.Б.

9. Долгов, А1. Korrektnye modifikatsii formuly Bayesa dlya parallel"nogo programmirovaniya. Superkomp"yuternye tehnologii: mat-ly 3-y vseros. науч-техн. конф. Ростов на Дон, 2014, кн. 1, стр. 122-126 (на руски). ^

10. Долгов, А1. O коректности modifikatsiy formully Bayesa. ↑ Вестник на ДСТУ, 2014, кн. 14, бр. 3 (78), стр. 13-20 (на руски език). *

Кой е Байс? и какво общо има с управлението? - може да последва напълно справедлив въпрос. Засега повярвайте на думата ми: това е много важно!.. и интересно (поне за мен).

Каква е парадигмата, в която работят повечето мениджъри: Ако наблюдавам нещо, какви заключения мога да направя от него? Какво учи Байс: какво наистина трябва да има, за да наблюдавам това нещо? Точно така се развиват всички науки и той пише за това (цитирам по памет): човек, който няма теория в главата си, ще се отклонява от една идея към друга под влияние на различни събития (наблюдения). Не напразно казват: няма нищо по-практично от добрата теория.

Пример от практиката. Моят подчинен прави грешка, а моят колега (ръководител на друг отдел) казва, че ще е необходимо да се упражни управленско влияние върху небрежния служител (с други думи, да се накаже/порицае). И знам, че този служител извършва 4-5 хиляди еднотипни операции на месец и през това време прави не повече от 10 грешки. Усещате ли разликата в парадигмата? Моят колега реагира на наблюдението, а аз предварително знам, че служителят прави определен брой грешки, така че друга не е повлияла на това знание... Сега, ако в края на месеца се окаже, че има, например 15 такива грешки!.. Това вече ще е повод за проучване на причините за неспазване на стандартите.

Убедени ли сте във важността на байесовия подход? Заинтригуван? Надявам се". И сега мухата в мехлема. За съжаление идеите на Бейс рядко се дават веднага. Откровено нямах късмет, тъй като се запознах с тези идеи чрез популярна литература, след прочитането на която останаха много въпроси. Когато планирах да напиша бележка, събрах всичко, което преди това съм си водил бележки за Байс, и също проучих написаното в Интернет. Представям на вашето внимание моето най-добро предположение по темата. Въведение в байесовата вероятност.

Извеждане на теоремата на Бейс

Да разгледаме следния експеримент: назоваваме произволно число, лежащо върху отсечката, и записваме кога това число е например между 0,1 и 0,4 (фиг. 1а). Вероятността за това събитие е равна на съотношението на дължината на сегмента към общата дължина на сегмента, при условие че появата на числа върху сегмента еднакво вероятно. Математически това може да се напише стр(0,1 <= х <= 0,4) = 0,3, или кратко Р(х) = 0,3, където Р- вероятност, х– случайна променлива в диапазона, х– случайна величина в диапазона . Това означава, че вероятността да уцелите сегмента е 30%.

Ориз. 1. Графична интерпретация на вероятностите

Сега разгледайте квадрата x (фиг. 1b). Да кажем, че трябва да назовем двойки числа ( х, г), всяко от които е по-голямо от нула и по-малко от едно. Вероятността, че х(първо число) ще бъде в рамките на сегмента (синя зона 1), равен на съотношението на площта на синята зона към площта на целия квадрат, т.е. (0,4 – 0,1) * (1 – 0 ) / (1 * 1) = 0, 3, тоест същите 30%. Вероятността, че гразположен вътре в сегмента (зелена зона 2) е равен на съотношението на площта на зелената зона към площта на целия квадрат стр(0,5 <= y <= 0,7) = 0,2, или кратко Р(Y) = 0,2.

Какво можете да научите за ценностите в същото време? хИ г. Например, каква е вероятността в същото време хИ гса в съответните дадени сегменти? За да направите това, трябва да изчислите съотношението на площта на зона 3 (пресечната точка на зелените и сините ивици) към площта на целия квадрат: стр(х, Y) = (0,4 – 0,1) * (0,7 – 0,5) / (1 * 1) = 0,06.

Сега да кажем, че искаме да знаем каква е вероятността за това ге в интервала ако хвече е в диапазона. Тоест всъщност имаме филтър и когато извикваме двойки ( х, г), тогава незабавно отхвърляме онези двойки, които не отговарят на условието за намиране хв даден интервал, а след това от филтрираните двойки броим тези, за които гудовлетворява нашето условие и разглежда вероятността като съотношението на броя двойки, за които глежи в горния сегмент към общия брой филтрирани двойки (т.е., за които хлежи в сегмента). Можем да запишем тази вероятност като стр(Y|х при худари диапазона." Очевидно тази вероятност е равна на съотношението на площта на зона 3 към площта на синята зона 1. Площта на зона 3 е (0,4 – 0,1) * (0,7 – 0,5) = 0,06, и площта на синята зона 1 ( 0,4 – 0,1) * (1 – 0) = 0,3, тогава съотношението им е 0,06 / 0,3 = 0,2. С други думи, вероятността за намиране гна сегмента при условие, че хпринадлежи към сегмента стр(Y|х) = 0,2.

В предишния параграф всъщност формулирахме идентичността: стр(Y|х) = стр(х, Y) / p( х). Той гласи: „вероятност от удар прив диапазона, при условие че худар в диапазона, равен на съотношението на вероятността за едновременно попадение хв диапазона и прикъм обхвата, към вероятността за попадение хв диапазона."

По аналогия разгледайте вероятността стр(х|Y). Обаждаме се на двойки ( х, г) и филтрирайте тези, за които глежи между 0,5 и 0,7, тогава вероятността, че хе в интервала при условие, че гпринадлежи на сегмента е равно на съотношението на площта на​​регион 3 към площта на​​​зеления регион 2: стр(х|Y) = стр(х, Y) / стр(Y).

Обърнете внимание, че вероятностите стр(х, Y) И стр(Y, X) са равни и двете са равни на съотношението на площта на зона 3 към площта на целия квадрат, но вероятностите стр(Y|х) И стр(х|Y) не е равно; докато вероятността стр(Y|х) е равно на съотношението на площта на област 3 към област 1 и стр(х|Y) – регион 3 към регион 2. Отбележете също, че стр(х, Y) често се означава като стр(х&Y).

Затова въведохме две дефиниции: стр(Y|х) = стр(х, Y) / p( х) И стр(х|Y) = стр(х, Y) / стр(Y)

Нека пренапишем тези равенства във формата: стр(х, Y) = стр(Y|х) * p( х) И стр(х, Y) = стр(х|Y) * стр(Y)

Тъй като левите страни са равни, десните страни са равни: стр(Y|х) * p( х) = стр(х|Y) * стр(Y)

Или можем да пренапишем последното равенство като:

Това е теоремата на Бейс!

Дали такива прости (почти тавтологични) трансформации наистина водят до страхотна теорема!? Не бързайте със заключенията. Нека да поговорим отново за това, което имаме. Имаше определена първоначална (априорна) вероятност Р(X), че случайната променлива хравномерно разпределен върху сегмента, попада в диапазона х. Възникна събитие Y, в резултат на което получихме задната вероятност на същата случайна променлива х: Р(X|Y) и тази вероятност се различава от Р(X) по коефициент. Събитие Yнаречени доказателства, повече или по-малко потвърждаващи или опровергаващи х. Този коефициент понякога се нарича доказателствена сила. Колкото по-силни са доказателствата, толкова повече фактът на наблюдение на Y променя предишната вероятност, толкова повече последващата вероятност се различава от предишната. Ако доказателствата са слаби, последващата вероятност е почти равна на предишната.

Формула на Байс за дискретни случайни променливи

В предишния раздел изведехме формулата на Байс за непрекъснати случайни променливи x и y, дефинирани на интервала. Нека разгледаме пример с дискретни случайни променливи, всяка от които приема две възможни стойности. По време на рутинни медицински прегледи е установено, че на четиридесетгодишна възраст 1% от жените страдат от рак на гърдата. 80% от жените с рак получават положителни резултати от мамография. 9,6% от здравите жени също получават положителни резултати от мамография. При прегледа жена в тази възрастова група е получила положителен мамографски резултат. Каква е вероятността тя наистина да има рак на гърдата?

Линията на разсъждение/изчисление е следната. От 1% пациенти с рак, мамографията ще даде 80% положителни резултати = 1% * 80% = 0,8%. От 99% от здравите жени мамографията ще даде 9,6% положителни резултати = 99% * 9,6% = 9,504%. Общо 10,304% (9,504% + 0,8%) с положителен мамографски резултат, само 0,8% са болни, а останалите 9,504% са здрави. По този начин вероятността жена с положителна мамография да има рак е 0,8% / 10,304% = 7,764%. Мислите ли, че 80% или нещо такова?

В нашия пример формулата на Bayes приема следната форма:

Нека отново да поговорим за „физическото“ значение на тази формула. х– случайна променлива (диагноза), приемаща стойности: X 1- болен и X 2– здрави; Y– случайна величина (резултат от измерване – мамография), приемаща стойности: Y 1- положителен резултат и Y2- отрицателен резултат; p(X 1)– вероятност за заболяване преди мамография (априорна вероятност) равна на 1%; R(Y 1 |х 1 ) – вероятността за положителен резултат, ако пациентът е болен (условна вероятност, тъй като трябва да бъде посочена в условията на задачата), равна на 80%; R(Y 1 |х 2 ) – вероятността за положителен резултат, ако пациентът е здрав (също условна вероятност) е 9,6%; p(X 2)– вероятността пациентът да е здрав преди мамография (априорна вероятност) е 99%; p(X 1|Y 1 ) – вероятността пациентът да е болен при положителен резултат от мамография (постериорна вероятност).

Може да се види, че последващата вероятност (това, което търсим) е пропорционална на предходната вероятност (първоначална) с малко по-сложен коефициент . Пак да подчертая. Според мен това е фундаментален аспект на байесовия подход. Измерване ( Y) добави известно количество информация към това, което беше първоначално налично (априори), което изясни нашите знания за обекта.

Примери

За да консолидирате преминатия материал, опитайте да решите няколко задачи.

Пример 1.Има 3 урни; в първата има 3 бели топки и 1 черна; във втория - 2 бели топки и 3 черни; в третата има 3 бели топки. Някой се приближава произволно до една от урните и изважда 1 топка от нея. Тази топка се оказа бяла. Намерете задните вероятности, че топката е изтеглена от 1-ва, 2-ра, 3-та урна.

Решение. Имаме три хипотези: H 1 = (избрана е първата урна), H 2 = (избрана е втората урна), H 3 = (избрана е третата урна). Тъй като урната е избрана на случаен принцип, априорните вероятности на хипотезите са равни: P(H 1) = P(H 2) = P(H 3) = 1/3.

В резултат на експеримента се появи събитието A = (от избраната урна беше изтеглена бяла топка). Условни вероятности за събитие A при хипотези H 1, H 2, H 3: P(A|H 1) = 3/4, P(A|H 2) = 2/5, P(A|H 3) = 1. Например, първото равенство гласи така: „вероятността да се изтегли бяла топка, ако бъде избрана първата урна, е 3/4 (тъй като в първата урна има 4 топки и 3 от тях са бели).“

Използвайки формулата на Бейс, намираме задните вероятности на хипотезите:

По този начин, в светлината на информацията за настъпването на събитие А, вероятностите на хипотезите се промениха: хипотеза H 3 стана най-вероятна, хипотеза H 2 стана най-малко вероятна.

Пример 2.Двама стрелци независимо стрелят по една и съща мишена, като всеки стреля по един изстрел. Вероятността за попадение в целта за първия стрелец е 0,8, за втория - 0,4. След стрелбата е открита една дупка в мишената. Намерете вероятността тази дупка да принадлежи на първия стрелец (Резултатът (двете дупки съвпадат) се отхвърля като пренебрежимо малко вероятен).

Решение. Преди експеримента са възможни следните хипотези: H 1 = (нито първата, нито втората стрела ще удари), H 2 = (и двете стрели ще ударят), H 3 - (първият стрелец ще удари, но вторият няма ), H 4 = (първият стрелец няма да уцели, а вторият ще уцели). Предишни вероятности на хипотези:

Р(Н1) = 0.2*0.6 = 0.12; Р(Н2) = 0,8*0,4 = 0,32; Р (Н 3) = 0,8 х 0,6 = 0,48; Р(Н4) = 0,2*0,4 = 0,08.

Условните вероятности на наблюдаваното събитие A = (има една дупка в целта) при тези хипотези са равни: P(A|H 1) = P(A|H 2) = 0; P(A|H 3) = P(A|H 4) = 1

След експеримента хипотезите H 1 и H 2 стават невъзможни, а задните вероятности на хипотезите H 3 и H 4 според формулата на Bayes ще бъдат:

Bayes срещу спам

Формулата на Bayes намери широко приложение при разработването на спам филтри. Да приемем, че искате да обучите компютър да определя кои имейли са спам. Ще продължим от речника и фразите, използвайки байесови оценки. Нека първо създадем пространство от хипотези. Нека имаме 2 хипотези по отношение на всяко писмо: H A е спам, H B не е спам, а нормално, необходимо писмо.

Първо, нека „обучим“ нашата бъдеща анти-спам система. Нека вземем всички букви, които имаме, и ги разделим на две „купчини“ по 10 букви всяка. Нека поставим спам имейли в единия и го наречем H A heap, в другия ще поставим необходимата кореспонденция и го наречем H B heap. Сега да видим: какви думи и фрази се намират в спам и необходими писма и с каква честота? Ще наречем тези думи и фрази доказателства и ще ги обозначим E 1 , E 2 ... Оказва се, че често използваните думи (например думите „като“, „ваш“) в купчините H A и H B се срещат приблизително с същата честота. По този начин присъствието на тези думи в писмо не ни казва нищо за това към коя купчина да го причислим (слабо доказателство). Нека присвоим на тези думи неутрален рейтинг на вероятността за „спам“, да кажем 0,5.

Нека фразата „разговорен английски“ се появява само в 10 писма и по-често в спам писма (например в 7 спам писма от всичките 10), отколкото в необходими (в 3 от 10). Нека дадем на тази фраза по-висока оценка за спам: 7/10 и по-ниска оценка за нормални имейли: 3/10. Обратно, оказа се, че думата „приятел“ се появява по-често с нормални букви (6 от 10). И тогава получихме кратко писмо: "Моят приятел! Как говориш английски?“. Нека се опитаме да оценим неговата „нежеланост“. Ще дадем общи оценки P(H A), P(H B) за принадлежността на буквата към всяка купчина, като използваме донякъде опростена формула на Бейс и нашите приблизителни оценки:

P(H A) = A/(A+B), Където A = p a1 *p a2 *…*p an , B = p b1 *p b2 *…*p b n = (1 – p a1)*(1 – p a2)*… *(1 – p an).

Таблица 1. Опростена (и непълна) оценка на Байс за писане.

По този начин нашето хипотетично писмо получи оценка за вероятност за принадлежност с акцент върху „спам“. Можем ли да решим да хвърлим писмото в една от купчините? Нека зададем прагове за вземане на решения:

• Ще приемем, че буквата принадлежи на купчината H i, ако P(H i) ≥ T.
• Една буква не принадлежи към купчината, ако P(H i) ≤ L.
• Ако L ≤ P(H i) ≤ T, тогава не може да се вземе решение.

Можете да вземете T = 0,95 и L = 0,05. Тъй като за въпросното писмо и 0.05< P(H A) < 0,95, и 0,05 < P(H В) < 0,95, то мы не сможем принять решение, куда отнести данное письмо: к спаму (H A) или к нужным письмам (H B). Можно ли улучшить оценку, используя больше информации?

да Нека изчислим резултата за всяко доказателство по различен начин, точно както всъщност предложи Байс. Нека бъде:

F a е общият брой спам имейли;

F ai е броят на буквите със сертификат азв купчина спам;

F b е общият брой необходими букви;

F bi е броят на буквите със сертификат азв куп необходими (релевантни) букви.

Тогава: p ai = F ai /F a, p bi = F bi /F b. P(H A) = A/(A+B), P(H B) = B/(A+B), Където A = p a1 *p a2 *…*p an , B = p b1 *p b2 *…*p b n

Моля, имайте предвид, че оценките на доказателствените думи p ai и p bi са станали обективни и могат да бъдат изчислени без човешка намеса.

Таблица 2. По-точна (но непълна) оценка на Bayes въз основа на налични функции от писмо

Получихме много категоричен резултат - с голямо предимство буквата може да се класифицира като правилната буква, тъй като P(H B) = 0.997 > T = 0.95. Защо се промени резултатът? Тъй като използвахме повече информация - взехме предвид броя на буквите във всяка от купчините и, между другото, определихме оценките p ai и p bi много по-правилно. Те бяха определени, както самият Бейс, чрез изчисляване на условни вероятности. С други думи, p a3 е вероятността думата „приятел“ да се появи в писмо, при условие че това писмо вече принадлежи към купчината спам H A . Резултатът не закъсня - изглежда, че можем да вземем решение с по-голяма сигурност.

Bayes срещу корпоративните измами

Интересно приложение на байесовия подход е описано от MAGNUS8.

Настоящият ми проект (IS за откриване на измама в производствено предприятие) използва формулата на Bayes за определяне на вероятността от измама (измама) при наличие/отсъствие на няколко факта, които косвено свидетелстват в полза на хипотезата за възможността за извършване на измама. Алгоритъмът е самообучаващ се (с обратна връзка), т.е. преизчислява своите коефициенти (условни вероятности) при реално потвърждаване или непотвърждаване на измама по време на проверка от службата за икономическа сигурност.

Вероятно си струва да се каже, че такива методи при проектирането на алгоритми изискват доста висока математическа култура на разработчика, т.к. най-малката грешка в извеждането и/или прилагането на изчислителните формули ще анулира и дискредитира целия метод. Вероятностните методи са особено предразположени към това, тъй като човешкото мислене не е адаптирано да работи с вероятностни категории и съответно няма „видимост“ и разбиране на „физическото значение“ на междинните и крайните вероятностни параметри. Това разбиране съществува само за основните концепции на теорията на вероятностите и тогава просто трябва много внимателно да комбинирате и извеждате сложни неща според законите на теорията на вероятностите - здравият разум вече няма да помогне за съставните обекти. Това, по-специално, е свързано с доста сериозни методологически битки, които се провеждат на страниците на съвременните книги по философия на вероятността, както и с голям брой софизми, парадокси и любопитни пъзели по тази тема.

Друг нюанс, с който трябваше да се сблъскам, е, че за съжаление почти всичко, дори повече или по-малко ПОЛЕЗНО НА ПРАКТИКАТА по тази тема, е написано на английски. В източниците на руски език има предимно само добре известна теория с демонстрационни примери само за най-примитивните случаи.

Напълно съм съгласна с последната забележка. Например Google, когато се опита да намери нещо като „книгата Bayesian Probability“, не даде нищо разбираемо. Вярно, той съобщи, че книга с байесова статистика е забранена в Китай. (Професорът по статистика Андрю Гелман съобщи в блога на Колумбийския университет, че книгата му, Анализ на данни с регресия и многостепенни/йерархични модели, е била забранена за публикуване в Китай. Издателят там съобщи, че „книгата не е одобрена от властите поради различни политически чувствителни материал в текст.") Чудя се дали подобна причина е довела до липсата на книги за байесовската вероятност в Русия?

Консерватизъм в обработката на информация от човека

Вероятностите определят степента на несигурност. Вероятността, както според Байс, така и според нашата интуиция, е просто число между нула и това, което представлява степента, в която донякъде идеализиран човек вярва, че твърдението е вярно. Причината, поради която човек е донякъде идеализиран, е, че сумата от неговите вероятности за две взаимно изключващи се събития трябва да е равна на неговата вероятност всяко от тях да се случи. Свойството на адитивност има такива последствия, че малко реални хора могат да се срещнат с всички тях.

Теоремата на Бейс е тривиално следствие от свойството адитивност, неоспоримо и съгласувано от всички вероятностни, байесови и други. Един от начините да напишете това е следният. Ако P(H A |D) е последващата вероятност, че хипотеза A е била след като е била наблюдавана дадена стойност D, P(H A) е нейната предишна вероятност преди да е била наблюдавана дадена стойност D, P(D|H A ) е вероятността, че a дадена стойност D ще се наблюдава, ако H A е вярно и P(D) е безусловната вероятност за дадена стойност D, тогава

(1) P(H A |D) = P(D|H A) * P(H A) / P(D)

P(D) е най-добре да се разглежда като нормализираща константа, караща последващите вероятности да се добавят до единство над изчерпателния набор от взаимно изключващи се хипотези, които се разглеждат. Ако трябва да се изчисли, може да бъде така:

Но по-често P(D) се елиминира, а не се изчислява. Удобен начин да се елиминира това е да се трансформира теоремата на Байс във форма на съотношение вероятност-коефициент.

Помислете за друга хипотеза, H B, която е взаимно изключваща се с H A, и променете мнението си за нея въз основа на същата дадена величина, която е променила мнението ви за H A. Теоремата на Байс казва, че

(2) P(H B |D) = P(D|H B) * P(H B) / P(D)

Сега нека разделим Уравнение 1 на Уравнение 2; резултатът ще бъде така:

където Ω 1 са последващите шансове в полза на H A до H B, Ω 0 са предходните шансове, а L е количеството, познато на статистиците като съотношението на вероятностите. Уравнение 3 е същата подходяща версия на теоремата на Байс като уравнение 1 и често е значително по-полезно, особено за експерименти, включващи хипотези. Байесистите твърдят, че теоремата на Байс е формално оптимално правило за това как да се преразгледат мненията в светлината на нови доказателства.

Интересуваме се да сравним идеалното поведение, дефинирано от теоремата на Байс, с действителното поведение на хората. За да ви дадем известна представа какво означава това, нека опитаме експеримент с вас като тестов субект. Тази чанта съдържа 1000 покер чипа. Имам две такива торби, едната съдържа 700 червени и 300 сини чипа, а другата съдържа 300 червени и 700 сини. Хвърлих монета, за да определя коя да използвам. Така че, ако нашите мнения са еднакви, текущата ви вероятност да получите чанта, съдържаща повече червени чипове, е 0,5. Сега правите произволен избор с връщане след всеки чип. В 12 чипа получавате 8 червени и 4 сини. Сега, въз основа на всичко, което знаете, каква е вероятността да получите чантата с най-много червени? Ясно е, че е по-висока от 0,5. Моля, не продължавайте да четете, докато не запишете резултата си.

Ако сте типичен участник в теста, резултатът ви пада в диапазона от 0,7 до 0,8. Ако обаче направим съответното изчисление, отговорът ще бъде 0,97. Наистина е много рядко човек, на когото преди това не е било показано влиянието на консерватизма, да стигне до толкова висока оценка, дори и да е бил запознат с теоремата на Бейс.

Ако делът на червените чипове в торбата е Р, тогава вероятността за получаване rчервени чипове и ( н -r) синьо в нмостри с връщане – p r (1–п)н-r. И така, в типичен експеримент с чанта и чипове за покер, ако нАозначава, че делът на червените чипове е r AИ нб– означава, че делът е Рб, тогава съотношението на вероятността:

Когато се прилага формулата на Bayes, човек трябва да вземе предвид само вероятността от действителното наблюдение, а не вероятностите от други наблюдения, които той може да е направил, но не е направил. Този принцип има широко значение за всички статистически и нестатистически приложения на теоремата на Байс; това е най-важният технически инструмент за Bayesian аргументи.

Байесовска революция

Вашите приятели и колеги говорят за нещо, наречено „Теорема на Байс“ или „Правило на Байс“, или нещо, наречено Байесово разсъждение. Те наистина се интересуват от това, така че отивате онлайн и намирате страница за теоремата на Байс и... Това е уравнение. И това е... Защо една математическа концепция създава такъв ентусиазъм в умовете? Какъв вид „Байесова революция“ се случва сред учените и се твърди, че дори самият експериментален подход може да се опише като негов специален случай? Каква е тайната, която знаят байесовците? Каква светлина виждат?

Байесовската революция в науката не се случи, защото все повече и повече когнитивни учени изведнъж започнаха да забелязват, че менталните феномени имат байесова структура; не защото учени във всяка област са започнали да използват метода на Байес; а защото самата наука е частен случай на теоремата на Бейс; експерименталните доказателства са байесови доказателства. Байесовските революционери твърдят, че когато извършите експеримент и получите доказателства, които „потвърждават“ или „опровергават“ вашата теория, това потвърждение или опровержение се извършва съгласно правилата на Байес. Например, трябва да имате предвид не само, че вашата теория може да обясни дадено явление, но и че има други възможни обяснения, които също могат да предскажат това явление.

Преди това най-популярната философия на науката беше старата философия, която беше изместена от Байевата революция. Идеята на Карл Попър, че теориите могат да бъдат напълно фалшифицирани, но никога напълно проверени, е друг специален случай на правилата на Байес; ако p(X|A) ≈ 1 – ако теорията прави правилни прогнози, тогава наблюдението на ~X много силно фалшифицира A. От друга страна, ако p(X|A) ≈ 1 и наблюдаваме X, това не потвърждава силно теорията; може би е възможно някакво друго условие B, така че p(X|B) ≈ 1, и при което наблюдението X не свидетелства в полза на A, но свидетелства в полза на B. За да може наблюдението X определено да потвърди A, ще имаме да не знаем, че p(X|A) ≈ 1 и че p(X|~A) ≈ 0, което не можем да знаем, защото не можем да разгледаме всички възможни алтернативни обяснения. Например, когато теорията на Айнщайн за общата теория на относителността надмина добре поддържаната теория на гравитацията на Нютон, тя направи всички предсказания на теорията на Нютон специален случай на предсказанията на Айнщайн.

По подобен начин твърдението на Попър, че една идея трябва да може да се фалшифицира, може да се тълкува като проявление на байесовото правило за запазване на вероятността; ако резултатът X е положително доказателство за теорията, тогава резултатът ~X трябва да опровергае теорията до известна степен. Ако се опитате да тълкувате както X, така и ~X като "потвърждаващи" теорията, правилата на Байс казват, че това е невъзможно! За да увеличите вероятността от теория, трябва да я подложите на тестове, които потенциално могат да намалят нейната вероятност; Това не е просто правило за идентифициране на шарлатани в науката, а следствие от теоремата за вероятността на Байес. От друга страна, идеята на Попър, че е необходима само фалшификация и не е необходимо потвърждение, е неправилна. Теоремата на Bayes показва, че фалшификацията е много силно доказателство в сравнение с потвърждението, но фалшификацията все още е вероятностна по природа; не се управлява от фундаментално различни правила и по този начин не се различава от потвърждението, както твърди Попър.

По този начин откриваме, че много явления в когнитивните науки, плюс статистическите методи, използвани от учените, плюс самия научен метод, всички са специални случаи на теоремата на Байс. Това е Байевата революция.

Добре дошли в Байевата конспирация!

Литература за байесовската вероятност

2. Много различни приложения на Бейс са описани от Нобеловия лауреат по икономика Канеман (и неговите другари) в една чудесна книга. Само в моето кратко резюме на тази много голяма книга преброих 27 споменавания на името на презвитериански свещеник. Минимални формули. (.. много ми хареса. Вярно е, че е малко сложно, има много математика (и къде щяхме да сме без нея), но отделните глави (например Глава 4. Информация) явно са по темата. Препоръчвам на всички. Дори ако математиката е трудна за вас, четете всеки втори ред, като пропускате математиката и ловете полезни зърна...

14. (допълнение от 15 януари 2017 г), глава от книгата на Тони Крили. 50 идеи, за които трябва да знаете. Математика.

Нобеловият лауреат по физика Ричард Файнман, говорейки за един философ с особено голямо самочувствие, веднъж каза: „Това, което ме дразни, не е философията като наука, а помпозността, която се създава около нея. Ако само философите можеха да се смеят на себе си! Само ако можеха да кажат: „Аз казвам, че е така, но фон Лайпциг смяташе, че е различно, и той също знае нещо за това.“ Само да се сетят да пояснят, че е само техен .

Форма за събития пълна група, ако поне един от тях със сигурност ще се появи в резултат на експеримента и са несъвместими по двойки.

Да приемем, че събитието Аможе да възникне само заедно с едно от няколко несъвместими по двойки събития, които образуват пълна група. Ще извикаме събития ( аз= 1, 2,…, н) хипотезидопълнителен опит (априори). Вероятността за настъпване на събитие А се определя по формулата пълна вероятност :

Пример 16.Има три урни. Първата урна съдържа 5 бели и 3 черни топки, втората съдържа 4 бели и 4 черни топки, а третата съдържа 8 бели топки. Една от урните е избрана на случаен принцип (това може да означава, например, че изборът е направен от спомагателна урна, съдържаща три топки, номерирани с 1, 2 и 3). От тази урна произволно се тегли топка. Каква е вероятността да е черен?

Решение.Събитие А– черната топка се отстранява. Ако се знае от коя урна е изтеглена топката, тогава желаната вероятност може да се изчисли, като се използва класическата дефиниция на вероятността. Нека въведем предположения (хипотези) относно това коя урна е избрана за извличане на топката.

Топката може да бъде изтеглена или от първата урна (предположение), или от втората (предположение), или от третата (предположение). Тъй като има равни шансове за избор на която и да е от урните, тогава .

Следва, че

Пример 17.Електрическите лампи се произвеждат в три завода. Първият завод произвежда 30% от общия брой електрически лампи, вторият - 25%,
а третият - останалите. Продуктите на първия завод съдържат 1% дефектни електрически лампи, вторият - 1,5%, третият - 2%. Магазинът получава продукти и от трите фабрики. Каква е вероятността лампа, закупена в магазин, да се окаже дефектна?

Решение.Трябва да се направят предположения в кой завод е произведена електрическата крушка. Знаейки това, можем да намерим вероятността той да е дефектен. Нека въведем обозначения за събития: А– закупената електрическа лампа се оказа дефектна, – лампата е произведена от първия завод, – лампата е произведена от втория завод,
– лампата е произведена от третия завод.

Намираме желаната вероятност, използвайки формулата за обща вероятност:

Формула на Бейс. Нека е пълна група от по двойки несъвместими събития (хипотези). А– случайно събитие. Тогава,

Последната формула, която позволява да се преоценят вероятностите на хипотезите, след като е известен резултатът от теста, довел до събитие А, се нарича Формула на Бейс .

Пример 18.Средно 50% от пациентите със заболяването постъпват в специализирана болница ДА СЕ, 30% – със заболяване Л, 20 % –
с болест М. Вероятност за пълно излекуване на заболяването Кравно на 0,7 за болести ЛИ Мтези вероятности са съответно 0,8 и 0,9. Постъпилият в болницата пациент е изписан здрав. Намерете вероятността този пациент да е страдал от болестта К.

Решение.Нека въведем хипотезите: – пациентът е страдал от заболяване ДА СЕ Л, – пациентът е страдал от заболяване М.

Тогава според условията на задачата имаме . Нека представим едно събитие А– постъпилият в болницата пациент е изписан здрав. По условие

Използвайки формулата за обща вероятност, получаваме:

Според формулата на Байс.

Пример 19.Нека в урната има пет топки и всички предположения за броя на белите топки са еднакво възможни. На случаен принцип от урната се взема топка, която се оказва бяла. Какво предположение за първоначалния състав на урната е най-вероятно?

Решение.Нека хипотезата е, че в урната има бели топки , т.е. могат да се направят шест предположения. Тогава според условията на задачата имаме .

Нека представим едно събитие А– бяла топка, взета на случаен принцип. Нека изчислим. Тъй като , то според формулата на Байс имаме:

Следователно най-вероятната хипотеза е, защото .

Пример 20.Два от трите независимо работещи елемента на изчислителното устройство са отказали. Намерете вероятността първият и вторият елемент да се повредят, ако вероятностите за повреда съответно на първия, втория и третия елемент са 0,2; 0,4 и 0,3.

Решение.Нека означим с Асъбитие – два елемента са се провалили. Могат да се направят следните хипотези:

– първият и вторият елемент са отказали, но третият елемент работи. Тъй като елементите работят независимо, се прилага теоремата за умножение: