Jednostavno objašnjenje Bayesovog teorema. Formula ukupne vjerojatnosti
Pri izvođenju formule ukupne vjerojatnosti pretpostavljeno je da događaj ALI, čija se vjerojatnost trebala utvrditi, mogla se dogoditi jednom od događaja H 1 , N 2 , ... , H n tvoreći potpunu skupinu u parovima nekompatibilnih događaja. Vjerojatnosti tih događaja (hipoteze) bile su unaprijed poznate. Pretpostavimo da je izveden pokus koji je rezultirao događajem ALI je došao. Ove dodatne informacije omogućuju nam da ponovno procijenimo vjerojatnosti hipoteza Bok , izračunavši P(Hi/A).
ili, koristeći formulu ukupne vjerojatnosti, dobivamo
Ova se formula naziva Bayesova formula ili teorem hipoteze. Bayesova formula omogućuje vam "reviziju" vjerojatnosti hipoteza nakon što rezultat eksperimenta postane poznat, kao rezultat čega se događaj pojavio ALI.
Vjerojatnosti R(N i) su apriorne vjerojatnosti hipoteza (izračunate su prije eksperimenta). Vjerojatnosti P(H i /A) su aposteriorne vjerojatnosti hipoteza (izračunavaju se nakon eksperimenta). Bayesova formula omogućuje vam izračunavanje posteriornih vjerojatnosti iz njihovih prethodnih vjerojatnosti i iz uvjetnih vjerojatnosti događaja ALI.
Primjer. Poznato je da je 5% svih muškaraca i 0,25% svih žena slijepo za boje. Nasumično odabrana osoba prema broju zdravstvene iskaznice boluje od daltonizma. Koja je vjerojatnost da se radi o muškarcu?
Riješenje. Događaj ALI Osoba je daltonist. Prostor elementarnih događaja za pokus - osoba se bira prema broju zdravstvene iskaznice - Ω = ( H 1 , N 2 ) sastoji se od 2 događaja:
H 1 - odabran je muškarac,
H 2 - odabrana je žena.
Ti se događaji mogu odabrati kao hipoteze.
Prema uvjetu problema (slučajni izbor), vjerojatnosti ovih događaja su iste i jednake P(H 1 ) = 0.5; P(H 2 ) = 0.5.
U ovom slučaju, uvjetne vjerojatnosti da osoba pati od sljepoće za boje jednake su:
P(A/N 1 ) = 0.05 = 1/20; P(A/N 2 ) = 0.0025 = 1/400.
Budući da je poznato da je odabrana osoba slijepa za boje, tj. da se događaj dogodio, koristimo se Bayesovom formulom za preispitivanje prve hipoteze:
Primjer. Postoje tri identične kutije. Prva kutija sadrži 20 bijelih kuglica, druga sadrži 10 bijelih i 10 crnih kuglica, a treća kutija sadrži 20 crnih kuglica. Iz nasumično odabrane kutije izvlači se bijela kuglica. Izračunajte vjerojatnost da je kuglica izvučena iz prve kutije.
Riješenje. Označimo sa ALI događaj - pojava bijele kuglice. O izboru kutije mogu se napraviti tri pretpostavke (hipoteze): H 1 ,H 2 , H 3 - izbor prve, druge i treće kutije.
Budući da je izbor bilo kojeg od okvira jednako moguć, vjerojatnosti hipoteza su iste:
P(H 1 )=P(H 2 )=P(H 3 )= 1/3.
Prema uvjetu problema, vjerojatnost izvlačenja bijele kuglice iz prve kutije
Vjerojatnost izvlačenja bijele kuglice iz druge kutije 
Vjerojatnost izvlačenja bijele kuglice iz treće kutije
Željenu vjerojatnost nalazimo pomoću Bayesove formule:
Ponavljanje testova. Bernoullijeva formula.
Postoji n pokusa, u svakom od kojih se događaj A može ili ne mora dogoditi, a vjerojatnost događaja A u svakom pojedinačnom pokusu je konstantna, tj. ne mijenja se od iskustva do iskustva. Već znamo kako pronaći vjerojatnost događaja A u jednom eksperimentu.
Od posebnog je interesa vjerojatnost pojavljivanja određenog broja puta (m puta) događaja A u n pokusa. takvi se problemi lako rješavaju ako su testovi neovisni.
Def. Poziva se nekoliko testova neovisno o događaju A ako vjerojatnost događaja A u svakom od njih ne ovisi o ishodima drugih eksperimenata.
Vjerojatnost P n (m) pojavljivanja događaja A točno m puta (nepojavljivanje n-m puta, događaj ) u ovih n pokusa. Događaj A pojavljuje se u različitim nizovima m puta).
- Bernoullijeva formula.
Sljedeće formule su očite:
P n (m
P n (m>k) = P n (k+1) + P n (k+2) +…+ P n (n) - vjerojatnost pojavljivanja događaja A više k puta u n pokusa.
Počnimo s primjerom. U urni ispred vas jednako vjerojatno mogu biti (1) dvije bijele lopte, (2) jedna bijela i jedna crna, (3) dvije crne. Povučete loptu i ispadne bijela. Kako sada ocjenjujete? vjerojatnost ove tri opcije (hipoteze)? Očito je vjerojatnost hipoteze (3) s dvije crne kuglice = 0. Ali kako izračunati vjerojatnosti dviju preostalih hipoteza!? To vam omogućuje da napravite Bayesovu formulu, koja u našem slučaju ima oblik (broj formule odgovara broju hipoteze koja se testira):
Preuzmite bilješku u formatu ili
x je slučajna varijabla (hipoteza) koja ima sljedeće vrijednosti: x 1- dva bijelca x 2- jedan bijeli, jedan crni; x 3- dvije crne; na je slučajna varijabla (događaj) koja ima sljedeće vrijednosti: 1- izvuče se bijela kuglica i u 2- izvučena je crna kuglica; P(x 1) je vjerojatnost prve hipoteze prije izvlačenja kuglice ( apriorno vjerojatnost ili vjerojatnost prije iskustvo) = 1/3; P(x 2)– vjerojatnost druge hipoteze prije izvlačenja kuglice = 1/3; P(x 3)– vjerojatnost treće hipoteze prije izvlačenja lopte = 1/3; P(y 1|x 1)– uvjetna vjerojatnost izvlačenja bijele kuglice ako je prva hipoteza istinita (kuglice su bijele) = 1; P(y 1|x 2) – vjerojatnost izvlačenja bijele kuglice, ako je druga hipoteza istinita (jedna kuglica je bijela, druga je crna) = ½; P(y 1|x 3) – vjerojatnost izvlačenja bijele kuglice, ako je treća hipoteza istinita (obje crne) = 0; P(y 1)– vjerojatnost izvlačenja bijele kuglice = ½; P(y 2)– vjerojatnost izvlačenja crne kuglice = ½; i konačno ono što tražimo - P(x 1|na 1) – vjerojatnost da je prva hipoteza istinita (obje kuglice su bijele), pod uvjetom da smo izvukli bijelu kuglicu ( a posteriori vjerojatnost ili vjerojatnost nakon iskustvo); P(x 2|na 1) – vjerojatnost da je druga hipoteza istinita (jedna kuglica je bijela, druga je crna), pod uvjetom da smo izvukli bijelu kuglicu.
Vjerojatnost da je prva hipoteza (dvije bijele kuglice) točna, s obzirom da smo izvukli bijelu kuglicu:
Vjerojatnost da je druga hipoteza istinita (jedna je bijela, druga je crna), pod uvjetom da smo izvukli bijelu kuglicu:
Vjerojatnost da je treća hipoteza (dvije crne) istinita, s obzirom da smo izvukli bijelu kuglicu:
Što radi Bayesova formula? Omogućuje, na temelju apriornih vjerojatnosti hipoteza - P(x 1), P(x 2), P(x 3)– i vjerojatnosti nastanka događaja – P(y 1), P(y 2)– izračunati posteriorne vjerojatnosti hipoteza, na primjer, vjerojatnost prve hipoteze, pod uvjetom da je izvučena bijela kuglica – P(x 1|na 1).
Vratimo se formuli (1). Početna vjerojatnost prve hipoteze bila je P(x 1) = 1/3. S vjerojatnošću P(y 1) = 1/2 mogli bismo izvući bijelu kuglicu, i to s vjerojatnošću P(y 2) = 1/2- crno. Bijelu smo izvukli. Vjerojatnost crtanja bijelog, pod uvjetom da je prva hipoteza istinita P(y 1|x 1) = 1. Bayesova formula kaže da otkad je bijelo nacrtano, vjerojatnost prve hipoteze je porasla na 2/3, vjerojatnost druge hipoteze je i dalje 1/3, a vjerojatnost treće hipoteze je postala nula.
Lako je provjeriti da ako nacrtamo crnu kuglu, posteriorne vjerojatnosti bi se promijenile simetrično: P(x 1|y 2) = 0, P(x 2|y 2) = 1/3, P(x 3|y 2) = 2/3.
Evo što je Pierre Simon Laplace napisao o Bayesovoj formuli u radu objavljenom 1814.:
Ovo je osnovno načelo grane analize slučajnosti koja se bavi prijelazima od događaja do uzroka.
Zašto je Bayesovu formulu tako teško razumjeti!? Po mom mišljenju, zato što je naš uobičajeni pristup zaključivanje od uzroka do posljedica. Na primjer, ako se u urni nalazi 36 kuglica, od kojih je 6 crnih, a ostale su bijele. Kolika je vjerojatnost izvlačenja bijele kuglice? Bayesova formula omogućuje vam prijelaz s događaja na uzroke (hipoteze). Ako smo imali tri hipoteze i dogodio se događaj, kako je onda točno taj događaj (a ne alternativa) utjecao na početne vjerojatnosti hipoteza? Kako su se te vjerojatnosti promijenile?
Vjerujem da se Bayesova formula ne odnosi samo na vjerojatnosti. Mijenja paradigmu percepcije. Kakav je tok misli kada se koristi deterministička paradigma? Ako se događaj dogodi, koji je njegov uzrok? Ako je došlo do nesreće, hitne situacije, vojnog sukoba. Tko ili što je njihova krivnja? Kako Bayesov promatrač razmišlja? Kakva je struktura stvarnosti dovela do dano slučaju takvoj i takvoj manifestaciji ... Bayesian razumije da in inače rezultat bi mogao biti drugačiji...
Postavimo simbole u formulama (1) i (2) malo drugačije:
Razgovarajmo opet o onome što vidimo. Uz jednaku početnu (apriornu) vjerojatnost, jedna od tri hipoteze mogla bi biti istinita. S jednakom vjerojatnošću mogli bismo izvući bijelu ili crnu kuglicu. Bijelu smo izvukli. U svjetlu ovih novih dodatnih informacija, našu procjenu hipoteza treba revidirati. Bayesova formula vam omogućuje da to učinite numerički. Apriorna vjerojatnost prve hipoteze (formula 7) bila je P(x 1), izvlači se bijela kuglica, posteriorna vjerojatnost prve hipoteze postaje P(x 1|na 1). Te se vjerojatnosti razlikuju za faktor.
Događaj 1 zove se dokaz koji više ili manje potvrđuje ili opovrgava hipotezu x 1. Taj se omjer ponekad naziva snagom dokaza. Što je dokaz snažniji (što se koeficijent više razlikuje od jedinice), veća je činjenica opažanja 1 mijenja prethodnu vjerojatnost, što se posteriorna vjerojatnost više razlikuje od prethodne. Ako je dokaz slab (koeficijent ~ 1), posteriorna vjerojatnost je gotovo jednaka prethodnoj.
Potvrda 1 u = 2 puta promijenila prethodnu vjerojatnost hipoteze x 1(formula 4). Istovremeno, dokazi 1 nije promijenio vjerojatnost hipoteze x 2, od svoje snage = 1 (formula 5).
Općenito, Bayesova formula ima sljedeći oblik:
x je slučajna varijabla (skup međusobno isključivih hipoteza) koja ima vrijednosti: x 1, x 2, … , xn. na je slučajna varijabla (skup međusobno isključivih događaja) koja ima sljedeće vrijednosti: 1, u 2, … , nan. Bayesova formula omogućuje pronalaženje posteriorne vjerojatnosti hipoteze xja kada se događaj dogodi y j. Brojnik je umnožak apriorne vjerojatnosti hipoteze xja – P(xja) vjerojatnost događanja događaja y j ako je hipoteza istinita xja – R(y j|xja). U nazivniku - zbroj umnožaka isti kao u brojniku, ali za sve hipoteze. Izračunamo li nazivnik, dobivamo ukupnu vjerojatnost događanja događaja naj(ako je bilo koja od hipoteza istinita) – R(y j) (kao u formulama 1-3).
Još jednom o dokazima. Događaj y j pruža dodatne informacije koje vam omogućuju reviziju prethodne vjerojatnosti hipoteze xja. Snaga dokaza - 
- sadrži u brojniku vjerojatnost događanja događaja y j ako je hipoteza istinita xja. Nazivnik je ukupna vjerojatnost da će se događaj dogoditi naj(ili vjerojatnost da će se događaj dogoditi naj u prosjeku po svim hipotezama). naj gore za hipotezu xja nego prosjek za sve hipoteze, onda dokazi igraju na ruku hipotezi xja, povećavajući njegovu posteriornu vjerojatnost R(y j|xja).
Ako je vjerojatnost događanja događaja naj ispod za hipotezu xja od prosjeka za sve hipoteze, tada dokaz snižava posteriornu vjerojatnost R(y j|xja) za hipoteze xja.
Ako je vjerojatnost događanja događaja naj za hipotezu xja je isti kao prosjek za sve hipoteze, tada dokaz ne mijenja posteriornu vjerojatnost R(y j|xja) za hipoteze xja.
Evo nekoliko primjera za koje se nadam da će učvrstiti vaše razumijevanje Bayesove formule.
Zadatak 2. Dva strijelca nezavisno gađaju istu metu, svaki ispaljuje po jedan hitac. Vjerojatnost pogađanja mete za prvog strijelca je 0,8, za drugog - 0,4. Nakon gađanja pronađena je jedna rupa na meti. Odredite vjerojatnost da ta rupa pripada prvom strijelcu. .
Zadatak 3. Objekt koji se prati može biti u jednom od dva stanja: H 1 = (funkcionira) i H 2 = (ne radi). Apriorne vjerojatnosti ovih stanja R(N 1) = 0,7, R(N 2) = 0,3. Postoje dva izvora informacija koji daju proturječne informacije o stanju objekta; prvi izvor javlja da objekt ne funkcionira, drugi - da funkcionira. Poznato je da prvi izvor s vjerojatnošću 0,9 daje točnu informaciju, a s vjerojatnošću 0,1 - pogrešnu. Drugi izvor je manje pouzdan: daje točne informacije s vjerojatnošću 0,7, a s vjerojatnošću 0,3 - pogrešne. Odredite posteriorne vjerojatnosti hipoteza. .
Zadaci 1–3 preuzeti su iz udžbenika E.S.Ventzel, L.A.Ovcharov. Teorija vjerojatnosti i njezine inženjerske primjene, odjeljak 2.6 Teorem o hipotezi (Bayesova formula).
Problem 4 preuzet je iz knjige, odjeljak 4.3 Bayesov teorem.
INFORMACIJSKA TEHNOLOGIJA, RAČUNALSTVO I MENADŽMENT
O primjenjivosti Bayesove formule
DOI 10.12737/16076
A. I. Dolgov**
1 Dioničko društvo "Konstruktorski biro za radio nadzor sustava upravljanja, navigacije i komunikacije", Rostov na Donu, Ruska Federacija
O primjenjivosti Bayesove formule*** A. I. Dolgov1**
1 "Projektni biro za praćenje sustava upravljanja, navigacije i komunikacije" JSC, Rostov na Donu, Ruska Federacija
Predmet ovog istraživanja je Bayesova formula. Svrha ovog rada je analizirati i proširiti opseg formule. Primarni zadatak je proučavanje publikacija posvećenih ovom problemu, što je omogućilo identificiranje nedostataka primjene Bayesove formule, što je dovelo do netočnih rezultata. Sljedeći zadatak je konstruirati modifikacije Bayesove formule koje uzimaju u obzir različite pojedinačne dokaze i dobivaju točne rezultate. I na kraju, na primjeru konkretnih početnih podataka uspoređuju se netočni rezultati dobiveni Bayesovom formulom i točni rezultati izračunati predloženim modifikacijama. U istraživanju su korištene dvije metode. Najprije je provedena analiza principa konstruiranja poznatih izraza koji se koriste za pisanje Bayesove formule i njezinih modifikacija. Drugo, provedena je komparativna procjena rezultata (uključujući i kvantitativnu). Predložene izmjene omogućuju širu primjenu Bayesove formule u teoriji i praksi, uključujući i rješavanje primijenjenih problema.
Ključne riječi: uvjetne vjerojatnosti, nekompatibilne hipoteze, kompatibilni i nekompatibilni dokazi, normalizacija.
Predmet istraživanja je Bayesova formula. Cilj rada je analizirati primjenu formule i proširiti opseg njezine primjenjivosti. Problem prvog prioriteta je identifikacija nedostataka Bayesove formule na temelju proučavanja relevantnih publikacija koje dovode do netočnih rezultate. Sljedeći zadatak je konstruirati modifikacije Bayesove formule kako bi se osiguralo obračunavanje različitih pojedinačnih indikacija za dobivanje točnih rezultata. I na kraju, netočni rezultati dobiveni primjenom Bayesove formule uspoređuju se s točnim rezultatima izračunatim korištenjem predložene modifikacije formule na primjeru konkretnih početnih podataka. U studijama se koriste dvije metode. Prvo se provodi analiza principa konstruiranja poznatih izraza koji se koriste za zapis Bayesove formule i njezinih modifikacija. Zatim se vrši usporedna procjena rezultata (uključujući i kvantitativnu). Predložene izmjene omogućuju širu primjenu Bayesove formule u teoriji i praksi uključujući rješavanje primijenjenih problema.
Ključne riječi: uvjetne vjerojatnosti, nekonzistentne hipoteze, kompatibilne i nekompatibilne indikacije, normaliziranje.
Uvod. Bayesova formula se sve više koristi u teoriji i praksi, uključujući i rješavanje primijenjenih problema uz pomoć računalne tehnologije. Korištenje međusobno neovisnih računalnih postupaka čini posebno učinkovitom primjenu ove formule pri rješavanju problema na višeprocesorskim računalnim sustavima, budući da se u tom slučaju paralelna implementacija izvodi na razini opće sheme, a pri dodavanju sljedećeg algoritma ili klase problema , nema potrebe za ponovnim izvođenjem rada paralelizacije.
Predmet ovog istraživanja je primjenjivost Bayesove formule za komparativnu procjenu posteriornih uvjetnih vjerojatnosti nekonzistentnih hipoteza pod različitim pojedinačnim dokazima. Kao što analiza pokazuje, u takvim slučajevima normalizirane vjerojatnosti nekompatibilnih kombiniranih događaja pripadaju
S X<и ч и
JE eö I JE X X<и H
„Rad je izveden u sklopu inicijativnog istraživačkog projekta.
** Email: [e-mail zaštićen]
"Istraživanje se provodi u okviru neovisnog R&D-a.
za različite cjelovite skupine događaja. Istodobno se pokazalo da uspoređeni rezultati nisu primjereni stvarnim statističkim podacima. To je zbog sljedećih čimbenika:
Koristi se netočna normalizacija;
Prisutnost ili odsutnost raskrižja razmatranih dokaza se ne uzima u obzir.
Kako bi se uklonili uočeni nedostaci, utvrđuju se slučajevi primjenjivosti Bayesove formule. Ako navedena formula nije primjenjiva, rješava se problem konstruiranja njezine modifikacije, čime se osigurava uzimanje u obzir različitih pojedinačnih dokaza uz dobivanje točnih rezultata. Na primjeru konkretnih početnih podataka izvršena je usporedna procjena rezultata:
Netočno - dobiveno pomoću Bayesove formule;
Točno - izračunato korištenjem predložene izmjene.
Početne pozicije. Sljedeće izjave temelje se na načelu očuvanja omjera vjerojatnosti: „Ispravna obrada vjerojatnosti događaja moguća je samo pri normalizaciji pomoću jednog zajedničkog normalizirajućeg djelitelja koji osigurava jednakost omjera normaliziranih vjerojatnosti s omjerima odgovarajućih normaliziranih vjerojatnosti” . Ovo načelo predstavlja subjektivnu osnovu teorije vjerojatnosti, ali nije adekvatno reflektirano u suvremenoj obrazovnoj i znanstveno-tehničkoj literaturi.
Ako se ovo načelo prekrši, informacije o stupnju mogućnosti događaja koji se razmatraju su iskrivljene. Rezultati dobiveni na temelju iskrivljenih informacija i donesenih odluka pokazuju se neprimjerenima stvarnim statističkim podacima.
U ovom će se članku koristiti sljedeći pojmovi:
Elementarni događaj je događaj koji nije djeljiv na elemente;
Kombinirani događaj - događaj koji predstavlja jednu ili drugu kombinaciju elementarnih događaja;
Kompatibilni događaji - događaji koji u nekim slučajevima komparativne procjene njihove vjerojatnosti mogu biti nekompatibilni, au drugim slučajevima zajednički;
Inkompatibilni događaji su događaji koji su nekompatibilni u svim slučajevima.
Prema teoremu množenja vjerojatnosti, vjerojatnost P (U ^ E) umnoška elementarnih događaja U ^ i
E se izračunava kao umnožak vjerojatnosti P(Uk E) = P(E)P(U^E) . U tom pogledu Bayesova formula je često
zapisuje se u obliku R(Ik\E) = - - - , opisujući definiciju aposteriornih uvjetnih vjerojatnosti
P(U^E) hipoteza Uk (k = 1,...n) na temelju normalizacije apriornih vjerojatnosti P(U^E) uzetih u obzir kombiniranih nekompatibilnih događaja I do E. Svaki od ovih događaja predstavlja proizvod čiji su faktori jedna od razmatranih hipoteza i jedan odgovoran dokaz. Pritom se sve razmatra
uIKE događaji (k = 1,...n) čine kompletnu grupu uIKE nekompatibilnih kombiniranih događaja, zbog
s kojom njihove vjerojatnosti P(Ik E) treba normalizirati uzimajući u obzir formulu ukupne vjerojatnosti, prema kojoj
roj P(E) = 2 P(Uk)P(E\Uk). Stoga se Bayesova formula najčešće piše u najčešće korištenom obliku:
P(Uik) P(EIK)
P(Uk \ E) \u003d -. (jedan)
^ kation Bayesove formule.
Analiza značajki konstrukcije Bayesove formule, usmjerena na rješavanje primijenjenih problema, kao i primjeri
“i njegova praktična primjena omogućuju nam da izvučemo važan zaključak u vezi s izborom potpune skupine kombiniranih događaja koji se uspoređuju u smislu stupnja mogućnosti (od kojih je svaki proizvod dvaju elementarnih događaja - jedne od hipoteza i izvedenih dokaza) u račun). Takav izbor subjektivno donosi donositelj odluke, na temelju objektivnih početnih podataka svojstvenih tipičnim uvjetima situacije: vrste i broj procijenjenih hipoteza i dokaza koji su posebno uzeti u obzir.
Neusporedive vjerojatnosti hipoteza s jednim nedosljednim dokazom. Bayesova formula se tradicionalno koristi u slučaju određivanja posteriornih uvjetnih vjerojatnosti koje nisu usporedive u smislu stupnja mogućnosti.
vjerojatnost hipoteza H^ s jednim inkompatibilnim dokazom, od kojih se svaki može "pojaviti
samo u kombinaciji s bilo kojom od ovih hipoteza. U ovom slučaju odabrane su pune skupine i HkE, kombinirane
događanja u kupatilu u obliku proizvoda čiji su čimbenici jedan od dokaza c. (1=1,...,m) i jedan
od n hipoteza koje se razmatraju.
Bayesova formula koristi se za komparativnu procjenu vjerojatnosti kombiniranih događaja svake takve potpune skupine, koja se razlikuje od ostalih cjelovitih skupina ne samo po dokazima koji se uzimaju u obzir, nego također u općenitom slučaju po vrstama hipoteza H ^ i (ili) njihov broj n (vidi, na primjer, )
RNky = P(Hk) P(eH)
% P(Hk) P(Er\Hk) k = 1
U posebnom slučaju za n = 2
RNk\E,~ P(Hk) P(EN)
% P(Hk) P(E,\H k) k = 1
i dobiveni rezultati su točni, zbog poštivanja načela očuvanja omjera vjerojatnosti:
P(H1E,) _ P(H 1)P(E,\H1) / P(H2) P(E,\H2) = P(H 1) P(E,\H1)
P(H 2 = % PW1!)
Subjektivnost izbora cjelovite skupine kombiniranih događaja u usporedbi s obzirom na stupanj mogućnosti (sa
određeni varijabilni elementarni događaji) omogućuje odabir kompletne grupe događaja i Hk E ■ s
negiranjem elementarnog događaja E ■ () i napišite Bayesovu formulu (1 = 1,.. ., m) na sljedeći način:
P(Hk \ E) -= - RNSh ±.
% P(Hk)P(E, Hk)
Takva je formula također primjenjiva i omogućuje dobivanje točnih rezultata ako se izračuna
normalizirane vjerojatnosti se uspoređuju pod različitim razmatranim hipotezama, ali ne pod različitim
vlasti. ¡^
Usporedne vjerojatnosti hipoteza pod jednim nedosljednim dokazom. Sudeći po poznatim publica-^
koristi se za komparativnu procjenu a posteriori uvjetnih vjerojatnosti hipoteza za različite pojedinačne dokaze.
vlasti. Pritom se ne obraća pažnja na sljedeću činjenicu. U tim se slučajevima uspoređuju normalizirane ^ vjerojatnosti nekompatibilnih (nekompatibilnih) kombiniranih događaja koji pripadaju različitim cjelovitim skupinama n događaja. Međutim, u ovom slučaju Bayesova formula nije primjenjiva, budući da se uspoređuju kombinirani događaji koji nisu uključeni u jednu cjelovitu skupinu, čija se normalizacija vjerojatnosti provodi pomoću različitih n normalizirajućih djelitelja. Normalizirane vjerojatnosti nekompatibilnih (nekompatibilnih) kombiniranih događaja mogu se uspoređivati samo ako pripadaju istoj cjelovitoj skupini događaja i normalizirane su s ¡3 korištenjem zajedničkog djelitelja jednakog zbroju vjerojatnosti svih normaliziranih događaja uključenih u cjeloviti §
Općenito, sljedeće se može smatrati nekompatibilnim dokazima:
Dva dokaza (na primjer, dokaz i njegovo poricanje); ^
Tri dokaza (na primjer, u situaciji igre, pobjeda, poraz i remi); ^
Četiri izjave (osobito u sportu, pobjedi, porazu, izvlačenju i ponovnom igranju), itd. ^
Razmotrimo prilično jednostavan primjer (koji odgovara primjeru danom u ) primjene Bayesove formule ^ za određivanje posteriornih uvjetnih vjerojatnosti hipoteze H ^ za dva nekompatibilna događaja u
u obliku dokaza L]- i njegovog poricanja L]
P(H, k) - ^ . ^ P(A^k" , (2)
] E P(Hk> P(A]\vk> k - 1
■ _ P(HkA ]) P(Hk> P(A ]\nk>
P(H,\A,) ----k-]-. (3)
V k\A]> P(A > n
] E P(Hk) P(A]\Hk) k -1
U slučajevima (2) i (3) subjektivno odabrane pune skupine uspoređene su s obzirom na stupanj mogućnosti kom-
grupirani događaji su redom skupovi i H u A i H u A. To je slučaj kada formula
k-1 k ] k-1 k ]
Bayes je neprimjenjiv, jer je narušeno načelo očuvanja omjera vjerojatnosti - ne poštuje se jednakost omjera normaliziranih vjerojatnosti s omjerima njihovih odgovarajućih normaliziranih vjerojatnosti:
P(H do A]] P(Hk) P(A]\Hk) / P(Hk) P(A]\Hk) P(Hk) P(A] Hk)
P(Hk E P(Hk) P(A]\Hk)/ E P(Hk) P(A]\Hk) P(Hk) P(A] Hk)
k - 1 /k - 1 Prema načelu očuvanja omjera vjerojatnosti, ispravna obrada vjerojatnosti događaja moguća je samo pri normalizaciji pomoću jednog zajedničkog normalizirajućeg djelitelja jednakog zbroju svih uspoređivanih normaliziranih izraza. Zato
E P(Hk)P(A]\Hk) + E P(Hk)P(A]\Hk) - E P(Hk)[P(A]\Hk) + P(Hk) P(A]\Hk )] - EP (Hk) - 1. do -1 do -1 do -1 do -1
Dakle, otkriva se činjenica da postoje varijante Bayesove formule koje se razlikuju od
poznat po nedostatku normalizirajućeg djelitelja:
A,) - P(H) P(A]\Hk), P(Hk A,) - P(H) P(A, Hk). (četiri)
J do I ■> do
U ovom slučaju se uočava jednakost omjera normaliziranih vjerojatnosti s omjerima odgovarajućih normaliziranih vjerojatnosti:
m^A^ P(Hk) P(A]\Hk)
A,) P(H k) P(A, Hk)
Na temelju subjektivnog izbora netradicionalno zabilježenih kompletnih skupina nekompatibilnih kombiniranih događaja, moguće je povećati broj modifikacija Bayesove formule koje uključuju dokaze, kao i jedan ili onaj broj njihovih poricanja. Na primjer, najpotpunija skupina kombiniranih događaja
u i Hk /"./ ^ u i Hk E\ odgovara (uzimajući u obzir nepostojanje normalizirajućeg djelitelja) formulu modifikacije; =1 A"=1; \u003d 1 Bayesov
P(Hk\~) - P(Hk) PË^^^
gdje je elementarni događaj u obliku dokaza E \ e II II / "/ jedan od elemenata naznačenog skupa
o U nedostatku uskraćivanja dokaza, to jest, kada E\ \u003d // e i /"./,
^ P(H\E) P(Hk) P(E,\Hk)
E P(Hk) P(E \ Hk) k - 1
Prema tome, modifikacija Bayesove formule, namijenjena određivanju uvjetnih vjerojatnosti hipoteza koje su usporedive u smislu stupnja mogućnosti za pojedinačne nekompatibilne dokaze, je sljedeća. Brojnik sadrži normaliziranu vjerojatnost jednog od kombiniranih nekompatibilnih događaja koji čine cjelovitu grupu, izraženu kao umnožak apriornih vjerojatnosti, a nazivnik sadrži zbroj svih
normalizirane vjerojatnosti. Istodobno se poštuje načelo očuvanja omjera vjerojatnosti - a dobiveni rezultat je točan.
Vjerojatnosti hipoteza pod jednim kompatibilnim dokazom. Bayesove formule se tradicionalno koriste za određivanje posteriornih uvjetnih vjerojatnosti hipoteza Hk (k = 1,...,n) uspoređenih u smislu stupnja mogućnosti za jedan od nekoliko smatranih kompatibilnih dokaza EL (1 = 1,... ,m). Posebno (vidi
na primjer, i ), pri određivanju aposteriornih uvjetnih vjerojatnosti R(N 1E^) i R(N 1 E2) za svaki od dva kompatibilna dokaza E1 i E2, koriste se formule oblika:
P(H 1) PE\H1) P(Hj) P(E2Hj) P(H J E1) = --1-i P(H J E 2) =--1-. (5)
I P(Hk) PE\Hk) I P(Hk) P(E2 Hk)
k = 1 k = 1 Imajte na umu da je ovo još jedan slučaj u kojem Bayesova formula nije primjenjiva. Štoviše, u ovom slučaju moraju se ukloniti dva nedostatka:
Ilustrirana normalizacija vjerojatnosti kombiniranih događaja je netočna, zbog pripadnosti različitim cjelovitim grupama događaja koji se razmatraju;
Simbolični zapisi kombiniranih događaja HkEx i HkE2 ne odražavaju činjenicu da su razmatrani dokazi E x i E 2 kompatibilni.
Kako bi se uklonio posljednji nedostatak, može se koristiti detaljniji zapis kombiniranih događaja, uzimajući u obzir činjenicu da kompatibilni dokazi E1 i E2 u nekim slučajevima mogu biti nekompatibilni, au drugim zajednički:
HkE1 = HkE1 E2 i HkE2 = HkE 1E2+HkE1 E2, gdje su E1 i E 2 dokazi suprotni od E1 i E 2.
Očito je da se u takvim slučajevima umnožak događaja Hk E1E2 uzima u obzir dva puta. Osim toga, može se ponovno uzeti u obzir odvojeno, ali to se ne događa. Činjenica je da u situaciji koja se razmatra, na procijenjenu situaciju utječu tri vjerojatna nekompatibilna kombinirana događaja: HkE1E2, HkE 1E2 i
Hk E1E2. Pritom je za donositelja odluke od interesa samo procijeniti stupanj mogućnosti
dva nekompatibilna kombinirana događaja: HkE1 E2 i HkE 1E2, što odgovara razmatranju samo g
pojedinačni dokaz. ¡C
Stoga, kada se konstruira modifikacija Bayesove formule za određivanje aposteriori uvjetnih vrijednosti,
Vjerojatnost hipoteza s jednim kompatibilnim dokazom mora se temeljiti na sljedećem. Osoba koja prihvaća ^
odluke, zanima nas točno koji elementarni događaj, predstavljen jednim ili drugim dokazom iz
Broj za koje se smatra da se stvarno dogodio u određenim uvjetima. Ako se dogodi neki drugi elementarni događaj u K
u obliku jedinstvene potvrde, potrebno je preispitivanje odluke, zbog rezultata usporedne procjene n
a posteriori uvjetne vjerojatnosti hipoteza uz neizostavno razmatranje drugih uvjeta koji utječu na stvarnu opću
postavljanje. 3
Uvedimo sljedeću oznaku: HkE- za jedan (i samo jedan) nekompatibilni kombinirani ko- ^
biće, koje se sastoji u činjenici da se od m > 1 razmatraju elementarni događaji Ei (i = 1,...,m) zajedno s hipotezom “
Hk, dogodio se jedan elementarni događaj Ex i nijedan drugi elementarni događaj se nije dogodio. se"
U najjednostavnijem slučaju razmatraju se dva pojedinačna nekompatibilna dokaza. Ako se potvrdi
jedan od njih je očekivan, uvjetna vjerojatnost dokaza u općem obliku izražena je formulom l
P(Hk E-) = P(Ei\Hk) -P(EjE^Hk) = P(Ei\Hk) -P(M^Hk)P(M^Hk) , i = 1, -2 (6) g
Valjanost formule može se jasno vidjeti (slika 1).
Riža. 1. Geometrijska interpretacija izračuna P(Hk E-) za / = 1,...,2 s uvjetno nezavisnim dokazima
P(K1K2\Hk) = p(E\Hk)P(E2\Hk),
dakle, uzimajući u obzir (6)
P(Hk E-) = PE Hk) - P(E1 Hk) P(E21Hk) , = 1,.,2. (7)
Slično, vjerojatnost P(HkE-) jednog od tri (/ = 1,...,3) nekompatibilna događaja HkE^ izražava se formulom
Na primjer, za i = 1:
p(HkEl) = P(Ei\Hk)-[ S P(Ei\Hk)P(Ej\Hk)] + P(EiE2E3Hk)
p(HkE-) = P(E7|Hk)- P(E]E^Hk)- P(E7EjHk) + P(E]E2E3\Hk)
Valjanost ove formule jasno potvrđuje geometrijska interpretacija prikazana na sl.
Riža. 2. Geometrijska interpretacija izračuna P(Hk E-) za / = 1,...,3
Koristeći metodu matematičke indukcije, može se dokazati opća formula za vjerojatnost P(Hk E-) za bilo koji broj dokaza e, 0=1,...,m):
P(HkE-) = P(E, Hk) - m PE\Hk) P(E]\Hk) + 1 P(E\Hk) P(E]\Hk) P(E^Hk) + ■■■ + (-1)
] = 1(] * 0 ],1 * 1
Koristeći teorem množenja vjerojatnosti, uvjetnu vjerojatnost R(NkE~-) zapisujemo u dva oblika:
^ iz čega slijedi da
P(Hk E -) = P(Hk) P(E-|Hk) = P(E-) P(Hk
E-)= P(HkE-) "" P(E-)
Korištenjem formule ukupne vjerojatnosti P(Ei) = S P(H£) P(Ei Hk) ispada da
E-) \u003d P (HkET)
2 P(HkE-) k \u003d 1
Zamjenom izraza za R(NkE-) u obliku desnog dijela (8) u dobivenu formulu dobivamo konačni oblik formule za određivanje aposteriornih uvjetnih vjerojatnosti hipoteza H^ (k = 1, ..., n) za jedan od nekoliko pojedinačnih dokaza koji se smatraju nekompatibilnim: (E^\Hk)
P(Hk)[P(E,\Hk) - 2 P(E,\Hk) P(Ep k) +...+ (-1)m-1 P(P P(Erk)] P(H, E ~) =-] = 1(] * ■----(9)
k 1 p t t t
2 P(Hk) 2 [P(E,\Hk) - 2 P(EgHk) P(E^Hk) + ...+ (-1)m-1 P(P P (Ep k)]
k=1 , = 1 ) = 1() *,) ■! =1
Usporedne procjene. Razmatraju se vrlo jednostavni, ali ilustrativni primjeri, ograničeni na analizu izračunatih a posteriori uvjetnih vjerojatnosti jedne od dvije hipoteze s dva pojedinačna dokaza. 1. Vjerojatnosti hipoteza pod nekompatibilnim pojedinačnim dokazom. Usporedimo rezultate dobivene Bayesovim formulama (2) i (3) na primjeru dvaju dokaza L. = L i L. = L s početnim podacima:
P(H1 = 0,7; P(H2) = 0,3; P(L| H^ = 0,1; P(L\n 1) = 0,9; P(L\H2) = 0,6 P(A\H2) = 0,4 U Razmotreni primjeri s hipotezom H1, tradicionalne formule (2) i (3) dovode do sljedećih rezultata:
P(N.) P(A\br. 0 07
P (N, L) \u003d - 11 \u003d - \u003d 0,28,
2 P(Hk) P(A\Hk)k = 1
R(N L R(A\N 1) 0 63
P (N, L) \u003d - 11 \u003d - \u003d 0,84,
2 P(Hk) P(A\Hk) k = 1
formiranje dijeli P (H 1 L) \u003d P (H ^ P (L \ Hp = 0,07; P (H ^ A) \u003d P (H 1) P (n | H ^ = 0,63. 1 od predloženog formule s obzirom na:
R<Н)Р(АНА-Р(А|Н1) _ 0,07
a s predloženim formulama (4) koje nemaju normalizacijske djelitelje: “i
Dakle, u slučaju primjene predloženih formula, omjer normaliziranih vjerojatnosti jednak je omjeru normaliziranih vjerojatnosti: K
rm f P(H 1) P(A\H 1) A11 |
Kada se koriste poznate formule s istim omjerom -;-=-= 0,11 normaliziranih verona
P(H 1) P(A\H 1) Ǥ
omjeri navedeni u brojnicima, omjer dobivenih normaliziranih vjerojatnosti: 2
P(H 1) P(A\H 1) P(A\H 1) 0,63
P (H1 L) \u003d 0,28 P (H1 L) \u003d 0,84
Odnosno, načelo očuvanja omjera vjerojatnosti se ne poštuje i dobivaju se netočni rezultati. U ovom slučaju, £
u slučaju primjene poznatih formula, vrijednost relativnog odstupanja omjera (11) aposteriornih uvjetnih i uvjetnih vjerojatnosti hipoteza od točnih rezultata (10) pokazuje se vrlo značajnom, budući da je
°, 33 - °, P x 100 \u003d 242%.. I
2. Vjerojatnosti hipoteza pod kompatibilnim pojedinačnim dokazom. Usporedimo rezultate dobivene pomoću Bayesovih formula (5) i konstruirane točne modifikacije (9), koristeći sljedeće početne podatke:
P(H1 = 0,7; P(H2) = 0,3; P(E1H1) = 0,4; P(E2H1) = 0,8; P(E1\H2) = 0,7; P(E^H2) = 0,2,113
U primjerima koji se razmatraju s hipotezom H 2 u slučaju korištenja tradicionalnih formula (5):
P(H2)P(E1H2)Q, 21
P(H 2 E1) =-2-!-2- = - = Q,429,
p(Hk) p(El Hk) k = 1
P(H2)P(E2H2)Q,Q6
P(H 2 E 2) \u003d -2-- \u003d - \u003d 0,097.
I P(Hk) P(E 2 Hk) k = 1
U slučaju primjene predložene formule (9), uzimajući u obzir (7), P(H
P(H2) 0,168
E.) ----- 0,291,
Z P(Hk) Z "
P(H2) 0,018
E0) ----- 0,031.
Z P(Hk) Z k - 1 i - 1
Pri korištenju predloženih točnih formula, zbog istih nazivnika, omjer P(H2) -
Normalizirane vjerojatnosti, označene brojnicima, jednake su omjeru
P(H2)
normalizirane vjerojatnosti:
Odnosno, poštuje se princip očuvanja omjera vjerojatnosti.
Međutim, u slučaju primjene poznatih formula s omjerom normaliziranih vjerojatnosti navedenih u brojnicima
P (H 2) P (E1 \ H 2) _ 0,21 _3 5 P (H 2) P (E 2 H 2) 0,06,
omjer normaliziranih vjerojatnosti:
P (H 2 \u003d 0,429 \u003d 4,423. (13)
P(H2\e2) 0,097
Odnosno, princip očuvanja omjera vjerojatnosti, kao i do sada, nije poštovan. U ovom slučaju, u slučaju primjene poznatih formula, vrijednost relativnog odstupanja omjera (13) aposteriornih uvjetnih vjerojatnosti hipoteza od točnih rezultata (12) također se pokazuje vrlo značajnom:
9,387 4,423 x 100 = 52,9%.
Zaključak. Analiza konstrukcije specifičnih formulskih relacija koje implementiraju Bayesovu formulu i njezine modifikacije, predložene za rješavanje praktičnih problema, omogućuje nam da ustvrdimo sljedeće. Punu skupinu usporedivih 2 moguća kombinirana događaja može subjektivno odabrati donositelj odluke. Ovaj izbor temelji se na razmatranim objektivnim početnim podacima karakterističnim za tipičnu situaciju (specifične vrste i broj elementarnih događaja - procijenjene hipoteze i dokazi). Od praktičnog je interesa subjektivni izbor drugih opcija pune skupine uspoređenih po stupnju mogućnosti.
kombinirani događaji - stoga je omogućena značajna raznolikost omjera formule pri konstrukciji netradicionalnih varijanti modifikacija Bayesove formule. To pak može biti temelj za poboljšanje matematičke potpore programske implementacije, kao i proširenje opsega novih formulskih relacija za rješavanje primijenjenih problema.
Bibliografski popis
1. Gnedenko, B. V. Elementarni uvod u teoriju vjerojatnosti / B. V. Gnedenko, A. Ya. Khinchin. - 114 New York: Dover Publications, 1962. - 144 rub.
2. Venttsel, E. S. Teorija vjerojatnosti / E. S. Venttsel. - 10. izd., izbrisano. - Moskva: Viša škola, 2006. - 575 str.
3. Andronov. A. M., Teorija vjerojatnosti i matematička statistika / A. M. Andronov, E. A. Kopytov, L. Ya. Gringlaz. - St. Petersburg: Peter, 2004. - 481 str.
4. Zmitrovich, A. I. Inteligentni informacijski sustavi / A. I. Zmitrovich. - Minsk: TetraSistems, 1997. - 496 str.
5. Chernorutsky, I. G. Metode donošenja odluka / I. G. Chernorutsky. - St. Petersburg: BHV-Petersburg, 2005. - 416 str.
6 Naylor, C.-M. Izgradite vlastiti ekspertni sustav / C.-M. Naylor. - Chichester: John Wiley & Sons, 1987. - 289 str.
7. Romanov, V. P. Inteligentni informacijski sustavi u gospodarstvu / V. P. Romanov. - 2. izd., izbrisano.
Moskva: Ispit, 2007. - 496 str.
8. Ekonomska učinkovitost i konkurentnost / D. Yu. Muromtsev [i drugi]. - Tambov: Izdavačka kuća Tambov. država tehn. un-ta, 2007.- 96 str.
9. Dolgov, A. I. Ispravne modifikacije Bayesove formule za paralelno programiranje / A. I. Dolgov // Tehnologije superračunala: materijali 3. Sveruske. znanstveno-tehnički konf. - Rostov na Donu. - 2014.- Vol. 1 - S. 122-126.
10. A. I. Dolgov, O ispravnosti modifikacija Bayesove formule / A. I. Dolgov, Vestnik Don. država tehn. sveučilište
2014. - V. 14, br. 3 (78). - S. 13-20.
1. Gnedenko, B.V., Khinchin, A.Ya. Elementarni uvod u teoriju vjerojatnosti. New York: Dover Publications, 1962., 144 str.
2 Ventsel, E.S. Teorija vjerojatnosti. 10. izd., reimpr. Moskva: Vysshaya shkola, 2006, 575 str. (na ruskom).
3. Andronov, A.M., Kopytov, E.A., Gringlaz, L.Y. Teoriya veroyatnostey i matematicheskaya statistika. St. Petersburg: Piter, 2004., 481 str. (na ruskom).
4. Zmitrovič, A.1. Intellektual "nye informatsionnye sistemy. Minsk: TetraSistems, 1997., 496 str. (na ruskom).
5. Chernorutskiy, I.G. Metodologija prinyatiya resheniy. St. Petersburg: BKhV-Peterburg, 2005., 416 str. (na ruskom).
6 Naylor, C.-M. Izgradite vlastiti ekspertni sustav. Chichester: John Wiley & Sons, 1987., 289 str.
7. Romanov, V.P. Intellektual "nye informatsionnye sistemy v ekonomike. 2. izdanje, reimpr. Moskva: Ekzamen, 2007., 496 str. (na ruskom).
8. Muromtsev, D.Y., et al. Ekonomska učinkovitost" i konkurentnost". Tambov: Izd-vo Tamb. gos. tehnologija un-ta, 2007., 96 str. (na ruskom). IB
9. Dolgov, A1. Korrektnye modifikatsii formuly Bayesa za paralelno "nogo programmirovaniya. Superkomp" yuternye tehhnologii: mat-ly 3-y sveros. znanstveno-tehn. konf. Rostov na Donu, 2014., sv. 1, str. 122-126 (na ruskom). ^
10. Dolgov, A1. O ispravnosti modifikacije u obliku Bayesa. ↑ Vestnik DSTU, 2014, sv. 14, br. 3 (78), str. 13-20 (na ruskom). *
Tko je Bayes? I kakve to veze ima s menadžmentom? – može uslijediti sasvim pošteno pitanje. Za sada, vjerujte mi na riječ: ovo je vrlo važno!.. i zanimljivo (barem za mene).
U kojoj paradigmi radi većina menadžera: ako nešto promatram, kakve zaključke mogu izvući iz toga? Što Bayes uči: što zapravo mora biti da bih to nešto promatrao? Tako se razvijaju sve znanosti, a on o tome piše (citiram po sjećanju): tko nema teoriju u glavi, pod utjecajem raznih događaja (opažanja) zazirat će od jedne ideje do druge. Ne uzalud kažu: nema ništa praktičnije od dobre teorije.
Primjer iz prakse. Moj podređeni pogriješi, a moj kolega (šef drugog odjela) kaže da bi bilo potrebno izvršiti menadžerski utjecaj na nemarnog zaposlenika (drugim riječima, kazniti / ukoriti). I znam da ovaj zaposlenik napravi 4-5 tisuća istih operacija mjesečno, a za to vrijeme ne napravi više od 10 pogrešaka. Osjećate li razliku u paradigmi? Kolegica reagira na zapažanje, a ja imam apriori saznanja da zaposlenik napravi određeni broj grešaka, tako da još jedna nije utjecala na tu spoznaju... E sad, ako se na kraju mjeseca pokaže da ih ima, na primjer, 15 takvih pogrešaka! .. To će već postati razlog za istraživanje uzroka nepoštivanja standarda.
Uvjereni ste u važnost Bayesovog pristupa? Zaintrigirani? Nadam se". A sad muha u glavi. Nažalost, Bayesove ideje rijetko se daju na prvi put. Iskreno nisam imao sreće, jer sam se s tim idejama upoznao preko popularne literature, nakon čijeg čitanja su ostala mnoga pitanja. Kad sam planirao napisati bilješku, prikupio sam sve što sam prethodno zacrtao prema Bayesu, a također sam proučavao što pišu na internetu. Predstavljam vam svoju najbolju pretpostavku o toj temi. Uvod u Bayesovu vjerojatnost.
Izvođenje Bayesovog teorema
Razmotrimo sljedeći eksperiment: imenujemo bilo koji broj koji leži na segmentu i popravimo kada je taj broj, na primjer, između 0,1 i 0,4 (slika 1a). Vjerojatnost ovog događaja jednaka je omjeru duljine segmenta i ukupne duljine segmenta, pod uvjetom da pojavljivanje brojeva na segmentu jednakovjerojatan. Matematički, ovo se može napisati str(0,1 <= x <= 0,4) = 0,3, или кратко R(x) = 0,3, gdje je R- vjerojatnost, x je slučajna varijabla u rasponu, x je slučajna varijabla u rasponu . Odnosno, vjerojatnost pogađanja segmenta je 30%.
Riža. 1. Grafička interpretacija vjerojatnosti
Sada razmotrite kvadrat x (slika 1b). Recimo da moramo imenovati parove brojeva ( x, g), od kojih je svaki veći od nule i manji od jedan. Vjerojatnost da x(prvi broj) bit će unutar segmenta (plavo područje 1), jednako omjeru površine plavog područja prema površini cijelog kvadrata, odnosno (0,4 - 0,1 ) * (1 - 0) / (1 * 1) = 0, 3, odnosno istih 30%. Vjerojatnost da g unutar segmenta (zelena površina 2) jednaka je omjeru površine zelene površine prema površini cijelog kvadrata str(0,5 <= y <= 0,7) = 0,2, или кратко R(Y) = 0,2.
Što se može naučiti o vrijednostima u isto vrijeme x i g. Na primjer, kolika je vjerojatnost da oboje x i g su u odgovarajućim zadanim segmentima? Da biste to učinili, morate izračunati omjer površine domene 3 (sjecište zelenih i plavih pruga) prema površini cijelog kvadrata: str(x, Y) = (0,4 – 0,1) * (0,7 – 0,5) / (1 * 1) = 0,06.
Sada pretpostavimo da želimo znati koja je vjerojatnost da g nalazi se u intervalu if x je već u rasponu. To jest, zapravo, imamo filter i kada pozivamo parove ( x, g), tada odmah odbacujemo one parove koji ne zadovoljavaju uvjet nalaza x u zadanom intervalu, a zatim iz filtriranih parova brojimo one za koje g zadovoljava naš uvjet i smatramo vjerojatnost omjerom broja parova za koje g leži u gornjem segmentu prema ukupnom broju filtriranih parova (to jest, za koje x leži u segmentu). Ovu vjerojatnost možemo napisati kao str(Y|x na x pogodak u domet." Očito je da je ova vjerojatnost jednaka omjeru površine područja 3 prema površini plavog područja 1. Površina područja 3 je (0,4 - 0,1) * (0,7 - 0,5) = 0,06, i površina plave površine 1 ( 0,4 - 0,1) * (1 - 0) = 0,3, tada je njihov omjer 0,06 / 0,3 = 0,2. Drugim riječima, vjerojatnost pronalaska g na segmentu, pod uvjetom da x pripada segmentu str(Y|x) = 0,2.
U prethodnom paragrafu zapravo smo formulirali identitet: str(Y|x) = str(x, Y) /p( x). Ona glasi: "vjerojatnost pogotka na u rasponu, pod uvjetom da x pogodak u rasponu jednak je omjeru vjerojatnosti istovremenog pogotka x u rasponu i na u rasponu, do vjerojatnosti pogotka x u domet."
Analogno, razmotrite vjerojatnost str(x|Y). Zovemo parove x, g) i filtrirajte one za koje g leži između 0,5 i 0,7, tada je vjerojatnost da x je u segmentu pod uvjetom da g pripada segmentu jednaka je omjeru površine površine 3 prema površini zelene površine 2: str(x|Y) = str(x, Y) / str(Y).
Imajte na umu da su vjerojatnosti str(x, Y) i str(Y, X) su jednake, a obje su jednake omjeru površine zone 3 prema površini cijelog kvadrata, ali vjerojatnosti str(Y|x) i str(x|Y) nejednak; dok je vjerojatnost str(Y|x) jednaka je omjeru površine površine 3 prema površini 1, i str(x|Y) – domena 3 u domenu 2. Primijetite također da str(x, Y) često se označava kao str(x&Y).
Dakle, imamo dvije definicije: str(Y|x) = str(x, Y) /p( x) i str(x|Y) = str(x, Y) / str(Y)
Prepišimo ove jednakosti kao: str(x, Y) = str(Y|x)*p( x) i str(x, Y) = str(x|Y) * str(Y)
Kako su lijeve strane jednake, jednake su i desne: str(Y|x)*p( x) = str(x|Y) * str(Y)
Ili posljednju jednakost možemo prepisati kao:
Ovo je Bayesov teorem!
Je li moguće da tako jednostavne (gotovo tautološke) transformacije daju veliki teorem!? Nemojte žuriti sa zaključcima. Razgovarajmo opet o tome što imamo. Postojala je neka početna (apriorna) vjerojatnost R(X) da je slučajna varijabla x ravnomjerno raspoređen na segmentu spada unutar raspona x. Desio se neki događaj Y, čime smo dobili aposteriornu vjerojatnost iste slučajne varijable x: R(X|Y), a ta se vjerojatnost razlikuje od R(X) koeficijentom . Događaj Y naziva dokazima, više ili manje potvrđujući ili pobijajući x. Ovaj koeficijent se ponekad naziva moć dokaza. Što je jači dokaz, činjenica opažanja Y više mijenja prethodnu vjerojatnost, to se posteriorna vjerojatnost više razlikuje od prethodne. Ako je dokaz slab, posterior je gotovo jednak prethodnom.
Bayesova formula za diskretne slučajne varijable
U prethodnom odjeljku izveli smo Bayesovu formulu za kontinuirane slučajne varijable x i y definirane na intervalu . Razmotrimo primjer s diskretnim slučajnim varijablama, od kojih svaka ima dvije moguće vrijednosti. Tijekom rutinskih liječničkih pregleda utvrđeno je da u dobi od četrdeset godina 1% žena boluje od raka dojke. 80% žena s rakom dobije pozitivne rezultate mamografije. 9,6% zdravih žena također ima pozitivne rezultate mamografije. Tijekom pregleda žena ove dobne skupine dobila je pozitivan nalaz mamografije. Koja je vjerojatnost da ona doista ima rak dojke?
Tijek obrazloženja/izračunavanja je sljedeći. Od 1% pacijenata s rakom, mamografija će dati 80% pozitivnih rezultata = 1% * 80% = 0,8%. Od 99% zdravih žena, mamografija će dati 9,6% pozitivnih rezultata = 99% * 9,6% = 9,504%. Ukupno, od 10,304% (9,504% + 0,8%) s pozitivnim nalazom mamografije samo je 0,8% bolesno, a preostalih 9,504% zdravo. Dakle, vjerojatnost da žena s pozitivnim mamogramom ima rak je 0,8% / 10,304% = 7,764%. Mislite li 80% ili tako nešto?
U našem primjeru Bayesova formula ima sljedeći oblik:
Razgovarajmo još jednom o "fizičkom" značenju ove formule. x je slučajna varijabla (dijagnoza), koja ima sljedeće vrijednosti: X 1- bolestan i X 2- zdrav; Y– slučajna varijabla (rezultat mjerenja – mamografija), koja poprima vrijednosti: Y 1- pozitivan rezultat i Y2- negativan rezultat; p(X 1)- vjerojatnost bolesti prije mamografije (apriorna vjerojatnost), jednaka 1%; R(Y 1 |x 1 ) - vjerojatnost pozitivnog rezultata ako je pacijent bolestan (uvjetna vjerojatnost, jer mora biti navedena u uvjetima problema), jednaka 80%; R(Y 1 |x 2 ) – vjerojatnost pozitivnog rezultata ako je pacijent zdrav (također uvjetna vjerojatnost), jednaka 9,6%; p(X 2)- vjerojatnost da je pacijentica zdrava prije mamografije (apriorna vjerojatnost), jednaka 99%; p(X 1|Y 1 ) – vjerojatnost da je pacijentica bolesna s obzirom na pozitivan rezultat mamografije (posteriorna vjerojatnost).
Može se vidjeti da je posteriorna vjerojatnost (ono što tražimo) proporcionalna prethodnoj vjerojatnosti (početnoj) s nešto složenijim koeficijentom 
. Opet ću naglasiti. Po mom mišljenju, ovo je temeljni aspekt Bayesovog pristupa. Dimenzija ( Y) dodao je određenu količinu informacija prvobitno dostupnim (a priori), što je razjasnilo naše znanje o objektu.
Primjeri
Kako biste učvrstili pređeno gradivo, pokušajte riješiti nekoliko zadataka.
Primjer 1 Postoje 3 urne; u prvom 3 bijele kugle i 1 crna; u drugom - 2 bijele kuglice i 3 crne; u trećoj - 3 bijele kuglice. Netko nasumično prilazi jednoj od urni i iz nje izvlači 1 kuglicu. Ova lopta je bijela. Nađite posteriorne vjerojatnosti da je kuglica izvučena iz 1., 2., 3. urne.
Riješenje. Imamo tri hipoteze: H 1 = (odabrana prva urna), H 2 = (odabrana druga urna), H 3 = (odabrana treća urna). Budući da je urna slučajno odabrana, apriorne vjerojatnosti hipoteza su: R(N 1) = R(N 2) = R(N 3) = 1/3.
Kao rezultat pokusa pojavio se događaj A = (iz odabrane urne izvađena je bijela kuglica). Uvjetne vjerojatnosti događaja A pod hipotezama H 1, H 2, H 3: P(A|H 1) = 3/4, P(A|H 2) = 2/5, P(A|H 3) = 1. Na primjer, prva jednakost glasi ovako: “vjerojatnost izvlačenja bijele kuglice ako se odabere prva urna je 3/4 (budući da su u prvoj urni 4 kuglice, od kojih su 3 bijele)”.
Primjenom Bayesove formule nalazimo posteriorne vjerojatnosti hipoteza:
Dakle, u svjetlu informacija o pojavi događaja A, vjerojatnosti hipoteza su se promijenile: najvjerojatnija je postala hipoteza H 3 , najmanje vjerojatna - hipoteza H 2 .
Primjer 2 Dva strijelca nezavisno gađaju istu metu, svaki ispaljujući po jedan hitac. Vjerojatnost pogađanja mete za prvog strijelca je 0,8, za drugog - 0,4. Nakon gađanja pronađena je jedna rupa na meti. Odredite vjerojatnost da ta rupa pripada prvom strijelcu (odbacujemo ishod (obje rupe su se poklopile) kao zanemarivo malo vjerojatan).
Riješenje. Prije eksperimenta moguće su sljedeće hipoteze: H 1 = (ni prva ni druga strijela neće pogoditi), H 2 = (obje će strijele pogoditi), H 3 - (prvi strijelac će pogoditi, a drugi neće). ), H 4 = (prvi strijelac neće pogoditi, a drugi će pogoditi). Prethodne vjerojatnosti hipoteza:
P (H 1) \u003d 0,2 * 0,6 \u003d 0,12; P (H2) \u003d 0,8 * 0,4 \u003d 0,32; P (H3) \u003d 0,8 * 0,6 \u003d 0,48; P (H 4) \u003d 0,2 * 0,4 \u003d 0,08.
Uvjetne vjerojatnosti promatranog događaja A = (postoji jedna rupa u meti) pod ovim hipotezama su: P(A|H 1) = P(A|H 2) = 0; P(A|H 3) = P(A|H 4) = 1
Nakon iskustva, hipoteze H1 i H2 postaju nemoguće, a posteriorne vjerojatnosti hipoteza H3 i H4 prema Bayesovoj formuli bit će:
Bayes protiv spama
Bayesova formula našla je široku primjenu u razvoju filtera neželjene pošte. Recimo da želite istrenirati računalo da odredi koje su e-poruke spam. Krenut ćemo od rječnika i kombinacija riječi koristeći Bayesove procjene. Najprije stvorimo prostor hipoteza. Uzmimo 2 hipoteze za bilo koje pismo: H A je spam, H B nije spam, već normalno, nužno pismo.
Prvo, "istrenirajmo" naš budući anti-spam sustav. Uzmimo sva slova koja imamo i podijelimo ih u dvije "hrpe" po 10 slova. U jedan stavljamo spam pisma i zovemo ga H A heap, u drugi stavljamo potrebnu korespondenciju i zovemo ga H B heap. Sada da vidimo: koje se riječi i fraze nalaze u neželjenoj pošti i potrebnim e-porukama i koliko često? Ove riječi i fraze nazvat ćemo dokazima i označiti s E 1 , E 2 ... Ispostavilo se da se često korištene riječi (na primjer, riječi "kao", "vaš") u hrpama H A i H B pojavljuju s približno istu frekvenciju. Dakle, prisutnost ovih riječi u pismu ne govori nam ništa o tome kojoj hrpi pripada (slab dokaz). Dodijelimo tim riječima neutralnu vrijednost procjene vjerojatnosti "spama", recimo 0,5.
Neka se fraza "conversational English" pojavljuje u samo 10 slova, i to češće u spam mailovima (na primjer, u 7 spam e-mailova od svih 10) nego u pravim (u 3 od 10). Dajmo ovom izrazu višu ocjenu od 7/10 za neželjenu poštu, a nižu ocjenu za normalne e-poruke: 3/10. Nasuprot tome, pokazalo se da je riječ "prijatelj" češća u normalnim slovima (6 od 10). I tako smo dobili kratko pismo: “Prijatelju! Kakav je vaš govorni engleski?. Pokušajmo procijeniti njegovu "spamnost". Općenite procjene P(H A), P(H B) pripadnosti svakoj hrpi stavit ćemo koristeći donekle pojednostavljenu Bayesovu formulu i naše približne procjene:
P(H A) = A/(A+B), gdje A \u003d p a1 * p a2 * ... * tava, B \u003d p b1 * p b2 * ... * p b n \u003d (1 - p a1) * (1 - p a2) * ... * ( 1 - p an).
Tablica 1. Pojednostavljena (i nepotpuna) Bayesova procjena pisanja
Tako je naše hipotetsko pismo dobilo ocjenu vjerojatnosti pripadnosti s naglaskom u smjeru "spam". Možemo li odlučiti baciti pismo na jednu od hrpa? Postavimo pragove odluke:
- Pretpostavit ćemo da slovo pripada gomili H i ako je P(H i) ≥ T.
- Slovo ne pripada hrpi ako je P(H i) ≤ L.
- Ako je L ≤ P(H i) ≤ T, tada se ne može donijeti odluka.
Možete uzeti T = 0,95 i L = 0,05. Budući da za predmetno pismo i 0,05< P(H A) < 0,95, и 0,05 < P(H В) < 0,95, то мы не сможем принять решение, куда отнести данное письмо: к спаму (H A) или к нужным письмам (H B). Можно ли улучшить оценку, используя больше информации?
Da. Izračunajmo rezultat za svaki dokaz na drugačiji način, baš kao što je Bayes predložio. Neka:
F a je ukupan broj spam e-pošte;
F ai je broj slova s certifikatom ja u hrpi neželjene pošte;
F b je ukupan broj potrebnih slova;
F bi je broj slova s certifikatom ja u hrpi potrebnih (relevantnih) slova.
Tada je: p ai = F ai /F a , p bi = F bi /F b . P(H A) = A/(A+B), P(H B) = B/(A+B), gdje A = p a1 *p a2 *…*p an , B = p b1 *p b2 *…*p b n
Imajte na umu da su rezultati dokaznih riječi p ai i p bi postali objektivni i mogu se izračunati bez ljudske intervencije.
Tablica 2. Točnija (ali nepotpuna) Bayesova procjena dostupnih značajki iz pisma
Dobili smo sasvim jasan rezultat - s velikom marginom vjerojatnosti, slovo se može pripisati potrebnim slovima, budući da je P(H B) = 0,997 > T = 0,95. Zašto se rezultat promijenio? Budući da smo koristili više informacija - uzeli smo u obzir broj slova u svakoj hrpi i, usput, puno točnije odredili procjene p ai i p bi. Određene su na isti način kao što je to učinio sam Bayes, izračunavanjem uvjetnih vjerojatnosti. Drugim riječima, p a3 je vjerojatnost da će se riječ "prijatelj" pojaviti u e-poruci, s obzirom da e-pošta već pripada hrpi neželjene pošte H A . Na rezultat se nije dugo čekalo - čini se da možemo sa većom sigurnošću donijeti odluku.
Bayes protiv korporativne prijevare
Zanimljivu primjenu Bayesovog pristupa opisao je MAGNUS8.
Moj trenutni projekt (IS za otkrivanje prijevare u proizvodnom poduzeću) koristi Bayesovu formulu za određivanje vjerojatnosti prijevare (prijevare) u prisutnosti/odsutnosti nekoliko činjenica neizravno u korist hipoteze o mogućnosti prijevare. Algoritam je samoučeći (s povratnom spregom), tj. ponovno izračunava svoje koeficijente (uvjetne vjerojatnosti) po stvarnoj potvrdi ili nepotvrdi prijevare tijekom provjere od strane službe ekonomske sigurnosti.
Vjerojatno je vrijedno reći da takve metode pri dizajniranju algoritama zahtijevaju prilično visoku matematičku kulturu programera, jer najmanja greška u izvođenju i/ili implementaciji računskih formula poništit će i diskreditirati cijelu metodu. Za to su posebno krive probabilističke metode, budući da ljudsko mišljenje nije prilagođeno radu s probabilističkim kategorijama te, shodno tome, nema „vidljivosti“ i razumijevanja „fizičkog značenja“ srednjih i konačnih probabilističkih parametara. Takvo shvaćanje postoji samo za osnovne pojmove teorije vjerojatnosti, a onda samo trebate vrlo pažljivo kombinirati i izvoditi složene stvari prema zakonima teorije vjerojatnosti - zdrav razum više neće pomoći za složene objekte. To je posebno povezano s prilično ozbiljnim metodološkim borbama koje se vode na stranicama modernih knjiga o filozofiji vjerojatnosti, kao i s velikim brojem sofizama, paradoksa i kurioziteta na ovu temu.
Još jedna nijansa s kojom sam se morao suočiti je da je, nažalost, gotovo sve više ili manje KORISNO U PRAKSI o ovoj temi napisano na engleskom jeziku. U izvorima na ruskom jeziku u osnovi postoji samo dobro poznata teorija s demonstracijskim primjerima samo za najprimitivnije slučajeve.
U potpunosti se slažem sa zadnjim komentarom. Na primjer, Google, kada je pokušavao pronaći nešto poput knjige "Bayesian Probability", nije dao ništa razumljivo. Istina, rekao je da je knjiga s Bayesovom statistikom zabranjena u Kini. (Profesor statistike Andrew Gelman izvijestio je na blogu Sveučilišta Columbia da je njegova knjiga, Analiza podataka s regresijom i višerazinskim/hijerarhijskim modelima, zabranjena za objavljivanje u Kini. tekst.”) Pitam se je li sličan razlog doveo do nepostojanja knjiga o Bayesovom vjerojatnost u Rusiji?
Konzervativizam u procesu ljudske obrade informacija
Vjerojatnosti određuju stupanj neizvjesnosti. Vjerojatnost je, i prema Bayesu i prema našoj intuiciji, jednostavno broj između nule i onoga što predstavlja stupanj do kojeg donekle idealizirana osoba vjeruje da je izjava istinita. Razlog zašto je čovjek donekle idealiziran je taj što zbroj njegovih vjerojatnosti za dva međusobno isključiva događaja mora biti jednak njegovoj vjerojatnosti da se bilo koji od tih događaja dogodi. Svojstvo aditivnosti ima takve implikacije da ih malo stvarnih ljudi može usporediti sa svima.
Bayesov teorem je trivijalna posljedica svojstva aditivnosti, neporeciva i s kojom se slažu svi probabilisti, Bayesovci i drugi. Jedan način da to napišete je sljedeći. Ako je P(H A |D) kasnija vjerojatnost da je hipoteza A bila nakon promatranja zadane vrijednosti D, P(HA) je njezina prethodna vjerojatnost prije nego što je zadana vrijednost D opažena, P(D|H A ) je vjerojatnost da data vrijednost D će se promatrati, ako je H A istinito, a P(D) je bezuvjetna vjerojatnost dane vrijednosti D, tada
(1) P(H A |D) = P(D|H A) * P(H A) / P(D)
P(D) je najbolje smatrati normalizirajućom konstantom, koja uzrokuje da se posteriorne vjerojatnosti zbroje do jedinice u iscrpnom skupu međusobno isključivih hipoteza koje se razmatraju. Ako treba izračunati, može biti ovako:
Ali češće se P(D) eliminira nego broji. Prikladan način da se to eliminira jest transformirati Bayesov teorem u oblik odnosa vjerojatnosti i izgleda.
Razmotrite drugu hipotezu, H B , koja se međusobno isključuje za H A, i promijenite svoje mišljenje o njoj na temelju iste dane količine koja je promijenila vaše mišljenje o H A. Bayesov teorem kaže da
(2) P(H B |D) = P(D|H B) * P(H B) / P(D)
Sada dijelimo jednadžbu 1 s jednadžbom 2; rezultat će biti ovakav:
gdje su Ω 1 posteriorni izgledi u korist H A u smislu H B, Ω 0 su prethodni izgledi, a L je broj poznat statističarima kao omjer vjerojatnosti. Jednadžba 3 je ista relevantna verzija Bayesovog teorema kao jednadžba 1, i često je mnogo korisnija posebno za eksperimente koji uključuju hipoteze. Zagovornici Bayesa tvrde da je Bayesov teorem formalno optimalno pravilo za revidiranje mišljenja u svjetlu novih podataka.
Zanima nas usporedba idealnog ponašanja definiranog Bayesovim teoremom sa stvarnim ponašanjem ljudi. Da bismo vam dali neku predodžbu o tome što to znači, pokušajmo eksperiment s vama kao subjektom. Ova torba sadrži 1000 poker žetona. Imam dvije takve vrećice, jednu sa 700 crvenih i 300 plavih žetona, a drugu sa 300 crvenih i 700 plavih. Bacio sam novčić da odredim koji ću upotrijebiti. Dakle, ako su naša mišljenja ista, vaša trenutna vjerojatnost da ćete izvući vreću s više crvenih žetona je 0,5. Sada nasumično uzorkujete, vraćajući se nakon svakog žetona. U 12 žetona dobivate 8 crvenih i 4 plava. Sada, na temelju svega što znate, koja je vjerojatnost da je torba imala više crvenih boja? Jasno je da je veći od 0,5. Molimo nemojte nastaviti čitati dok ne zabilježite svoju ocjenu.
Ako izgledate kao tipičan subjekt, vaš rezultat pada između 0,7 i 0,8. Međutim, kada bismo napravili odgovarajući izračun, odgovor bi bio 0,97. Doista, vrlo je rijetko da osoba koja prethodno nije bila pod utjecajem konzervativizma dođe do tako visoke procjene, čak i ako je bila upoznata s Bayesovim teoremom.
Ako je udio crvenog čipsa u vrećici R, zatim vjerojatnost dobivanja r crveni čips i ( n-r) plava u n uzorci s povratom - p r (1–p)n–r. Dakle, u tipičnom eksperimentu s torbom i žetonom za poker, ako HA znači da je udio crvenih žetona r A i HB znači da je udio RB, tada omjer vjerojatnosti:
Pri primjeni Bayesove formule u obzir se mora uzeti samo vjerojatnost stvarnog opažanja, a ne vjerojatnosti drugih opažanja koja je on mogao izvesti, ali nije. Ovo načelo ima široke implikacije za sve statističke i nestatističke primjene Bayesovog teorema; to je najvažniji tehnički alat Bayesovog mišljenja.
Bayesova revolucija
Vaši prijatelji i kolege govore o nečemu što se zove "Bayesov teorem" ili "Bayesovo pravilo" ili nešto što se zove Bayesovo razmišljanje. Oni su stvarno u tome, pa odete na internet i pronađete stranicu o Bayesovom teoremu i... To je jednadžba. I to je sve... Zašto matematički koncept izaziva takav entuzijazam u glavama? Kakva se to “Bayesova revolucija” događa među znanstvenicima, a tvrdi se da se čak i sam eksperimentalni pristup može opisati kao njezin poseban slučaj? Koja je tajna koju Bayesovi sljedbenici znaju? Kakvu vrstu svjetla vide?
Bayesovska revolucija u znanosti nije se dogodila jer je sve više i više kognitivnih znanstvenika odjednom počelo primjećivati da mentalni fenomeni imaju Bayesovu strukturu; ne zato što su znanstvenici u svim područjima počeli koristiti Bayesovu metodu; već zato što je sama znanost poseban slučaj Bayesova teorema; eksperimentalni dokaz je Bayesov dokaz. Bayesovski revolucionari tvrde da kada napravite eksperiment i dobijete dokaz koji "podržava" ili "pobija" vašu teoriju, ta potvrda ili opovrgavanje se događa u skladu s Bayesovim pravilima. Na primjer, morate uzeti u obzir ne samo da vaša teorija može objasniti fenomen, već i da postoje druga moguća objašnjenja koja također mogu predvidjeti ovaj fenomen.
Prethodno je najpopularnija filozofija znanosti bila stara filozofija koju je istisnula Bayesova revolucija. Ideja Karla Poppera da se teorije mogu potpuno falsificirati, ali nikad potpuno potvrditi, još je jedan poseban slučaj Bayesovih pravila; ako je p(X|A) ≈ 1 - ako teorija daje točna predviđanja, tada opažanje ~X jako krivotvori A. S druge strane, ako je p(X|A) ≈ 1 i promatramo X, to ne jako podržavaju teoriju; neki drugi uvjet B je moguć, takav da je p(X|B) ≈ 1, i pod kojim promatranje X ne predstavlja dokaz za A, već dokaz za B. Da bismo promatrali X koji definitivno potvrđuje A, ne bismo trebali znati da je p( X|A) ≈ 1 i da je p(X|~A) ≈ 0, što ne možemo znati jer ne možemo razmotriti sva moguća alternativna objašnjenja. Na primjer, kada je Einsteinova teorija opće relativnosti nadmašila Newtonovu visoko provjerljivu teoriju gravitacije, učinila je sva predviđanja Newtonove teorije posebnim slučajem Einsteinovih.
Slično, Popperova tvrdnja da ideja mora biti falsifikabilna može se tumačiti kao manifestacija Bayesovog pravila o očuvanju vjerojatnosti; ako je rezultat X pozitivan dokaz za teoriju, tada rezultat ~X mora u određenoj mjeri krivotvoriti teoriju. Ako pokušavate protumačiti i X i ~X kao "podržavanje" teorije, Bayesova pravila kažu da je to nemoguće! Da biste povećali vjerojatnost teorije, morate je podvrgnuti testovima koji potencijalno mogu smanjiti njezinu vjerojatnost; ovo nije samo pravilo za otkrivanje šarlatana u znanosti, već posljedica Bayesovog teorema vjerojatnosti. S druge strane, Popperova ideja da je potrebno samo falsificiranje i nikakva potvrda je pogrešna. Bayesov teorem pokazuje da je falsificiranje vrlo jak dokaz u usporedbi s potvrdom, ali falsificiranje je još uvijek vjerojatnosne prirode; ne ravna se temeljno različitim pravilima i ne razlikuje se u tome od potvrde, kako tvrdi Popper.
Stoga nalazimo da su mnogi fenomeni u kognitivnim znanostima, plus statističke metode koje koriste znanstvenici, plus same znanstvene metode, posebni slučajevi Bayesovog teorema. To je ono o čemu se radi u Bayesovoj revoluciji.
Dobrodošli u Bayesovu zavjeru!
Literatura o Bayesovoj vjerojatnosti
2. Dobitnik Nobelove nagrade za ekonomiju Kahneman (et al.) opisuje mnogo različitih Bayesovih primjena u prekrasnoj knjizi. Samo u svom sažetku ove vrlo velike knjige, izbrojao sam 27 referenci na ime prezbiterijanskog svećenika. Minimalne formule. (.. jako mi se svidjelo. Istina, komplicirano je, puno matematike (a gdje bez nje), ali pojedina poglavlja (npr. Poglavlje 4. Informacije), jasno na temu. Savjetujem svima. Čak i ako je matematika teško za tebe, čitaj kroz red, preskačući matematiku, i loveći korisne žitarice ...
14. (dopuna od 15.01.2017), poglavlje iz knjige Tonyja Crillya. 50 ideja koje trebate znati. Matematika.
Fizičar Richard Feynman, nobelovac, govoreći o jednom filozofu posebno velike uobraženosti, jednom je rekao: “Uopće me ne iritira filozofija kao znanost, nego pompa koja se digla oko nje. Kad bi se filozofi mogli sami sebi smijati! Kad bi barem mogli reći: "Ja kažem da je ovako, ali Von Leipzig je mislio da je drugačije, a i on zna nešto o tome." Kad bi se barem sjetili razjasniti da je samo njihov .
Oblik događaja puna grupa, ako će se barem jedan od njih nužno pojaviti kao rezultat eksperimenta i ako su parovi nekonzistentni.
Pretpostavimo da je događaj A može se dogoditi samo zajedno s jednim od nekoliko upareno nekompatibilnih događaja koji čine potpunu skupinu. Nazovimo događaje ja= 1, 2,…, n) hipoteze dodatno iskustvo (a priori). Vjerojatnost pojavljivanja događaja A određena je formulom puna vjerojatnost :
Primjer 16 Postoje tri urne. Prva urna sadrži 5 bijelih i 3 crne kugle, druga urna sadrži 4 bijele i 4 crne kugle, a treća urna sadrži 8 bijelih kugli. Jedna od urni je odabrana nasumično (to može značiti, na primjer, da je odabir napravljen od pomoćne urne koja sadrži tri kuglice označene brojevima 1, 2 i 3). Kuglica se nasumično izvlači iz ove urne. Koja je vjerojatnost da će biti crna?
Riješenje. Događaj A– izvučena je crna kuglica. Kad bi se znalo iz koje se urne izvlači kuglica, tada bi se tražena vjerojatnost mogla izračunati prema klasičnoj definiciji vjerojatnosti. Uvedimo pretpostavke (hipoteze) o tome koja je urna odabrana za vađenje lopte.
Lopta se može izvući ili iz prve urne (hipoteza), ili iz druge (hipoteza), ili iz treće (hipoteza). Budući da su jednake šanse odabrati bilo koju od urni, dakle 
.
Otuda slijedi da
Primjer 17. Električne svjetiljke proizvode se u tri tvornice. Prva tvornica proizvodi 30% ukupnog broja električnih svjetiljki, druga - 25%,
a treći za ostalo. Proizvodi prve tvornice sadrže 1% neispravnih električnih svjetiljki, druge - 1,5%, treće - 2%. Trgovina prima proizvode iz sve tri tvornice. Koja je vjerojatnost da je lampa kupljena u trgovini neispravna?
Riješenje. Potrebno je unijeti pretpostavke u kojoj je tvornici žarulja proizvedena. Znajući to, možemo pronaći vjerojatnost da je neispravan. Uvedimo oznake za događaje: A– kupljena električna lampa se pokazala neispravnom, – lampu je proizvela prva tvornica, – lampu je proizvela druga tvornica,
– lampu proizvodi treća tvornica.
Željena vjerojatnost nalazi se formulom ukupne vjerojatnosti:
Bayesova formula. Neka je potpuna skupina po parovima nekompatibilnih događaja (hipoteza). ALI je slučajan događaj. Zatim,
Posljednja formula koja vam omogućuje da precijenite vjerojatnosti hipoteza nakon što rezultat testa postane poznat, kao rezultat čega se pojavio događaj A, zove se Bayesova formula .
Primjer 18. U prosjeku 50% bolesnika s tom bolešću bude primljeno u specijaliziranu bolnicu Do, 30% s bolešću L, 20 % –
s bolešću M. Vjerojatnost potpunog izlječenja bolesti K jednaka je 0,7 za bolesti L i M te su vjerojatnosti 0,8 odnosno 0,9. Pacijentica primljena u bolnicu otpuštena je zdrava. Odredite vjerojatnost da je ovaj pacijent imao tu bolest K.
Riješenje. Uvodimo hipoteze: - pacijent je bolovao od neke bolesti Do L, pacijent je bolovao od bolesti M.
Tada, prema uvjetu problema, imamo . Predstavimo događaj ALI Pacijentica primljena u bolnicu otpuštena je zdrava. Po stanju
Prema formuli ukupne vjerojatnosti dobivamo:
Bayesova formula.
Primjer 19. Neka se u urni nalazi pet kuglica i sve su pretpostavke o broju bijelih kuglica jednako vjerojatne. Iz urne se nasumično uzme kuglica i ispadne da je bijela. Koja je najvjerojatnija pretpostavka o početnom sastavu urne?
Riješenje. Neka bude hipoteza da u urni bijelih kuglica 
, tj. moguće je napraviti šest pretpostavki. Tada, prema uvjetu problema, imamo .
Predstavimo događaj ALI Nasumično izvučena bijela kuglica. Izračunajmo. Budući da , tada prema Bayesovoj formuli imamo: 
Dakle, hipoteza je najvjerojatnija, jer .
Primjer 20. Otkazala su dva od tri neovisno radna elementa računalnog uređaja. Odredite vjerojatnost kvara prvog i drugog elementa ako su vjerojatnosti otkaza prvog, drugog i trećeg elementa redom jednake 0,2; 0,4 i 0,3.
Riješenje. Označimo sa ALI događaj - dva elementa nisu uspjela. Mogu se postaviti sljedeće hipoteze:
- prvi i drugi element nisu uspjeli, a treći element je ispravan. Budući da elementi rade neovisno, primjenjuje se teorem množenja:
