Jednostavno objašnjenje Bayesovog teorema. Formula ukupne vjerojatnosti
Pri izvođenju formule ukupne vjerojatnosti pretpostavljeno je da događaj A, čiju je vjerojatnost trebalo utvrditi, moglo dogoditi jednom od događaja N 1 , N 2 , ... , N n tvoreći potpunu skupinu u parovima nekompatibilnih događaja. Štoviše, vjerojatnosti tih događaja (hipoteze) bile su unaprijed poznate. Pretpostavimo da je izveden pokus koji je rezultirao događajem A stiglo je. Ove dodatne informacije omogućuju nam da ponovno procijenimo vjerojatnosti hipoteza. N i, izračunavši P(Hi/A).
ili, koristeći formulu ukupne vjerojatnosti, dobivamo
Ova se formula naziva Bayesova formula ili teorem hipoteze. Bayesova formula omogućuje vam "reviziju" vjerojatnosti hipoteza nakon što postane poznat rezultat eksperimenta koji je rezultirao događajem A.
Vjerojatnosti R(N i)− to su apriorne vjerojatnosti hipoteza (izračunavaju se prije eksperimenta). Vjerojatnosti P(H i /A)− to su posteriorne vjerojatnosti hipoteza (izračunavaju se nakon eksperimenta). Bayesova formula omogućuje vam izračunavanje posteriornih vjerojatnosti iz njihovih prethodnih vjerojatnosti i iz uvjetnih vjerojatnosti događaja A.
Primjer. Poznato je da je 5% svih muškaraca i 0,25% svih žena slijepo za boje. Nasumično odabrana osoba prema broju zdravstvene iskaznice pati od daltonizma. Koja je vjerojatnost da se radi o muškarcu?
Riješenje. Događaj A– osoba pati od daltonizma. Prostor elementarnih događaja za eksperiment - osoba se bira prema broju zdravstvene iskaznice - Ω = ( N 1 , N 2 ) sastoji se od 2 događaja:
N 1 - odabran je muškarac,
N 2 – odabrana je žena.
Ti se događaji mogu odabrati kao hipoteze.
Prema uvjetima problema (slučajni izbor) vjerojatnosti ovih događaja su iste i jednake P(N 1 ) = 0.5; P(N 2 ) = 0.5.
U ovom slučaju, uvjetne vjerojatnosti da osoba pati od sljepoće za boje jednake su:
R(A/N 1 ) = 0.05 = 1/20; R(A/N 2 ) = 0.0025 = 1/400.
Budući da je poznato da je odabrana osoba daltonist, tj. događaj se dogodio, koristimo se Bayesovom formulom za preispitivanje prve hipoteze:
Primjer. Postoje tri kutije identičnog izgleda. Prva kutija sadrži 20 bijelih kuglica, druga sadrži 10 bijelih i 10 crnih kuglica, a treća kutija sadrži 20 crnih kuglica. Bijela kuglica se uzima iz nasumično odabrane kutije. Izračunajte vjerojatnost da je kuglica izvučena iz prve kutije.
Riješenje. Označimo sa A događaj - pojava bijele lopte. O izboru kutije mogu se napraviti tri pretpostavke (hipoteze): N 1 ,N 2 , N 3 – izbor prve, druge i treće kutije.
Budući da je izbor bilo kojeg od okvira jednako moguć, vjerojatnosti hipoteza su iste:
P(N 1 )=P(N 2 )=P(N 3 )= 1/3.
Prema problemu, vjerojatnost izvlačenja bijele kuglice iz prve kutije je
Vjerojatnost izvlačenja bijele kuglice iz druge kutije 
Vjerojatnost izvlačenja bijele kuglice iz treće kutije
Željenu vjerojatnost nalazimo pomoću Bayesove formule:
Ponavljanje testova. Bernoullijeva formula.
Provodi se N pokusa, u svakom od njih se događaj A može ili ne mora dogoditi, a vjerojatnost događaja A u svakom pojedinačnom pokusu je konstantna, tj. ne mijenja se od iskustva do iskustva. Već znamo kako pronaći vjerojatnost događaja A u jednom eksperimentu.
Od posebnog je interesa vjerojatnost pojavljivanja određenog broja puta (m puta) događaja A u n eksperimenata. Takvi se problemi mogu lako riješiti ako su testovi neovisni.
Def. Poziva se nekoliko testova neovisno o događaju A , ako vjerojatnost događaja A u svakom od njih ne ovisi o ishodima drugih eksperimenata.
Vjerojatnost P n (m) pojavljivanja događaja A točno m puta (nepojavljivanje n-m puta, događaj ) u ovih n pokusa. Događaj A pojavljuje se u vrlo različitim sekvencama m puta).
- Bernoullijeva formula.
Sljedeće formule su očite:
R n (m
P n (m>k) = P n (k+1) + P n (k+2) +…+ P n (n) - vjerojatnost pojavljivanja događaja A više k puta u n pokusa.
Počnimo s primjerom. U urni ispred tebe, jednako vjerojatno mogu postojati (1) dvije bijele kuglice, (2) jedna bijela i jedna crna, (3) dvije crne. Povučete loptu i ispadne bijela. Kako biste ga sada ocijenili? vjerojatnost ove tri opcije (hipoteze)? Očito je vjerojatnost hipoteze (3) s dvije crne kuglice = 0. Ali kako izračunati vjerojatnosti dviju preostalih hipoteza!? To se može učiniti pomoću Bayesove formule koja u našem slučaju ima oblik (broj formule odgovara broju hipoteze koja se testira):
Preuzmite bilješku u or
x– slučajna varijabla (hipoteza) koja ima sljedeće vrijednosti: x 1- dvije bijele, x 2– jedan bijeli, jedan crni; x 3– dvije crne; na– slučajna varijabla (događaj) koja uzima vrijednosti: u 1– izvlači se bijela kuglica i u 2– izvuče se crna kuglica; P(x 1)– vjerojatnost prve hipoteze prije izvlačenja kuglice ( apriorno vjerojatnost ili mogućnost prije iskustvo) = 1/3; P(x 2)– vjerojatnost druge hipoteze prije izvlačenja kuglice = 1/3; P(x 3)– vjerojatnost treće hipoteze prije izvlačenja kuglice = 1/3; P(y 1|x 1)– uvjetna vjerojatnost izvlačenja bijele kuglice, ako je prva hipoteza istinita (kuglice su bijele) = 1; P(y 1|x 2) – vjerojatnost izvlačenja bijele kuglice ako je druga hipoteza istinita (jedna kuglica je bijela, druga je crna) = ½; P(y 1|x 3) – vjerojatnost izvlačenja bijele kuglice ako je treća hipoteza istinita (obje crne) = 0; P(y 1)– vjerojatnost izvlačenja bijele kuglice = ½; R(y 2)– vjerojatnost izvlačenja crne kuglice = ½; i na kraju, ono što tražimo - P(x 1|y 1) – vjerojatnost da je prva hipoteza istinita (obje kuglice su bijele), s obzirom da smo izvukli bijelu kuglicu ( a posteriori vjerojatnost ili mogućnost nakon iskustvo); P(x 2|y 1) – vjerojatnost da je druga hipoteza istinita (jedna kuglica je bijela, druga je crna), pod uvjetom da smo izvukli bijelu kuglicu.
Vjerojatnost da je prva hipoteza (dvije bijele) istinita, s obzirom da smo izvukli bijelu kuglicu:
Vjerojatnost da je druga hipoteza istinita (jedna je bijela, druga je crna), pod uvjetom da smo izvukli bijelu kuglicu:
Vjerojatnost da je treća hipoteza istinita (dvije crne), s obzirom da smo izvukli bijelu kuglicu:
Što radi Bayesova formula? Omogućuje, na temelju apriornih vjerojatnosti hipoteza - P(x 1), P(x 2), P(x 3)– i vjerojatnosti događanja događaja – P(y 1), R(y 2)– izračunati posteriorne vjerojatnosti hipoteza, na primjer, vjerojatnost prve hipoteze, pod uvjetom da je izvučena bijela kuglica – P(x 1|y 1).
Vratimo se još jednom formuli (1). Početna vjerojatnost prve hipoteze bila je P(x 1) = 1/3. S vjerojatnošću P(y 1) = 1/2 mogli bismo izvući bijelu kuglicu, i to s vjerojatnošću P(y 2) = 1/2- crno. Bijelu smo izvukli. Vjerojatnost crtanja bijelog, pod uvjetom da je prva hipoteza istinita P(y 1|x 1) = 1. Bayesova formula kaže da otkad je izvučeno bijelo, vjerojatnost prve hipoteze je porasla na 2/3, vjerojatnost druge hipoteze je i dalje 1/3, a vjerojatnost treće hipoteze je postala nula.
Lako je provjeriti da bi se posteriorne vjerojatnosti simetrično promijenile kad bismo izvukli crnu kuglu: P(x 1|y 2) = 0, P(x 2|y 2) = 1/3, P(x 3|y 2) = 2/3.
Evo što je Pierre Simon Laplace napisao o Bayesovoj formuli u djelu objavljenom 1814. godine:
Ovo je osnovno načelo one grane analize nepredviđenih okolnosti koja se bavi prijelazima od događaja do uzroka.
Zašto je Bayesovu formulu tako teško razumjeti!? Po mom mišljenju, zato što je naš uobičajeni pristup zaključivanje od uzroka do posljedica. Na primjer, ako se u urni nalazi 36 kuglica, od kojih je 6 crnih, a ostale su bijele. Kolika je vjerojatnost izvlačenja bijele kuglice? Bayesova formula omogućuje vam prijelaz s događaja na razloge (hipoteze). Ako smo imali tri hipoteze i dogodio se događaj, kako je taj događaj (a ne alternativa) utjecao na početne vjerojatnosti hipoteza? Kako su se te vjerojatnosti promijenile?
Vjerujem da se Bayesova formula ne odnosi samo na vjerojatnosti. Mijenja paradigmu percepcije. Kakav je misaoni proces kada se koristi deterministička paradigma? Ako se događaj dogodio, koji je bio njegov uzrok? Ako je došlo do nesreće, hitne situacije, vojnog sukoba. Tko ili što je njihova krivnja? Što misli Bayesov promatrač? Kakva je struktura stvarnosti dovela do dano slučaju takvoj i takvoj manifestaciji... Bayesovac razumije da u inače U ovom slučaju rezultat je mogao biti drugačiji...
Postavimo simbole u formulama (1) i (2) malo drugačije:
Razgovarajmo opet o onome što vidimo. Uz jednaku početnu (apriornu) vjerojatnost, jedna od tri hipoteze mogla bi biti istinita. S jednakom vjerojatnošću mogli bismo izvući bijelu ili crnu kuglicu. Bijelu smo izvukli. U svjetlu ovih novih dodatnih informacija, našu procjenu hipoteza treba ponovno razmotriti. Bayesova formula nam omogućuje da to učinimo numerički. Prethodna vjerojatnost prve hipoteze (formula 7) bila je P(x 1), izvučena je bijela kuglica, posteriorna vjerojatnost prve hipoteze postala je P(x 1|na 1). Te se vjerojatnosti razlikuju po faktoru.
Događaj u 1 zove se dokaz koji više ili manje potvrđuje ili opovrgava hipotezu x 1. Taj se koeficijent ponekad naziva moć dokaza. Što je dokaz snažniji (što se koeficijent više razlikuje od jedinice), veća je činjenica opažanja u 1 mijenja prethodnu vjerojatnost, što se posteriorna vjerojatnost više razlikuje od prethodne. Ako je dokaz slab (koeficijent ~1), posteriorna vjerojatnost je gotovo jednaka prethodnoj.
Potvrda u 1 V = 2 puta promijenila prethodnu vjerojatnost hipoteze x 1(formula 4). Istovremeno, dokazi u 1 nije promijenio vjerojatnost hipoteze x 2, od svoje snage = 1 (formula 5).
Općenito, Bayesova formula ima sljedeći oblik:
x– slučajna varijabla (skup međusobno isključivih hipoteza) koja ima sljedeće vrijednosti: x 1, x 2, … , xn. na– slučajna varijabla (skup međusobno isključivih događaja) koja ima sljedeće vrijednosti: u 1, u 2, … , nan. Bayesova formula omogućuje pronalaženje posteriorne vjerojatnosti hipoteze xja po nastanku događaja y j. Brojnik je umnožak prethodne vjerojatnosti hipoteze xja – P(xja) o vjerojatnosti događanja događaja y j, ako je hipoteza istinita xja – R(y j|xja). Nazivnik je zbroj umnožaka istog kao u brojniku, ali za sve hipoteze. Izračunamo li nazivnik, dobivamo ukupnu vjerojatnost događanja događaja naj(ako je bilo koja od hipoteza istinita) – R(y j) (kao u formulama 1-3).
Još jednom o svjedočenju. Događaj y j pruža dodatne informacije koje vam omogućuju reviziju prethodne vjerojatnosti hipoteze xja. Snaga dokaza – 
– sadrži u brojniku vjerojatnost događanja događaja y j, ako je hipoteza istinita xja. Nazivnik je ukupna vjerojatnost da će se događaj dogoditi. naj(ili vjerojatnost da će se događaj dogoditi naj u prosjeku po svim hipotezama). naj gore za hipotezu xja, nego prosjek za sve hipoteze, onda dokazi igraju na ruku hipotezi xja, povećavajući njegovu posteriornu vjerojatnost R(y j|xja).
Ako je vjerojatnost događanja događaja naj ispod za hipotezu xja od prosjeka za sve hipoteze, tada dokaz snižava posteriornu vjerojatnost R(y j|xja) Za hipoteze xja.
Ako je vjerojatnost događanja događaja naj za hipotezu xja je isti kao prosjek za sve hipoteze, tada dokaz ne mijenja posteriornu vjerojatnost R(y j|xja) Za hipoteze xja.
Evo nekoliko primjera za koje se nadam da će ojačati vaše razumijevanje Bayesove formule.
Zadatak 2. Dva strijelca nezavisno gađaju istu metu, svaki ispaljuje po jedan hitac. Vjerojatnost pogađanja mete za prvog strijelca je 0,8, za drugog - 0,4. Nakon gađanja otkrivena je jedna rupa na meti. Odredite vjerojatnost da ta rupa pripada prvom strijelcu. .
Zadatak 3. Objekt koji se prati može biti u jednom od dva stanja: H 1 = (funkcionira) i H 2 = (ne radi). Priorne vjerojatnosti ovih stanja su P(H 1) = 0,7, P(H 2) = 0,3. Postoje dva izvora informacija koji daju proturječne informacije o stanju objekta; prvi izvor javlja da objekt ne funkcionira, drugi - da funkcionira. Poznato je da prvi izvor daje točnu informaciju s vjerojatnošću 0,9, a s vjerojatnošću 0,1 - netočnu informaciju. Drugi izvor je manje pouzdan: točne informacije daje s vjerojatnošću 0,7, a netočne s vjerojatnošću 0,3. Odredite posteriorne vjerojatnosti hipoteza. .
Zadaci 1–3 preuzeti su iz udžbenika E.S.Ventzel, L.A.Ovcharov. Teorija vjerojatnosti i njezine inženjerske primjene, odjeljak 2.6 Teorem o hipotezi (Bayesova formula).
Problem 4 preuzet iz knjige, odjeljak 4.3 Bayesov teorem.
INFORMACIJSKA TEHNOLOGIJA, RAČUNALSTVO I MENADŽMENT
O primjenjivosti Bayesove formule
DOI 10.12737/16076
A. I. Dolgov **
1 Dioničko društvo "Konstruktorski biro za radio nadzor sustava upravljanja, navigacije i komunikacije", Rostov na Donu, Ruska Federacija
O primjenjivosti Bayesove formule*** A. I. Dolgov1**
1 "Projektni biro za nadzor sustava upravljanja, navigacije i komunikacije" JSC, Rostov na Donu, Ruska Federacija
Predmet ovog istraživanja je Bayesova formula. Svrha ovog rada je analizirati i proširiti područje primjene formule. Primarni zadatak je proučavanje publikacija posvećenih ovom problemu, što je omogućilo identificiranje nedostataka u korištenju Bayesove formule, što je dovelo do netočnih rezultata. Sljedeći zadatak je konstruirati modifikacije Bayesove formule koje uzimaju u obzir različite pojedinačne dokaze i dobivaju točne rezultate. I na kraju, na primjeru specifičnih izvornih podataka, netočni rezultati dobiveni pomoću Bayesove formule uspoređuju se s točnim rezultatima izračunatim pomoću predloženih modifikacija. Za provođenje istraživanja korištene su dvije metode. Najprije je provedena analiza principa konstruiranja poznatih izraza korištenih za pisanje Bayesove formule i njezinih modifikacija. Drugo, izvršena je komparativna procjena rezultata (uključujući kvantitativne). Predložene izmjene osiguravaju širu primjenu Bayesove formule u teoriji i praksi, uključujući i rješavanje primijenjenih problema.
Ključne riječi: uvjetne vjerojatnosti, nekonzistentne hipoteze, kompatibilni i nekompatibilni dokazi, normalizacija.
Predmet istraživanja je Bayesova formula. Cilj rada je analizirati primjenu formule i proširiti opseg njezine primjenjivosti. Problem prvog prioriteta je identifikacija nedostataka Bayesove formule na temelju proučavanja relevantnih publikacija koje dovode do netočnih rezultate. Sljedeći zadatak je konstruirati modifikacije Bayesove formule kako bi se osiguralo obračunavanje različitih pojedinačnih indikacija za dobivanje točnih rezultata. I na kraju, netočni rezultati dobiveni primjenom Bayesove formule uspoređuju se s točnim rezultatima izračunatim korištenjem predložene modifikacije formule na primjeru konkretnih početnih podataka. U studijama se koriste dvije metode. Prvo se provodi analiza principa konstruiranja poznatih izraza koji se koriste za zapis Bayesove formule i njezinih modifikacija. Zatim se vrši usporedna procjena rezultata (uključujući i kvantitativnu). Predložene izmjene omogućuju širu primjenu Bayesove formule u teoriji i praksi uključujući rješavanje primijenjenih problema.
Ključne riječi: uvjetne vjerojatnosti, nekonzistentne hipoteze, kompatibilne i nekompatibilne indikacije, normaliziranje.
Uvod. Bayesova formula se sve više koristi u teoriji i praksi, uključujući i rješavanje primijenjenih problema pomoću računalne tehnologije. Korištenje međusobno neovisnih računalnih postupaka omogućuje posebno učinkovito korištenje ove formule pri rješavanju problema na višeprocesorskim računalnim sustavima, budući da se u ovom slučaju paralelna implementacija izvodi na razini općeg sklopa, a pri dodavanju sljedećeg algoritma ili klase problema nema potrebe ponovno raditi na paralelizaciji.
Predmet ove studije je primjenjivost Bayesove formule za komparativnu procjenu posteriornih uvjetnih vjerojatnosti nekonzistentnih hipoteza prema različitim pojedinačnim dokazima. Kao što analiza pokazuje, u takvim slučajevima normalizirane vjerojatnosti nekompatibilnih kombiniranih događaja pripadaju
S X<и ч и
JE eö I JE X X<и H
„Rad je izveden u sklopu inicijativnog istraživačkog projekta.
**E-mail: [e-mail zaštićen]
"Istraživanje se provodi u okviru neovisnog R&D-a.
koji odgovaraju različitim cjelovitim skupinama događaja. Istodobno se pokazalo da uspoređeni rezultati nisu primjereni stvarnim statističkim podacima. To je zbog sljedećih čimbenika:
Koristi se netočna normalizacija;
Prisutnost ili odsutnost raskrižja dokaza uzetih u obzir se ne uzima u obzir.
Kako bi se uklonili uočeni nedostaci, utvrđuju se slučajevi primjenjivosti Bayesove formule. Ako navedena formula nije primjenjiva, rješava se problem konstruiranja njezine modifikacije, osiguravajući da se razni pojedinačni dokazi uzmu u obzir i dobiju točni rezultati. Na primjeru konkretnih početnih podataka izvršena je usporedna procjena rezultata:
Netočno - dobiveno pomoću Bayesove formule;
Točno - izračunato korištenjem predložene izmjene.
Početne odredbe. Dolje navedene izjave temeljit će se na načelu očuvanja omjera vjerojatnosti: „Ispravna obrada vjerojatnosti događaja moguća je samo uz normalizaciju pomoću jednog zajedničkog normalizirajućeg djelitelja, koji osigurava da su omjeri normaliziranih vjerojatnosti jednaki omjerima odgovarajućih normaliziranih vjerojatnosti .” Ovo načelo predstavlja subjektivnu osnovu teorije vjerojatnosti, ali nije adekvatno reflektirano u suvremenoj obrazovnoj i znanstveno-tehničkoj literaturi.
Ako se ovo načelo prekrši, informacije o stupnju mogućnosti događaja koji se razmatraju su iskrivljene. Rezultati i odluke donesene na temelju iskrivljenih informacija ispadaju neadekvatni stvarnim statističkim podacima.
U ovom će se članku koristiti sljedeći koncepti:
Elementarni događaj je događaj koji nije djeljiv na elemente;
Kombinirani događaj - događaj koji predstavlja jednu ili drugu kombinaciju elementarnih događaja;
Kompatibilni događaji su događaji koji u nekim slučajevima komparativne procjene njihove vjerojatnosti mogu biti nekompatibilni, au drugim slučajevima kompatibilni;
Inkompatibilni događaji su događaji koji su nekompatibilni u svim slučajevima.
Prema teoremu množenja vjerojatnosti, vjerojatnost P (I ^E) umnoška elementarnih događaja I ^ i
E se izračunava kao umnožak vjerojatnosti P(Ik E) = P(E)P(I^E) . U tom pogledu Bayesova formula je često
zapisuje se u obliku P(Ik\E) =--- , opisujući definiciju posteriornih uvjetnih vjerojatnosti
P(I^E) hipoteze Ik (k = 1,...n) temeljene na normalizaciji apriornih vjerojatnosti P(I^E) kombiniranih nekompatibilnih događaja I do E uzetih u obzir. Svaki od takvih događaja predstavlja proizvod čiji su čimbenici jedna od razmatranih hipoteza i jedan dokaz koji se razmatra. Pritom sve razmatramo
mogući događaji IKE (k = 1,...n) čine kompletnu grupu IKE nekompatibilnih kombiniranih događaja, zbog
s kojom njihove vjerojatnosti P(Ik E) treba normalizirati uzimajući u obzir formulu ukupne vjerojatnosti, prema kojoj
roj P(E) = 2 P(Ik)P(E\Ik). Stoga se Bayesova formula najčešće piše u najčešće korištenom obliku:
R(Ik) R(EIk)
P(Ik\E) = -. (1)
^ kation Bayesove formule.
Analiza značajki konstruiranja Bayesove formule usmjerene na rješavanje primijenjenih problema, kao i primjeri
“i njegova praktična primjena omogućuju nam da izvučemo važan zaključak u vezi s izborom potpune skupine kombiniranih događaja uspoređenih prema stupnju mogućnosti (od kojih je svaki proizvod dvaju elementarnih događaja - jedne od hipoteza i dokaza koji su uzeti u obzir račun). Takav izbor subjektivno donosi donositelj odluke, na temelju objektivnih ulaznih podataka koji su svojstveni tipičnim situacijskim uvjetima: vrste i broj hipoteza koje se ocjenjuju i dokazi koji se posebno uzimaju u obzir.
Neusporedive vjerojatnosti hipoteza uz jedan nedosljedan dokaz. Bayesova formula se tradicionalno koristi u slučaju određivanja aposteriori uvjetnih vjerojatnosti koje nisu usporedive po stupnju mogućnosti.
vjerojatnosti hipoteza H^ s obzirom na jedan nespojiv dokaz, od kojih se svaki može “pojaviti
samo u kombinaciji s bilo kojom od ovih hipoteza." U ovom slučaju odabiru se kompletne skupine i HkE, kombiniraju
okupani događaji u obliku proizvoda, čiji su čimbenici jedan od dokaza c. (1=1,...,t) i jedan
od n hipoteza koje se razmatraju.
Bayesova formula koristi se za komparativnu procjenu vjerojatnosti kombiniranih događaja svake takve potpune skupine, koja se razlikuje od ostalih cjelovitih skupina ne samo po dokazima e koji se uzimaju u obzir, nego također u općem slučaju po vrstama hipoteza H ^ i (ili) njihov broj n (vidi, na primjer,)
RNkY = P(Hk) P(eH)
% R(Nk) R(Ég\Nk) k = 1
U posebnom slučaju s n = 2
RNk\E,~ P(Hk) P(EN)
% R(Nk) R(É,\N k) k = 1
i dobiveni rezultati su točni, zbog načela očuvanja omjera vjerojatnosti:
P(H1E,) _ P(H 1)P(E,\H1) / P(H2) P(E,\H2) = P(H 1) P(E,\H1)
R(N 2= % RŠ1!) RÉ,\N0 % ^) RÉ,\N) "R(N 2> 2>"
Subjektivnost odabira cjelovite skupine kombiniranih događaja u odnosu na stupanj mogućnosti (sa
jedan ili drugi modificiran elementarnim događajima) omogućuje vam da odaberete kompletnu grupu događaja i Hk E ■ sa
negacija elementarnog događaja E ■ () i napišite Bayesovu formulu (1 = 1,...,t) na sljedeći način:
P(Hk\E) -=-RNSh±.
% P(Hk)P(E,Hk)
Ova je formula također primjenjiva i omogućuje dobivanje točnih rezultata ako se izračuna
normalizirane vjerojatnosti se uspoređuju pod različitim hipotezama koje se razmatraju, ali ne i pod različitim dokazima.
poslova. ¡^
Usporedne vjerojatnosti hipoteza pod jednim nedosljednim dokazom. Sudeći po poznatim publikacijama
koristi se za komparativnu procjenu posteriornih uvjetnih vjerojatnosti hipoteza za različite pojedinačne dokaze.
poslova. Pritom se ne obraća pažnja na sljedeću činjenicu. U tim se slučajevima uspoređuju normalizirane ^ vjerojatnosti nekompatibilnih (nekompatibilnih) kombiniranih događaja koji pripadaju različitim cjelovitim skupinama od n događaja. Međutim, u ovom slučaju, Bayesova formula nije primjenjiva, budući da se uspoređuju kombinirani događaji koji nisu uključeni u jednu cjelovitu skupinu, čija se normalizacija vjerojatnosti provodi pomoću različitih n normalizirajućih djelitelja. Normalizirane vjerojatnosti nekompatibilnih (nekompatibilnih) kombiniranih događaja mogu se uspoređivati samo ako pripadaju istoj cjelovitoj skupini događaja i normalizirane su ¡3 korištenjem zajedničkog djelitelja jednakog zbroju vjerojatnosti svih normaliziranih događaja uključenih u cjeloviti §
Općenito, sljedeće se može smatrati nekompatibilnim dokazima:
Dva dokaza (na primjer, dokaz i njegovo poricanje); ^
Tri dokaza (na primjer, u situaciji igre postoji dobitak, gubitak i neriješeno); ^
Četiri potvrde (posebice u sportu, pobjeda, poraz, remi i ponavljanje), itd. ^
Razmotrimo prilično jednostavan primjer (koji odgovara primjeru danom u) korištenja Bayesove formule ^ za određivanje posteriornih uvjetnih vjerojatnosti hipoteze H ^ za dva nekompatibilna događaja u
u obliku dokaza L]- i njegovog poricanja L]
P(H,k) - ^ . ^ P(A^k", (2)
] E R(Hk> R(A]\vk> k - 1
■ _ P(HkA ]) P(Hk> P(A ]\nc>
P(H,\A,) ----k-]-. (3)
V k\L]> P(A> n
] E R(Hk) R(A]\Hk) do -1
U slučajevima (2) i (3) subjektivno odabrane cjelovite skupine uspoređene su prema stupnju mogućnosti međusobnog povezivanja.
grupirani događaji su redom skupovi i H u A i i H u A. To je slučaj kada formula
k-1 k ] k-1 k ]
Bayes nije primjenjiv jer je narušeno načelo očuvanja omjera vjerojatnosti - ne poštuje se jednakost omjera normaliziranih vjerojatnosti s omjerima odgovarajućih normaliziranih vjerojatnosti:
P(N do A]] P(Nk) P(A]\Nk) / P(Nk) P(A]\Nk) P(Nk) P(A] Nk)
P(Nk E P(Nk) P(A]\Nk)/ E P(Nk) P(A]\Nk) P(Nk) P(A] Nk)
k - 1 /k - 1 Prema načelu očuvanja omjera vjerojatnosti, ispravna obrada vjerojatnosti događaja moguća je samo pri normalizaciji pomoću jednog zajedničkog normalizirajućeg djelitelja jednakog zbroju svih uspoređivanih normaliziranih izraza. Zato
E R(Hk)R(A]\Hk) + E R(Hk)R(A]\Hk) - E R(Hk)[P(A]\Hk) + P(Hk) P(A]\Hk )] - EP(Hk) - 1. do -1 do -1 do -1 do -1
Dakle, otkriva se činjenica da postoje varijante Bayesove formule koje se razlikuju od
poznat po odsutnosti normalizirajućeg djelitelja:
A,) - R(N) R(A]\Nk), R(Nk A,) - R(N) R(A, Nk). (4)
J do I ■> do
U ovom slučaju se uočava jednakost omjera normaliziranih vjerojatnosti s omjerima odgovarajućih normaliziranih vjerojatnosti:
t^A^ P(Hk) P(A]\Hk)
A,) R(N k) R(A,Hk)
Na temelju subjektivnog izbora nekonvencionalno snimljenih cjelovitih skupina nekompatibilnih kombiniranih događaja moguće je povećati broj modifikacija Bayesove formule, uključujući dokaze, kao i određeni broj njihovih negacija. Na primjer, najpotpunija skupina kombiniranih događaja
i i Hk /"./ ^ i i Hk Yo\ odgovara (uzimajući u obzir nepostojanje normalizirajućeg djelitelja) modifikacija formule; =1 A"=1 ; =1 Bayesov ly
R(Nk\~) - R(N k) PË^^^
gdje je elementarni događaj u obliku dokaza E\ e II II / "/ jedan od elemenata navedene višestrukosti
o U nedostatku uskraćivanja dokaza, to jest, kada je Ë\ = // e i /"./,
^ P(H\E) P(Hk) P(E,\Hk)
E R(Hk) R(E\Hk) k - 1
Prema tome, modifikacija Bayesove formule, namijenjena određivanju uvjetnih vjerojatnosti hipoteza usporedivih u stupnju mogućnosti pod jednim nekompatibilnim dokazom, izgleda kako slijedi. Brojnik sadrži normaliziranu vjerojatnost jednog od kombiniranih nekompatibilnih događaja koji čine cjelovitu grupu, izraženu kao umnožak apriornih vjerojatnosti, a nazivnik sadrži zbroj svih
normalizirane vjerojatnosti. U ovom slučaju se poštuje načelo održavanja omjera vjerojatnosti - a dobiveni rezultat je točan.
Vjerojatnosti hipoteza s pojedinačnim dosljednim dokazom. Bayesove formule se tradicionalno koriste za određivanje usporedivih posteriornih uvjetnih vjerojatnosti hipoteza Hk (k = 1,...,n) s obzirom na jedan od nekoliko smatranih kompatibilnim dokazima EL (1 = 1,...,m). Posebno (vidi
na primjer, i ), pri određivanju posteriornih uvjetnih vjerojatnosti P(H 1E^) i P(H 1 E2) za svaki od dva kompatibilna dokaza E1 i E2, koriste se formule oblika:
P(H 1) PE\H1) P(Hj) P(E2Hj) P(H J E1) = --1- i P(H J E 2) =--1-. (5)
I P(Hk) PE\Hk) I P(Hk) P(E2 Hk)
k = 1 k = 1 Imajte na umu da je ovo još jedan slučaj u kojem Bayesova formula nije primjenjiva. Štoviše, u ovom slučaju moraju se ukloniti dva nedostatka:
Ilustrirana normalizacija vjerojatnosti kombiniranih događaja je netočna, zbog činjenice da događaji koji se razmatraju pripadaju različitim potpunim skupinama;
Simbolični zapisi kombiniranih događaja HkEx i HkE2 ne odražavaju činjenicu da su dokazi uzeti u obzir E x i E 2 kompatibilni.
Kako bi se uklonio posljednji nedostatak, može se koristiti detaljniji zapis kombiniranih događaja, uzimajući u obzir činjenicu da kompatibilni dokazi E1 i E2 u nekim slučajevima mogu biti nekompatibilni, au drugim kompatibilni:
HkE1 = HkE1 E2 i HkE2 = HkE 1E2+HkE1 E2, gdje su E1 i E 2 dokazi suprotni E1 i E 2.
Očito je da se u takvim slučajevima umnožak događaja Hk E1E2 uzima u obzir dva puta. Osim toga, moglo bi se ponovno odvojeno uzeti u obzir, ali to se ne događa. Činjenica je da u situaciji koja se razmatra, na procijenjenu situaciju utječu tri vjerojatna nekompatibilna kombinirana događaja: HkE1E2, HkE 1E2 i
Hk E1E2. Istovremeno, donositelja odluke zanima samo procjena stupnja mogućnosti
dva nekompatibilna kombinirana događaja: HkE1 E2 i HkE 1E2, što odgovara razmatranju samo g
pojedinačne potvrde. ¡Ts
Stoga, kada se konstruira modifikacija Bayesove formule za određivanje aposteriori uvjetnih vrijednosti,
Vjerojatnosti hipoteza s jednim kompatibilnim dokazom moraju se temeljiti na sljedećem. Osoba koja je prihvatila- ^
donoseći odluku, zanima se kakvom elementarnom događaju predstavlja ovaj ili onaj dokaz
brojevi koji se razmatraju stvarno su se dogodili pod određenim uvjetima. Ako se dogodi neki drugi elementarni događaj u K
obrazac jedinstvene potvrde, potrebna je revizija rješenja na temelju rezultata usporedne procjene
posteriorne uvjetne vjerojatnosti hipoteza uz neizostavno razmatranje drugih uvjeta koji utječu na stvarni zbroj
montaža 3
Uvedimo sljedeću oznaku: HkE- za jedan (i samo jedan) nekompatibilni kombinirani ko-^
postojanje, koje se sastoji u činjenici da od m > 1 elementarnih događaja Ei (i = 1,...,m) koji se razmatraju, zajedno s hipotezom “
Hk se dogodio jedan elementarni događaj Ex i nijedan drugi elementarni događaj se nije dogodio. se"
U najjednostavnijem slučaju razmatraju se dva pojedinačna nekompatibilna dokaza. Ako se potvrdi
jedan od njih se očekuje, uvjetna vjerojatnost dokaza u općem obliku izražava se formulom l
P(Hk E-) = P(Ei\Hk) -P(EjE^Hk) = P(Ei\Hk) -P(M^Hk)P(M^Hk) , i = 1, -2 (6) g
Valjanost formule može se jasno vidjeti (slika 1).
Riža. 1. Geometrijska interpretacija izračuna P(Hk E-) za / = 1,...,2 s uvjetno nezavisnim dokazima
P(K1K2\Hk) = p(E\Hk)P(E2\Hk),
dakle, uzimajući u obzir (6)
P(Hk E-) = PE Nk) - P(E1 Nk) P(E21Hk) , = 1,.,2. (7)
Slično, vjerojatnost P(HkE-) jednog od tri (/ = 1,...,3) nekompatibilna događaja HkE^ izražava se formulom
Na primjer, kada je i = 1:
p(HkEl) = P(Ei\Hk)-[ S P(Ei\Hk)P(Ej\Hk)] + P(EiE2E3Hk)
p(HkE-) = P(E7|Hk)- P(E]E^Hk)- P(E7EjHk) + P(E]E2E3\Hk)
Valjanost ove formule jasno potvrđuje geometrijska interpretacija prikazana u
Riža. 2. Geometrijska interpretacija izračuna P(Hk E-) za / = 1,...,3
Koristeći metodu matematičke indukcije, moguće je dokazati opću formulu za vjerojatnost P(Hk E-) za bilo koju količinu dokaza e, 0=1,...,t):
P(HkE-) = P(E,Hk)- t RE\Hk) P(E]\Hk) + 1 P(E\Hk) P(E]\Hk) P(E^Hk) +■■■ + (-1)
] = 1(] * 0 ],1 * 1
Koristeći teorem množenja vjerojatnosti, zapisujemo uvjetnu vjerojatnost P(HkE~-) u dva oblika:
^ iz čega slijedi da
P(Hk E -) = P(H k) P(E-|Hk) = P(E-) P(Hk
E-)= P(HkE-) "" P(E-)
Korištenjem formule ukupne vjerojatnosti P(Ei) = S P(H£) P(Ei Hk) ispada da
E-) = P(HkET)
2 P(HkE-) k = 1
Zamjenom izraza za P(HkE-) u obliku desne strane (8) u dobivenu formulu dobivamo konačni oblik formule za određivanje posteriornih uvjetnih vjerojatnosti hipoteza H^ (k = 1,... ,n) za jedan od nekoliko pojedinačnih dokaza koji se smatraju nekompatibilnim: (E^\Hk)
P(Nk)[P(E,\Nk) - 2 P(E,\Nk) P(Er k) +...+ (-1)t-1 P(P P(Erk)] P(N, E ~) =-] = 1(] * ■----(9)
do 1 p t t t
2 P(N k) 2 [P(E,\N k) - 2 P(EgHk) P(E^Hk) + ...+ (-1)m-1 P(P P (Ep k)]
k=1 , = 1 ) = 1() *,) ■! =1
Usporedne procjene. Razmatraju se prilično jednostavni, ali ilustrativni primjeri, ograničeni na analizu izračunatih posteriornih uvjetnih vjerojatnosti jedne od dvije hipoteze uz dva pojedinačna dokaza. 1. Vjerojatnosti hipoteza s nedosljednim pojedinačnim dokazima. Usporedimo rezultate dobivene Bayesovim formulama (2) i (3) na primjeru dvaju dokaza L. = L i L. = L s početnim podacima:
R(N1 = 0,7; R(N2) = 0,3; R(L| N^ = 0,1; R(L\n 1) = 0,9; R(L\N2) = 0,6; P(A\H2) = 0,4. U razmatranim primjerima s hipotezom H1, tradicionalne formule (2) i (3) dovode do sljedećih rezultata:
R(N.) R(A\br. 0 07
P(N, L) =-- 11 = - = 0,28,
2 R(N k) R(A\Nk) k = 1
R(N L R(A\N 1) 0 63
P(N, L) =-- 11 = - = 0,84,
2 R(Nk) R(A\Nk) k = 1
formiranje dijeli P(H 1 A) = P(H^ P(L\Hp = 0,07; P(H^ A) = P(H1) P(l|H^ = 0,63. Izmjene predloženih formula s obzirom na:
R<Н)Р(АНА-Р(А|Н1) _ 0,07
i s predloženim formulama (4), koje nemaju normalizacijske djelitelje: “i
Dakle, u slučaju primjene predloženih formula, omjer normaliziranih vjerojatnosti jednak je omjeru normaliziranih vjerojatnosti: K
gt f P(N 1) P(A\N 1) A11 |
Pri korištenju poznatih formula s istim omjerom -;-=-= 0,11 normalizirani veron
R(N 1) R(A\N 1) Ǥ
vjerojatnosti naznačene u brojnicima, omjer dobivenih normaliziranih vjerojatnosti: 2
R(N 1) R(A\N 1) R(A\N 1) 0,63
P(N1L) = 0,28 P(N1L) = 0,84
Odnosno, ne poštuje se načelo očuvanja omjera vjerojatnosti i dobivaju se netočni rezultati. U isto vrijeme £
u slučaju korištenja poznatih formula, vrijednost relativnog odstupanja omjera (11) posteriornih uvjetnih vjerojatnosti hipoteza od točnih rezultata (10) pokazuje se vrlo značajnom, budući da iznosi
°.33 - °.P x 100 = 242%.. I
2. Vjerojatnosti hipoteza s obzirom na kompatibilne pojedinačne dokaze. Usporedimo rezultate dobivene pomoću Bayesovih formula (5) i konstruirane točne modifikacije (9), koristeći sljedeće početne podatke: ^
P(H1 = 0,7; P(H2) = 0,3; P(E1H1) = 0,4; P(E2H1) = 0,8; P(E1\H2) = 0,7; P(E^H2) = 0,2,113
U razmatranim primjerima s hipotezom H 2 u slučaju korištenja tradicionalnih formula (5):
P(H2)P(E1H2)Q, 21
P(H 2 E1) = -2-!-2- = - = Q,429,
I p(Hk) p(El Hk) k = 1
P(H2)P(E2H2)Q,Q6
P(H2E2) = -2-- = - = 0,097.
I P(Hk) P(E 2 Hk) k = 1
U slučaju primjene predložene formule (9) uzimajući u obzir (7) P(H
P(H2) 0,168
E.) ----- 0,291,
Z P(Hk) Z "
P(H2) 0,018
E0) ----- 0,031.
Z P(Hk) Z k - 1 i - 1
Pri korištenju predloženih točnih formula, zbog istih nazivnika, omjer P(H2) -
Normalizirane vjerojatnosti navedene u brojnicima jednake su omjeru
P(H2)
normalizirane vjerojatnosti:
Odnosno, poštuje se princip očuvanja omjera vjerojatnosti.
Međutim, u slučaju korištenja poznatih formula s omjerom normaliziranih vjerojatnosti naznačenih u brojnicima
P(H 2) P(E1\H 2) _ 0,21 _3 5 P(H 2)P(E 2 H 2) 0,06,
omjer normaliziranih vjerojatnosti:
P(H 2 = 0,429 = 4,423. (13)
P(H2\e2) 0,097
Odnosno, načelo održavanja omjera vjerojatnosti, kao i prije, ne poštuje se. Štoviše, u slučaju korištenja poznatih formula, vrijednost relativnog odstupanja omjera (13) posteriornih uvjetnih vjerojatnosti hipoteza od točnih rezultata (12) također se pokazuje vrlo značajnom:
9,387 4,423 x 100 = 52,9%.
Zaključak. Analiza konstrukcije specifičnih formulskih relacija koje implementiraju Bayesovu formulu i njezine modifikacije predložene za rješavanje praktičnih problema omogućuje nam da ustvrdimo sljedeće. Donositelj odluke može subjektivno odabrati cjelovitu grupu usporedivih kombiniranih događaja. Ovaj izbor se temelji na uzetim u obzir objektivnim početnim podacima karakterističnim za tipično okruženje (specifične vrste i broj elementarnih događaja – procijenjene hipoteze i dokazi). Od praktičnog je interesa subjektivni izbor drugih opcija za kompletnu skupinu koja se uspoređuje po stupnju mogućnosti.
nost kombiniranih događaja - čime se osigurava značajna raznolikost odnosa formula pri konstruiranju netradicionalnih varijanti modifikacija Bayesove formule. To pak može biti temelj za poboljšanje matematičke potpore programske implementacije, kao i proširenje opsega primjene novih formulskih relacija za rješavanje primijenjenih problema.
Bibliografija
1. Gnedenko, B. V. Elementarni uvod u teoriju vjerojatnosti / B. V. Gnedenko, A. Ya. Khinchin. - 114 New York: Dover Publications, 1962. - 144 r.
2. Ventzel, E. S. Teorija vjerojatnosti / E. S. Ventzel. - 10. izd., izbrisano. - Moskva: Viša škola, 2006. - 575 str.
3. Andronov. A. M., Teorija vjerojatnosti i matematička statistika / A. M. Andronov, E. A. Kopytov, L. Ya. Gringlaz. - St. Petersburg: Peter, 2004. - 481 str.
4. Zmitrovich, A. I. Inteligentni informacijski sustavi / A. I. Zmitrovich. - Minsk: TetraSystems, 1997. - 496 str.
5. Chernorutsky, I. G. Metode odlučivanja / I. G. Chernorutsky. - St. Petersburg: BHV-Petersburg, 2005. - 416 str.
6. Naylor, C.-M. Izgradite vlastiti ekspertni sustav / C.-M. Naylor. - Chichester: John Wiley & Sons, 1987. - 289 str.
7. Romanov, V. P. Inteligentni informacijski sustavi u ekonomiji / V. P. Romanov. - 2. izd., izbrisano.
Moskva: Ispit, 2007. - 496 str.
8. Ekonomska učinkovitost i konkurentnost / D. Yu. Muromtsev [et al.]. - Tambov: Izdavačka kuća Tamb. država tehn. Sveučilište, 2007.- 96 str.
9. Dolgov, A. I. Ispravne modifikacije Bayesove formule za paralelno programiranje / A. I. Dolgov // Tehnologije superračunala: materijali 3. Sveruske. znanstveno-tehnički konf. - Rostov na Donu. - 2014.- T. 1 - S. 122-126.
10. Dolgov, A. I. O ispravnosti modifikacija Bayesove formule / A. I. Dolgov // Vestnik Don. država tehn. un-ta.
2014. - T. 14, br. 3 (78). - Str. 13-20.
1. Gnedenko, B.V., Khinchin, A.Ya. Elementarni uvod u teoriju vjerojatnosti. New York: Dover Publications, 1962., 144 str.
2. Ventsel, E.S. Teorija vjerojatnosti. 10. izd., reimpr. Moskva: Vysshaya shkola, 2006, 575 str. (na ruskom).
3. Andronov, A.M., Kopytov, E.A., Gringlaz, L.Y. Teoriya veroyatnostey i matematicheskaya statistika. St. Petersburg: Piter, 2004., 481 str. (na ruskom).
4. Zmitrovič, A.1. Intellektual"nye informatsionnye systemy. Minsk: TetraSistems, 1997., 496 str. (na ruskom).
5. Chernorutskiy, I.G. Metody prinyatiya odluka. St. Petersburg: BKhV-Petersburg, 2005., 416 str. (na ruskom).
6. Naylor, C.-M. Izgradite vlastiti ekspertni sustav. Chichester: John Wiley & Sons, 1987., 289 str.
7. Romanov, V.P. Intellektual"nye informatsionnye sistemy v ekonomike. 2. izdanje, reimpr. Moskva: Ekzamen, 2007., 496 str. (na ruskom).
8. Muromtsev, D.Y., et al. Ekonomska učinkovitost" i konkurentnost". Tambov: Izd-vo Tamb. gos. tehn. un-ta, 2007., 96 str. (na ruskom). I.B.
9. Dolgov, A1. Korrektnye modifikatsii formuly Bayesa za parallel"nogo programmirovaniya. Superkomp"yuternye tehhnologii: mat-ly 3-y vseros. nauč.-tehn. konf. Rostov na Donu, 2014., sv. 1, str. 122-126 (na ruskom). ^
10. Dolgov, A1. O ispravnosti modifikacije u obliku Bayesa. ↑ Vestnik DSTU, 2014, sv. 14, br. 3 (78), str. 13-20 (na ruskom). *
Tko je Bayes? i kakve to veze ima s menadžmentom? - može uslijediti sasvim pošteno pitanje. Za sada, vjerujte mi na riječ: ovo je vrlo važno!.. i zanimljivo (barem meni).
Koja je paradigma u kojoj većina menadžera radi: ako nešto promatram, koje zaključke mogu izvući iz toga? Što Bayes uči: što stvarno mora postojati da bih to nešto promatrao? Upravo tako se razvijaju sve znanosti, a on o tome piše (citiram po sjećanju): tko nema teoriju u glavi, pod utjecajem raznih događaja (opažanja) zazirat će od jedne ideje do druge. Ne kažu uzalud: nema ništa praktičnije od dobre teorije.
Primjer iz prakse. Moj podređeni pogriješi, a moj kolega (šef drugog odjela) kaže da bi bilo potrebno izvršiti menadžerski utjecaj na nemarnog zaposlenika (drugim riječima, kazniti/ukoriti). I znam da ovaj zaposlenik obavlja 4-5 tisuća istih operacija mjesečno i za to vrijeme ne napravi više od 10 pogrešaka. Osjećate li razliku u paradigmi? Kolegica reagira na zapažanje, a ja imam a priori saznanja da zaposlenik čini određeni broj grešaka, pa još jedna nije utjecala na tu spoznaju... E sad, ako se na kraju mjeseca pokaže da ih ima, npr. 15 takvih grešaka!.. To će već biti razlog za proučavanje razloga nepoštivanja standarda.
Uvjereni ste u važnost Bayesovog pristupa? Zaintrigirani? Nadam se". A sada muha u glavi. Nažalost, Bayesove ideje rijetko se daju odmah. Iskreno nisam imao sreće, jer sam se s tim idejama upoznao preko popularne literature, nakon čijeg čitanja su ostala mnoga pitanja. Kad sam planirao napisati bilješku, prikupio sam sve što sam prethodno bilježio o Bayesu, a također sam proučavao što je napisano na internetu. Predstavljam vam svoju najbolju pretpostavku o temi. Uvod u Bayesovu vjerojatnost.
Izvođenje Bayesovog teorema
Razmotrimo sljedeći eksperiment: imenujemo bilo koji broj koji leži na segmentu i bilježimo kada je taj broj, na primjer, između 0,1 i 0,4 (slika 1a). Vjerojatnost ovog događaja jednaka je omjeru duljine segmenta i ukupne duljine segmenta, pod uvjetom da pojavljivanje brojeva na segmentu jednako vjerojatno. Matematički se ovo može napisati str(0,1 <= x <= 0,4) = 0,3, или кратко R(x) = 0,3, gdje je R- vjerojatnost, x– slučajna varijabla u rasponu, x– slučajna varijabla u rasponu . Odnosno, vjerojatnost pogađanja segmenta je 30%.
Riža. 1. Grafička interpretacija vjerojatnosti
Sada razmotrite kvadrat x (slika 1b). Recimo da moramo imenovati parove brojeva ( x, g), od kojih je svaki veći od nule i manji od jedan. Vjerojatnost da x(prvi broj) bit će unutar segmenta (plavo područje 1), jednako omjeru površine plavog područja prema površini cijelog kvadrata, odnosno (0,4 – 0,1) * (1 – 0 ) / (1 * 1) = 0, 3, odnosno istih 30%. Vjerojatnost da g koji se nalazi unutar segmenta (zelena površina 2) jednaka je omjeru površine zelene površine prema površini cijelog kvadrata str(0,5 <= y <= 0,7) = 0,2, или кратко R(Y) = 0,2.
Što možete naučiti o vrijednostima u isto vrijeme? x I g. Na primjer, kolika je vjerojatnost da u isto vrijeme x I g su u odgovarajućim zadanim segmentima? Da biste to učinili, morate izračunati omjer površine površine 3 (sjecište zelenih i plavih pruga) prema površini cijelog kvadrata: str(x, Y) = (0,4 – 0,1) * (0,7 – 0,5) / (1 * 1) = 0,06.
Sada recimo da želimo znati koja je to vjerojatnost g nalazi se u intervalu if x je već u rasponu. To jest, zapravo, imamo filter i kada pozivamo parove ( x, g), tada odmah odbacujemo one parove koji ne zadovoljavaju uvjet nalaza x u zadanom intervalu, a zatim iz filtriranih parova brojimo one za koje g zadovoljava naš uvjet i smatra vjerojatnost omjerom broja parova za koje g leži u gornjem segmentu prema ukupnom broju filtriranih parova (to jest, za koje x leži u segmentu). Ovu vjerojatnost možemo napisati kao str(Y|x na x pogodi domet." Očito je da je ova vjerojatnost jednaka omjeru površine područja 3 prema površini plavog područja 1. Površina područja 3 je (0,4 – 0,1) * (0,7 – 0,5) = 0,06, i površina plave površine 1 ( 0,4 – 0,1) * (1 – 0) = 0,3, tada je njihov omjer 0,06 / 0,3 = 0,2. Drugim riječima, vjerojatnost pronalaska g na segment pod uvjetom da x pripada segmentu str(Y|x) = 0,2.
U prethodnom paragrafu zapravo smo formulirali identitet: str(Y|x) = str(x, Y) / p( x). Ona glasi: “vjerojatnost pogotka na u rasponu , pod uvjetom da x pogoditi domet, jednak omjeru vjerojatnosti istovremenog pogotka x u opseg i na na domet, na vjerojatnost pogotka x u domet."
Analogno, razmotrite vjerojatnost str(x|Y). Zovemo parove ( x, g) i filtrirajte one za koje g leži između 0,5 i 0,7, tada je vjerojatnost da x je u intervalu pod uvjetom da g pripada segmentu jednaka je omjeru površine regije 3 prema površini zelene regije 2: str(x|Y) = str(x, Y) / str(Y).
Imajte na umu da su vjerojatnosti str(x, Y) I str(Y, X) su jednake, a obje su jednake omjeru površine zone 3 prema površini cijelog kvadrata, ali vjerojatnosti str(Y|x) I str(x|Y) nejednak; dok je vjerojatnost str(Y|x) jednaka je omjeru površine regije 3 prema regiji 1, i str(x|Y) – regija 3 u regiju 2. Primijetite također da str(x, Y) često se označava kao str(x&Y).
Stoga smo uveli dvije definicije: str(Y|x) = str(x, Y) / p( x) I str(x|Y) = str(x, Y) / str(Y)
Prepišimo ove jednakosti u obliku: str(x, Y) = str(Y|x) * p( x) I str(x, Y) = str(x|Y) * str(Y)
Kako su lijeve strane jednake, desne strane su jednake: str(Y|x) * p( x) = str(x|Y) * str(Y)
Ili posljednju jednakost možemo prepisati kao:
Ovo je Bayesov teorem!
Daju li tako jednostavne (gotovo tautološke) transformacije doista veliki teorem!? Nemojte žuriti sa zaključcima. Razgovarajmo opet o tome što imamo. Postojala je određena početna (apriorna) vjerojatnost R(X), da je slučajna varijabla x ravnomjerno raspoređen na segmentu spada unutar raspona x. Desio se događaj Y, kao rezultat čega smo dobili posteriornu vjerojatnost iste slučajne varijable x: R(X|Y), a ta se vjerojatnost razlikuje od R(X) koeficijentom. Događaj Y naziva dokazima, više ili manje potvrđujući ili pobijajući x. Ovaj koeficijent se ponekad naziva moć dokaza. Što je jači dokaz, to više činjenica promatranja Y mijenja prethodnu vjerojatnost, to se posteriorna vjerojatnost više razlikuje od prethodne. Ako su dokazi slabi, posteriorna je vjerojatnost gotovo jednaka prethodnoj.
Bayesova formula za diskretne slučajne varijable
U prethodnom odjeljku izveli smo Bayesovu formulu za kontinuirane slučajne varijable x i y definirane na intervalu. Razmotrimo primjer s diskretnim slučajnim varijablama, od kojih svaka ima dvije moguće vrijednosti. Tijekom rutinskih liječničkih pregleda utvrđeno je da u dobi od četrdeset godina 1% žena boluje od raka dojke. 80% žena oboljelih od raka dobiva pozitivne rezultate mamografije. 9,6% zdravih žena također dobiva pozitivne rezultate mamografije. Tijekom pregleda žena ove dobne skupine dobila je pozitivan nalaz mamografije. Koja je vjerojatnost da ona doista ima rak dojke?
Linija razmišljanja/izračunavanja je sljedeća. Od 1% pacijenata s rakom, mamografija će dati 80% pozitivnih rezultata = 1% * 80% = 0,8%. Od 99% zdravih žena, mamografija će dati 9,6% pozitivnih rezultata = 99% * 9,6% = 9,504%. Ukupno 10,304% (9,504% + 0,8%) s pozitivnim nalazom mamografije, samo 0,8% je bolesno, a preostalih 9,504% je zdravo. Dakle, vjerojatnost da žena s pozitivnim mamogramom ima rak je 0,8% / 10,304% = 7,764%. Mislite li 80% ili tako nešto?
U našem primjeru Bayesova formula ima sljedeći oblik:
Razgovarajmo još jednom o “fizičkom” značenju ove formule. x– slučajna varijabla (dijagnoza), uzimajući vrijednosti: X 1- bolestan i X 2– zdrav; Y– slučajna varijabla (rezultat mjerenja – mamografija), uzimajući vrijednosti: Y 1- pozitivan rezultat i Y2- negativan rezultat; p(X 1)– vjerojatnost bolesti prije mamografije (apriorna vjerojatnost) jednaka 1%; R(Y 1 |x 1 ) – vjerojatnost pozitivnog rezultata ako je pacijent bolestan (uvjetna vjerojatnost, jer mora biti navedena u uvjetima zadatka), jednaka 80%; R(Y 1 |x 2 ) – vjerojatnost pozitivnog rezultata ako je pacijent zdrav (također uvjetna vjerojatnost) je 9,6%; p(X 2)– vjerojatnost da je pacijentica zdrava prije mamografije (apriorna vjerojatnost) je 99%; p(X 1|Y 1 ) – vjerojatnost da je pacijentica bolesna s obzirom na pozitivan rezultat mamografije (posteriorna vjerojatnost).
Može se vidjeti da je posteriorna vjerojatnost (ono što tražimo) proporcionalna prethodnoj vjerojatnosti (početnoj) s nešto složenijim koeficijentom 
. Još jednom da naglasim. Po mom mišljenju, ovo je temeljni aspekt Bayesovog pristupa. Mjerenje ( Y) dodao je određenu količinu informacija onome što je bilo u početku dostupno (a priori), što je razjasnilo naše znanje o objektu.
Primjeri
Kako biste učvrstili pređeno gradivo, pokušajte riješiti nekoliko zadataka.
Primjer 1. Postoje 3 urne; u prvoj su 3 bijele kuglice i 1 crna; u drugom - 2 bijele kuglice i 3 crne; u trećoj su 3 bijele kuglice. Netko nasumce priđe jednoj od urni i iz nje izvadi 1 kuglu. Ispostavilo se da je ova lopta bijela. Nađite posteriorne vjerojatnosti da je kuglica izvučena iz 1., 2., 3. urne.
Riješenje. Imamo tri hipoteze: H 1 = (odabrana je prva urna), H 2 = (odabrana je druga urna), H 3 = (odabrana je treća urna). Budući da je urna odabrana slučajno, apriorne vjerojatnosti hipoteza su jednake: P(H 1) = P(H 2) = P(H 3) = 1/3.
Kao rezultat pokusa pojavio se događaj A = (iz odabrane urne izvučena je bijela kuglica). Uvjetne vjerojatnosti događaja A pod hipotezama H 1, H 2, H 3: P(A|H 1) = 3/4, P(A|H 2) = 2/5, P(A|H 3) = 1. Na primjer, prva jednakost glasi ovako: "vjerojatnost izvlačenja bijele kugle ako se odabere prva urna je 3/4 (budući da su u prvoj urni 4 kugle, a 3 su bijele)."
Koristeći Bayesovu formulu, nalazimo posteriorne vjerojatnosti hipoteza:
Dakle, u svjetlu informacija o pojavi događaja A, vjerojatnosti hipoteza su se promijenile: hipoteza H 3 postala je najvjerojatnija, hipoteza H 2 postala je najmanje vjerojatna.
Primjer 2. Dva strijelca nezavisno gađaju istu metu, svaki ispaljujući po jedan hitac. Vjerojatnost pogađanja mete za prvog strijelca je 0,8, za drugog - 0,4. Nakon gađanja otkrivena je jedna rupa na meti. Odredite vjerojatnost da ova rupa pripada prvom strijelcu (Ishod (obje rupe su se poklopile) odbacuje se kao zanemarivo malo vjerojatan).
Riješenje. Prije eksperimenta moguće su sljedeće hipoteze: H 1 = (ni prva ni druga strijela neće pogoditi), H 2 = (obje će strijele pogoditi), H 3 - (prvi strijelac će pogoditi, ali drugi neće). ), H 4 = (prvi strijelac neće pogoditi, a drugi će pogoditi). Prethodne vjerojatnosti hipoteza:
P(H1) = 0,2 x 0,6 = 0,12; P(H2) = 0,8 x 0,4 = 0,32; P (H3) = 0,8 x 0,6 = 0,48; P(H4) = 0,2 x 0,4 = 0,08.
Uvjetne vjerojatnosti promatranog događaja A = (postoji jedna rupa u meti) pod ovim hipotezama su jednake: P(A|H 1) = P(A|H 2) = 0; P(A|H 3) = P(A|H 4) = 1
Nakon eksperimenta hipoteze H1 i H2 postaju nemoguće, a posteriorne vjerojatnosti hipoteza H3 i H4 prema Bayesovoj formuli bit će:
Bayes protiv spama
Bayesova formula našla je široku primjenu u razvoju filtera neželjene pošte. Recimo da želite istrenirati računalo da odredi koje su e-poruke spam. Nastavit ćemo s rječnikom i frazama koristeći Bayesove procjene. Najprije stvorimo prostor hipoteza. Uzmimo dvije hipoteze u vezi s bilo kojim pismom: H A je spam, H B nije spam, već normalno, nužno pismo.
Prvo, 'istrenirajmo' naš budući anti-spam sustav. Uzmimo sva slova koja imamo i podijelimo ih u dvije “hrpe” od po 10 slova. Stavimo spam e-poštu u jedan i nazovimo ga H A heap, u drugi ćemo staviti potrebnu korespondenciju i nazovimo ga H B heap. Sada da vidimo: koje se riječi i fraze nalaze u spamu i potrebnim slovima i s kojom učestalošću? Ove ćemo riječi i izraze nazvati dokazima i označiti ih E 1 , E 2 ... Ispada da se često korištene riječi (na primjer, riječi "kao", "vaš") u hrpama H A i H B pojavljuju s približno istu frekvenciju. Dakle, prisutnost ovih riječi u slovu ne govori nam ništa o tome na koju hrpu ih svrstati (slab dokaz). Dodijelimo ovim riječima neutralnu ocjenu vjerojatnosti "spama", recimo 0,5.
Neka se fraza “spoken English” pojavljuje u samo 10 pisama, i to češće u spam pismima (na primjer, u 7 spam pisama od svih 10) nego u potrebnim (u 3 od 10). Dodijelimo ovom izrazu višu ocjenu za neželjenu poštu: 7/10, a nižu ocjenu za normalne e-poruke: 3/10. Nasuprot tome, pokazalo se da se riječ "prijatelj" češće pojavljuje normalnim slovima (6 od 10). A onda smo dobili kratko pismo: "Moj prijatelj! Kako govoriš engleski?”. Pokušajmo procijeniti njegovu “spamnost”. Dat ćemo opće procjene P(H A), P(H B) pripadnosti slova svakoj hrpi koristeći donekle pojednostavljenu Bayesovu formulu i naše približne procjene:
P(H A) = A/(A+B), Gdje A = p a1 *p a2 *…*p an , B = p b1 *p b2 *…*p b n = (1 – p a1)*(1 – p a2)*… *(1 – p an).
Tablica 1. Pojednostavljena (i nepotpuna) Bayesova procjena pisanja.
Stoga je naše hipotetsko pismo dobilo ocjenu vjerojatnosti pripadnosti s naglaskom na "spammy". Možemo li odlučiti baciti pismo na jednu od hrpa? Postavimo pragove odluke:
- Pretpostavit ćemo da slovo pripada gomili H i ako je P(H i) ≥ T.
- Slovo ne pripada hrpi ako je P(H i) ≤ L.
- Ako je L ≤ P(H i) ≤ T, tada se ne može donijeti odluka.
Možete uzeti T = 0,95 i L = 0,05. Budući da za predmetno pismo i 0,05< P(H A) < 0,95, и 0,05 < P(H В) < 0,95, то мы не сможем принять решение, куда отнести данное письмо: к спаму (H A) или к нужным письмам (H B). Можно ли улучшить оценку, используя больше информации?
Da. Izračunajmo rezultat za svaki dokaz na drugačiji način, baš kao što je Bayes zapravo predložio. Neka bude:
F a je ukupan broj spam e-pošte;
F ai je broj slova s certifikatom ja u hrpi neželjene pošte;
F b je ukupan broj potrebnih slova;
F bi je broj slova s certifikatom ja u hrpi potrebnih (relevantnih) slova.
Tada je: p ai = F ai /F a, p bi = F bi /F b. P(H A) = A/(A+B), P(H B) = B/(A+B), Gdje A = p a1 *p a2 *…*p an , B = p b1 *p b2 *…*p b n
Imajte na umu da su procjene riječi dokaza p ai i p bi postale objektivne i mogu se izračunati bez ljudske intervencije.
Tablica 2. Točnija (ali nepotpuna) Bayesova procjena na temelju dostupnih značajki iz pisma
Dobili smo vrlo jasan rezultat - s velikom prednošću, slovo se može klasificirati kao željeno slovo, budući da je P(H B) = 0,997 > T = 0,95. Zašto se rezultat promijenio? Budući da smo koristili više informacija - uzeli smo u obzir broj slova u svakoj od hrpa i, usput, mnogo točnije odredili procjene p ai i p bi. Određene su kao što je to činio i sam Bayes, izračunavanjem uvjetnih vjerojatnosti. Drugim riječima, p a3 je vjerojatnost da se riječ "prijatelj" pojavi u pismu, pod uvjetom da to pismo već pripada hrpi neželjene pošte H A . Na rezultat se nije dugo čekalo - čini se da možemo sa većom sigurnošću donijeti odluku.
Bayes protiv korporativnih prijevara
Zanimljivu primjenu Bayesovog pristupa opisao je MAGNUS8.
Moj trenutni projekt (IS za otkrivanje prijevare u proizvodnom poduzeću) koristi Bayesovu formulu za određivanje vjerojatnosti prijevare (prijevare) u prisutnosti/odsutnosti nekoliko činjenica koje neizravno svjedoče u prilog hipoteze o mogućnosti počinjenja prijevare. Algoritam je samoučeći (s povratnom spregom), tj. ponovno izračunava svoje koeficijente (uvjetne vjerojatnosti) nakon stvarne potvrde ili nepotvrde prijevare tijekom inspekcije službe ekonomske sigurnosti.
Vjerojatno je vrijedno reći da takve metode pri dizajniranju algoritama zahtijevaju prilično visoku matematičku kulturu programera, jer najmanja greška u izvođenju i/ili implementaciji računskih formula poništit će i diskreditirati cijelu metodu. Tome su posebno sklone probabilističke metode, budući da ljudsko mišljenje nije prilagođeno radu s probabilističkim kategorijama, pa shodno tome nema „vidljivosti“ i razumijevanja „fizičkog značenja“ srednjih i konačnih probabilističkih parametara. Ovo razumijevanje postoji samo za osnovne koncepte teorije vjerojatnosti, a onda samo trebate vrlo pažljivo kombinirati i izvoditi složene stvari prema zakonima teorije vjerojatnosti - zdrav razum više neće pomoći za složene objekte. To je posebno povezano s prilično ozbiljnim metodološkim borbama koje se odvijaju na stranicama modernih knjiga o filozofiji vjerojatnosti, kao i velikim brojem sofizama, paradoksa i neobičnih zagonetki na ovu temu.
Još jedna nijansa s kojom sam se morao suočiti je da je, nažalost, gotovo sve što je više ili manje KORISNO U PRAKSI o ovoj temi napisano na engleskom jeziku. U izvorima na ruskom jeziku uglavnom postoji samo dobro poznata teorija s demonstracijskim primjerima samo za najprimitivnije slučajeve.
Sa posljednjom primjedbom se u potpunosti slažem. Na primjer, Google, kada je pokušao pronaći nešto poput "knjige Bayesian Probability", nije proizveo ništa razumljivo. Istina, izvijestio je da je knjiga s Bayesovom statistikom zabranjena u Kini. (Profesor statistike Andrew Gelman izvijestio je na blogu Sveučilišta Columbia da je njegova knjiga, Analiza podataka s regresijom i višerazinskim/hijerarhijskim modelima, zabranjena za objavljivanje u Kini. Tamošnji izdavač je izvijestio da "knjigu nisu odobrile vlasti zbog različitih politički osjetljivih materijal u tekstu.") Pitam se je li sličan razlog doveo do nedostatka knjiga o Bayesovoj vjerojatnosti u Rusiji?
Konzervativizam u ljudskoj obradi informacija
Vjerojatnosti određuju stupanj neizvjesnosti. Vjerojatnost je, i prema Bayesu i prema našoj intuiciji, jednostavno broj između nule i onog koji predstavlja stupanj do kojeg donekle idealizirana osoba vjeruje da je izjava istinita. Razlog zbog kojeg je neka osoba donekle idealizirana jest taj što zbroj njezinih vjerojatnosti za dva međusobno isključiva događaja mora biti jednak njegovoj vjerojatnosti da će se bilo koji događaj dogoditi. Svojstvo aditivnosti ima takve posljedice da ih malo stvarnih ljudi može upoznati sa svime.
Bayesov teorem je trivijalna posljedica svojstva aditivnosti, neosporna i s kojom se slažu svi probabilisti, Bayesovci i drugi. Jedan način da ovo napišete je sljedeći. Ako je P(H A |D) naknadna vjerojatnost da je hipoteza A bila nakon opažanja dane vrijednosti D, P(H A) je njena prethodna vjerojatnost prije nego što je opažena dana vrijednost D, P(D|H A ) je vjerojatnost da je data vrijednost D će se promatrati ako je H A istinito, a P(D) je bezuvjetna vjerojatnost dane vrijednosti D, tada
(1) P(H A |D) = P(D|H A) * P(H A) / P(D)
P(D) se najbolje smatra normalizirajućom konstantom koja uzrokuje zbrajanje posteriornih vjerojatnosti do jedinstva u iscrpnom skupu međusobno isključivih hipoteza koje se razmatraju. Ako treba izračunati, može biti ovako:
Ali češće se P(D) eliminira nego izračunava. Prikladan način da se to eliminira jest transformirati Bayesov teorem u oblik omjera vjerojatnosti i izgleda.
Razmotrite drugu hipotezu, H B, koja se međusobno isključuje s H A, i promijenite svoje mišljenje o njoj na temelju iste dane količine koja je promijenila vaše mišljenje o H A. Bayesov teorem kaže da
(2) P(H B |D) = P(D|H B) * P(H B) / P(D)
Podijelimo sada jednadžbu 1 s jednadžbom 2; rezultat će biti ovakav:
gdje su Ω 1 posteriorni izgledi u korist H A do H B, Ω 0 su prethodni izgledi, a L je veličina poznata statističarima kao omjer vjerojatnosti. Jednadžba 3 je ista relevantna verzija Bayesovog teorema kao jednadžba 1, i često je znatno korisnija, posebno za eksperimente koji uključuju hipoteze. Bayesovci tvrde da je Bayesov teorem formalno optimalno pravilo o tome kako revidirati mišljenja u svjetlu novih dokaza.
Zanima nas usporedba idealnog ponašanja definiranog Bayesovim teoremom sa stvarnim ponašanjem ljudi. Da bismo vam dali neku ideju o tome što to znači, pokušajmo eksperiment s vama kao ispitanikom. Ova torba sadrži 1000 poker žetona. Imam dvije takve vrećice, jedna sadrži 700 crvenih i 300 plavih žetona, a druga sadrži 300 crvenih i 700 plavih žetona. Bacio sam novčić da odredim koji ću upotrijebiti. Dakle, ako su naša mišljenja ista, vaša trenutna vjerojatnost da dobijete vrećicu koja sadrži više crvenih žetona je 0,5. Sada napravite nasumični uzorak s povratom nakon svakog žetona. U 12 žetona dobivate 8 crvenih i 4 plava. Sada, na temelju svega što znate, kolika je vjerojatnost da dobijete vreću s najviše crvenih? Jasno je da je veći od 0,5. Molimo nemojte nastaviti čitati dok ne zabilježite svoj rezultat.
Ako ste tipični ispitanik, vaš je rezultat pao u rasponu od 0,7 do 0,8. Međutim, ako bismo napravili odgovarajući izračun, odgovor bi bio 0,97. Doista je vrlo rijetko da osoba kojoj prethodno nije pokazan utjecaj konzervativizma dođe do tako visoke procjene, čak i ako je bila upoznata s Bayesovim teoremom.
Ako je udio crvenog čipsa u vrećici R, zatim vjerojatnost primanja r crveni čips i ( n –r) plava u n uzorci s povratom – p r (1–p)n–r. Dakle, u tipičnom eksperimentu s torbom i žetonima za poker, ako NA znači da je udio crvenih žetona r A I NB– znači da je udio RB, tada omjer vjerojatnosti:
Kada se primjenjuje Bayesova formula, potrebno je uzeti u obzir samo vjerojatnost stvarnog opažanja, a ne vjerojatnosti drugih opažanja koja je mogao izvesti, ali nije. Ovo načelo ima široke implikacije za sve statističke i nestatističke primjene Bayesovog teorema; to je najvažniji tehnički alat za Bayesovo zaključivanje.
Bayesova revolucija
Vaši prijatelji i kolege govore o nečemu što se zove "Bayesov teorem" ili "Bayesovo pravilo" ili nešto što se zove Bayesovo rasuđivanje. Oni su stvarno zainteresirani za ovo, pa odete na internet i pronađete stranicu o Bayesovom teoremu i... To je jednadžba. I to je to... Zašto matematički koncept izaziva takav entuzijazam u glavama? Kakva se to “Bayesova revolucija” događa među znanstvenicima, a tvrdi se da se i sam eksperimentalni pristup može opisati kao njezin poseban slučaj? Koja je tajna koju Bayesovci znaju? Kakvu vrstu svjetla vide?
Bayesovska revolucija u znanosti nije se dogodila jer je sve više i više kognitivnih znanstvenika odjednom počelo primjećivati da mentalni fenomeni imaju Bayesovu strukturu; ne zato što su znanstvenici u svim područjima počeli koristiti Bayesovu metodu; već zato što je sama znanost poseban slučaj Bayesova teorema; eksperimentalni dokaz je Bayesov dokaz. Bayesovski revolucionari tvrde da kada izvedete eksperiment i dobijete dokaz koji "potvrđuje" ili "opovrgava" vašu teoriju, ta se potvrda ili opovrgavanje događa u skladu s Bayesovim pravilima. Na primjer, morate uzeti u obzir ne samo da vaša teorija može objasniti fenomen, već i da postoje druga moguća objašnjenja koja također mogu predvidjeti taj fenomen.
Prethodno je najpopularnija filozofija znanosti bila stara filozofija, koju je istisnula Bayesova revolucija. Ideja Karla Poppera da se teorije mogu potpuno falsificirati, ali nikad u potpunosti provjeriti, još je jedan poseban slučaj Bayesovih pravila; ako je p(X|A) ≈ 1 – ako teorija daje točna predviđanja, tada promatranje ~X jako krivotvori A. S druge strane, ako je p(X|A) ≈ 1 i promatramo X, to ne potvrđuje u potpunosti teorija; možda je moguć neki drugi uvjet B, takav da je p(X|B) ≈ 1, i pod kojim opažanje X ne svjedoči u korist A, ali svjedoči u korist B. Da bi opažanje X definitivno potvrdilo A, imali bismo ne znati da je p(X|A) ≈ 1 i da je p(X|~A) ≈ 0, što ne možemo znati jer ne možemo razmotriti sva moguća alternativna objašnjenja. Na primjer, kada je Einsteinova teorija opće relativnosti nadmašila Newtonovu dobro podržanu teoriju gravitacije, učinila je sva predviđanja Newtonove teorije posebnim slučajem predviđanja Einsteinovih.
Na sličan način, Popperova tvrdnja da ideja mora biti falsifikabilna može se tumačiti kao manifestacija Bayesovog pravila očuvanja vjerojatnosti; ako je rezultat X pozitivan dokaz za teoriju, tada rezultat ~X mora opovrgnuti teoriju u određenoj mjeri. Ako pokušate protumačiti i X i ~X kao "potvrđivanje" teorije, Bayesova pravila kažu da je to nemoguće! Kako biste povećali vjerojatnost teorije, morate je podvrgnuti testovima koji potencijalno mogu smanjiti njezinu vjerojatnost; Ovo nije samo pravilo za prepoznavanje šarlatana u znanosti, već posljedica Bayesovog teorema vjerojatnosti. S druge strane, netočna je Popperova ideja da je potrebno samo falsificiranje i nikakva potvrda. Bayesov teorem pokazuje da je falsificiranje vrlo jak dokaz u usporedbi s potvrdom, ali falsificiranje je još uvijek vjerojatnosne prirode; ne ravna se temeljno drugačijim pravilima i na taj se način ne razlikuje od konfirmacije, kako tvrdi Popper.
Stoga nalazimo da su mnogi fenomeni u kognitivnim znanostima, plus statističke metode koje koriste znanstvenici, plus sama znanstvena metoda, posebni slučajevi Bayesovog teorema. Ovo je Bayesova revolucija.
Dobrodošli u Bayesovu zavjeru!
Literatura o Bayesovoj vjerojatnosti
2. Puno različitih Bayesovih primjena opisao je dobitnik Nobelove nagrade za ekonomiju Kahneman (i njegovi drugovi) u prekrasnoj knjizi. Samo u svom kratkom sažetku ove vrlo velike knjige, izbrojao sam 27 spominjanja imena prezbiterijanskog svećenika. Minimalne formule. (.. jako mi se svidjelo. Istina, malo je komplicirano, ima dosta matematike (a gdje bismo bez nje), ali pojedina poglavlja (npr. Poglavlje 4. Informacije) su jasno na temu. Preporučam svima. Čak i ako ti je matematika teška, čitaj svaki drugi red , preskačući matematiku i loveći korisna zrnca...
14. (dopuna od 15.01.2017), poglavlje iz knjige Tonyja Crillya. 50 ideja koje trebate znati. Matematika.
Fizičar, nobelovac Richard Feynman, govoreći o jednom filozofu s posebno velikom samovažnošću, jednom je rekao: “Ono što me iritira nije filozofija kao znanost, nego pompoznost koja se stvara oko nje. Kad bi se filozofi mogli sami sebi smijati! Kad bi barem mogli reći: “Ja kažem da je ovako, ali Von Leipzig je mislio da je drugačije, a i on zna nešto o tome.” Da su se barem sjetili razjasniti da je samo njihov .
Oblik događaja puna grupa, ako će se barem jedan od njih sigurno pojaviti kao rezultat eksperimenta i parno su nekompatibilni.
Pretpostavimo da je događaj A može se dogoditi samo zajedno s jednim od nekoliko upareno nekompatibilnih događaja koji tvore potpunu skupinu. Pozvat ćemo događaje ( ja= 1, 2,…, n) hipoteze dodatno iskustvo (a priori). Vjerojatnost pojavljivanja događaja A određena je formulom puna vjerojatnost :
Primjer 16. Postoje tri urne. Prva urna sadrži 5 bijelih i 3 crne kugle, druga sadrži 4 bijele i 4 crne kugle, a treća sadrži 8 bijelih kugli. Jedna od urni je odabrana nasumično (to može značiti, na primjer, da je izbor napravljen od pomoćne urne koja sadrži tri kuglice označene brojevima 1, 2 i 3). Kuglica se nasumično izvlači iz ove urne. Koja je vjerojatnost da će biti crna?
Riješenje. Događaj A– crna kugla je uklonjena. Kad bi se znalo iz koje je urne kuglica izvučena, tada bi se željena vjerojatnost mogla izračunati pomoću klasične definicije vjerojatnosti. Uvedimo pretpostavke (hipoteze) o tome koja je urna odabrana za preuzimanje lopte.
Kuglica se može izvući ili iz prve urne (nagađanje), ili iz druge (nagađanje), ili iz treće (nagađanje). Budući da su jednake šanse da odaberete bilo koju od urni, dakle 
.
Iz toga slijedi da
Primjer 17. Električne svjetiljke proizvode se u tri tvornice. Prva tvornica proizvodi 30% ukupnog broja električnih svjetiljki, druga - 25%,
a treći – ostalo. Proizvodi prve tvornice sadrže 1% neispravnih električnih svjetiljki, druge - 1,5%, treće - 2%. Trgovina prima proizvode iz sve tri tvornice. Koja je vjerojatnost da se lampa kupljena u trgovini pokaže neispravnom?
Riješenje. Moraju se napraviti pretpostavke o tome u kojoj je tvornici žarulja proizvedena. Znajući to, možemo pronaći vjerojatnost da je neispravan. Uvedimo oznake za događaje: A– kupljena električna žarulja se pokazala neispravnom, – lampu je proizvela prva tvornica, – lampu je proizvela druga tvornica,
– lampu je proizveo treći pogon.
Željenu vjerojatnost nalazimo pomoću formule ukupne vjerojatnosti:
Bayesova formula. Neka je potpuna skupina po parovima nekompatibilnih događaja (hipoteza). A– slučajan događaj. Zatim,
Posljednja formula koja omogućuje ponovnu procjenu vjerojatnosti hipoteza nakon što je poznat rezultat testa koji je rezultirao događajem A naziva se Bayesova formula .
Primjer 18. U prosjeku, 50% bolesnika s tom bolešću bude primljeno u specijaliziranu bolnicu DO, 30% – s bolešću L, 20 % –
s bolešću M. Vjerojatnost potpunog izlječenja bolesti K jednako 0,7 za bolesti L I M te su vjerojatnosti 0,8 odnosno 0,9. Pacijentica primljena u bolnicu otpuštena je zdrava. Odredite vjerojatnost da je ovaj pacijent bolovao od te bolesti K.
Riješenje. Uvodimo hipoteze: – pacijent je bolovao od neke bolesti DO L, – pacijent je patio od bolesti M.
Tada, prema uvjetima problema, imamo . Predstavimo događaj A– pacijentica primljena u bolnicu otpuštena zdrava. Po stanju
Koristeći formulu ukupne vjerojatnosti dobivamo:
Prema Bayesovoj formuli.
Primjer 19. Neka se u urni nalazi pet kuglica i sva su pogađanja o broju bijelih kuglica jednako moguća. Iz urne se nasumično uzme kuglica i ispadne da je bijela. Koja je pretpostavka o početnom sastavu urne najvjerojatnija?
Riješenje. Neka bude hipoteza da se u urni nalaze bijele kugle 
, tj. može se napraviti šest pretpostavki. Tada, prema uvjetima problema, imamo .
Predstavimo događaj A– nasumce uzeta bijela kuglica. Idemo izračunati. Budući da , tada prema Bayesovoj formuli imamo: 
Stoga je najvjerojatnija hipoteza jer .
Primjer 20. Dva od tri neovisna radna elementa računalnog uređaja su otkazala. Odredite vjerojatnost da su prvi i drugi element otkazali ako su vjerojatnosti kvara prvog, drugog i trećeg elementa 0,2; 0,4 i 0,3.
Riješenje. Označimo sa A događaj – dva elementa nisu uspjela. Mogu se postaviti sljedeće hipoteze:
– otkazali su prvi i drugi element, ali je treći element u funkciji. Budući da elementi djeluju neovisno, primjenjuje se teorem množenja:
