Budući da je nova varijabla normalno distribuirana, donja i gornja granica 95% intervala pouzdanosti za varijablu φ bit će φ-1,96 i φ+1,96lijevo">

Umjesto 1,96 za male uzorke, preporuča se zamijeniti vrijednost t za N - 1 stupanj slobode. Ova metoda ne daje negativne vrijednosti i omogućuje točniju procjenu intervala pouzdanosti za frekvencije od Waldove metode. Osim toga, opisan je u mnogim domaćim referentnim knjigama o medicinskoj statistici, što međutim nije dovelo do njegove široke upotrebe u medicinskim istraživanjima. Izračunavanje intervala pouzdanosti pomoću kutne transformacije ne preporučuje se za frekvencije koje se približavaju 0 ili 1.

Ovdje obično završava opis metoda za procjenu intervala povjerenja u većini knjiga o osnovama statistike za medicinske istraživače, a ovaj problem je tipičan ne samo za domaću, već i za inozemnu literaturu. Obje metode temelje se na središnjem graničnom teoremu, koji podrazumijeva veliki uzorak.

S obzirom na nedostatke procjene intervala pouzdanosti pomoću gore navedenih metoda, Clopper (Clopper) i Pearson (Pearson) predložili su 1934. metodu za izračunavanje takozvanog točnog intervala pouzdanosti, uzimajući u obzir binomnu distribuciju proučavane osobine. Ova metoda je dostupna u mnogim online kalkulatorima, međutim, intervali pouzdanosti dobiveni na ovaj način su u većini slučajeva preširoki. U isto vrijeme, ova metoda se preporučuje za korištenje u slučajevima kada je potrebna konzervativna procjena. Stupanj konzervativnosti metode raste kako se smanjuje veličina uzorka, posebno za N< 15 . описывает применение функции биномиального распределения для анализа качественных данных с использованием MS Excel, в том числе и для определения доверительных интервалов, однако расчет последних для частот в электронных таблицах не «затабулирован» в удобном для пользователя виде, а потому, вероятно, и не используется большинством исследователей.

Prema mnogim statističarima, najoptimalnija procjena intervala pouzdanosti za frekvencije provodi se Wilsonovom metodom, predloženom još 1927. godine, ali se praktički ne koristi u domaćim biomedicinskim istraživanjima. Ova metoda ne samo da omogućuje procjenu intervala pouzdanosti i za vrlo male i za vrlo visoke frekvencije, nego je također primjenjiva na mali broj opažanja. Općenito, interval pouzdanosti prema Wilsonovoj formuli ima oblik iz

Kolika je vjerojatnost intervala pouzdanosti. Interval pouzdanosti

Um nije samo u znanju, već i u sposobnosti primjene znanja u praksi. (Aristotel)

Intervali povjerenja

opći pregled

Uzimajući uzorak iz populacije, dobit ćemo točkastu procjenu parametra koji nas zanima i izračunati standardnu ​​pogrešku kako bismo ukazali na točnost procjene.

Međutim, u većini slučajeva standardna pogreška kao takva nije prihvatljiva. Mnogo je korisnije kombinirati ovu mjeru preciznosti s intervalnom procjenom za parametar populacije.

To se može učiniti korištenjem znanja o teoretskoj distribuciji vjerojatnosti statistike uzorka (parametra) kako bi se izračunao interval pouzdanosti (CI - Interval pouzdanosti, CI - Interval pouzdanosti) za parametar.

Općenito, interval pouzdanosti proširuje procjene u oba smjera za neki višekratnik standardne pogreške (danog parametra); dvije vrijednosti (granice pouzdanosti) koje definiraju interval obično su odvojene zarezom i uvrštene u zagrade.

Interval pouzdanosti za srednju vrijednost

Korištenje normalne distribucije

Srednja vrijednost uzorka ima normalnu distribuciju ako je veličina uzorka velika, tako da se znanje o normalnoj distribuciji može primijeniti pri razmatranju srednje vrijednosti uzorka.

Konkretno, 95% distribucije srednjih vrijednosti uzorka unutar je 1,96 standardne devijacije (SD) srednje vrijednosti populacije.

Kada imamo samo jedan uzorak, to nazivamo standardnom pogreškom srednje vrijednosti (SEM) i izračunavamo interval pouzdanosti od 95% za srednju vrijednost na sljedeći način:

Ako se ovaj eksperiment ponovi nekoliko puta, tada će interval sadržavati pravu srednju populaciju 95% vremena.

To je obično interval pouzdanosti, kao što je raspon vrijednosti unutar kojeg se nalazi stvarna srednja vrijednost populacije (opća srednja vrijednost) s razinom pouzdanosti od 95%.

Iako nije sasvim striktno (srednja vrijednost populacije je fiksna vrijednost i stoga se na nju ne može odnositi vjerojatnost) tumačiti interval pouzdanosti na ovaj način, konceptualno ga je lakše razumjeti.

Korištenje t- distribucija

Možete koristiti normalnu distribuciju ako znate vrijednost varijance u populaciji. Također, kada je veličina uzorka mala, srednja vrijednost uzorka slijedi normalnu distribuciju ako su podaci na kojima se temelji populacija normalno distribuirani.

Ako podaci na kojima se temelji populacija nisu normalno distribuirani i/ili je opća varijanca (varijanca populacije) nepoznata, srednja vrijednost uzorka slijedi Studentova t-distribucija.

Izračunajte interval pouzdanosti od 95% za srednju populaciju na sljedeći način:

Gdje - postotna točka (percentil) t- Studentova distribucija s (n-1) stupnjevima slobode, što daje dvosmjernu vjerojatnost od 0,05.

Općenito, pruža širi interval nego kada se koristi normalna distribucija, jer uzima u obzir dodatnu nesigurnost koja je uvedena procjenom standardne devijacije populacije i/ili zbog male veličine uzorka.

Kada je veličina uzorka velika (reda 100 ili više), razlika između dvije distribucije ( t-učenik i normalno) je zanemariv. Međutim, uvijek koristite t- distribuciju pri izračunavanju intervala pouzdanosti, čak i ako je veličina uzorka velika.

Obično je indiciran 95% CI. Mogu se izračunati i drugi intervali pouzdanosti, kao što je 99% CI za srednju vrijednost.

Umjesto umnoška standardne pogreške i tablične vrijednosti t- distribucija koja odgovara dvostranoj vjerojatnosti od 0,05 pomnožite je (standardna pogreška) s vrijednošću koja odgovara dvostranoj vjerojatnosti od 0,01. Ovo je širi interval pouzdanosti od slučaja od 95% jer odražava povećano povjerenje da interval doista uključuje srednju vrijednost populacije.

Interval pouzdanosti za proporciju

Distribucija uzoraka proporcija ima binomnu distribuciju. Međutim, ako veličina uzorka n razumno velik, tada je distribucija uzorka proporcija približno normalna sa srednjom vrijednosti .

Procijenite prema omjeru uzorkovanja p=r/n(gdje r- broj jedinki u uzorku sa karakteristikama koje nas zanimaju), a procjenjuje se standardna pogreška:

Procjenjuje se interval pouzdanosti od 95% za udio:

Ako je veličina uzorka mala (obično kada np ili n(1-p) manje 5 ), tada se mora koristiti binomna distribucija kako bi se izračunali točni intervali pouzdanosti.

Imajte na umu da ako str izraženo u postocima, dakle (1-p) zamijenjen sa (100p).

Interpretacija intervala povjerenja

Kod tumačenja intervala pouzdanosti zanimaju nas sljedeća pitanja:

Koliko je širok interval pouzdanosti?

Široki interval pouzdanosti ukazuje da je procjena neprecizna; usko označava finu procjenu.

Širina intervala pouzdanosti ovisi o veličini standardne pogreške, koja zauzvrat ovisi o veličini uzorka, a kada se razmatra numerička varijabla iz varijabilnosti podataka, daju se širi intervali pouzdanosti nego studije velikog skupa podataka od nekoliko varijable.

Uključuje li CI neke vrijednosti od posebnog interesa?

Možete provjeriti je li vjerojatna vrijednost za parametar populacije unutar intervala pouzdanosti. Ako da, tada su rezultati u skladu s ovom vjerojatnom vrijednošću. Ako nije, tada je malo vjerojatno (za interval pouzdanosti od 95%, šansa je gotovo 5%) da parametar ima tu vrijednost.

"Katren-Style" nastavlja objavljivanje serije o medicinskoj statistici Konstantina Kravchika. U prethodna dva članka autor se dotaknuo objašnjenja pojmova kao što su i.

Konstantin Kravčik

Matematičar-analitičar. Specijalist u području statističkih istraživanja u medicini i humanističkim znanostima

Moskva grad

Vrlo često u člancima o kliničkim ispitivanjima možete pronaći tajanstveni izraz: "interval pouzdanosti" (95% CI ili 95% CI - interval pouzdanosti). Na primjer, članak bi mogao reći: "Studentov t-test korišten je za procjenu značajnosti razlika, s izračunatim intervalom pouzdanosti od 95%."

Kolika je vrijednost "95% intervala pouzdanosti" i zašto ga izračunati?

Što je interval pouzdanosti? - To je raspon u koji padaju prave srednje vrijednosti u populaciji. I što, postoje "neistiniti" prosjeci? U određenom smislu, da, imaju. Objasnili smo da je nemoguće izmjeriti parametar od interesa na cijeloj populaciji, pa su se istraživači zadovoljili ograničenim uzorkom. U ovom uzorku (npr. po tjelesnoj masi) postoji jedna prosječna vrijednost (određena težina), po kojoj prosuđujemo prosječnu vrijednost u cjelokupnoj općoj populaciji. Međutim, malo je vjerojatno da će se prosječna težina u uzorku (osobito malom) podudarati s prosječnom težinom u općoj populaciji. Stoga je ispravnije izračunati i koristiti raspon prosječnih vrijednosti opće populacije.

Na primjer, pretpostavimo da je 95% interval pouzdanosti (95% CI) za hemoglobin između 110 i 122 g/L. To znači da će s vjerojatnošću od 95 % prava srednja vrijednost hemoglobina u općoj populaciji biti u rasponu od 110 do 122 g/l. Drugim riječima, ne znamo prosječni hemoglobin u općoj populaciji, ali možemo naznačiti raspon vrijednosti za ovu osobinu s 95% vjerojatnosti.

Intervali pouzdanosti posebno su relevantni za razliku u sredinama između skupina ili ono što se naziva veličina učinka.

Pretpostavimo da smo usporedili učinkovitost dva pripravka željeza: jednog koji je već dugo na tržištu i jednog koji je tek registriran. Nakon tijeka terapije procijenjena je koncentracija hemoglobina u ispitivanim skupinama pacijenata, a statistički program nam je izračunao da je razlika između prosječnih vrijednosti dviju skupina s vjerojatnošću od 95% u rasponu od 1,72 do 14,36 g/l (Tablica 1).

Tab. 1. Kriterij za neovisne uzorke
(skupine se uspoređuju prema razini hemoglobina)

To treba protumačiti na sljedeći način: kod dijela bolesnika u općoj populaciji koji uzimaju novi lijek hemoglobin će biti viši u prosjeku za 1,72–14,36 g/l nego kod onih koji su uzimali već poznati lijek.

Drugim riječima, u općoj populaciji razlika u prosječnim vrijednostima hemoglobina u skupinama s 95% vjerojatnosti je unutar ovih granica. Na istraživaču će biti prosuditi je li to puno ili malo. Poanta svega ovoga je da ne radimo s jednom prosječnom vrijednošću, već s nizom vrijednosti, dakle, pouzdanije procjenjujemo razliku u parametru između grupa.

U statističkim paketima, prema nahođenju istraživača, moguće je samostalno suziti ili proširiti granice intervala pouzdanosti. Snižavanjem vjerojatnosti intervala pouzdanosti sužavamo raspon srednjih vrijednosti. Na primjer, kod 90% CI, raspon srednjih vrijednosti (ili srednje razlike) bit će uži nego kod 95% CI.

Suprotno tome, povećanjem vjerojatnosti na 99% širi se raspon vrijednosti. Kada se uspoređuju grupe, donja granica CI može prijeći nultu oznaku. Na primjer, ako smo proširili granice intervala pouzdanosti na 99 %, tada su granice intervala bile u rasponu od –1 do 16 g/L. To znači da u općoj populaciji postoje skupine među kojima je razlika prosjeka za proučavano svojstvo 0 (M=0).

Intervali pouzdanosti mogu se koristiti za testiranje statističkih hipoteza. Ako interval pouzdanosti prijeđe nultu vrijednost, tada je nulta hipoteza, koja pretpostavlja da se grupe ne razlikuju u ispitivanom parametru, istinita. Gore je opisan primjer kada smo proširili granice na 99%. Negdje u općoj populaciji našli smo skupine koje se ni po čemu nisu razlikovale.

95% interval pouzdanosti razlike u hemoglobinu, (g/l)


Slika prikazuje 95% interval pouzdanosti srednje razlike hemoglobina između dvije skupine kao liniju. Pravac prelazi oznaku nule, dakle postoji razlika između srednjih vrijednosti jednaka nuli, što potvrđuje nultu hipotezu da se grupe ne razlikuju. Razlika između skupina je od -2 do 5 g/l, što znači da hemoglobin može pasti za 2 g/l ili porasti za 5 g/l.

Interval pouzdanosti je vrlo važan pokazatelj. Zahvaljujući njoj možete vidjeti jesu li razlike u skupinama doista nastale zbog razlike u sredinama ili zbog velikog uzorka, jer su kod velikog uzorka šanse za pronalaženje razlika veće nego kod malog.

U praksi bi to moglo izgledati ovako. Uzeli smo uzorak od 1000 ljudi, izmjerili razinu hemoglobina i ustanovili da je interval pouzdanosti za razliku u srednjim vrijednostima od 1,2 do 1,5 g/L. Razina statističke značajnosti u ovom slučaju str

Vidimo da je koncentracija hemoglobina porasla, ali gotovo neprimjetno, pa se statistička značajnost pojavila upravo zbog veličine uzorka.

Intervali pouzdanosti mogu se izračunati ne samo za prosjeke, već i za proporcije (i omjere rizika). Na primjer, zanima nas interval pouzdanosti udjela pacijenata koji su postigli remisiju tijekom uzimanja razvijenog lijeka. Pretpostavimo da je 95% CI za udjele, tj. za udio takvih pacijenata, u rasponu 0,60-0,80. Dakle, možemo reći da naš lijek ima terapijski učinak u 60 do 80% slučajeva.

Svaki uzorak daje samo približnu sliku opće populacije, a sve statističke karakteristike uzorka (srednja vrijednost, mod, varijanca...) su neke aproksimacije ili recimo procjena općih parametara, koji se u većini slučajeva ne mogu izračunati zbog nedostupnost općoj populaciji (Slika 20) .

Slika 20. Greška uzorkovanja

Ali možete odrediti interval u kojem se, s određenim stupnjem vjerojatnosti, nalazi prava (opća) vrijednost statističke karakteristike. Taj se interval naziva d interval pouzdanosti (CI).

Dakle, opći prosjek s vjerojatnošću od 95% leži unutar

od do, (20)

gdje t - tablična vrijednost Studentovog kriterija za α =0,05 i f= n-1

Može se naći i 99% CI, u ovom slučaju t izabran za α =0,01.

Koji je praktični značaj intervala pouzdanosti?

    Široki interval pouzdanosti ukazuje da srednja vrijednost uzorka ne odražava točno srednju vrijednost populacije. To je obično zbog nedovoljne veličine uzorka ili njegove heterogenosti, tj. velika disperzija. Oba daju veliku pogrešku u srednjoj vrijednosti i, sukladno tome, širi CI. I to je razlog da se vratimo u fazu planiranja istraživanja.

    Gornje i donje granice CI određuju hoće li rezultati biti klinički značajni

Zaustavimo se detaljnije o pitanju statističke i kliničke važnosti rezultata proučavanja grupnih svojstava. Podsjetimo se da je zadatak statistike otkriti barem neke razlike u općim populacijama, na temelju podataka uzorka. Zadatak kliničara je pronaći takve (ne bilo kakve) razlike koje će pomoći u dijagnozi ili liječenju. I nisu uvijek statistički zaključci temelj za kliničke zaključke. Dakle, statistički značajno smanjenje hemoglobina za 3 g/l nije razlog za zabrinutost. I obrnuto, ako neki problem u ljudskom organizmu nema masovni karakter na razini cijele populacije, to nije razlog da se tim problemom ne pozabavimo.

Razmotrit ćemo ovu poziciju u primjer.

Istraživači su se pitali zaostaju li dječaci koji imaju neku vrstu zarazne bolesti u rastu za svojim vršnjacima. U tu svrhu provedena je selektivna studija u kojoj je sudjelovalo 10 dječaka koji su imali ovu bolest. Rezultati su prikazani u tablici 23.

Tablica 23. Statistički rezultati

donja granica

Gornja granica

Specifikacije (cm)

sredini

Iz ovih izračuna proizlazi da je selektivna prosječna visina desetogodišnjih dječaka koji su preboljeli neku zaraznu bolest blizu normalne (132,5 cm). Međutim, donja granica intervala pouzdanosti (126,6 cm) ukazuje da postoji 95%-tna vjerojatnost da stvarna prosječna visina ove djece odgovara konceptu "niskog rasta", tj. ova djeca su zakržljala.

U ovom su primjeru rezultati izračuna intervala pouzdanosti klinički značajni.

INTERVALI POVJERANJA ZA FREKVENCIJE I DIJELOVE

© 2008

Nacionalni institut za javno zdravstvo, Oslo, Norveška

U članku se opisuje i raspravlja o izračunu intervala pouzdanosti za frekvencije i proporcije primjenom Waldove, Wilsonove, Klopper-Pearsonove metode, primjenom kutne transformacije i Waldove metode uz Agresti-Cowllovu korekciju. Prezentirani materijal pruža opće informacije o metodama za izračunavanje intervala pouzdanosti za frekvencije i proporcije i ima za cilj pobuditi interes čitatelja časopisa ne samo za korištenje intervala pouzdanosti pri predstavljanju rezultata vlastitog istraživanja, već i za čitanje specijalizirane literature prije početak rada na budućim publikacijama.

Ključne riječi: interval pouzdanosti, učestalost, proporcija

U jednoj od prethodnih publikacija ukratko je spomenut opis kvalitativnih podataka te je navedeno da je njihova intervalna procjena poželjnija od točkaste procjene za opisivanje učestalosti pojavljivanja proučavane karakteristike u općoj populaciji. Doista, budući da se studije provode korištenjem podataka uzorka, projekcija rezultata na općoj populaciji mora sadržavati element netočnosti u procjeni uzorka. Interval pouzdanosti je mjera točnosti procijenjenog parametra. Zanimljivo je da se u nekim knjigama o osnovama statistike za liječnike potpuno zanemaruje tema intervala pouzdanosti za frekvencije. U ovom ćemo članku razmotriti nekoliko načina za izračunavanje intervala pouzdanosti za učestalosti, uz pretpostavku karakteristika uzorka kao što su neponavljanje i reprezentativnost, kao i neovisnost opažanja jedno o drugom. Učestalost u ovom članku nije shvaćena kao apsolutni broj koji pokazuje koliko se puta ova ili ona vrijednost pojavljuje u agregatu, već relativna vrijednost koja određuje udio sudionika istraživanja koji imaju osobinu koja se proučava.

U biomedicinskim istraživanjima najčešće se koriste intervali pouzdanosti od 95%. Ovaj interval pouzdanosti je područje unutar kojeg pravi udio pada 95% vremena. Drugim riječima, sa sigurnošću od 95% može se reći da će prava vrijednost učestalosti pojavljivanja neke osobine u općoj populaciji biti unutar intervala pouzdanosti od 95%.

Većina statističkih udžbenika za medicinske istraživače izvještava da se pogreška učestalosti izračunava pomoću formule

gdje je p učestalost pojavljivanja obilježja u uzorku (vrijednost od 0 do 1). U većini domaćih znanstvenih članaka navedena je vrijednost učestalosti pojavljivanja obilježja u uzorku (p), kao i njegova pogreška (s) u obliku p ± s. Svrsishodnije je, međutim, prikazati 95% interval pouzdanosti za učestalost pojavljivanja svojstva u općoj populaciji, koji će uključivati ​​vrijednosti iz

prije.

U nekim udžbenicima za male uzorke preporuča se vrijednost 1,96 zamijeniti vrijednošću t za N - 1 stupanj slobode, gdje je N broj opažanja u uzorku. Vrijednost t nalazi se u tablicama za t-distribuciju, koje su dostupne u gotovo svim udžbenicima statistike. Korištenje distribucije t za Waldovu metodu ne daje vidljive prednosti u odnosu na druge metode o kojima se raspravlja u nastavku, pa je stoga neki autori ne pozdravljaju.

Gornja metoda za izračunavanje intervala pouzdanosti za frekvencije ili razlomke nazvana je po Abrahamu Waldu (Abraham Wald, 1902–1950), budući da se počela široko koristiti nakon objave Walda i Wolfowitza 1939. godine. Međutim, samu metodu predložio je Pierre Simon Laplace (1749–1827) još 1812. godine.

Waldova metoda je vrlo popularna, ali je njena primjena povezana sa značajnim problemima. Metoda se ne preporučuje za male veličine uzorka, kao ni u slučajevima kada učestalost pojavljivanja značajke teži 0 ili 1 (0% ili 100%) i jednostavno nije moguća za frekvencije 0 i 1. Osim toga, aproksimacija normalne distribucije, koja se koristi pri izračunavanju pogreške, "ne radi" u slučajevima kada je n p< 5 или n · (1 – p) < 5 . Более консервативные статистики считают, что n · p и n · (1 – p) должны быть не менее 10 . Более детальное рассмотрение метода Вальда показало, что полученные с его помощью доверительные интервалы в большинстве случаев слишком узки, то есть их применение ошибочно создает слишком оптимистичную картину, особенно при удалении частоты встречаемости признака от 0,5, или 50 % . К тому же при приближении частоты к 0 или 1 доверительный интревал может принимать отрицательные значения или превышать 1, что выглядит абсурдно для частот. Многие авторы совершенно справедливо не рекомендуют применять данный метод не только в уже упомянутых случаях, но и тогда, когда частота встречаемости признака менее 25 % или более 75 % . Таким образом, несмотря на простоту расчетов, метод Вальда может применяться лишь в очень ограниченном числе случаев. Зарубежные исследователи более категоричны в своих выводах и однозначно рекомендуют не применять этот метод для небольших выборок , а ведь именно с такими выборками часто приходится иметь дело исследователям-медикам.



gdje uzima vrijednost 1,96 pri izračunu 95% intervala pouzdanosti, N je broj opažanja, a p je učestalost značajke u uzorku. Ova metoda je dostupna u online kalkulatorima, tako da njezina primjena nije problematična. i ne preporučujemo korištenje ove metode za n str< 4 или n · (1 – p) < 4 по причине слишком грубого приближения распределения р к нормальному в такой ситуации, однако зарубежные статистики считают метод Уилсона применимым и для малых выборок .

Uz Wilsonovu metodu, također se vjeruje da Waldova metoda ispravljena po Agresti-Caullu daje optimalnu procjenu intervala pouzdanosti za frekvencije. Agresti-Coulleova korekcija je zamjena u Waldovoj formuli za učestalost pojavljivanja svojstva u uzorku (p) za p`, pri čemu se brojniku dodaje 2, a nazivniku 4, tj. , p` = (X + 2) / (N + 4), gdje je X broj sudionika istraživanja koji imaju osobinu koja se proučava, a N veličina uzorka. Ova modifikacija daje rezultate vrlo slične onima iz Wilsonove formule, osim kada se stopa događaja približi 0% ili 100%, a uzorak je mali. Uz gore navedene metode za izračunavanje intervala pouzdanosti za frekvencije, predložene su korekcije za kontinuitet i za Waldovu i za Wilsonovu metodu za male uzorke, no studije su pokazale da je njihova uporaba neprikladna.

Razmotrite primjenu gore navedenih metoda za izračunavanje intervala pouzdanosti koristeći dva primjera. U prvom slučaju proučavamo veliki uzorak od 1000 nasumično odabranih sudionika istraživanja, od kojih 450 ima osobinu koja se proučava (bilo da se radi o faktoru rizika, ishodu ili bilo kojoj drugoj osobini), što je učestalost 0,45, odn. 45%. U drugom slučaju, istraživanje se provodi na malom uzorku, recimo samo 20 ljudi, a samo 1 sudionik u istraživanju (5%) ima osobinu koja se proučava. Intervali pouzdanosti za Waldovu metodu, za Waldovu metodu s Agresti-Coll korekcijom, za Wilsonovu metodu izračunati su pomoću online kalkulatora koji je razvio Jeff Sauro (http://www./wald.htm). Wilsonovi intervali pouzdanosti ispravljeni za kontinuitet izračunati su pomoću kalkulatora koji je osigurao Wassar Stats: Web stranica za statističko izračunavanje (http://faculty.vassar.edu/lowry/prop1.html). Proračuni korištenjem Fisherove kutne transformacije izvedeni su "ručno" korištenjem kritične vrijednosti t za 19 odnosno 999 stupnjeva slobode. Rezultati proračuna prikazani su u tablici za oba primjera.

Intervali pouzdanosti izračunati na šest različitih načina za dva primjera opisana u tekstu

Metoda izračuna intervala povjerenja

P=0,0500, ili 5%

95% CI za X=450, N=1000, P=0,4500 ili 45%

–0,0455–0,2541

Walda s korekcijom Agresti-Colla

<,0001–0,2541

Wilson s korekcijom kontinuiteta

Klopper-Pearsonova "egzaktna metoda"

Kutna transformacija

<0,0001–0,1967

Kao što je vidljivo iz tablice, za prvi primjer, interval pouzdanosti izračunat "općeprihvaćenom" Waldovom metodom ide u negativno područje, što ne može biti slučaj za frekvencije. Nažalost, takvi incidenti nisu neuobičajeni u ruskoj književnosti. Tradicionalni način predstavljanja podataka kao frekvencije i njegove pogreške djelomično prikrivaju ovaj problem. Na primjer, ako je učestalost pojavljivanja neke osobine (u postocima) predstavljena kao 2,1 ± 1,4, onda to nije toliko „iritantno“ kao 2,1% (95% CI: –0,7; 4,9), iako i znači isto. Waldova metoda s Agresti-Coulleovom korekcijom i izračun pomoću kutne transformacije daju donju granicu koja teži nuli. Wilsonova metoda s korekcijom kontinuiteta i "egzaktna metoda" daju šire intervale pouzdanosti od Wilsonove metode. Za drugi primjer, sve metode daju približno iste intervale pouzdanosti (razlike se pojavljuju samo u tisućinkama), što ne čudi, budući da se učestalost događaja u ovom primjeru ne razlikuje mnogo od 50%, a veličina uzorka je prilično velika .

Za čitatelje koje zanima ovaj problem, možemo preporučiti radove R. G. Newcombea i Browna, Caia i Dasgupte, koji daju prednosti i mane korištenja 7 odnosno 10 različitih metoda za izračunavanje intervala pouzdanosti. Od domaćih priručnika preporučuje se knjiga i u kojoj su, uz detaljan opis teorije, prikazane metode Walda, Wilson-a, kao i metoda za izračunavanje intervala pouzdanosti, uzimajući u obzir binomnu distribuciju frekvencija. . Osim besplatnih online kalkulatora (http://www./wald.htm i http://faculty.vassar.edu/lowry/prop1.html), intervali pouzdanosti za frekvencije (i ne samo!) mogu se izračunati pomoću CIA program (Confidence Intervals Analysis), koji se može preuzeti s http://www. medicinska škola. soton. ak. uk/cia/ .

Sljedeći članak će se osvrnuti na jednovarijabilne načine usporedbe kvalitativnih podataka.

Bibliografija

Banerjee A. Medicinska statistika jednostavnim jezikom: uvodni tečaj / A. Banerzhi. - M. : Praktična medicina, 2007. - 287 str. Medicinska statistika / . - M. : Medicinska informacijska agencija, 2007. - 475 str. Glanz S. Medicinsko-biološka statistika / S. Glants. - M.: Praksa, 1998. Tipovi podataka, verifikacija distribucije i deskriptivna statistika / // Human Ecology - 2008. - No. 1. - P. 52–58. Zhizhin K.S.. Medicinska statistika: udžbenik / . - Rostov n / D: Phoenix, 2007. - 160 str. Primijenjena medicinska statistika / , . - St. Petersburg. : Folio, 2003. - 428 str. Lakin G. F. Biometrija / . - M. : Viša škola, 1990. - 350 str. Medic V. A. Matematička statistika u medicini / , . - M. : Financije i statistika, 2007. - 798 str. Matematička statistika u kliničkim istraživanjima / , . - M. : GEOTAR-MED, 2001. - 256 str. Junkerov V. I. Medicinsko-statistička obrada podataka medicinskih istraživanja /,. - St. Petersburg. : VmedA, 2002. - 266 str. Agresti A. Približno je bolje nego točno za intervalnu procjenu binomnih proporcija / A. Agresti, B. Coull // Američki statističar. - 1998. - N 52. - S. 119-126. Altman D. Statistika s povjerenjem // D. Altman, D. Machin, T. Bryant, M. J. Gardner. - London: BMJ Books, 2000. - 240 str. Brown L.D. Intervalna procjena za binomni udio / L. D. Brown, T. T. Cai, A. Dasgupta // Statistička znanost. - 2001. - N 2. - P. 101-133. Clopper C.J. Upotreba pouzdanosti ili fiducijalnih granica ilustrirana u slučaju binoma / C. J. Clopper, E. S. Pearson // Biometrika. - 1934. - N 26. - P. 404-413. Garcia-Perez M. A. O intervalu pouzdanosti za binomni parametar / M. A. Garcia-Perez // Kvaliteta i količina. - 2005. - N 39. - P. 467-481. Motulsky H. Intuitivna biostatistika // H. Motulsky. - Oxford: Oxford University Press, 1995. - 386 str. Newcombe R.G. Dvostrani intervali pouzdanosti za jednu proporciju: Usporedba sedam metoda / R. G. Newcombe // Statistika u medicini. - 1998. - N. 17. - P. 857–872. Sauro J. Procjena stopa završetka iz malih uzoraka korištenjem binomnih intervala pouzdanosti: usporedbe i preporuke / J. Sauro, J. R. Lewis // Proceedings of the Human Factors and Ergonomics Society Godišnji sastanak. – Orlando, FL, 2005. Wald A. Granice pouzdanosti za funkcije kontinuirane distribucije // A. Wald, J. Wolfovitz // Annals of Mathematical Statistics. - 1939. - N 10. - S. 105–118. Wilson E. B. Vjerojatno zaključivanje, zakon nasljeđivanja i statističko zaključivanje / E. B. Wilson // Journal of American Statistical Association. - 1927. - N 22. - Str. 209-212.

INTERVALI POVJERANJA ZA PROPORCIJE

A. M. Grjibovski

Nacionalni institut za javno zdravstvo, Oslo, Norveška

U članku je prikazano nekoliko metoda za izračun intervala pouzdanosti za binomne proporcije, i to Waldova, Wilsonova, arcsinusna, Agresti-Coullova i egzaktna Clopper-Pearsonova metoda. Rad daje samo opći uvod u problem procjene intervala pouzdanosti binomnog udjela, a cilj mu je ne samo potaknuti čitatelje da koriste intervale pouzdanosti prilikom predstavljanja rezultata vlastitih empirijskih istraživanja, već i potaknuti ih da prije pregleda statističkih knjiga. analiziranje vlastitih podataka i pripremanje rukopisa.

ključne riječi: interval pouzdanosti, proporcija

Podaci za kontakt:

Viši savjetnik, Nacionalni institut za javno zdravstvo, Oslo, Norveška

U prethodnim pododjeljcima razmatrali smo pitanje procjene nepoznatog parametra a jedan broj. Takva se procjena naziva "bod". U nizu zadataka potrebno je ne samo pronaći parametar a prikladnu brojčanu vrijednost, ali i ocijeniti njegovu točnost i pouzdanost. Potrebno je znati do kojih grešaka može dovesti zamjena parametara a svoju procjenu a i s kojim stupnjem pouzdanosti možemo očekivati ​​da te pogreške neće prijeći poznate granice?

Problemi ove vrste posebno su relevantni za mali broj promatranja, kada je procjena točke i u uglavnom je slučajan i približna zamjena a s a može dovesti do ozbiljnih pogrešaka.

Da biste dobili ideju o točnosti i pouzdanosti procjene a,

u matematičkoj statistici koriste se tzv. intervali pouzdanosti i vjerojatnosti pouzdanosti.

Neka za parametar a izvedeno iz iskustva nepristrana procjena a.Želimo procijeniti moguću pogrešku u ovom slučaju. Dodjeljujemo neku dovoljno veliku vjerojatnost p (na primjer, p = 0,9, 0,95 ili 0,99) tako da se događaj s vjerojatnošću p može smatrati praktički izvjesnim, i nalazimo vrijednost s za koju

Zatim raspon praktično mogućih vrijednosti pogreške koja se javlja pri zamjeni a na a, bit će ± s; velike apsolutne pogreške pojavit će se samo s malom vjerojatnošću a = 1 - p. Prepišimo (14.3.1) kao:

Jednakost (14.3.2) znači da je s vjerojatnošću p nepoznata vrijednost parametra a spada u interval

U ovom slučaju treba napomenuti jednu okolnost. Prethodno smo opetovano razmatrali vjerojatnost da slučajna varijabla padne u zadani neslučajni interval. Ovdje je situacija drugačija: a ne slučajan, već slučajni interval / r. Nasumično njegov položaj na x-osi, određen njegovim središtem a; općenito, duljina intervala 2s također je slučajna, jer se vrijednost s izračunava, u pravilu, iz eksperimentalnih podataka. Stoga bi u ovom slučaju bilo bolje tumačiti vrijednost p ne kao vjerojatnost "pogađanja" točke a u interval / p, već kao vjerojatnost da će slučajni interval / p pokriti točku a(Slika 14.3.1).

Riža. 14.3.1

Vjerojatnost p naziva se razina povjerenja, a interval / p - interval pouzdanosti. Granice intervala ako. a x \u003d a- s i a 2 = a + a nazivaju se granice povjerenja.

Dajmo još jedno tumačenje konceptu intervala pouzdanosti: on se može smatrati intervalom vrijednosti parametara a, kompatibilan s eksperimentalnim podacima i ne proturječi im. Doista, ako se složimo da događaj s vjerojatnošću a = 1-p smatramo praktički nemogućim, tada su one vrijednosti parametra a za koje a - a> s moraju se prepoznati kao proturječni eksperimentalnim podacima, a oni za koje |a - a a tna 2 .

Neka za parametar a postoji nepristrana procjena a. Kad bismo poznavali zakon raspodjele količine a, problem pronalaženja intervala pouzdanosti bio bi prilično jednostavan: bilo bi dovoljno pronaći vrijednost s za koju

Poteškoća leži u činjenici da zakon raspodjele procjene a ovisi o zakonu raspodjele količine x i, posljedično, na njegove nepoznate parametre (osobito na sam parametar a).

Kako bismo zaobišli ovu poteškoću, možemo primijeniti sljedeći grubo aproksimativni trik: zamijeniti nepoznate parametre u izrazu za s njihovim točkastim procjenama. Uz relativno velik broj pokusa P(oko 20 ... 30) ova tehnika obično daje zadovoljavajuće rezultate u pogledu točnosti.

Kao primjer, razmotrite problem intervala pouzdanosti za matematičko očekivanje.

Neka se proizvodi P x,čije su karakteristike matematičko očekivanje t i varijanca D- nepoznato. Za ove parametre dobivene su sljedeće procjene:

Potrebno je izgraditi interval pouzdanosti / r, koji odgovara vjerojatnosti pouzdanosti r, za matematičko očekivanje t količinama x.

U rješavanju ovog problema koristimo se činjenicom da količina t je zbroj P nezavisne identično distribuirane slučajne varijable X h a prema središnjem graničnom teoremu za dovoljno velike P njegov zakon raspodjele je blizu normalnog. U praksi, čak i uz relativno mali broj članova (reda od 10 ... 20), zakon raspodjele zbroja može se približno smatrati normalnim. Pretpostavit ćemo da vrijednost t raspoređeni prema normalnom zakonu. Karakteristike ovog zakona - matematičko očekivanje i varijanca - jednake su redom t i

(vidi poglavlje 13 pododjeljak 13.3). Pretpostavimo da vrijednost D nam je poznata i pronaći ćemo vrijednost Ep za koju

Primjenom formule (6.3.5) iz poglavlja 6, izražavamo vjerojatnost na lijevoj strani (14.3.5) u smislu funkcije normalne distribucije

gdje je standardna devijacija procjene t.

Iz jednadžbe

pronađite Sp vrijednost:

gdje je arg F* (x) inverzna funkcija od F* (X), oni. takva vrijednost argumenta za koju je funkcija normalne distribucije jednaka X.

Disperzija D, kroz koje se izražava vrijednost a 1P, ne znamo točno; kao njegovu približnu vrijednost možete koristiti procjenu D(14.3.4) i približno staviti:

Time je približno riješen problem konstruiranja intervala povjerenja koji je jednak:

gdje je gp definiran formulom (14.3.7).

Kako bi se izbjegla obrnuta interpolacija u tablicama funkcije F * (l) pri izračunavanju s p, prikladno je sastaviti posebnu tablicu (tablica 14.3.1), u kojoj su navedene vrijednosti količine

ovisno o r. Vrijednost (p za normalni zakon određuje broj standardnih devijacija koje se moraju odvojiti desno i lijevo od centra disperzije tako da je vjerojatnost pada u rezultirajuće područje jednaka p.

Kroz vrijednost od 7 p, interval pouzdanosti se izražava kao:

Tablica 14.3.1

Primjer 1. Provedeno je 20 eksperimenata na vrijednosti x; rezultati su prikazani u tablici. 14.3.2.

Tablica 14.3.2

Potrebno je pronaći procjenu za matematičko očekivanje količine x i konstruirajte interval pouzdanosti koji odgovara razini pouzdanosti p = 0,8.

Riješenje. Imamo:

Odabirom za ishodište n: = 10, prema trećoj formuli (14.2.14) nalazimo nepristranu procjenu D :

Prema tablici 14.3.1 pronaći

Granice pouzdanosti:

Interval pouzdanosti:

Vrijednosti parametara t, koji leže u ovom intervalu kompatibilni su s eksperimentalnim podacima danim u tablici. 14.3.2.

Na sličan način može se konstruirati interval pouzdanosti za varijancu.

Neka se proizvodi P nezavisni eksperimenti na slučajnoj varijabli x s nepoznatim parametrima iz i A, te za varijancu D dobiva se nepristrana procjena:

Potrebno je približno izgraditi interval pouzdanosti za varijancu.

Iz formule (14.3.11) vidljivo je da vrijednost D predstavlja

iznos P slučajne varijable oblika . Ove vrijednosti nisu

neovisni, budući da svaki od njih uključuje količinu t, ovisan o svima drugima. Međutim, može se pokazati da kao P zakon distribucije njihovog zbroja također je blizak normalnom. Skoro u P= 20...30 već se može smatrati normalnim.

Pretpostavimo da je to tako i pronađimo karakteristike ovog zakona: matematičko očekivanje i varijancu. Od rezultata D- nepristrano, dakle M[D] = D.

Izračun varijance DD povezan je s relativno složenim izračunima, pa dajemo njegov izraz bez izvoda:

gdje je c 4 - četvrti središnji moment količine x.

Da biste koristili ovaj izraz, morate u njemu zamijeniti vrijednosti od 4 i D(bar približno). Umjesto D možete koristiti ocjenu D. U načelu, četvrti središnji moment također se može zamijeniti njegovom procjenom, na primjer, vrijednošću oblika:

ali takva zamjena će dati izuzetno nisku točnost, budući da se općenito, s ograničenim brojem eksperimenata, momenti visokog reda određuju s velikim pogreškama. Međutim, u praksi se često događa da je oblik zakona raspodjele količine x unaprijed poznat: nepoznati su samo njegovi parametri. Tada možemo pokušati izraziti u4 u smislu D.

Uzmimo najčešći slučaj, kada je vrijednost x raspoređeni prema normalnom zakonu. Tada se njegov četvrti središnji moment izražava u smislu varijance (vidi Poglavlje 6, Pododjeljak 6.2);

a formula (14.3.12) daje ili

Zamjena u (14.3.14) nepoznatog D njegova procjena D, dobivamo: odakle

Moment u 4 može se izraziti u smislu D također i u nekim drugim slučajevima, kada raspodjela količine x nije normalan, ali je poznat njegov izgled. Na primjer, za zakon uniformne gustoće (vidi Poglavlje 5) imamo:

gdje je (a, P) interval na kojem je dan zakon.

Posljedično,

Prema formuli (14.3.12) dobivamo: odakle nalazimo otprilike

U slučajevima kada je oblik zakona raspodjele vrijednosti 26 nepoznat, pri procjeni vrijednosti a /) ipak se preporuča koristiti formulu (14.3.16), ako nema posebnih razloga za vjerovanje da je ovaj zakon jako se razlikuje od normalnog (ima primjetan pozitivan ili negativan kurtosis) .

Ako se približna vrijednost a /) dobije na ovaj ili onaj način, tada je moguće konstruirati interval pouzdanosti za varijancu na isti način kao što smo ga izgradili za matematičko očekivanje:

gdje se vrijednost ovisno o zadanoj vjerojatnosti p nalazi u tablici. 14.3.1.

Primjer 2. Odredite interval pouzdanosti od približno 80% za varijancu slučajne varijable x pod uvjetima iz primjera 1, ako je poznato da vrijednost x raspodijeljena prema zakonu bliskom normalnom.

Riješenje. Vrijednost ostaje ista kao u tablici. 14.3.1:

Prema formuli (14.3.16)

Prema formuli (14.3.18) nalazimo interval pouzdanosti:

Odgovarajući raspon vrijednosti standardne devijacije: (0,21; 0,29).

14.4. Egzaktne metode za konstruiranje intervala pouzdanosti za parametre slučajne varijable distribuirane prema normalnom zakonu

U prethodnom pododjeljku razmotrili smo grubo približne metode za konstrukciju intervala pouzdanosti za srednju vrijednost i varijancu. Ovdje dajemo ideju o točnim metodama za rješavanje istog problema. Naglašavamo da je za točno određivanje intervala pouzdanosti apsolutno potrebno unaprijed poznavati oblik zakona raspodjele količine x, dok to nije potrebno za primjenu približnih metoda.

Ideja točnih metoda za konstrukciju intervala povjerenja je sljedeća. Svaki interval pouzdanosti nalazi se iz uvjeta koji izražava vjerojatnost ispunjenja nekih nejednakosti, koje uključuju procjenu koja nas zanima a. Zakon raspodjele ocjena a u općem slučaju ovisi o nepoznatim parametrima veličine x. Međutim, ponekad je moguće prenijeti nejednakosti iz slučajne varijable a na neku drugu funkciju promatranih vrijednosti X p X 2, ..., X str.čiji zakon raspodjele ne ovisi o nepoznatim parametrima, već ovisi samo o broju pokusa i obliku zakona raspodjele veličine x. Slučajne varijable ove vrste igraju veliku ulogu u matematičkoj statistici; oni su najdetaljnije proučavani za slučaj normalne raspodjele količine x.

Na primjer, dokazano je da pri normalnoj raspodjeli količine x slučajna vrijednost

predmet tzv Studentov zakon raspodjele S P- 1 stupanj slobode; gustoća ovog zakona ima oblik

gdje je G(x) poznata gama funkcija:

Također je dokazano da slučajna varijabla

ima "distribuciju % 2 " sa P- 1 stupnjeva slobode (vidi poglavlje 7), čija se gustoća izražava formulom

Ne zadržavajući se na izvodima distribucija (14.4.2) i (14.4.4), pokazat ćemo kako se one mogu primijeniti pri konstruiranju intervala pouzdanosti za parametre Ty D.

Neka se proizvodi P nezavisni eksperimenti na slučajnoj varijabli x, raspodijeljena prema normalnom zakonu s nepoznatim parametrima TIO. Za ove parametre, procjene

Potrebno je konstruirati intervale pouzdanosti za oba parametra koji odgovaraju vjerojatnosti pouzdanosti p.

Najprije konstruirajmo interval pouzdanosti za matematičko očekivanje. Prirodno je taj interval uzeti simetričnim u odnosu na t; označimo sa s p polovicu duljine intervala. Vrijednost sp mora biti odabrana tako da uvjet

Pokušajmo prijeći na lijevu stranu jednakosti (14.4.5) od slučajne varijable t na slučajnu varijablu T, raspoređeni prema Studentovom zakonu. Da bismo to učinili, pomnožimo oba dijela nejednadžbe |m-w?|

na pozitivnu vrijednost: ili, koristeći notaciju (14.4.1),

Nađimo broj / p takav da se vrijednost / p može pronaći iz uvjeta

Iz formule (14.4.2) se vidi da je (1) parna funkcija, pa (14.4.8) daje

Jednakost (14.4.9) određuje vrijednost / p ovisno o p. Ako imate na raspolaganju tablicu integralnih vrijednosti

tada se vrijednost / p može naći obrnutom interpolacijom u tablici. Međutim, prikladnije je unaprijed sastaviti tablicu vrijednosti / str. Takva tablica data je u Dodatku (Tablica 5). Ova tablica prikazuje vrijednosti ovisne o vjerojatnosti pouzdanosti p i broju stupnjeva slobode P- 1. Odredivši / p prema tablici. 5 i pod pretpostavkom

nalazimo polovicu širine intervala pouzdanosti / p i sam interval

Primjer 1. Provedeno je 5 neovisnih eksperimenata na slučajnoj varijabli x, normalno raspodijeljen s nepoznatim parametrima t i oko. Rezultati pokusa dati su u tablici. 14.4.1.

Tablica 14.4.1

Pronađite procjenu t za matematičko očekivanje i konstruirajte 90% interval pouzdanosti / p za njega (tj. interval koji odgovara vjerojatnosti pouzdanosti p \u003d 0,9).

Riješenje. Imamo:

Prema tablici 5 prijave za P - 1 = 4 i p = 0,9 nalazimo gdje

Interval pouzdanosti bit će

Primjer 2. Za uvjete primjera 1 pododjeljka 14.3, uz pretpostavku vrijednosti x normalno raspoređen, pronađite točan interval pouzdanosti.

Riješenje. Prema tablici 5 prijave, nalazimo na P - 1 = 19ir =

0,8/p = 1,328; odavde

Uspoređujući s rješenjem primjera 1 pododjeljka 14.3 (e p = 0,072), vidimo da je odstupanje vrlo malo. Ako zadržimo točnost do drugog decimalnog mjesta, tada su intervali pouzdanosti dobiveni egzaktnom i aproksimativnom metodom isti:

Prijeđimo na konstruiranje intervala pouzdanosti za varijancu. Razmotrite nepristranu procjenu varijance

i izrazite slučajnu varijablu D kroz vrijednost V(14.4.3) s distribucijom x 2 (14.4.4):

Poznavanje zakona raspodjele količine V, moguće je pronaći interval / (1 ) u koji pada sa zadanom vjerojatnošću p.

zakon distribucije k n _ x (v) vrijednost I 7 ima oblik prikazan na sl. 14.4.1.

Riža. 14.4.1

Postavlja se pitanje: kako odabrati interval / p? Ako zakon raspodjele količine V bio simetričan (poput normalnog zakona ili Studentove distribucije), bilo bi prirodno interval /p uzeti simetričnim u odnosu na matematičko očekivanje. U ovom slučaju zakon na n _ x (v) asimetričan. Dogovorimo se da odaberemo interval /p tako da vjerojatnosti izlaza veličine V izvan intervala desno i lijevo (osjenčana područja na sl. 14.4.1) bili su isti i jednaki

Za konstrukciju intervala / p s ovim svojstvom koristimo tablicu. 4 aplikacije: sadrži brojeve y) takav da

za količinu V, ima x 2 distribuciju s r stupnjeva slobode. U našem slučaju r = n- 1. Popraviti r = n- 1 i pronađite u odgovarajućem retku tablice. 4 dvije vrijednosti x 2 - jedan odgovara vjerojatnosti drugi - vjerojatnosti Označimo ove

vrijednosti u 2 i xl? Interval ima y 2 , lijevom stranom i y ~ desni kraj.

Sada nalazimo traženi interval pouzdanosti /| za varijancu s granicama D, i D2, koji pokriva točku D s vjerojatnošću p:

Konstruirajmo takav interval / (, = (?> b A), koji pokriva točku D ako i samo ako vrijednost V pada u interval / r. Pokažimo da je interval

zadovoljava ovaj uvjet. Doista, nejednakosti su ekvivalentne nejednakostima

a ove nejednakosti vrijede s vjerojatnošću p. Tako se nalazi interval pouzdanosti za disperziju i izražava se formulom (14.4.13).

Primjer 3. Odredite interval pouzdanosti za varijancu pod uvjetima iz primjera 2 pododjeljka 14.3, ako je poznato da vrijednost x normalno raspodijeljena.

Riješenje. Imamo . Prema tablici 4. prijave

nalazimo na r = n - 1 = 19

Prema formuli (14.4.13) nalazimo interval pouzdanosti za disperziju

Odgovarajući interval za standardnu ​​devijaciju: (0,21; 0,32). Taj interval samo malo premašuje interval (0,21; 0,29) dobiven u primjeru 2 pododjeljka 14.3 aproksimativnom metodom.

  • Slika 14.3.1 razmatra interval pouzdanosti koji je simetričan oko a. Općenito, kao što ćemo vidjeti kasnije, to nije potrebno.
KATEGORIJE

POPULARNI ČLANCI

2022 "kingad.ru" - ultrazvučni pregled ljudskih organa