Poiché la nuova variabile è distribuita normalmente, i limiti inferiore e superiore dell'intervallo di confidenza al 95% per la variabile φ saranno φ-1,96 e φ+1,96sinistra">

Invece di 1,96 per campioni piccoli, si consiglia di sostituire il valore t con N – 1 gradi di libertà. Questo metodo non produce valori negativi e consente stime degli intervalli di confidenza per le frequenze più accurate rispetto al metodo Wald. Inoltre, è descritto in molti libri di consultazione nazionali sulla statistica medica, il che, tuttavia, non ha portato al suo utilizzo diffuso nella ricerca medica. Il calcolo degli intervalli di confidenza utilizzando la trasformazione angolare non è raccomandato per frequenze prossime a 0 o 1.

È qui che di solito finisce la descrizione dei metodi per stimare gli intervalli di confidenza nella maggior parte dei libri sulle basi della statistica per i ricercatori medici, e questo problema è tipico non solo della letteratura nazionale ma anche di quella straniera. Entrambi i metodi si basano sul teorema del limite centrale, che implica un campione ampio.

Tenendo conto degli svantaggi della stima degli intervalli di confidenza utilizzando i metodi di cui sopra, Clopper e Pearson proposero nel 1934 un metodo per calcolare il cosiddetto intervallo di confidenza esatto, data la distribuzione binomiale del tratto studiato. Questo metodo è disponibile in molti calcolatori online, ma gli intervalli di confidenza ottenuti in questo modo sono nella maggior parte dei casi troppo ampi. Allo stesso tempo, questo metodo è raccomandato nei casi in cui è necessaria una valutazione conservativa. Il grado di conservatività del metodo aumenta al diminuire della dimensione del campione, soprattutto quando N< 15 . описывает применение функции биномиального распределения для анализа качественных данных с использованием MS Excel, в том числе и для определения доверительных интервалов, однако расчет последних для частот в электронных таблицах не «затабулирован» в удобном для пользователя виде, а потому, вероятно, и не используется большинством исследователей.

Secondo molti statistici, la valutazione ottimale degli intervalli di confidenza per le frequenze viene effettuata con il metodo Wilson, proposto nel 1927, ma praticamente non utilizzato nella ricerca biomedica domestica. Questo metodo non solo consente di stimare gli intervalli di confidenza sia per frequenze molto piccole che per frequenze molto grandi, ma è applicabile anche per un numero limitato di osservazioni. In generale, l’intervallo di confidenza secondo la formula di Wilson ha la forma

Qual è la probabilità dell'intervallo di confidenza. Intervallo di confidenza

L'intelligenza non consiste solo nella conoscenza, ma anche nella capacità di applicare la conoscenza nella pratica. (Aristotele)

Intervalli di confidenza

revisione generale

Prelevando un campione dalla popolazione, otteniamo una stima puntuale del parametro di interesse e calcoliamo l'errore standard per indicare la precisione della stima.

Tuttavia, nella maggior parte dei casi l’errore standard in quanto tale non è accettabile. È molto più utile combinare questa misura di accuratezza con una stima intervallare per il parametro della popolazione.

Ciò può essere fatto utilizzando la conoscenza della distribuzione di probabilità teorica della statistica campionaria (parametro) per calcolare un intervallo di confidenza (CI - Confidence Interval, CI - Confidence Interval) per il parametro.

In generale, un intervallo di confidenza estende le stime in entrambe le direzioni di un certo multiplo dell'errore standard (di un dato parametro); i due valori (limiti di confidenza) che definiscono l'intervallo sono solitamente separati da una virgola e racchiusi tra parentesi.

Intervallo di confidenza per la media

Utilizzando la distribuzione normale

La media campionaria è distribuita normalmente se la dimensione del campione è ampia, quindi è possibile applicare la conoscenza della distribuzione normale quando si considera la media campionaria.

Nello specifico, il 95% della distribuzione delle medie campionarie rientra in 1,96 deviazioni standard (SD) della media della popolazione.

Quando abbiamo un solo campione, lo chiamiamo errore standard della media (SEM) e calcoliamo l'intervallo di confidenza al 95% per la media come segue:

Se ripetiamo questo esperimento più volte, l'intervallo conterrà la media reale della popolazione nel 95% dei casi.

Tipicamente si tratta di un intervallo di confidenza, come ad esempio l’intervallo di valori entro il quale si trova la vera media della popolazione (media generale) con una probabilità di confidenza del 95%.

Anche se non è del tutto rigoroso (la media della popolazione è un valore fisso e quindi non può essere associata ad una probabilità) interpretare un intervallo di confidenza in questo modo, è concettualmente più facile da capire.

Utilizzo T- distribuzione

Puoi utilizzare la distribuzione normale se conosci il valore della varianza nella popolazione. Inoltre, quando la dimensione del campione è piccola, la media campionaria segue una distribuzione normale se i dati della popolazione sottostante sono distribuiti normalmente.

Se i dati alla base della popolazione non sono distribuiti normalmente e/o la varianza generale (varianza della popolazione) non è nota, la media campionaria obbedisce Distribuzione t di Student.

Calcolare l'intervallo di confidenza al 95% per la media della popolazione come segue:

Dov'è il punto percentuale (percentile) T- Distribuzione degli studenti con (n-1) gradi di libertà, che dà una probabilità a due code di 0,05.

In generale, fornisce un intervallo più ampio rispetto a quando si utilizza una distribuzione normale, perché tiene conto dell’incertezza aggiuntiva introdotta dalla stima della deviazione standard della popolazione e/o dalla piccola dimensione del campione.

Quando la dimensione del campione è ampia (dell'ordine di 100 o più), la differenza tra le due distribuzioni ( t-Studente e normale) è insignificante. Tuttavia, lo usano sempre T- distribuzione nel calcolo degli intervalli di confidenza, anche se la dimensione del campione è ampia.

In genere viene riportato l'IC al 95%. È possibile calcolare altri intervalli di confidenza, come l'IC al 99% per la media.

Invece del prodotto dell'errore standard e del valore della tabella T- distribuzione che corrisponde a una probabilità a due code di 0,05 moltiplicarla (errore standard) per un valore che corrisponde a una probabilità a due code di 0,01. Si tratta di un intervallo di confidenza più ampio rispetto al caso del 95% perché riflette una maggiore confidenza che l’intervallo includa effettivamente la media della popolazione.

Intervallo di confidenza per la proporzione

La distribuzione campionaria delle proporzioni ha una distribuzione binomiale. Tuttavia, se la dimensione del campione N ragionevolmente grande, allora la distribuzione campionaria proporzionale è approssimativamente normale con media .

Valutiamo in base al rapporto selettivo p=r/n(Dove R- il numero di individui del campione con le caratteristiche di nostro interesse), e si stima l'errore standard:

L'intervallo di confidenza del 95% per la proporzione è stimato:

Se la dimensione del campione è piccola (di solito quando n.p. O n(1-p) meno 5 ), allora è necessario utilizzare la distribuzione binomiale per calcolare gli esatti intervalli di confidenza.

Tieni presente che se P espresso in percentuale, quindi (1-p) sostituito da (100 p).

Interpretazione degli intervalli di confidenza

Quando interpretiamo un intervallo di confidenza, siamo interessati alle seguenti domande:

Quanto è ampio l'intervallo di confidenza?

Un ampio intervallo di confidenza indica che la stima è imprecisa; stretto indica una stima accurata.

L'ampiezza dell'intervallo di confidenza dipende dalla dimensione dell'errore standard, che, a sua volta, dipende dalla dimensione del campione e, quando si considera una variabile numerica dalla variabilità dei dati, fornisce intervalli di confidenza più ampi rispetto agli studi su un ampio set di dati di poche variabili.

Il CI include valori di particolare interesse?

È possibile verificare se il valore probabile di un parametro della popolazione rientra in un intervallo di confidenza. Se è così, i risultati sono coerenti con questo valore probabile. In caso contrario, è improbabile (per un intervallo di confidenza del 95%, la probabilità è quasi del 5%) che il parametro abbia questo valore.

"Katren-Style" continua a pubblicare un ciclo di Konstantin Kravchik sulle statistiche mediche. In due articoli precedenti, l'autore si è occupato della spiegazione di concetti come e.

Konstantin Kravchik

Matematico-analista. Specialista nel campo della ricerca statistica in campo medico e umanistico

Città di Mosca

Molto spesso negli articoli sugli studi clinici è possibile trovare una frase misteriosa: "intervallo di confidenza" (IC al 95% o IC al 95% - intervallo di confidenza). Ad esempio, un articolo potrebbe dire: "Il test t di Student è stato utilizzato per valutare la significatività delle differenze, con un intervallo di confidenza calcolato al 95%".

Qual è il valore dell’“intervallo di confidenza al 95 %” e perché calcolarlo?

Cos'è un intervallo di confidenza? - Questo è l'intervallo in cui rientrano i veri valori medi della popolazione. Esistono medie “false”? In un certo senso sì, lo fanno. In abbiamo spiegato che è impossibile misurare il parametro di interesse sull'intera popolazione, quindi i ricercatori si accontentano di un campione limitato. In questo campione (ad esempio, in base al peso corporeo) è presente un valore medio (un certo peso), in base al quale giudichiamo il valore medio nell'intera popolazione generale. Tuttavia, è improbabile che il peso medio del campione (soprattutto se piccolo) coincida con il peso medio della popolazione generale. Pertanto, è più corretto calcolare e utilizzare l'intervallo di valori medi della popolazione generale.

Ad esempio, supponiamo che l'intervallo di confidenza al 95% (IC al 95%) per l'emoglobina sia compreso tra 110 e 122 g/L. Ciò significa che con una probabilità del 95 % il vero valore medio dell'emoglobina nella popolazione generale sarà compreso tra 110 e 122 g/l. In altre parole, non conosciamo l’emoglobina media nella popolazione generale, ma possiamo indicare l’intervallo di valori di questa caratteristica con una probabilità del 95%.

Gli intervalli di confidenza sono particolarmente rilevanti per le differenze nelle medie tra i gruppi, o, come vengono chiamate, dimensioni dell’effetto.

Diciamo che abbiamo confrontato l'efficacia di due preparati di ferro: uno sul mercato da molto tempo e uno appena registrato. Dopo il corso della terapia, abbiamo valutato la concentrazione di emoglobina nei gruppi di pazienti studiati e il programma statistico ha calcolato che la differenza tra i valori medi dei due gruppi era, con una probabilità del 95 %, nell'intervallo da 1,72 a 14,36 g/l (Tabella 1).

Tavolo 1. Test per campioni indipendenti
(i gruppi vengono confrontati in base al livello di emoglobina)

Ciò va interpretato nel modo seguente: in alcuni pazienti della popolazione generale che assumono un nuovo farmaco, l'emoglobina sarà in media di 1,72–14,36 g/l più alta rispetto a quelli che assumono un farmaco già noto.

In altre parole, nella popolazione generale, la differenza dei valori medi di emoglobina tra i gruppi rientra in questi limiti con una probabilità del 95%. Spetterà al ricercatore giudicare se questo è molto o poco. Il punto di tutto ciò è che non stiamo lavorando con un valore medio, ma con un intervallo di valori, quindi stimiamo in modo più affidabile la differenza in un parametro tra i gruppi.

Nei pacchetti statistici, a discrezione del ricercatore, è possibile restringere o espandere in modo indipendente i confini dell'intervallo di confidenza. Abbassando le probabilità dell’intervallo di confidenza, restringiamo l’intervallo delle medie. Ad esempio, con un IC al 90 % l'intervallo delle medie (o la differenza tra le medie) sarà più ristretto rispetto al 95 %.

Al contrario, aumentando la probabilità al 99 % si espande l’intervallo di valori. Quando si confrontano i gruppi, il limite inferiore dell'IC potrebbe superare la tacca zero. Ad esempio, se estendessimo i limiti dell'intervallo di confidenza al 99 %, i limiti dell'intervallo sarebbero compresi tra –1 e 16 g/L. Ciò significa che nella popolazione generale ci sono gruppi la cui differenza tra le medie per il tratto studiato è 0 (M=0).

Utilizzando un intervallo di confidenza, puoi verificare ipotesi statistiche. Se l'intervallo di confidenza supera il valore zero, allora l'ipotesi nulla, che presuppone che i gruppi non differiscano nel parametro studiato, è vera. L'esempio è descritto sopra in cui abbiamo espanso i limiti al 99 %. Da qualche parte nella popolazione generale abbiamo trovato gruppi che non differivano in alcun modo.

Intervallo di confidenza al 95% della differenza di emoglobina, (g/l)


La figura mostra l'intervallo di confidenza al 95% per la differenza dei valori medi di emoglobina tra i due gruppi. La linea passa per la tacca dello zero, quindi c'è una differenza tra le medie dello zero, che conferma l'ipotesi nulla che i gruppi non differiscano. L'intervallo di differenza tra i gruppi va da –2 a 5 g/L, ciò significa che l'emoglobina può diminuire di 2 g/L o aumentare di 5 g/L.

L’intervallo di confidenza è un indicatore molto importante. Grazie ad esso è possibile vedere se le differenze nei gruppi erano realmente dovute alla differenza delle medie o a un campione ampio, poiché con un campione ampio le possibilità di trovare differenze sono maggiori che con uno piccolo.

In pratica potrebbe assomigliare a questo. Abbiamo preso un campione di 1000 persone, misurato i livelli di emoglobina e scoperto che l'intervallo di confidenza per la differenza tra le medie variava da 1,2 a 1,5 g/l. Il livello di significatività statistica in questo caso p

Vediamo che la concentrazione di emoglobina è aumentata, ma quasi impercettibilmente, quindi la significatività statistica è apparsa proprio a causa della dimensione del campione.

Gli intervalli di confidenza possono essere calcolati non solo per le medie, ma anche per le proporzioni (e i rapporti di rischio). Ad esempio, siamo interessati all'intervallo di confidenza delle proporzioni di pazienti che hanno raggiunto la remissione durante l'assunzione di un farmaco sviluppato. Supponiamo che l'IC al 95 % per le proporzioni, cioè per la proporzione di tali pazienti, sia compreso tra 0,60 e 0,80. Possiamo quindi affermare che il nostro medicinale ha un effetto terapeutico nel 60-80 % dei casi.

Qualsiasi campione fornisce solo un'idea approssimativa della popolazione generale, e tutte le caratteristiche statistiche del campione (media, moda, varianza...) sono un'approssimazione o una stima dei parametri generali, che nella maggior parte dei casi non è possibile calcolare a causa all’inaccessibilità della popolazione generale (Figura 20) .

Figura 20. Errore di campionamento

Ma è possibile specificare l'intervallo in cui si trova, con un certo grado di probabilità, il vero valore (generale) della caratteristica statistica. Questo intervallo è chiamato D intervallo di confidenza (CI).

Quindi il valore medio generale con una probabilità del 95% si trova all'interno

dal al, (20)

Dove T – valore della tabella del test dello studente per α =0,05 e F= N-1

In questo caso è possibile trovare anche un IC al 99%. T selezionato per α =0,01.

Qual è il significato pratico di un intervallo di confidenza?

    Un ampio intervallo di confidenza indica che la media del campione non riflette accuratamente la media della popolazione. Ciò è solitamente dovuto a una dimensione insufficiente del campione o alla sua eterogeneità, ad es. grande dispersione. Entrambi danno un errore medio maggiore e, di conseguenza, un CI più ampio. E questa è la base per ritornare alla fase di pianificazione della ricerca.

    I limiti superiore e inferiore dell'IC forniscono una stima della significatività clinica dei risultati

Soffermiamoci più in dettaglio sulla questione del significato statistico e clinico dei risultati dello studio delle proprietà del gruppo. Ricordiamo che il compito della statistica è rilevare almeno alcune differenze nella popolazione generale sulla base di dati campione. La sfida per i medici è individuare le differenze (non solo alcune) che possano aiutare la diagnosi o il trattamento. E le conclusioni statistiche non sono sempre la base per le conclusioni cliniche. Pertanto, una diminuzione statisticamente significativa dell'emoglobina di 3 g/l non è motivo di preoccupazione. E, al contrario, se qualche problema nel corpo umano non è diffuso a livello dell'intera popolazione, questo non è un motivo per non affrontare questo problema.

Diamo un'occhiata a questa situazione esempio.

I ricercatori si sono chiesti se i ragazzi che hanno sofferto di qualche tipo di malattia infettiva siano in ritardo rispetto ai loro coetanei nella crescita. A questo scopo è stato condotto uno studio campione al quale hanno preso parte 10 ragazzi che avevano sofferto di questa malattia. I risultati sono presentati nella Tabella 23.

Tabella 23. Risultati dell'elaborazione statistica

limite inferiore

limite superiore

Standard (cm)

media

Da questi calcoli risulta che l'altezza media del campione di ragazzi di 10 anni che hanno sofferto di qualche malattia infettiva è vicina alla norma (132,5 cm). Tuttavia, il limite inferiore dell’intervallo di confidenza (126,6 cm) indica che esiste una probabilità del 95% che la vera altezza media di questi bambini corrisponda al concetto di “bassa altezza”, cioè questi bambini sono rachitici.

In questo esempio, i risultati dei calcoli dell'intervallo di confidenza sono clinicamente significativi.

INTERVALLI DI CONFIDENZA PER FREQUENZE E FRAZIONI

©2008

Istituto Nazionale di Sanità Pubblica, Oslo, Norvegia

L'articolo descrive e discute il calcolo degli intervalli di confidenza per frequenze e proporzioni utilizzando i metodi Wald, Wilson, Clopper - Pearson, utilizzando la trasformazione angolare e il metodo Wald con correzione Agresti - Coull. Il materiale presentato fornisce informazioni generali sui metodi per il calcolo degli intervalli di confidenza per frequenze e proporzioni e intende suscitare l'interesse dei lettori di riviste non solo nell'utilizzo degli intervalli di confidenza quando presentano i risultati della propria ricerca, ma anche nella lettura della letteratura specializzata prima di iniziare il lavoro sulle future pubblicazioni.

Parole chiave: intervallo di confidenza, frequenza, proporzione

Una delle pubblicazioni precedenti menzionava brevemente la descrizione dei dati qualitativi e riportava che la loro stima intervallare è preferibile alla stima puntuale per descrivere la frequenza di occorrenza della caratteristica studiata nella popolazione. Infatti, poiché la ricerca viene condotta utilizzando dati campionari, la proiezione dei risultati sulla popolazione deve contenere un elemento di imprecisione campionaria. L'intervallo di confidenza è una misura dell'accuratezza del parametro da stimare. È interessante notare che alcuni libri sulle statistiche di base per i medici ignorano completamente il tema degli intervalli di confidenza per le frequenze. In questo articolo esamineremo diversi modi per calcolare gli intervalli di confidenza per le frequenze, implicando caratteristiche del campione come la non ripetizione e la rappresentatività, nonché l'indipendenza delle osservazioni l'una dall'altra. In questo articolo, la frequenza non è intesa come un numero assoluto che mostra quante volte un particolare valore si verifica nell'aggregato, ma come un valore relativo che determina la proporzione di partecipanti allo studio in cui si verifica la caratteristica studiata.

Nella ricerca biomedica, gli intervalli di confidenza al 95% sono più comunemente utilizzati. Questo intervallo di confidenza è l'area all'interno della quale la proporzione reale rientra nel 95% dei casi. In altre parole, possiamo affermare con un'affidabilità del 95% che il valore reale della frequenza di occorrenza di un tratto nella popolazione sarà compreso nell'intervallo di confidenza del 95%.

La maggior parte dei manuali statistici per ricercatori medici riportano che l'errore di frequenza viene calcolato utilizzando la formula

dove p è la frequenza con cui si verifica la caratteristica nel campione (valore da 0 a 1). La maggior parte degli articoli scientifici nazionali indicano la frequenza con cui si verifica un tratto in un campione (p), nonché il suo errore (i) nella forma p ± s. È più appropriato, tuttavia, presentare un intervallo di confidenza del 95% per la frequenza di occorrenza di un tratto nella popolazione, che includerà valori da

Prima.

Alcuni manuali consigliano, per campioni di piccole dimensioni, di sostituire il valore di 1,96 con il valore di t per N – 1 gradi di libertà, dove N è il numero di osservazioni nel campione. Il valore t si trova nelle tabelle per la distribuzione t, disponibili in quasi tutti i libri di testo di statistica. L'uso della distribuzione t per il metodo Wald non fornisce vantaggi visibili rispetto ad altri metodi discussi di seguito e pertanto non è raccomandato da alcuni autori.

Il metodo presentato sopra per il calcolo degli intervalli di confidenza per frequenze o proporzioni è chiamato Wald in onore di Abraham Wald (1902–1950), poiché il suo uso diffuso iniziò dopo la pubblicazione di Wald e Wolfowitz nel 1939. Tuttavia, il metodo stesso fu proposto da Pierre Simon Laplace (1749–1827) nel 1812.

Il metodo Wald è molto popolare, ma la sua applicazione è associata a problemi significativi. Il metodo non è raccomandato per campioni di piccole dimensioni, così come nei casi in cui la frequenza di occorrenza di una caratteristica tende a 0 o 1 (0% o 100%) ed è semplicemente impossibile per frequenze pari a 0 e 1. Inoltre, il l’approssimazione della distribuzione normale, utilizzata nel calcolo dell’errore, “non funziona” nei casi in cui n · p< 5 или n · (1 – p) < 5 . Более консервативные статистики считают, что n · p и n · (1 – p) должны быть не менее 10 . Более детальное рассмотрение метода Вальда показало, что полученные с его помощью доверительные интервалы в большинстве случаев слишком узки, то есть их применение ошибочно создает слишком оптимистичную картину, особенно при удалении частоты встречаемости признака от 0,5, или 50 % . К тому же при приближении частоты к 0 или 1 доверительный интревал может принимать отрицательные значения или превышать 1, что выглядит абсурдно для частот. Многие авторы совершенно справедливо не рекомендуют применять данный метод не только в уже упомянутых случаях, но и тогда, когда частота встречаемости признака менее 25 % или более 75 % . Таким образом, несмотря на простоту расчетов, метод Вальда может применяться лишь в очень ограниченном числе случаев. Зарубежные исследователи более категоричны в своих выводах и однозначно рекомендуют не применять этот метод для небольших выборок , а ведь именно с такими выборками часто приходится иметь дело исследователям-медикам.



dove assume il valore 1,96 quando si calcola l'intervallo di confidenza al 95%, N è il numero di osservazioni e p è la frequenza con cui si verifica la caratteristica nel campione. Questo metodo è disponibile nei calcolatori online, quindi il suo utilizzo non è problematico. e sconsigliamo di utilizzare questo metodo per n p< 4 или n · (1 – p) < 4 по причине слишком грубого приближения распределения р к нормальному в такой ситуации, однако зарубежные статистики считают метод Уилсона применимым и для малых выборок .

Oltre al metodo Wilson, si ritiene che anche il metodo Wald con correzione Agresti-Coll fornisca una stima ottimale dell'intervallo di confidenza per le frequenze. La correzione Agresti-Coll è una sostituzione nella formula di Wald della frequenza di occorrenza di una caratteristica in un campione (p) con p`, quando si calcola quale 2 viene aggiunto al numeratore e 4 viene aggiunto al denominatore, cioè, p` = (X + 2) / (N + 4), dove X è il numero di partecipanti allo studio che hanno la caratteristica studiata e N è la dimensione del campione. Questa modifica produce risultati molto simili alla formula di Wilson, tranne quando la frequenza dell'evento si avvicina allo 0% o al 100% e il campione è piccolo. Oltre ai metodi di cui sopra per il calcolo degli intervalli di confidenza per le frequenze, sono state proposte correzioni di continuità sia per i metodi Wald che per Wilson per piccoli campioni, ma gli studi hanno dimostrato che il loro utilizzo è inappropriato.

Consideriamo l'applicazione dei metodi di cui sopra per il calcolo degli intervalli di confidenza utilizzando due esempi. Nel primo caso, studiamo un ampio campione di 1.000 partecipanti allo studio selezionati casualmente, di cui 450 hanno la caratteristica in studio (questo potrebbe essere un fattore di rischio, un risultato o qualsiasi altra caratteristica), che rappresenta una frequenza di 0,45, o 45 %. Nel secondo caso, lo studio viene condotto utilizzando un piccolo campione, diciamo solo 20 persone, e solo 1 partecipante allo studio (5%) possiede la caratteristica studiata. Gli intervalli di confidenza per il metodo Wald, per il metodo Wald con correzione Agresti-Coll, per il metodo Wilson sono stati calcolati utilizzando un calcolatore online sviluppato da Jeff Sauro (http://www./wald.htm). Gli intervalli di confidenza di Wilson corretti per la continuità sono stati calcolati utilizzando il calcolatore fornito da Wassar Stats: Web Site for Statistical Computation (http://faculty.vassar.edu/lowry/prop1.html). I calcoli utilizzando la trasformazione angolare di Fisher sono stati eseguiti "manualmente" utilizzando il valore critico di t rispettivamente per 19 e 999 gradi di libertà. I risultati del calcolo sono presentati nella tabella per entrambi gli esempi.

Intervalli di confidenza calcolati in sei modi diversi per i due esempi descritti nel testo

Metodo di calcolo dell'intervallo di confidenza

P=0,0500 o 5%

IC al 95% per X=450, N=1.000, P=0,4500 o 45%

–0,0455–0,2541

Wald con correzione Agresti-Coll

<,0001–0,2541

Wilson con correzione di continuità

Clopper-Pearson "metodo esatto"

Trasformazione angolare

<0,0001–0,1967

Come si vede dalla tabella, nel primo esempio l'intervallo di confidenza calcolato con il metodo Wald “generalmente accettato” entra nella regione negativa, il che non può essere il caso per le frequenze. Sfortunatamente, tali incidenti non sono rari nella letteratura russa. Il modo tradizionale di presentare i dati in termini di frequenza e di errore maschera parzialmente questo problema. Ad esempio, se la frequenza di occorrenza di un tratto (in percentuale) è presentata come 2,1 ± 1,4, allora non è così "offensiva per la vista" come 2,1% (IC 95%: –0,7; 4,9), sebbene e significhi la stessa cosa. Il metodo Wald con correzione Agresti-Coll e calcolo mediante trasformazione angolare fornisce un limite inferiore tendente a zero. Il metodo corretto per la continuità di Wilson e il "metodo esatto" producono intervalli di confidenza più ampi rispetto al metodo di Wilson. Per il secondo esempio, tutti i metodi forniscono approssimativamente gli stessi intervalli di confidenza (le differenze appaiono solo in millesimi), il che non sorprende, poiché la frequenza con cui si verifica l'evento in questo esempio non è molto diversa dal 50% e la dimensione del campione è Abbastanza grande.

Per i lettori interessati a questo problema, possiamo consigliare i lavori di R. G. Newcombe e Brown, Cai e Dasgupta, che forniscono i pro e i contro dell'utilizzo rispettivamente di 7 e 10 metodi diversi per il calcolo degli intervalli di confidenza. Tra i manuali domestici consigliamo il libro e, che, oltre a una descrizione dettagliata della teoria, presenta i metodi di Wald e Wilson, nonché un metodo per calcolare gli intervalli di confidenza tenendo conto della distribuzione binomiale della frequenza. Oltre ai calcolatori online gratuiti (http://www. /wald.htm e http://faculty.vassar.edu/lowry/prop1.html), gli intervalli di confidenza per le frequenze (e non solo!) possono essere calcolati utilizzando il metodo Programma CIA (Confidence Intervals Analysis), scaricabile dal sito http://www. scuola di Medicina. sotone. AC. regno unito/cia/.

Il prossimo articolo esaminerà i modi univariati per confrontare i dati qualitativi.

Bibliografia

Banerji A. Statistica medica in un linguaggio chiaro: un corso introduttivo / A. Banerjee. – M.: Medicina pratica, 2007. – 287 p. Statistiche mediche / . – M.: Agenzia di informazione medica, 2007. – 475 p. Glanz S. Statistica medica e biologica / S. Glanz. – M.: Praktika, 1998. Tipi di dati, test di distribuzione e statistiche descrittive // ​​Ecologia umana – 2008. – N. 1. – P. 52–58. Zhizhin K.S.. Statistica medica: libro di testo / . – Rostov n/d: Phoenix, 2007. – 160 p. Statistica medica applicata / , . - San Pietroburgo. : Foliot, 2003. – 428 pag. Lakin G.F. Biometrica / . – M.: Scuola superiore, 1990. – 350 p. Il medico V.A. Statistica matematica in medicina / , . – M.: Finanza e Statistica, 2007. – 798 p. Statistica matematica nella ricerca clinica / , . – M.: GEOTAR-MED, 2001. – 256 p. Junkerov V. E. Elaborazione medica e statistica dei dati della ricerca medica / , . - San Pietroburgo. : VmedA, 2002. – 266 pag. Agresti A. Approssimato è meglio che esatto per la stima intervallare delle proporzioni binomiali / A. Agresti, B. Coull // Statistico americano. – 1998. – N 52. – P. 119–126. Altmann D. Statistiche con fiducia // D. Altman, D. Machin, T. Bryant, M. J. Gardner. – Londra: BMJ Books, 2000. – 240 pag. Marrone L.D. Stima intervallare per una proporzione binomiale / L. D. Brown, T. T. Cai, A. Dasgupta // Scienze statistiche. – 2001. – N 2. – P. 101–133. Clopper C.J. L'uso della confidenza o dei limiti fiduciali illustrato nel caso del binomio / C. J. Clopper, E. S. Pearson // Biometrika. – 1934. – N 26. – P. 404–413. Garcia-Perez M.A. Sull'intervallo di confidenza per il parametro binomiale / M. A. Garcia-Perez // Qualità e quantità. – 2005. – N 39. – P. 467–481. Motulsky H. Biostatistica intuitiva // H. Motulsky. - Oxford: Oxford University Press, 1995. - 386 p. Newcombe R. G. Intervalli di confidenza bilaterali per la proporzione singola: confronto di sette metodi / R. G. Newcombe // Statistica in medicina. – 1998. – N. 17. – P. 857–872. SauroJ. Stima dei tassi di completamento da piccoli campioni utilizzando intervalli di confidenza binomiali: confronti e raccomandazioni / J. Sauro, J. R. Lewis // Atti dell'incontro annuale della società sui fattori umani e sull'ergonomia. – Orlando, Florida, 2005. Wald A. Limiti di confidenza per funzioni di distribuzione continua // A. Wald, J. Wolfovitz // Annali di statistica matematica. – 1939. – N 10. – P. 105–118. Wilson E.B. Inferenza probabile, legge di successione e inferenza statistica / E. B. Wilson // Journal of American Statistical Association. – 1927. – N 22. – P. 209–212.

INTERVALLI DI CONFIDENZA PER LE PROPORZIONI

UN. M. Grjibovski

Istituto Nazionale di Sanità Pubblica, Oslo, Norvegia

L'articolo presenta diversi metodi per il calcolo degli intervalli di confidenza per le proporzioni binomiali, vale a dire i metodi Wald, Wilson, arcoseno, Agresti-Coull e i metodi esatti di Clopper-Pearson. L’articolo fornisce solo un’introduzione generale al problema della stima degli intervalli di confidenza di una proporzione binomiale e il suo scopo non è solo quello di stimolare i lettori a utilizzare gli intervalli di confidenza quando presentano i risultati delle proprie ricerche empiriche, ma anche di incoraggiarli a consultare libri di statistica. prima di analizzare i propri dati e preparare i manoscritti.

Parole chiave: intervallo di confidenza, proporzione

Informazioni sui contatti:

Consulente senior, Istituto nazionale di sanità pubblica, Oslo, Norvegia

Nei paragrafi precedenti abbiamo considerato il problema della stima di un parametro sconosciuto UN un numero. Questa è chiamata stima “puntuale”. In una serie di attività, non è necessario solo trovare il parametro UN valore numerico adeguato, ma anche per valutarne l'accuratezza e l'affidabilità. È necessario sapere a quali errori può portare la sostituzione di un parametro UN la sua stima puntuale UN e con quale grado di sicurezza possiamo aspettarci che questi errori non superino i limiti conosciuti?

Problemi di questo tipo sono particolarmente rilevanti con un numero limitato di osservazioni, quando si effettua la stima puntuale e dentroè in gran parte casuale e la sostituzione approssimativa di a con a può portare a gravi errori.

Per dare un'idea dell'accuratezza e dell'attendibilità del preventivo UN,

Nelle statistiche matematiche vengono utilizzati i cosiddetti intervalli di confidenza e probabilità di confidenza.

Consideriamo il parametro UN stima imparziale ottenuta dall’esperienza UN. Vogliamo stimare il possibile errore in questo caso. Assegniamo una probabilità p sufficientemente grande (ad esempio, p = 0,9, 0,95 o 0,99) tale che un evento con probabilità p possa essere considerato praticamente affidabile, e troviamo un valore s per il quale

Quindi l'intervallo di valori praticamente possibili dell'errore che si verifica durante la sostituzione UN SU UN, sarà ± s; Grandi errori in valore assoluto appariranno solo con una bassa probabilità a = 1 - p. Riscriviamo la (14.3.1) come:

L'uguaglianza (14.3.2) significa che con probabilità p il valore sconosciuto del parametro UN rientra nell'intervallo

È necessario notare una circostanza. In precedenza, abbiamo ripetutamente considerato la probabilità che una variabile casuale rientri in un dato intervallo non casuale. Qui la situazione è diversa: la grandezza UN non è casuale, ma l'intervallo /p è casuale. La sua posizione sull'asse x è casuale, determinata dal suo centro UN; In generale, anche la lunghezza dell'intervallo 2s è casuale, poiché il valore di s viene calcolato, di regola, da dati sperimentali. Pertanto, in questo caso, sarebbe meglio interpretare il valore p non come la probabilità di “centrare” il punto UN nell'intervallo /p, e come la probabilità che un intervallo casuale /p copra il punto UN(Fig. 14.3.1).

Riso. 14.3.1

Di solito viene chiamata la probabilità p probabilità di confidenza, e intervallo / p - intervallo di confidenza. Confini di intervallo Se. unx =a- sabbia un2 = un+ e vengono chiamati confini della fiducia.

Diamo un'altra interpretazione al concetto di intervallo di confidenza: può essere considerato come un intervallo di valori di parametri UN, compatibili con i dati sperimentali e non contraddittori. Infatti, se accettiamo di considerare un evento con probabilità a = 1-p praticamente impossibile, allora quei valori del parametro a per i quali aa> s devono essere riconosciuti come dati sperimentali contraddittori e quelli per i quali |a - UN a t na 2 .

Consideriamo il parametro UN c'è una stima imparziale UN. Se conoscessimo la legge della distribuzione della quantità UN, il compito di trovare un intervallo di confidenza sarebbe molto semplice: basterebbe trovare un valore s per il quale

La difficoltà è che la legge della distribuzione delle stime UN dipende dalla legge di distribuzione della quantità X e, quindi, sui suoi parametri sconosciuti (in particolare, sul parametro stesso UN).

Per aggirare questa difficoltà, è possibile utilizzare la seguente tecnica approssimativa: sostituire i parametri sconosciuti nell'espressione per s con le loro stime puntuali. Con un numero relativamente elevato di esperimenti P(circa 20...30) questa tecnica dà solitamente risultati soddisfacenti in termini di accuratezza.

Ad esempio, consideriamo il problema di un intervallo di confidenza per l'aspettativa matematica.

Lascia che sia prodotto P X, le cui caratteristiche sono l'aspettativa matematica T e varianza D- sconosciuto. Per questi parametri sono state ottenute le seguenti stime:

È necessario costruire un intervallo di confidenza /p corrispondente alla probabilità di confidenza p per l'aspettativa matematica T le quantità X.

Nel risolvere questo problema, utilizzeremo il fatto che la quantità T rappresenta la somma P variabili casuali indipendenti identicamente distribuite X h e secondo il teorema del limite centrale, per un sufficientemente grande P la sua legge di distribuzione è vicina alla normalità. In pratica, anche con un numero di termini relativamente piccolo (circa 10...20), la legge di distribuzione della somma può essere considerata approssimativamente normale. Assumeremo che il valore T distribuiti secondo la legge normale. Le caratteristiche di questa legge - aspettativa matematica e varianza - sono rispettivamente uguali T E

(vedi capitolo 13 sottosezione 13.3). Supponiamo che il valore D sappiamo e troveremo un valore Ep per il quale

Usando la formula (6.3.5) del Capitolo 6, esprimiamo la probabilità sul lato sinistro della (14.3.5) attraverso la funzione di distribuzione normale

dove è la deviazione standard della stima T.

Dall'Eq.

trovare il valore di Sp:

dove arg Ф* (х) è la funzione inversa di Ф* (X), quelli. tale valore dell'argomento per il quale la funzione di distribuzione normale è uguale X.

Dispersione D, attraverso il quale viene espressa la quantità UN 1P, non lo sappiamo esattamente; come valore approssimativo è possibile utilizzare la stima D(14.3.4) e posto approssimativamente:

Pertanto, è stato approssimativamente risolto il problema della costruzione di un intervallo di confidenza, che è pari a:

dove gp è determinato dalla formula (14.3.7).

Per evitare l'interpolazione inversa nelle tabelle della funzione Ф* (l) quando si calcola s p, è conveniente compilare una tabella speciale (Tabella 14.3.1), che fornisce i valori della quantità

a seconda di r. Il valore (p determina per la legge normale il numero di deviazioni standard che devono essere tracciate a destra e a sinistra dal centro di dispersione in modo che la probabilità di entrare nell'area risultante sia uguale a p.

Utilizzando il valore 7 p, l'intervallo di confidenza è espresso come:

Tabella 14.3.1

Esempio 1. Sono stati effettuati 20 esperimenti sulla quantità X; i risultati sono mostrati nella tabella. 14.3.2.

Tabella 14.3.2

È necessario trovare una stima dell'aspettativa matematica della quantità X e costruire un intervallo di confidenza corrispondente alla probabilità di confidenza p = 0,8.

Soluzione. Abbiamo:

Scegliendo l: = 10 come punto di riferimento, utilizzando la terza formula (14.2.14) troviamo la stima imparziale D :

Secondo la tabella 14.3.1 troviamo

Limiti di confidenza:

Intervallo di confidenza:

Valori dei parametri T, compresi in questo intervallo sono compatibili con i dati sperimentali riportati in tabella. 14.3.2.

Un intervallo di confidenza per la varianza può essere costruito in modo simile.

Lascia che sia prodotto P Esperimenti indipendenti su una variabile casuale X con parametri sconosciuti sia per A che per dispersione Dè stata ottenuta una stima imparziale:

È necessario costruire approssimativamente un intervallo di confidenza per la varianza.

Dalla formula (14.3.11) è chiaro che la quantità D rappresenta

quantità P variabili casuali della forma . Questi valori non lo sono

indipendente, poiché ognuno di essi include la quantità T, dipendente da tutti gli altri. Si può però dimostrare che all’aumentare P anche la legge di distribuzione della loro somma si avvicina alla normalità. Quasi alle P= 20...30 si può già considerare normale.

Supponiamo che sia così e troviamo le caratteristiche di questa legge: aspettativa matematica e dispersione. Dalla valutazione D- imparziale, allora M[D] = D.

Calcolo della varianza D Dè associato a calcoli relativamente complessi, quindi presentiamo la sua espressione senza derivazione:

dove q 4 è il quarto momento centrale della grandezza X.

Per utilizzare questa espressione, è necessario sostituire i valori \u003d 4 e D(almeno quelli vicini). Invece di D puoi usare la sua valutazione D. In linea di principio, il quarto momento centrale può anche essere sostituito da una stima, ad esempio un valore della forma:

ma una tale sostituzione darà una precisione estremamente bassa, poiché in generale, con un numero limitato di esperimenti, i momenti di ordine elevato vengono determinati con grandi errori. Tuttavia, in pratica accade spesso che il tipo di legge sulla distribuzione quantitativa X noto in anticipo: solo i suoi parametri sono sconosciuti. Quindi puoi provare a esprimere μ 4 attraverso D.

Prendiamo il caso più comune, quando il valore X distribuiti secondo la legge normale. Poi il suo quarto momento centrale è espresso in termini di dispersione (vedi capitolo 6, sottosezione 6.2);

e la formula (14.3.12) dà O

Sostituzione dell'ignoto in (14.3.14) D la sua valutazione D, otteniamo: da dove

Il momento μ 4 può essere espresso con D anche in alcuni altri casi, quando la distribuzione del valore X non è normale, ma il suo aspetto è noto. Ad esempio, per la legge della densità uniforme (vedi Capitolo 5) abbiamo:

dove (a, P) è l'intervallo su cui è specificata la legge.

Quindi,

Usando la formula (14.3.12) otteniamo: dove lo troviamo approssimativamente?

Nei casi in cui non si conosca il tipo di legge di distribuzione della quantità 26, quando si effettua una stima approssimativa del valore a/) si consiglia comunque di utilizzare la formula (14.3.16), a meno che non vi siano ragioni particolari per ritenere che questa legge è molto diverso da quello normale (presenta una notevole curtosi positiva o negativa).

Se il valore approssimativo a/) viene ottenuto in un modo o nell'altro, allora possiamo costruire un intervallo di confidenza per la varianza nello stesso modo in cui lo abbiamo costruito per l'aspettativa matematica:

dove il valore dipendente dalla probabilità p data si trova secondo la tabella. 14.3.1.

Esempio 2. Trova un intervallo di confidenza di circa l'80% per la varianza di una variabile casuale X nelle condizioni dell'esempio 1, se è noto che il valore X distribuiti secondo una legge prossima alla normalità.

Soluzione. Il valore rimane lo stesso della tabella. 14.3.1:

Secondo la formula (14.3.16)

Usando la formula (14.3.18) troviamo l'intervallo di confidenza:

L'intervallo corrispondente di valori di deviazione standard: (0,21; 0,29).

14.4. Metodi esatti per costruire intervalli di confidenza per i parametri di una variabile casuale distribuita secondo una legge normale

Nella sottosezione precedente, abbiamo esaminato metodi approssimativamente approssimativi per costruire intervalli di confidenza per l'aspettativa matematica e la varianza. Qui diamo un'idea dei metodi esatti per risolvere lo stesso problema. Sottolineiamo che per individuare con precisione gli intervalli di confidenza è assolutamente necessario conoscere in anticipo la forma della legge di distribuzione della quantità X, mentre ciò non è necessario per l'applicazione dei metodi approssimati.

L'idea di metodi accurati per costruire intervalli di confidenza si riduce a quanto segue. Qualsiasi intervallo di confidenza si trova a partire da una condizione che esprime la probabilità di soddisfare determinate disuguaglianze, che includono la stima a cui siamo interessati UN. Legge sulla distribuzione dei gradi UN nel caso generale dipende dai parametri sconosciuti della quantità X. Tuttavia, a volte è possibile passare alle disuguaglianze da una variabile casuale UN a qualche altra funzione dei valori osservati XpX2, ..., X pag. la cui legge di distribuzione non dipende da parametri sconosciuti, ma dipende solo dal numero di esperimenti e dal tipo di legge di distribuzione della quantità X. Questi tipi di variabili casuali svolgono un ruolo importante nella statistica matematica; essi sono stati studiati più in dettaglio per il caso di una distribuzione normale della quantità X.

Ad esempio, è stato dimostrato che in una distribuzione normale della quantità X valore casuale

soggetto al cosiddetto Legge di distribuzione degli studenti Con P- 1 grado di libertà; la densità di questa legge ha la forma

dove G(x) è la funzione gamma nota:

Si dimostra inoltre che la variabile casuale

ha "distribuzione % 2 " con P- 1 grado di libertà (vedi capitolo 7), la cui densità è espressa dalla formula

Senza soffermarci sulle derivazioni delle distribuzioni (14.4.2) e (14.4.4), mostreremo come possono essere applicate quando si costruiscono intervalli di confidenza per i parametri ty D.

Lascia che sia prodotto P Esperimenti indipendenti su una variabile casuale X, distribuito secondo la legge normale con parametri sconosciuti A. Per questi parametri, stime

È necessario costruire intervalli di confidenza per entrambi i parametri corrispondenti alla probabilità di confidenza p.

Costruiamo innanzitutto un intervallo di confidenza per l'aspettativa matematica. È naturale considerare questo intervallo simmetrico rispetto a T; indichiamo con s la metà della lunghezza dell'intervallo. Il valore s p deve essere scelto in modo che la condizione sia soddisfatta

Proviamo a spostarci sul lato sinistro dell'uguaglianza (14.4.5) dalla variabile casuale T ad una variabile casuale T, distribuiti secondo la legge di Student. Per fare ciò, moltiplica entrambi i lati della disuguaglianza |m-w?|

da un valore positivo: o, usando la notazione (14.4.1),

Troviamo un numero / p tale che il valore / p possa essere trovato dalla condizione

Dalla formula (14.4.2) è chiaro che (1) è una funzione pari, quindi (14.4.8) dà

L'uguaglianza (14.4.9) determina il valore /p in base a p. Se hai a disposizione una tabella dei valori integrali

quindi il valore di /p può essere trovato mediante interpolazione inversa nella tabella. Tuttavia è più conveniente stilare in anticipo una tabella dei valori /p. Tale tabella è riportata nell'Appendice (Tabella 5). Questa tabella mostra i valori in funzione del livello di confidenza p e del numero di gradi di libertà P- 1. Avendo determinato / p dalla tabella. 5 e assumendo

troveremo metà dell'ampiezza dell'intervallo di confidenza /p e l'intervallo stesso

Esempio 1. 5 esperimenti indipendenti sono stati eseguiti su una variabile casuale X, normalmente distribuito con parametri sconosciuti T e a proposito di. I risultati degli esperimenti sono riportati nella tabella. 14.4.1.

Tabella 14.4.1

Trova valutazione T per l'aspettativa matematica e costruire per essa un intervallo di confidenza del 90% / p (cioè l'intervallo corrispondente alla probabilità di confidenza p = 0,9).

Soluzione. Abbiamo:

Secondo la tabella 5 della domanda di P - 1 = 4 e p = 0,9 troviamo Dove

L'intervallo di confidenza sarà

Esempio 2. Per le condizioni dell'esempio 1 del paragrafo 14.3, assumendo il valore X distribuito normalmente, trovare l'esatto intervallo di confidenza.

Soluzione. Secondo la tabella 5 della domanda troviamo all'art P - 1 = 19ir =

0,8/p = 1,328; da qui

Confrontando con la soluzione dell'esempio 1 del paragrafo 14.3 (ep = 0,072), siamo convinti che la discrepanza sia molto insignificante. Se manteniamo la precisione fino alla seconda cifra decimale, gli intervalli di confidenza rilevati con il metodo esatto e approssimato coincidono:

Passiamo alla costruzione di un intervallo di confidenza per la varianza. Consideriamo la stima imparziale della varianza

ed esprimere la variabile casuale D attraverso la magnitudo V(14.4.3) avente distribuzione x 2 (14.4.4):

Conoscere la legge di distribuzione delle quantità V,è possibile trovare l'intervallo / (1 ) in cui cade con una data probabilità p.

Legge della distribuzione kn_x(v) il valore di I 7 ha la forma mostrata in fig. 14.4.1.

Riso. 14.4.1

La domanda sorge spontanea: come scegliere l'intervallo / p? Se la legge di distribuzione della quantità V fosse simmetrico (come la legge normale o la distribuzione di Student), sarebbe naturale prendere l'intervallo /p simmetrico rispetto all'aspettativa matematica. In questo caso la legge k p_x (v) asimmetrico. Conveniamo di scegliere l'intervallo /p in modo che le probabilità di uscita della quantità V oltre l'intervallo a destra e a sinistra (aree ombreggiate nella Fig. 14.4.1) erano uguali e uguali

Per costruire un intervallo /p con questa proprietà, utilizziamo la tabella. 4 applicazioni: contiene numeri sì) tale che

per il valore V, avente distribuzione x 2 con r gradi di libertà. Nel nostro caso r = n- 1. Risolviamo r = n- 1 e trovarlo nella riga corrispondente della tabella. 4 due significati x2- l'uno corrispondente ad una probabilità l'altro - probabilità Designiamo queste

valori alle 2 E XL? L'intervallo ha e 2, con la sinistra, e sì~ estremità destra.

Cerchiamo ora dall'intervallo /p l'intervallo di confidenza desiderato /|, per la dispersione con confini D, e D2, che copre il punto D con probabilità p:

Costruiamo un tale intervallo / (, = (?> b A), che copre il punto D se e solo se il valore V rientra nell'intervallo /r. Mostriamo che l'intervallo

soddisfa questa condizione. Anzi, le disuguaglianze equivalgono alle disuguaglianze

e queste disuguaglianze valgono con probabilità p. Pertanto, l'intervallo di confidenza per la varianza è stato trovato ed è espresso dalla formula (14.4.13).

Esempio 3. Trovare l'intervallo di confidenza per la varianza nelle condizioni dell'esempio 2 della sottosezione 14.3, se è noto che il valore X normalmente distribuito.

Soluzione. Abbiamo . Secondo la tabella 4 dell'appendice

troviamo a r = n- 1 = 19

Secondo la formula (14.4.13) troviamo l'intervallo di confidenza per la dispersione

Intervallo corrispondente per la deviazione standard: (0,21; 0,32). Questo intervallo supera solo di poco l'intervallo (0,21; 0,29) ottenuto nell'esempio 2 del paragrafo 14.3 utilizzando il metodo approssimato.

  • La Figura 14.3.1 considera un intervallo di confidenza simmetrico rispetto a a. In generale, come vedremo in seguito, questo non è necessario.
CATEGORIE

ARTICOLI POPOLARI

2023 “kingad.ru” - esame ecografico di organi umani