Analisi dei dati con il metodo dei minimi quadrati. Minimi quadrati in Excel
Metodo dei minimi quadrati
Nella lezione finale dell'argomento, faremo conoscenza con l'applicazione più famosa FNP, che trova la più ampia applicazione in vari campi della scienza e della pratica. Può essere fisica, chimica, biologia, economia, sociologia, psicologia e chi più ne ha più ne metta. Per volontà del destino, ho spesso a che fare con l'economia, e quindi oggi organizzerò per te un biglietto per un paese fantastico chiamato Econometria=) … Come fai a non volerlo?! È molto bello lì - devi solo decidere! ... Ma quello che probabilmente vuoi sicuramente è imparare a risolvere i problemi minimi quadrati. E soprattutto i lettori diligenti impareranno a risolverli non solo in modo accurato, ma anche MOLTO VELOCE ;-) Ma prima formulazione generale del problema+ esempio correlato:
Lascia che gli indicatori siano studiati in alcune aree tematiche che hanno un'espressione quantitativa. Allo stesso tempo, ci sono tutte le ragioni per credere che l'indicatore dipenda dall'indicatore. Questa ipotesi può essere sia un'ipotesi scientifica che basata sul buon senso elementare. Lasciamo da parte la scienza, tuttavia, ed esploriamo aree più appetitose, vale a dire i negozi di alimentari. Denota con:
– superficie commerciale di un negozio di alimentari, mq,
- fatturato annuo di un negozio di alimentari, milioni di rubli.
È abbastanza chiaro che maggiore è l'area del negozio, maggiore è il suo fatturato nella maggior parte dei casi.
Supponiamo che dopo aver condotto osservazioni / esperimenti / calcoli / ballando con un tamburello, abbiamo a nostra disposizione dati numerici: 
Con i negozi di alimentari, penso che sia tutto chiaro: - questa è l'area del 1° negozio, - il suo fatturato annuo, - l'area del 2° negozio, - il suo fatturato annuo, ecc. A proposito, non è affatto necessario avere accesso a materiali classificati: è possibile ottenere una valutazione abbastanza accurata del fatturato utilizzando statistica matematica. Tuttavia, non lasciarti distrarre, il corso di spionaggio commerciale è già pagato =)
I dati tabulari possono anche essere scritti sotto forma di punti e rappresentati nel solito modo per noi. Sistema cartesiano .
Rispondiamo a una domanda importante: quanti punti sono necessari per uno studio qualitativo?
Piu 'grande e', meglio 'e. Il set minimo ammissibile è composto da 5-6 punti. Inoltre, con una piccola quantità di dati, i risultati "anormali" non dovrebbero essere inclusi nel campione. Quindi, ad esempio, un piccolo negozio d'élite può aiutare ordini di grandezza più dei "loro colleghi", distorcendo così lo schema generale che deve essere trovato!
Se è abbastanza semplice, dobbiamo scegliere una funzione , programma che passa il più vicino possibile ai punti 
. Tale funzione è chiamata approssimazione
(approssimazione - approssimazione) O funzione teorica
. In generale, qui appare immediatamente un ovvio "pretendente" - un polinomio di alto grado, il cui grafico passa per TUTTI i punti. Ma questa opzione è complicata e spesso semplicemente errata. (perché il grafico si "avvolgerà" continuamente e rifletterà male la tendenza principale).
Pertanto, la funzione desiderata deve essere sufficientemente semplice e allo stesso tempo riflettere adeguatamente la dipendenza. Come puoi immaginare, viene chiamato uno dei metodi per trovare tali funzioni minimi quadrati. Innanzitutto, analizziamo la sua essenza in modo generale. Lascia che qualche funzione approssimi i dati sperimentali: 
Come valutare l'accuratezza di questa approssimazione? Calcoliamo anche le differenze (deviazioni) tra i valori sperimentali e funzionali (studiamo il disegno). Il primo pensiero che viene in mente è stimare quanto è grande la somma, ma il problema è che le differenze possono essere negative. (Per esempio, 
)
e le deviazioni risultanti da tale somma si annulleranno a vicenda. Pertanto, come stima dell'accuratezza dell'approssimazione, si suggerisce di prendere la somma moduli deviazioni:
o in forma piegata: (per chi non lo sapesse:
è l'icona della somma, e
- variabile ausiliaria - "contatore", che assume valori da 1 a
)
.
Approssimando i punti sperimentali con funzioni diverse, otterremo valori diversi, ed è ovvio dove questa somma è minore - quella funzione è più accurata.
Tale metodo esiste e viene chiamato metodo del modulo minimo. Tuttavia, in pratica è diventato molto più diffuso. metodo dei minimi quadrati, in cui eventuali valori negativi vengono eliminati non dal modulo, ma elevando al quadrato gli scostamenti:
, dopo di che gli sforzi sono diretti alla selezione di una tale funzione che la somma delle deviazioni al quadrato 
era il più piccolo possibile. In realtà, da qui il nome del metodo.
E ora torniamo a un altro punto importante: come notato sopra, la funzione selezionata dovrebbe essere abbastanza semplice, ma ci sono anche molte di queste funzioni: lineare , iperbolico , esponenziale , logaritmico , quadratico eccetera. E, naturalmente, qui vorrei subito "ridurre il campo di attività". Quale classe di funzioni scegliere per la ricerca? Tecnica primitiva ma efficace:
- Il modo più semplice per disegnare punti sul disegno e analizzarne la posizione. Se tendono ad essere in linea retta, dovresti cercare equazione della retta 
con valori ottimali e . In altre parole, il compito è trovare TALI coefficienti, in modo che la somma delle deviazioni al quadrato sia la più piccola.
Se i punti si trovano, ad esempio, lungo iperbole, allora è chiaro che la funzione lineare darà una scarsa approssimazione. In questo caso, stiamo cercando i coefficienti più "favorevoli" per l'equazione dell'iperbole, quelli che danno la somma minima dei quadrati 
.
Ora nota che in entrambi i casi stiamo parlando funzioni di due variabili, i cui argomenti sono opzioni di dipendenza cercate:
E in sostanza, dobbiamo risolvere un problema standard: trovare minimo di una funzione di due variabili.
Ricordiamo il nostro esempio: supponiamo che i punti "shop" tendano ad essere posizionati in linea retta e ci siano tutte le ragioni per ritenere la presenza dipendenza lineare fatturato dall'area commerciale. Troviamo TALI coefficienti "a" e "be" in modo che la somma delle deviazioni al quadrato 
era il più piccolo. Tutto come al solito - prima derivate parziali del 1° ordine. Secondo regola di linearità puoi differenziare proprio sotto l'icona della somma: 
Se desideri utilizzare queste informazioni per un saggio o una tesina, ti sarò molto grato per il collegamento nell'elenco delle fonti, non troverai calcoli così dettagliati da nessuna parte: 
Facciamo un sistema standard: 
Riduciamo ogni equazione di un "due" e, inoltre, "spezziamo" le somme: 
Nota
: analizza in modo indipendente perché "a" e "be" possono essere tolti dall'icona della somma. A proposito, formalmente questo può essere fatto con la somma 
Riscriviamo il sistema in forma "applicata": 
dopodiché inizia a disegnare l'algoritmo per risolvere il nostro problema:
Conosciamo le coordinate dei punti? Sappiamo. Somme 
possiamo trovare? Facilmente. Componiamo il più semplice sistema di due equazioni lineari in due incognite("a" e "beh"). Risolviamo il sistema, ad esempio, Il metodo di Cramer, risultando in un punto stazionario . Controllo condizione sufficiente per un estremo, possiamo verificare che a questo punto la funzione 
raggiunge con precisione minimo. La verifica è associata a calcoli aggiuntivi e quindi la lasceremo dietro le quinte. (se necessario, è possibile visualizzare il fotogramma mancanteQui
)
. Traiamo la conclusione finale:
Funzione 
il modo migliore (almeno rispetto a qualsiasi altra funzione lineare) avvicina i punti sperimentali . In parole povere, il suo grafico passa il più vicino possibile a questi punti. Nella tradizione econometria viene chiamata anche la funzione di approssimazione risultante equazione di regressione lineare accoppiata
.
Il problema in esame è di grande importanza pratica. Nella situazione con il nostro esempio, l'equazione consente di prevedere che tipo di fatturato ("yig") sarà nel negozio con l'uno o l'altro valore dell'area di vendita (uno o l'altro significato di "x"). Sì, la previsione risultante sarà solo una previsione, ma in molti casi risulterà essere abbastanza accurata.
Analizzerò solo un problema con i numeri "reali", poiché non ci sono difficoltà: tutti i calcoli sono a livello del curriculum scolastico nelle classi 7-8. Nel 95 percento dei casi ti verrà chiesto di trovare solo una funzione lineare, ma alla fine dell'articolo mostrerò che non è più difficile trovare le equazioni per l'iperbole ottimale, l'esponente e alcune altre funzioni.
In effetti, resta da distribuire le chicche promesse, in modo da imparare a risolvere tali esempi non solo in modo accurato, ma anche rapido. Studiamo attentamente lo standard:
Compito
Come risultato dello studio della relazione tra due indicatori, sono state ottenute le seguenti coppie di numeri: 
Usando il metodo dei minimi quadrati, trova la funzione lineare che meglio approssima quella empirica (esperto) dati. Crea un disegno sul quale, in un sistema di coordinate cartesiane rettangolari, traccia i punti sperimentali e un grafico della funzione di approssimazione 
. Trova la somma dei quadrati delle deviazioni tra i valori empirici e teorici. Scopri se la funzione è migliore (in termini di metodo dei minimi quadrati) punti sperimentali approssimati.
Nota che i valori "x" sono valori naturali, e questo ha un significato significativo caratteristico, di cui parlerò poco dopo; ma, ovviamente, possono essere frazionari. Inoltre, a seconda del contenuto di una particolare attività, entrambi i valori "X" e "G" possono essere completamente o parzialmente negativi. Bene, ci è stato assegnato un compito "senza volto" e lo iniziamo soluzione:
Troviamo i coefficienti della funzione ottima come soluzione del sistema: 
Per una notazione più compatta, la variabile “contatore” può essere omessa, poiché è già chiaro che la sommatoria si effettua da 1 a .
È più conveniente calcolare gli importi richiesti in forma tabellare: 
I calcoli possono essere eseguiti su un microcalcolatore, ma è molto meglio usare Excel, sia più veloce che senza errori; guarda un breve video:
Quindi, otteniamo quanto segue sistema:
Qui puoi moltiplicare la seconda equazione per 3 e sottrarre la seconda dalla prima equazione termine per termine. Ma questa è fortuna: in pratica, i sistemi spesso non sono dotati e in questi casi salva Il metodo di Cramer:
, quindi il sistema ha una soluzione unica.
Facciamo un controllo. Capisco che non voglio, ma perché saltare gli errori dove non puoi assolutamente perderli? Sostituisci la soluzione trovata nella parte sinistra di ciascuna equazione del sistema:
Si ottengono le parti giuste delle equazioni corrispondenti, il che significa che il sistema è risolto correttamente.
Pertanto, la funzione di approssimazione desiderata: – da tutte le funzioni lineari i dati sperimentali sono meglio approssimati da esso.
A differenza di Dritto
dipendenza del fatturato del negozio dalla sua area, la dipendenza trovata è inversione
(principio "più - meno"), e questo fatto è immediatamente rivelato dal negativo coefficiente angolare. Funzione 
ci informa che con un aumento di un determinato indicatore di 1 unità, il valore dell'indicatore dipendente diminuisce media di 0,65 unità. Come si suol dire, più alto è il prezzo del grano saraceno, meno venduto.
Per tracciare la funzione di approssimazione, troviamo due dei suoi valori:
ed eseguire il disegno: 
La linea costruita è chiamata linea di tendenza
(vale a dire, una linea di tendenza lineare, cioè nel caso generale, una tendenza non è necessariamente una linea retta). Tutti conoscono l'espressione "essere di tendenza" e penso che questo termine non abbia bisogno di ulteriori commenti.
Calcola la somma dei quadrati delle deviazioni 
tra valori empirici e teorici. Geometricamente, questa è la somma dei quadrati delle lunghezze dei segmenti "cremisi". (due dei quali sono così piccoli che non puoi nemmeno vederli).
Riassumiamo i calcoli in una tabella: 
Possono essere nuovamente eseguiti manualmente, nel caso in cui fornirò un esempio per il 1 ° punto: 
ma è molto più efficiente fare il modo già noto:
Ripetiamo: qual è il significato del risultato? Da tutte le funzioni lineari funzione l'esponente è il più piccolo, cioè è la migliore approssimazione nella sua famiglia. E qui, a proposito, la domanda finale del problema non è casuale: e se la funzione esponenziale proposta approssimasse meglio i punti sperimentali?
Troviamo la somma corrispondente delle deviazioni al quadrato: per distinguerle, le designerò con la lettera "epsilon". La tecnica è esattamente la stessa:
E ancora per ogni calcolo del fuoco per il 1° punto: 
In Excel, usiamo la funzione standard SCAD (La sintassi può essere trovata nella Guida di Excel).
Conclusione: , quindi la funzione esponenziale approssima i punti sperimentali peggio della retta .
Ma va notato qui che "peggio" è non significa ancora, che c'è. Ora ho costruito un grafico di questa funzione esponenziale - e passa anche vicino ai punti 
- tanto che senza uno studio analitico è difficile dire quale funzione sia più precisa.
Questo completa la soluzione e torno alla questione dei valori naturali dell'argomento. In vari studi, di norma, economici o sociologici, mesi, anni o altri intervalli di tempo uguali sono numerati con la "X" naturale. Si consideri, ad esempio, il seguente problema:
Disponiamo dei seguenti dati sul fatturato al dettaglio del negozio per la prima metà dell'anno:
Utilizzando l'allineamento analitico in linea retta, trova il volume delle vendite per luglio.
Sì, nessun problema: numeriamo i mesi 1, 2, 3, 4, 5, 6 e utilizziamo il solito algoritmo, a seguito del quale otteniamo un'equazione: l'unica cosa quando si tratta di tempo è solitamente la lettera "te " (anche se non è critico). L'equazione risultante mostra che nella prima metà dell'anno il fatturato è aumentato in media di CU 27,74. al mese. Ottieni una previsione per luglio (mese #7): Unione Europea.
E compiti simili: l'oscurità è oscura. Chi lo desidera può usufruire di un servizio aggiuntivo, ovvero my Calcolatrice Excel (versione demo), Quale risolve il problema quasi istantaneamente! La versione funzionante del programma è disponibile in cambio o per pagamento simbolico.
Alla fine della lezione, una breve informazione sulla ricerca di dipendenze di altri tipi. In realtà, non c'è niente di speciale da dire, poiché l'approccio fondamentale e l'algoritmo di soluzione rimangono gli stessi.
Supponiamo che la posizione dei punti sperimentali assomigli a un'iperbole. Quindi, per trovare i coefficienti della migliore iperbole, devi trovare il minimo della funzione: chi lo desidera può eseguire calcoli dettagliati e arrivare a un sistema simile: 
Da un punto di vista tecnico formale si ottiene dal sistema "lineare". 
(segnamolo con un asterisco) sostituendo "x" con . Bene, gli importi 
calcolare, dopodiché ai coefficienti ottimali "a" e "essere" a mano.
Se ci sono tutte le ragioni per credere che i punti sono disposti lungo una curva logaritmica, quindi cercare i valori ottimali e trovare il minimo della funzione 
. Formalmente, nel sistema (*) dovrebbe essere sostituito da: 
Quando si calcola in Excel, utilizzare la funzione LN. Confesso che non sarà difficile per me creare calcolatrici per ciascuno dei casi in esame, ma sarà comunque meglio se "programmi" tu stesso i calcoli. Tutorial video per aiutare.
Con la dipendenza esponenziale, la situazione è leggermente più complicata. Per ridurre la questione al caso lineare, prendiamo il logaritmo della funzione e usiamo proprietà del logaritmo:
Ora, confrontando la funzione ottenuta con la funzione lineare , arriviamo alla conclusione che nel sistema (*) deve essere sostituito da , e – da . Per comodità indichiamo: 
Si noti che il sistema è risolto rispetto a e , e quindi, dopo aver trovato le radici, non bisogna dimenticare di trovare il coefficiente stesso.
Approssimare punti sperimentali parabola ottimale 
, dovrebbe essere trovato minimo di una funzione di tre variabili. Dopo aver eseguito azioni standard, otteniamo quanto segue "funzionante" sistema:
Sì, certo, ci sono più importi qui, ma non ci sono difficoltà quando usi la tua applicazione preferita. E infine, ti dirò come controllare rapidamente usando Excel e costruire la linea di tendenza desiderata: crea un grafico a dispersione, seleziona uno qualsiasi dei punti con il mouse e fare clic con il tasto destro del mouse sull'opzione selezionata "Aggiungi linea di tendenza". Successivamente, seleziona il tipo di grafico e nella scheda "Opzioni" attivare l'opzione "Mostra equazione sul grafico". OK
Come sempre, voglio concludere l'articolo con una bella frase, e ho quasi scritto "Sii di tendenza!". Ma col tempo ha cambiato idea. E non perché è stereotipato. Non so come nessuno, ma non voglio affatto seguire la tendenza americana e soprattutto europea promossa =) Pertanto, auguro a ciascuno di voi di attenersi alla propria linea!
http://www.grandars.ru/student/vysshaya-matematika/metod-naimenshih-kvadratov.html
Il metodo dei minimi quadrati è uno dei più comuni e più sviluppati grazie al suo semplicità ed efficienza dei metodi per la stima dei parametri dei modelli econometrici lineari. Allo stesso tempo, si dovrebbe osservare una certa cautela quando lo si utilizza, poiché i modelli costruiti utilizzando esso potrebbero non soddisfare una serie di requisiti per la qualità dei loro parametri e, di conseguenza, non riflettere "bene" i modelli di sviluppo del processo.
Consideriamo più in dettaglio la procedura per stimare i parametri di un modello econometrico lineare utilizzando il metodo dei minimi quadrati. Tale modello in forma generale può essere rappresentato dall'equazione (1.2):
y t = un 0 + un 1 x 1t +...+ un n x nt + ε t .
I dati iniziali quando si stimano i parametri a 0 , a 1 ,..., a n è il vettore dei valori della variabile dipendente si= (y 1 , y 2 , ... , y T)" e la matrice dei valori delle variabili indipendenti
in cui la prima colonna, composta da quelli, corrisponde al coefficiente del modello .
Il metodo dei minimi quadrati ha preso il nome in base al principio di base che le stime dei parametri ottenute sulla sua base dovrebbero soddisfare: la somma dei quadrati dell'errore del modello dovrebbe essere minima.
Esempi di risoluzione di problemi con il metodo dei minimi quadrati
Esempio 2.1. L'impresa commerciale ha una rete composta da 12 negozi, le cui informazioni sulle attività sono presentate in Tabella. 2.1.
La direzione dell'azienda vorrebbe sapere in che modo l'entità del fatturato annuo dipende dalla superficie di vendita del negozio.
Tabella 2.1
| Numero negozio | Fatturato annuo, milioni di rubli | Area commerciale, mille m 2 |
| 19,76 | 0,24 | |
| 38,09 | 0,31 | |
| 40,95 | 0,55 | |
| 41,08 | 0,48 | |
| 56,29 | 0,78 | |
| 68,51 | 0,98 | |
| 75,01 | 0,94 | |
| 89,05 | 1,21 | |
| 91,13 | 1,29 | |
| 91,26 | 1,12 | |
| 99,84 | 1,29 | |
| 108,55 | 1,49 |
Soluzione dei minimi quadrati. Designiamo: il fatturato annuo del -esimo negozio, milioni di rubli; - area di vendita del esimo negozio, mille m 2.
Fig.2.1. Grafico a dispersione per l'esempio 2.1
Determinare la forma della relazione funzionale tra le variabili e costruire un grafico a dispersione (Fig. 2.1).
Sulla base del diagramma di dispersione, possiamo concludere che il fatturato annuo dipende positivamente dall'area di vendita (ovvero, y aumenterà con la crescita di ). La forma più appropriata di connessione funzionale è lineare.
Le informazioni per ulteriori calcoli sono presentate in Tabella. 2.2. Utilizzando il metodo dei minimi quadrati, stimiamo i parametri del modello econometrico lineare a un fattore
Tabella 2.2
| T | e t | x 1 t | e t 2 | x1t2 | x 1t y t |
| 19,76 | 0,24 | 390,4576 | 0,0576 | 4,7424 | |
| 38,09 | 0,31 | 1450,8481 | 0,0961 | 11,8079 | |
| 40,95 | 0,55 | 1676,9025 | 0,3025 | 22,5225 | |
| 41,08 | 0,48 | 1687,5664 | 0,2304 | 19,7184 | |
| 56,29 | 0,78 | 3168,5641 | 0,6084 | 43,9062 | |
| 68,51 | 0,98 | 4693,6201 | 0,9604 | 67,1398 | |
| 75,01 | 0,94 | 5626,5001 | 0,8836 | 70,5094 | |
| 89,05 | 1,21 | 7929,9025 | 1,4641 | 107,7505 | |
| 91,13 | 1,29 | 8304,6769 | 1,6641 | 117,5577 | |
| 91,26 | 1,12 | 8328,3876 | 1,2544 | 102,2112 | |
| 99,84 | 1,29 | 9968,0256 | 1,6641 | 128,7936 | |
| 108,55 | 1,49 | 11783,1025 | 2,2201 | 161,7395 | |
| S | 819,52 | 10,68 | 65008,554 | 11,4058 | 858,3991 |
| Media | 68,29 | 0,89 |
Così,
Pertanto, con un aumento dell'area commerciale di 1 migliaio di m2, a parità di altre condizioni, il fatturato medio annuo aumenta di 67,8871 milioni di rubli.
Esempio 2.2. La direzione dell'impresa ha notato che il fatturato annuo dipende non solo dall'area di vendita del negozio (vedi esempio 2.1), ma anche dal numero medio di visitatori. Le informazioni rilevanti sono presentate nella tabella. 2.3.
Tabella 2.3
Soluzione. Denota: il numero medio di visitatori al -esimo negozio al giorno, migliaia di persone.
Determinare la forma della relazione funzionale tra le variabili e costruire un grafico a dispersione (Fig. 2.2).
Sulla base del diagramma di dispersione, possiamo concludere che il fatturato annuo è positivamente correlato al numero medio di visitatori al giorno (ovvero, y aumenterà con la crescita di ). La forma della dipendenza funzionale è lineare.
Riso. 2.2. Grafico a dispersione per esempio 2.2
Tabella 2.4
| T | x2 t | x2t2 | yt x 2t | x 1t x 2t |
| 8,25 | 68,0625 | 163,02 | 1,98 | |
| 10,24 | 104,8575 | 390,0416 | 3,1744 | |
| 9,31 | 86,6761 | 381,2445 | 5,1205 | |
| 11,01 | 121,2201 | 452,2908 | 5,2848 | |
| 8,54 | 72,9316 | 480,7166 | 6,6612 | |
| 7,51 | 56,4001 | 514,5101 | 7,3598 | |
| 12,36 | 152,7696 | 927,1236 | 11,6184 | |
| 10,81 | 116,8561 | 962,6305 | 13,0801 | |
| 9,89 | 97,8121 | 901,2757 | 12,7581 | |
| 13,72 | 188,2384 | 1252,0872 | 15,3664 | |
| 12,27 | 150,5529 | 1225,0368 | 15,8283 | |
| 13,92 | 193,7664 | 1511,016 | 20,7408 | |
| S | 127,83 | 1410,44 | 9160,9934 | 118,9728 |
| Media | 10,65 |
In generale, è necessario determinare i parametri del modello econometrico a due fattori
y t \u003d un 0 + un 1 x 1t + un 2 x 2t + ε t
Le informazioni necessarie per ulteriori calcoli sono presentate in Tabella. 2.4.
Stimiamo i parametri di un modello econometrico lineare a due fattori utilizzando il metodo dei minimi quadrati.
Così,
La valutazione del coefficiente = 61,6583 mostra che, a parità di altre condizioni, con un aumento dell'area commerciale di 1 mila m 2, il fatturato annuo aumenterà in media di 61,6583 milioni di rubli.
La stima del coefficiente = 2,2748 lo dimostra, a parità di altre condizioni, con un aumento del numero medio di visitatori ogni mille persone. al giorno, il fatturato annuo aumenterà in media di 2,2748 milioni di rubli.
Esempio 2.3. Utilizzando le informazioni presentate nella tabella. 2.2 e 2.4, stimare il parametro di un modello econometrico a fattore singolo
dov'è il valore centrato del fatturato annuo del -esimo negozio, milioni di rubli; - valore centrato del numero medio giornaliero di visitatori del negozio t-esimo, migliaia di persone. (vedi esempi 2.1-2.2).
Soluzione. Ulteriori informazioni necessarie per i calcoli sono presentate nella Tabella. 2.5.
Tabella 2.5
| -48,53 | -2,40 | 5,7720 | 116,6013 | |
| -30,20 | -0,41 | 0,1702 | 12,4589 | |
| -27,34 | -1,34 | 1,8023 | 36,7084 | |
| -27,21 | 0,36 | 0,1278 | -9,7288 | |
| -12,00 | -2,11 | 4,4627 | 25,3570 | |
| 0,22 | -3,14 | 9,8753 | -0,6809 | |
| 6,72 | 1,71 | 2,9156 | 11,4687 | |
| 20,76 | 0,16 | 0,0348 | 3,2992 | |
| 22,84 | -0,76 | 0,5814 | -17,413 | |
| 22,97 | 3,07 | 9,4096 | 70,4503 | |
| 31,55 | 1,62 | 2,6163 | 51,0267 | |
| 40,26 | 3,27 | 10,6766 | 131,5387 | |
| Somma | 48,4344 | 431,0566 |
Usando la formula (2.35), otteniamo
Così,
http://www.cleverstudents.ru/articles/mnk.html
Esempio.
Dati sperimentali sui valori delle variabili X E A sono riportati in tabella. 
Come risultato del loro allineamento, la funzione 
Usando metodo dei minimi quadrati, approssimare questi dati con una dipendenza lineare y=ax+b(trova i parametri UN E B). Scopri quale delle due linee è migliore (nel senso del metodo dei minimi quadrati) allinea i dati sperimentali. Fai un disegno.
Soluzione.
Nel nostro esempio n=5. Compiliamo la tabella per comodità di calcolo degli importi inclusi nelle formule dei coefficienti richiesti. 
I valori della quarta riga della tabella si ottengono moltiplicando i valori della 2a riga per i valori della 3a riga per ogni numero io.
I valori della quinta riga della tabella si ottengono elevando al quadrato i valori della 2a riga per ogni numero io.
I valori dell'ultima colonna della tabella sono le somme dei valori nelle righe.
Usiamo le formule del metodo dei minimi quadrati per trovare i coefficienti UN E B. Sostituiamo in essi i valori corrispondenti dall'ultima colonna della tabella: 
Quindi, y=0,165x+2,184è la retta di approssimazione desiderata.
Resta da scoprire quale delle linee y=0,165x+2,184 O approssima meglio i dati originali, cioè per fare una stima usando il metodo dei minimi quadrati.
Prova.
In modo che quando trovato UN E B funzione assume il valore più piccolo, è necessario che a questo punto la matrice della forma quadratica del differenziale di secondo ordine per la funzione 
era definito positivo. Dimostriamolo.
Il differenziale di secondo ordine ha la forma: 
Questo è
Pertanto, la matrice della forma quadratica ha la forma 
e i valori degli elementi non dipendono da UN E B.
Dimostriamo che la matrice è definita positiva. Ciò richiede che i minori degli angoli siano positivi.
Minore angolare del primo ordine 
. La disuguaglianza è stretta, poiché i punti
- tutorial
introduzione
Sono un programmatore di computer. Ho fatto il salto più grande della mia carriera quando ho imparato a dire: "Io non capisco niente!" Ora non mi vergogno di dire al luminare della scienza che mi sta tenendo una conferenza, che non capisco di cosa mi stia parlando, il luminare. Ed è molto difficile. Sì, è difficile e imbarazzante ammettere di non saperlo. A chi piace ammettere di non conoscere le basi di qualcosa, ecco. In virtù della mia professione, devo assistere a un gran numero di presentazioni e conferenze, dove, lo confesso, nella stragrande maggioranza dei casi ho sonno, perché non capisco niente. E non capisco perché il grosso problema della situazione attuale della scienza sta nella matematica. Presuppone che tutti gli studenti abbiano familiarità con assolutamente tutte le aree della matematica (il che è assurdo). Ammettere di non sapere cosa sia un derivato (che questo è un po 'più tardi) è un peccato.
Ma ho imparato a dire che non so cosa sia la moltiplicazione. Sì, non so cosa sia una sottoalgebra su un'algebra di Lie. Sì, non so perché le equazioni quadratiche siano necessarie nella vita. A proposito, se sei sicuro di saperlo, allora abbiamo qualcosa di cui parlare! La matematica è una serie di trucchi. I matematici cercano di confondere e intimidire il pubblico; dove non c'è confusione, nessuna reputazione, nessuna autorità. Sì, è prestigioso parlare nel linguaggio più astratto possibile, che è di per sé una totale assurdità.
Sai cos'è un derivato? Molto probabilmente mi parlerai del limite della relazione di differenza. Nel primo anno di matematica all'Università statale di San Pietroburgo, Viktor Petrovich Khavin me definito derivata come coefficiente del primo termine della serie di Taylor della funzione nel punto (è stata una ginnastica separata determinare la serie di Taylor senza derivate). Ho riso a lungo di questa definizione, finché ho finalmente capito di cosa si trattava. La derivata non è altro che una misura di quanto la funzione che stiamo differenziando sia simile alla funzione y=x, y=x^2, y=x^3.
Ora ho l'onore di tenere lezioni agli studenti che Paura matematica. Se hai paura della matematica, siamo sulla buona strada. Non appena provi a leggere un testo e ti sembra che sia eccessivamente complicato, allora sappi che è scritto male. Sostengo che non esiste una sola area della matematica di cui non si possa parlare "sulle dita" senza perdere precisione.
La sfida per il prossimo futuro: ho incaricato i miei studenti di capire cos'è un controllore lineare-quadratico. Non essere timido, spreca tre minuti della tua vita, segui il link. Se non capisci niente, allora siamo sulla buona strada. Anche io (un matematico-programmatore professionista) non capivo niente. E ti assicuro che questo può essere risolto "sulle dita". Al momento non so cosa sia, ma vi assicuro che riusciremo a capirlo.
Quindi, la prima lezione che terrò ai miei studenti dopo che saranno accorsi da me inorriditi con le parole che il controller lineare-quadratico è un terribile bug che non riuscirai mai a padroneggiare nella tua vita è metodi dei minimi quadrati. Sai risolvere equazioni lineari? Se stai leggendo questo testo, molto probabilmente no.
Quindi, dati due punti (x0, y0), (x1, y1), ad esempio (1,1) e (3,2), il compito è trovare l'equazione di una retta passante per questi due punti:
illustrazione
Questa retta dovrebbe avere un'equazione come la seguente:
Qui alfa e beta ci sono sconosciuti, ma sono noti due punti di questa linea:
Puoi scrivere questa equazione in forma matriciale:
Qui dovremmo fare una digressione lirica: cos'è una matrice? Una matrice non è altro che un array bidimensionale. Questo è un modo per archiviare i dati, non dovrebbero essere associati più valori. Sta a noi come interpretare esattamente una certa matrice. Periodicamente lo interpreterò come una mappatura lineare, periodicamente come una forma quadratica e talvolta semplicemente come un insieme di vettori. Tutto questo sarà chiarito nel contesto.
Sostituiamo specifiche matrici con la loro rappresentazione simbolica:
Quindi (alfa, beta) può essere facilmente trovato:
Più specificamente per i nostri dati precedenti:
Il che porta alla seguente equazione di una retta passante per i punti (1,1) e (3,2):
Ok, qui è tutto chiaro. E troviamo l'equazione di una retta passante tre punti: (x0,y0), (x1,y1) e (x2,y2):
Oh-oh-oh, ma abbiamo tre equazioni per due incognite! Il matematico standard dirà che non c'è soluzione. Cosa dirà il programmatore? E prima riscriverà il precedente sistema di equazioni nella seguente forma:
Nel nostro caso i vettori i, j, b sono tridimensionali, quindi (nel caso generale) non c'è soluzione a questo sistema. Qualsiasi vettore (alpha\*i + beta\*j) giace nel piano esteso dai vettori (i, j). Se b non appartiene a questo piano, allora non c'è soluzione (l'uguaglianza nell'equazione non può essere raggiunta). Cosa fare? Cerchiamo un compromesso. Indichiamo con e(alfa, beta) come esattamente non abbiamo raggiunto l'uguaglianza:
E cercheremo di minimizzare questo errore:
Perché un quadrato?
Non cerchiamo solo il minimo della norma, ma il minimo del quadrato della norma. Perché? Il punto di minimo stesso coincide, e il quadrato dà una funzione liscia (una funzione quadratica degli argomenti (alfa,beta)), mentre solo la lunghezza dà una funzione a forma di cono, non differenziabile nel punto di minimo. Brr. Square è più conveniente.
Ovviamente, l'errore è minimizzato quando il vettore e ortogonale al piano attraversato dai vettori io E J.
Illustrazione
In altre parole: stiamo cercando una linea tale che la somma dei quadrati delle distanze da tutti i punti a questa linea sia minima:
AGGIORNAMENTO: qui ho uno stipite, la distanza dalla linea va misurata in verticale, non in proiezione ortografica. Questo commentatore ha ragione.
Illustrazione
In parole completamente diverse (attentamente, mal formalizzate, ma dovrebbe essere chiaro sulle dita): prendiamo tutte le linee possibili tra tutte le coppie di punti e cerchiamo la linea media tra tutte:
Illustrazione
Un'altra spiegazione sulle dita: fissiamo una molla tra tutti i punti dati (qui ne abbiamo tre) e la linea che stiamo cercando, e la linea dello stato di equilibrio è esattamente ciò che stiamo cercando.
Minimo di forma quadratica
Quindi, dato il vettore B e il piano attraversato dai vettori-colonne della matrice UN(in questo caso (x0,x1,x2) e (1,1,1)), stiamo cercando un vettore e con un quadrato minimo di lunghezza. Ovviamente il minimo è realizzabile solo per il vettore e, ortogonale al piano attraversato dai vettori-colonne della matrice UN:In altre parole, stiamo cercando un vettore x=(alfa, beta) tale che:
Ti ricordo che questo vettore x=(alpha, beta) è il minimo della funzione quadratica ||e(alpha, beta)||^2:
Qui è utile ricordare che la matrice può essere interpretata così come la forma quadratica, ad esempio la matrice identità ((1,0),(0,1)) può essere interpretata come una funzione di x^2 + y ^2:
forma quadratica
Tutta questa ginnastica è nota come regressione lineare.
Equazione di Laplace con condizione al contorno di Dirichlet
Ora il vero problema più semplice: c'è una certa superficie triangolata, è necessario levigarla. Ad esempio, carichiamo il mio modello facciale:
Il commit originale è disponibile. Per ridurre al minimo le dipendenze esterne, ho preso il codice del mio renderer software, già su Habré. Per risolvere il sistema lineare, utilizzo OpenNL , è un ottimo risolutore, ma è molto difficile da installare: devi copiare due file (.h + .c) nella cartella del tuo progetto. Tutto il livellamento viene eseguito dal seguente codice:
Per (int d=0; d<3; d++) {
nlNewContext();
nlSolverParameteri(NL_NB_VARIABLES, verts.size());
nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE);
nlBegin(NL_SYSTEM);
nlBegin(NL_MATRIX);
for (int i=0; i<(int)verts.size(); i++) {
nlBegin(NL_ROW);
nlCoefficient(i, 1);
nlRightHandSide(verts[i][d]);
nlEnd(NL_ROW);
}
for (unsigned int i=0; i
Le coordinate X, Y e Z sono separabili, le appiano separatamente. Cioè, risolvo tre sistemi di equazioni lineari, ciascuno con lo stesso numero di variabili del numero di vertici nel mio modello. Le prime n righe della matrice A hanno solo un 1 per riga e le prime n righe del vettore b hanno coordinate del modello originale. Cioè, lego tra la nuova posizione del vertice e la vecchia posizione del vertice - le nuove non dovrebbero essere troppo lontane da quelle vecchie.
Tutte le righe successive della matrice A (faces.size()*3 = il numero di spigoli di tutti i triangoli nella griglia) hanno un'occorrenza di 1 e un'occorrenza di -1, mentre il vettore b ha zero componenti opposte. Ciò significa che metto una molla su ciascun bordo della nostra maglia triangolare: tutti i bordi cercano di ottenere lo stesso vertice dei loro punti iniziale e finale.
Ancora una volta: tutti i vertici sono variabili e non possono discostarsi molto dalla loro posizione originale, ma allo stesso tempo cercano di diventare simili tra loro.
Ecco il risultato:
Andrebbe tutto bene, il modello è davvero levigato, ma si è allontanato dal suo bordo originale. Cambiamo un po' il codice:
Per (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }
Nella nostra matrice A, per i vertici che sono sul bordo, non aggiungo una riga della categoria v_i = verts[i][d], ma 1000*v_i = 1000*verts[i][d]. Cosa cambia? E questo cambia la nostra forma quadratica dell'errore. Ora una singola deviazione dall'alto sul bordo non costerà un'unità, come prima, ma 1000 * 1000 unità. Cioè, abbiamo appeso una molla più forte ai vertici estremi, la soluzione preferisce allungare gli altri più fortemente. Ecco il risultato:
Raddoppiamo la forza delle molle tra i vertici:
nlCoefficiente(faccia[ j ], 2); nlCoefficiente(faccia[(j+1)%3], -2);
È logico che la superficie sia diventata più liscia:
E ora anche cento volte più forte:
Cos'è questo? Immagina di aver immerso un anello di filo metallico in acqua saponosa. Di conseguenza, il film di sapone risultante cercherà di avere la minima curvatura possibile, toccando lo stesso bordo: il nostro anello di filo. Questo è esattamente ciò che abbiamo ottenuto fissando il bordo e chiedendo una superficie liscia all'interno. Congratulazioni, abbiamo appena risolto l'equazione di Laplace con le condizioni al contorno di Dirichlet. Figo? Ma in realtà, solo un sistema di equazioni lineari da risolvere.
Equazione di Poisson
Prendiamo un altro bel nome.Diciamo che ho un'immagine come questa:
Sono tutti bravi, ma non mi piace la sedia.
Taglierò l'immagine a metà: 
E selezionerò una sedia con le mie mani: 
Quindi trascinerò tutto ciò che è bianco nella maschera sul lato sinistro dell'immagine, e allo stesso tempo dirò in tutta l'immagine che la differenza tra due pixel vicini dovrebbe essere uguale alla differenza tra due pixel vicini del immagine a destra:
Per (int i=0; i Ecco il risultato: Codice e immagini sono disponibili Metodo dei minimi quadrati (OLS, ing. Ordinary Least Squares, OLS)- un metodo matematico utilizzato per risolvere vari problemi, basato sulla minimizzazione della somma dei quadrati delle deviazioni di alcune funzioni dalle variabili desiderate. Può essere utilizzato per "risolvere" sistemi di equazioni sovradeterminati (quando il numero di equazioni supera il numero di incognite), per trovare una soluzione nel caso di sistemi di equazioni non lineari ordinari (non sovradeterminati), per approssimare i valori in punti di una determinata funzione. OLS è uno dei metodi di base dell'analisi di regressione per stimare i parametri sconosciuti dei modelli di regressione dai dati campione. 1
/
5 ✪ Metodo dei minimi quadrati. Soggetto ✪ Mitin IV - Elaborazione dei risultati del fisico. esperimento - Metodo dei minimi quadrati (Lezione 4) ✪ Minimi quadrati, lezione 1/2. Funzione lineare ✪ Econometria. Lezione 5. Metodo dei minimi quadrati ✪ Metodo dei minimi quadrati. Risposte Fino all'inizio del XIX secolo. gli scienziati non avevano regole certe per risolvere un sistema di equazioni in cui il numero di incognite è inferiore al numero di equazioni; Fino a quel momento si usavano metodi particolari, a seconda del tipo di equazioni e dell'ingegnosità dei calcolatori, e quindi calcolatori diversi, partendo dagli stessi dati osservativi, giungevano a conclusioni diverse. Gauss (1795) è accreditato della prima applicazione del metodo, e Legendre (1805) lo scoprì e lo pubblicò indipendentemente sotto il suo nome moderno (fr. Methode des moindres quarres). Laplace collegò il metodo con la teoria delle probabilità e il matematico americano Adrain (1808) ne considerò le applicazioni probabilistiche. Il metodo è diffuso e migliorato da ulteriori ricerche di Encke, Bessel, Hansen e altri. Permettere x (\displaystyle x)- corredo n (\displaystyle n) variabili sconosciute (parametri), f io (x) (\displaystyle f_(i)(x)), , m > n (\displaystyle m>n)- insieme di funzioni da questo insieme di variabili. Il problema è scegliere tali valori x (\displaystyle x) in modo che i valori di queste funzioni siano il più vicino possibile ad alcuni valori y io (\displaystyle y_(i)). Si tratta, in sostanza, della “soluzione” del sistema di equazioni sovradeterminato f io (x) = y io (\ displaystyle f_ (i) (x) = y_ (i)), io = 1 , ... , m (\ displaystyle i = 1, \ ldots, m) nel senso indicato, la massima vicinanza delle parti sinistra e destra del sistema. L'essenza di LSM è scegliere come "misura di prossimità" la somma dei quadrati delle deviazioni delle parti sinistra e destra | f io (x) − y io | (\displaystyle |f_(i)(x)-y_(i)|). Pertanto, l'essenza del LSM può essere espressa come segue: Se il sistema di equazioni ha una soluzione, allora il minimo della somma dei quadrati sarà uguale a zero e le soluzioni esatte del sistema di equazioni possono essere trovate analiticamente o, ad esempio, mediante vari metodi di ottimizzazione numerica. Se il sistema è sovradeterminato, cioè, in parole povere, il numero di equazioni indipendenti è maggiore del numero di variabili sconosciute, allora il sistema non ha una soluzione esatta e il metodo dei minimi quadrati ci permette di trovare un vettore "ottimale" x (\displaystyle x) nel senso della massima vicinanza dei vettori y (\displaystyle y) E f (x) (\displaystyle f(x)) o la massima vicinanza del vettore di deviazione e (\displaystyle e) a zero (la prossimità è intesa nel senso di distanza euclidea). In particolare, il metodo dei minimi quadrati può essere utilizzato per "risolvere" il sistema di equazioni lineari Dove UN (\ displaystyle A) matrice di dimensioni rettangolari m × n , m > n (\displaystyle m\times n,m>n)(ovvero il numero di righe della matrice A è maggiore del numero di variabili richieste). Un tale sistema di equazioni generalmente non ha soluzione. Pertanto, questo sistema può essere "risolto" solo nel senso di scegliere un tale vettore x (\displaystyle x) minimizzare la "distanza" tra i vettori A x (\ Displaystyle Ascia) E b (\displaystyle b). Per fare questo si può applicare il criterio per minimizzare la somma dei quadrati delle differenze delle parti sinistra e destra delle equazioni del sistema, cioè (A x - b) T (A x - b) → min (\displaystyle (Ax-b)^(T)(Ax-b)\rightarrow \min ). È facile dimostrare che la soluzione di questo problema di minimizzazione porta alla soluzione del seguente sistema di equazioni Lascia che ci sia n (\displaystyle n) valori di qualche variabile y (\displaystyle y)(questo può essere il risultato di osservazioni, esperimenti, ecc.) e le variabili corrispondenti x (\displaystyle x). La sfida è creare la relazione tra y (\displaystyle y) E x (\displaystyle x) approssimata da qualche funzione nota fino ad alcuni parametri sconosciuti b (\displaystyle b), ovvero trovare effettivamente i migliori valori dei parametri b (\displaystyle b), approssimando al massimo i valori f (x, b) (\displaystyle f(x,b)) ai valori effettivi y (\displaystyle y). Questo infatti si riduce al caso di "soluzione" di un sistema di equazioni sovradeterminato rispetto a b (\displaystyle b): F ( X t , b ) = y t , t = 1 , ... , n (\ displaystyle f (x_ (t), b) = y_ (t), t = 1, \ ldots, n). Nell'analisi di regressione, e in particolare in econometria, vengono utilizzati modelli probabilistici della relazione tra variabili. Y t = f (X t, b) + ε t (\ displaystyle y_ (t) = f (x_ (t), b) + \ varepsilon _ (t)), Dove ε t (\ displaystyle \ varepsilon _ (t))- così chiamato errori casuali Modelli. Di conseguenza, le deviazioni dei valori osservati y (\displaystyle y) da modello f (x, b) (\displaystyle f(x,b)) già assunto nel modello stesso. L'essenza di LSM (ordinario, classico) è trovare tali parametri b (\displaystyle b), in cui la somma delle deviazioni al quadrato (errori, per i modelli di regressione sono spesso chiamati residui di regressione) e t (\displaystyle e_(t)) sarà minimo: Dove RS S (\ displaystyle RSS)- Inglese. La somma residua dei quadrati è definita come: Nel caso generale, questo problema può essere risolto con metodi numerici di ottimizzazione (minimizzazione). In questo caso si parla di minimi quadrati non lineari(NLS o NLLS - ing. Minimi quadrati non lineari). In molti casi è possibile ottenere una soluzione analitica. Per risolvere il problema di minimizzazione è necessario trovare i punti stazionari della funzione RS S (b) (\ displaystyle RSS (b)), differenziandolo rispetto a parametri sconosciuti b (\displaystyle b), eguagliando le derivate a zero e risolvendo il sistema di equazioni risultante: Lascia che la dipendenza dalla regressione sia lineare: Permettere siè il vettore colonna delle osservazioni della variabile da spiegare, e X (\displaystyle X)- Questo (n × k) (\displaystyle ((n\times k)))- matrice delle osservazioni dei fattori (righe della matrice - vettori dei valori dei fattori in una data osservazione, per colonne - vettore dei valori di un dato fattore in tutte le osservazioni). La rappresentazione matriciale del modello lineare ha la forma: Quindi il vettore delle stime della variabile spiegata e il vettore dei residui di regressione saranno uguali a di conseguenza, la somma dei quadrati dei residui di regressione sarà uguale a Differenziare questa funzione rispetto al vettore dei parametri b (\displaystyle b) ed eguagliando le derivate a zero, otteniamo un sistema di equazioni (in forma matriciale): Nella forma matriciale decifrata, questo sistema di equazioni si presenta così: (∑ x t 1 2 ∑ x t 1 x t 2 ∑ x t 1 x t 3 … ∑ x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t 2 x t 3 … ∑ x t 2 x t k ∑ x t 3 x t 1 ∑ x t 3 x t 2 ∑ x t 3 2 … ∑ x t 3 x t k ⋮ ⋮ ⋮ ⋱ ⋮ ∑ x t k x t 1 ∑ x t k x t 2 ∑ x t k x t 3 … ∑ x t k 2) (b 1 b 2 b 3 ⋮ b k) = (∑ x t 1 y t ∑ x t 2 y t ∑ x t 3 y t ⋮ ∑ X t K y t) , (\displaystyle (\begin(pmatrix)\sum x_(t1)^(2)&\sum x_(t1)x_(t2)&\sum x_(t1)x_(t3)&\ldots &\somma x_(t1)x_(tk)\\\somma x_(t2)x_(t1)&\somma x_(t2)^(2)&\somma x_(t2)x_(t3)&\ldots &\ somma x_(t2)x_(tk)\\\somma x_(t3)x_(t1)&\somma x_(t3)x_(t2)&\somma x_(t3)^(2)&\ldots &\somma x_ (t3)x_(tk)\\\vdots &\vdots &\vdots &\ddots &\vdots \\\somma x_(tk)x_(t1)&\somma x_(tk)x_(t2)&\somma x_ (tk)x_(t3)&\ldots &\sum x_(tk)^(2)\\\end(pmatrix))(\begin(pmatrix)b_(1)\\b_(2)\\b_(3 )\\\vdots \\b_(k)\\\end(pmatrix))=(\begin(pmatrix)\sum x_(t1)y_(t)\\\sum x_(t2)y_(t)\\ \sum x_(t3)y_(t)\\\vdots \\\sum x_(tk)y_(t)\\\end(pmatrix)),) dove tutte le somme vengono prese su tutti i valori ammissibili t (\displaystyle t). Se una costante è inclusa nel modello (come al solito), allora x t 1 = 1 (\displaystyle x_(t1)=1) per tutti t (\displaystyle t), quindi, nell'angolo in alto a sinistra della matrice del sistema di equazioni c'è il numero di osservazioni n (\displaystyle n), e nei restanti elementi della prima riga e della prima colonna - solo la somma dei valori delle variabili: ∑ X t j (\displaystyle \sum x_(tj)) e il primo elemento del lato destro del sistema - ∑ y t (\ displaystyle \ somma y_ (t)). La soluzione di questo sistema di equazioni fornisce la formula generale per le stime dei minimi quadrati per il modello lineare: Ai fini analitici risulta utile l'ultima rappresentazione di questa formula (nel sistema di equazioni divisi per n compaiono le medie aritmetiche al posto delle somme). Se i dati nel modello di regressione centrato, allora in questa rappresentazione la prima matrice ha il significato di matrice di covarianza campionaria dei fattori, e la seconda è il vettore delle covarianze di fattori con variabile dipendente. Se, inoltre, i dati sono anche normalizzato allo SKO (cioè, in ultima analisi standardizzato), quindi la prima matrice ha il significato della matrice di correlazione campionaria dei fattori, il secondo vettore - il vettore delle correlazioni campionarie dei fattori con la variabile dipendente. Una proprietà importante delle stime LLS per i modelli con una costante- la retta della regressione costruita passa per il baricentro dei dati del campione, ovvero l'uguaglianza è soddisfatta: In particolare, nel caso estremo in cui l'unico regressore è una costante, troviamo che la stima OLS di un singolo parametro (la costante stessa) è uguale al valore medio della variabile spiegata. Cioè, la media aritmetica, nota per le sue buone proprietà dalle leggi dei grandi numeri, è anche una stima dei minimi quadrati - soddisfa il criterio per la somma minima delle deviazioni al quadrato da essa. Nel caso di regressione lineare a coppie y t = un + b x t + ε t (\ displaystyle y_ (t) = a + bx_ (t) + \ varepsilon _ (t)), quando viene stimata la dipendenza lineare di una variabile da un'altra, le formule di calcolo vengono semplificate (si può fare a meno dell'algebra matriciale). Il sistema di equazioni ha la forma: Da qui è facile trovare le stime per i coefficienti: Nonostante il fatto che nel caso generale siano preferibili modelli con una costante, in alcuni casi è noto da considerazioni teoriche che la costante un (\ Displaystyle un) dovrebbe essere uguale a zero. Ad esempio, in fisica, la relazione tra tensione e corrente ha la forma U = io ⋅ R (\ displaystyle U = io \ cdot R); misurando tensione e corrente, è necessario stimare la resistenza. In questo caso, stiamo parlando di un modello y = b x (\displaystyle y=bx). In questo caso, invece di un sistema di equazioni, abbiamo un'unica equazione (∑ x t 2) b = ∑ x t y t (\ displaystyle \ sinistra (\ somma x_ (t) ^ (2) \ destra) b = \ somma x_ (t) y_ (t)). Pertanto, la formula per stimare un singolo coefficiente ha la forma B ^ = ∑ t = 1 n X t y t ∑ t = 1 n X t 2 = X y ¯ x 2 ¯ (\displaystyle (\hat (b))=(\frac (\sum _(t=1)^(n)x_(t )y_(t))(\sum _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))). Se i dati sono adattati da una funzione di regressione polinomiale di una variabile f (x) = b 0 + ∑ io = 1 K b io X io (\displaystyle f(x)=b_(0)+\sum \limits _(i=1)^(k)b_(i)x^(i)), quindi, percependo i gradi x io (\displaystyle x^(i)) come fattori indipendenti per ciascuno io (\ Displaystyle io)è possibile stimare i parametri del modello in base alla formula generale per la stima dei parametri del modello lineare. Per fare ciò, è sufficiente tener conto nella formula generale che con tale interpretazione x t io x t j = x t io x t j = x t io + j (\displaystyle x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j)) E x t j y t = x t j y t (\ Displaystyle x_ (tj) y_ (t) = x_ (t) ^ (j) y_ (t)). Pertanto, le equazioni matriciali in questo caso assumeranno la forma: (n ∑ n x t … ∑ n x t k ∑ n x t ∑ n x io 2 … ∑ m x i k + 1 ⋮ ⋮ ⋱ ⋮ ∑ n x t k ∑ n x t k + 1 … ∑ n x t 2 k) [ b 0 b 1 ⋮ b k ] = [ ∑ n y t ∑ n x t y t ⋮ ∑ n x t k y t ] . (\displaystyle (\begin(pmatrix)n&\sum \limits _(n)x_(t)&\ldots &\sum \limits _(n)x_(t)^(k)\\\sum \limits _( n)x_(t)&\sum \limits _(n)x_(i)^(2)&\ldots &\sum \limits _(m)x_(i)^(k+1)\\\vdots & \vdots &\ddots &\vdots \\\sum \limits _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\ldots &\ sum \limits _(n)x_(t)^(2k)\end(pmatrix))(\begin(bmatrix)b_(0)\\b_(1)\\\vdots \\b_(k)\end( bmatrix))=(\begin(bmatrix)\sum \limits _(n)y_(t)\\\sum \limits _(n)x_(t)y_(t)\\\vdots \\\sum \limits _(n)x_(t)^(k)y_(t)\end(bmatrice)).) Prima di tutto, notiamo che per i modelli lineari, le stime dei minimi quadrati sono stime lineari, come segue dalla formula precedente. Per l'imparzialità delle stime ai minimi quadrati, è necessario e sufficiente soddisfare la condizione più importante dell'analisi di regressione: l'aspettativa matematica di un errore casuale condizionato dai fattori deve essere uguale a zero. Questa condizione è soddisfatta, in particolare, se La seconda condizione - la condizione dei fattori esogeni - è fondamentale. Se questa proprietà non è soddisfatta, allora possiamo presumere che quasi tutte le stime saranno estremamente insoddisfacenti: non saranno nemmeno coerenti (ovvero, anche una grande quantità di dati non consente di ottenere stime qualitative in questo caso). Nel caso classico, viene fatta un'assunzione più forte sul determinismo dei fattori, in contrasto con un errore casuale, che significa automaticamente che la condizione esogena è soddisfatta. Nel caso generale, per la consistenza delle stime, è sufficiente soddisfare la condizione di esogeneità unitamente alla convergenza della matrice V x (\ displaystyle V_ (x)) ad una matrice non degenerata man mano che la dimensione del campione aumenta all'infinito. Affinché, oltre alla coerenza e imparzialità, anche le stime del (solito) LSM siano efficaci (le migliori nella classe delle stime lineari imparziali), è necessario soddisfare proprietà aggiuntive di un errore casuale: Queste ipotesi possono essere formulate per la matrice di covarianza del vettore degli errori casuali V (ε) = σ 2 io (\ displaystyle V (\ varepsilon) = \ sigma ^ (2) io). Si chiama un modello lineare che soddisfa queste condizioni classico. Le stime OLS per la regressione lineare classica sono stime imparziali, coerenti e più efficienti nella classe di tutte le stime imparziali lineari (nella letteratura inglese, l'abbreviazione è talvolta usata blu (Miglior stimatore imparziale lineare) è la migliore stima lineare imparziale; nella letteratura domestica, il teorema di Gauss - Markov è più spesso citato). Come è facile mostrare, la matrice di covarianza del vettore delle stime dei coefficienti sarà pari a: V (b ^ O L S) = σ 2 (X T X) - 1 (\displaystyle V((\hat (b))_(OLS))=\sigma ^(2)(X^(T)X)^(-1 )). Efficienza significa che questa matrice di covarianza è "minima" (qualsiasi combinazione lineare di coefficienti, e in particolare i coefficienti stessi, hanno una varianza minima), ovvero, nella classe delle stime lineari imparziali, le stime OLS sono le migliori. Gli elementi diagonali di questa matrice - le varianze delle stime dei coefficienti - sono parametri importanti della qualità delle stime ottenute. Tuttavia, non è possibile calcolare la matrice di covarianza perché la varianza dell'errore casuale non è nota. Si può dimostrare che la stima imparziale e coerente (per il modello lineare classico) della varianza degli errori casuali è il valore: S 2 = R S S / (n - k) (\displaystyle s^(2)=RSS/(n-k)). Sostituendo questo valore nella formula per la matrice di covarianza, otteniamo una stima della matrice di covarianza. Anche le stime risultanti sono imparziali e coerenti. È anche importante che la stima della varianza dell'errore (e quindi le varianze dei coefficienti) e le stime dei parametri del modello siano variabili casuali indipendenti, il che rende possibile ottenere statistiche test per testare ipotesi sui coefficienti del modello. Va notato che se le ipotesi classiche non sono soddisfatte, le stime dei parametri dei minimi quadrati non sono le più efficienti e, dove W (\displaystyle W)è una matrice di pesi definiti positiva simmetrica. I minimi quadrati ordinari sono un caso speciale di questo approccio, quando la matrice dei pesi è proporzionale alla matrice identità. Come è noto, per matrici simmetriche (o operatori) si ha una scomposizione W = P T P (\ displaystyle W = P ^ (T) P). Pertanto, questo funzionale può essere rappresentato come segue e T P T P e = (P e) T P e = e ∗ T e ∗ (\displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *)), cioè questo funzionale può essere rappresentato come la somma dei quadrati di alcuni "residui" trasformati. Pertanto, possiamo distinguere una classe di metodi dei minimi quadrati: metodi LS (Least Squares). È dimostrato (teorema di Aitken) che per un modello di regressione lineare generalizzato (in cui non sono imposte restrizioni alla matrice di covarianza degli errori casuali), le più efficaci (nella classe delle stime lineari imparziali) sono le stime del cosiddetto. OLS generalizzato (OMNK, GLS - Minimi quadrati generalizzati)- Metodo LS con una matrice dei pesi uguale alla matrice di covarianza inversa degli errori casuali: W = V ε - 1 (\ displaystyle W = V_ (\ varepsilon) ^ (-1)). Si può dimostrare che la formula per le stime GLS dei parametri del modello lineare ha la forma B ^ SOL S = (X T V - 1 X) - 1 X T V - 1 y (\ displaystyle (\ hat (b)) _ (GLS) = (X ^ (T) V ^ (-1) X) ^ (-1) X^(T)V^(-1)y). La matrice di covarianza di queste stime, rispettivamente, sarà uguale a V (b ^ G L S) = (X T V - 1 X) - 1 (\displaystyle V((\hat (b))_(GLS))=(X^(T)V^(-1)X)^(- 1)). Infatti, l'essenza dell'OLS risiede in una certa trasformazione (lineare) (P) dei dati originali e nell'applicazione dei consueti minimi quadrati ai dati trasformati. Lo scopo di questa trasformazione è che per i dati trasformati, gli errori casuali soddisfano già le ipotesi classiche. Nel caso di una matrice dei pesi diagonale (e quindi della matrice di covarianza degli errori casuali), abbiamo i cosiddetti minimi quadrati ponderati (WLS - Weighted Least Squares). In questo caso, la somma dei quadrati pesata dei residui del modello è minimizzata, cioè ogni osservazione riceve un "peso" che è inversamente proporzionale alla varianza dell'errore casuale in questa osservazione: e T W e = ∑ t = 1 n e t 2 σ t 2 (\displaystyle e^(T)We=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ sigma_(t)^(2)))). Infatti, i dati vengono trasformati ponderando le osservazioni (dividendo per un importo proporzionale alla deviazione standard presunta degli errori casuali), e ai dati ponderati vengono applicati i minimi quadrati normali. ISBN 978-5-7749-0473-0. Approssimiamo la funzione con un polinomio di 2° grado. Per fare ciò, calcoliamo i coefficienti del normale sistema di equazioni: , Componiamo un sistema normale di minimi quadrati, che ha la forma: La soluzione del sistema è facile da trovare:, , . Si trova così il polinomio di 2° grado: . Background teorico Torna alla pagina<Введение в вычислительную математику. Примеры> Esempio 2. Trovare il grado ottimo di un polinomio. Torna alla pagina<Введение в вычислительную математику. Примеры> Esempio 3. Derivazione di un sistema normale di equazioni per trovare i parametri di una dipendenza empirica. Deriviamo un sistema di equazioni per determinare i coefficienti e le funzioni Quindi il sistema normale assumerà la forma: Abbiamo ottenuto un sistema lineare di equazioni per parametri sconosciuti e, che è facilmente risolvibile. Background teorico Torna alla pagina<Введение в вычислительную математику. Примеры> Esempio. Dati sperimentali sui valori delle variabili X E A sono riportati in tabella. Come risultato del loro allineamento, la funzione Usando metodo dei minimi quadrati, approssimare questi dati con una dipendenza lineare y=ax+b(trova i parametri UN E B). Scopri quale delle due linee è migliore (nel senso del metodo dei minimi quadrati) allinea i dati sperimentali. Fai un disegno. Il problema è trovare i coefficienti di dipendenza lineare per i quali la funzione di due variabili UN E B Pertanto, la soluzione dell'esempio si riduce a trovare l'estremo di una funzione di due variabili. Viene compilato e risolto un sistema di due equazioni in due incognite. Trovare derivate parziali di funzioni Risolviamo il sistema di equazioni risultante con qualsiasi metodo (ad esempio metodo di sostituzione o metodo di Cramer) e ottenere le formule per trovare i coefficienti utilizzando il metodo dei minimi quadrati (LSM). Con i dati UN E B funzione Questo è l'intero metodo dei minimi quadrati. Formula per trovare il parametro UN contiene le somme , , , e il parametro Nè la quantità di dati sperimentali. Si consiglia di calcolare separatamente i valori di queste somme. Coefficiente B trovato dopo il calcolo UN. È tempo di ricordare l'esempio originale. Soluzione. Nel nostro esempio n=5. Compiliamo la tabella per comodità di calcolo degli importi inclusi nelle formule dei coefficienti richiesti. I valori della quarta riga della tabella si ottengono moltiplicando i valori della 2a riga per i valori della 3a riga per ogni numero io. I valori della quinta riga della tabella si ottengono elevando al quadrato i valori della 2a riga per ogni numero io. I valori dell'ultima colonna della tabella sono le somme dei valori nelle righe. Usiamo le formule del metodo dei minimi quadrati per trovare i coefficienti UN E B. Sostituiamo in essi i valori corrispondenti dall'ultima colonna della tabella: Quindi, y=0,165x+2,184è la retta di approssimazione desiderata. Resta da scoprire quale delle linee y=0,165x+2,184 O Per fare ciò, è necessario calcolare le somme dei quadrati delle deviazioni dei dati originali da queste linee Poiché , quindi la linea y=0,165x+2,184 approssima meglio i dati originali. Tutto sembra fantastico nelle classifiche. La linea rossa è la linea trovata y=0,165x+2,184, la linea blu è A cosa serve, a cosa servono tutte queste approssimazioni? Personalmente utilizzo per risolvere problemi di livellamento dei dati, problemi di interpolazione ed estrapolazione (nell'esempio originale, ti potrebbe essere chiesto di trovare il valore del valore osservato si A x=3 o quando x=6 secondo il metodo MNC). Ma di questo parleremo meglio più avanti in un'altra sezione del sito. Inizio pagina Prova. In modo che quando trovato UN E B funzione assume il valore più piccolo, è necessario che a questo punto la matrice della forma quadratica del differenziale di secondo ordine per la funzione Il differenziale di secondo ordine ha la forma: Questo è Pertanto, la matrice della forma quadratica ha la forma Dimostriamo che la matrice è definita positiva. Ciò richiede che i minori degli angoli siano positivi. Minore angolare del primo ordine Minore angolare del secondo ordine Dimostriamolo Conclusione: valori trovati UN E B corrispondono al valore più piccolo della funzione Hai mai capito? Inizio pagina Estrapolazione
- questo è un metodo di ricerca scientifica, che si basa sulla diffusione di tendenze, modelli, relazioni passate e presenti con lo sviluppo futuro dell'oggetto di previsione. I metodi di estrapolazione includono
metodo della media mobile, metodo del livellamento esponenziale, metodo dei minimi quadrati. Essenza metodo dei minimi quadrati
consiste nel minimizzare la somma dei quadrati delle deviazioni tra i valori osservati e calcolati. I valori calcolati vengono trovati in base all'equazione selezionata: l'equazione di regressione. Minore è la distanza tra i valori effettivi e quelli calcolati, più accurata è la previsione basata sull'equazione di regressione. L'analisi teorica dell'essenza del fenomeno in esame, il cui cambiamento viene visualizzato da una serie temporale, serve come base per la scelta di una curva. A volte vengono prese in considerazione considerazioni sulla natura della crescita dei livelli della serie. Quindi, se la crescita della produzione è prevista in una progressione aritmetica, il livellamento viene eseguito in linea retta. Se risulta che la crescita è esponenziale, il livellamento dovrebbe essere eseguito in base alla funzione esponenziale. La formula di lavoro del metodo dei minimi quadrati
: Yt+1 = a*X + b, dove t + 1 è il periodo di previsione; Уt+1 – indicatore previsto; aeb sono coefficienti; X è un simbolo del tempo. I coefficienti a e b sono calcolati secondo le seguenti formule: dove, Uf - i valori effettivi della serie di dinamiche; n è il numero di livelli nella serie temporale; Il livellamento delle serie storiche con il metodo dei minimi quadrati serve a riflettere i modelli di sviluppo del fenomeno in esame. Nell'espressione analitica di un trend, il tempo è considerato una variabile indipendente, ei livelli della serie agiscono in funzione di questa variabile indipendente. Lo sviluppo di un fenomeno non dipende da quanti anni sono trascorsi dal punto di partenza, ma da quali fattori hanno influenzato il suo sviluppo, in quale direzione e con quale intensità. Da ciò è chiaro che lo sviluppo di un fenomeno nel tempo appare come risultato dell'azione di questi fattori. Impostare correttamente il tipo di curva, il tipo di dipendenza analitica dal tempo è uno dei compiti più difficili dell'analisi pre-predittiva.
. La selezione del tipo di funzione che descrive l'andamento, i cui parametri sono determinati con il metodo dei minimi quadrati, viene effettuata empiricamente nella maggior parte dei casi, costruendo un certo numero di funzioni e confrontandole tra loro per il valore della radice- errore quadratico medio calcolato dalla formula: dove Uf - i valori effettivi della serie di dinamiche; Ur – valori calcolati (smussati) delle serie storiche; n è il numero di livelli nella serie temporale; p è il numero di parametri definiti nelle formule che descrivono il trend (trend di sviluppo). Svantaggi del metodo dei minimi quadrati
: Compito
. Esistono dati che caratterizzano il livello di disoccupazione nella regione, % Soluzione dei minimi quadrati
Per la soluzione, compileremo una tabella in cui faremo i calcoli necessari: ε = 28,63/10 = 2,86% accuratezza della previsione alto. Conclusione
: Confrontando i risultati ottenuti nei calcoli metodo della media mobile
, livellamento esponenziale
e il metodo dei minimi quadrati, possiamo dire che l'errore relativo medio nei calcoli con il metodo di livellamento esponenziale è compreso tra il 20 e il 50%. Ciò significa che l'accuratezza della previsione in questo caso è solo soddisfacente. Nel primo e nel terzo caso, l'accuratezza della previsione è elevata, poiché l'errore relativo medio è inferiore al 10%. Ma il metodo della media mobile ha permesso di ottenere risultati più affidabili (previsione per novembre - 1,52%, previsione per dicembre - 1,53%, previsione per gennaio - 1,49%), poiché l'errore relativo medio quando si utilizza questo metodo è il più piccolo - 1 ,13%. Elenco delle fonti utilizzate io- numero del punto sperimentale; Clicca sul grafico Nel campo dati, inserisci su ciascuna riga separata i valori di "x" e "y" in un punto sperimentale. I valori devono essere separati da spazi bianchi (spazio o tab). Il terzo valore può essere il peso in punti di "w". Se il peso in punti non è specificato, è uguale a uno. Nella stragrande maggioranza dei casi i pesi dei punti sperimentali sono sconosciuti o non calcolati; tutti i dati sperimentali sono considerati equivalenti. A volte i pesi nell'intervallo di valori studiato non sono assolutamente equivalenti e possono anche essere calcolati teoricamente. Ad esempio, in spettrofotometria, i pesi possono essere calcolati utilizzando formule semplici, anche se praticamente tutti lo trascurano per ridurre i costi del lavoro. I dati possono essere incollati negli appunti da un foglio di calcolo di una suite per ufficio, come Excel da Microsoft Office o Calc da Open Office. Per fare ciò, nel foglio di lavoro, seleziona l'intervallo di dati da copiare, copia negli appunti e incolla i dati nel campo dati in questa pagina. Per calcolare con il metodo dei minimi quadrati, sono necessari almeno due punti per determinare due coefficienti "b" - la tangente dell'angolo di inclinazione della linea retta e "a" - il valore tagliato dalla linea retta su "y `asse. Per stimare l'errore dei coefficienti di regressione calcolati, è necessario impostare il numero di punti sperimentali su più di due. Maggiore è il numero di punti sperimentali, più accurata è la stima statistica dei coefficienti (a causa della diminuzione del coefficiente di Student) e più vicina è la stima alla stima del campione generale. L'ottenimento di valori in ogni punto sperimentale è spesso associato a costi di manodopera significativi, pertanto viene spesso eseguito un numero di esperimenti di compromesso, che fornisce una stima digeribile e non comporta costi di manodopera eccessivi. Di norma, il numero di punti sperimentali per una dipendenza lineare dei minimi quadrati con due coefficienti viene scelto nella regione di 5-7 punti. Supponiamo di avere un insieme di dati sperimentali sotto forma di coppie di valori [`y_i`, `x_i`], dove `i` è il numero di una misurazione sperimentale da 1 a `n`; `y_i` - il valore del valore misurato nel punto `i`; `x_i` - il valore del parametro che abbiamo impostato nel punto `i`. Un esempio è il funzionamento della legge di Ohm. Modificando la tensione (differenza di potenziale) tra le sezioni del circuito elettrico, misuriamo la quantità di corrente che passa attraverso questa sezione. La fisica ci dà la dipendenza trovata sperimentalmente: `I=U/R`, In questo caso, "y_i" è il valore di corrente misurato e "x_i" è il valore di tensione. Come altro esempio, si consideri l'assorbimento della luce da parte di una soluzione di una sostanza in soluzione. La chimica ci dà la formula: `A = εl C`, In questo caso, "y_i" è la densità ottica misurata "A" e "x_i" è la concentrazione della sostanza che abbiamo impostato. Considereremo il caso in cui l'errore relativo nell'impostazione di `x_i` è molto inferiore all'errore relativo nella misurazione di `y_i`. Supponiamo inoltre che tutti i valori misurati di "y_i" siano casuali e normalmente distribuiti, ad es. obbedire alla legge della distribuzione normale. Nel caso di una dipendenza lineare di `y` su `x`, possiamo scrivere una dipendenza teorica: Da un punto di vista geometrico, il coefficiente "b" indica la tangente dell'angolo di inclinazione della linea rispetto all'asse "x" e il coefficiente "a" - il valore di "y" nel punto di intersezione del linea con l'asse `y` (con `x = 0`). In un esperimento, i valori misurati di "y_i" non possono trovarsi esattamente sulla linea teorica a causa di errori di misurazione, che sono sempre inerenti alla vita reale. Pertanto, un'equazione lineare deve essere rappresentata da un sistema di equazioni: Viene anche chiamata dipendenza (1). regressione, cioè. la dipendenza delle due quantità l'una dall'altra con significatività statistica. Il compito di ripristinare la dipendenza è trovare i coefficienti `a` e `b` dai punti sperimentali [`y_i`, `x_i`]. Per trovare i coefficienti si usa solitamente `a` e `b` metodo dei minimi quadrati(MNK). È un caso particolare del principio di massima verosimiglianza. Riscriviamo (1) come `ε_i = y_i - a - b x_i`. Quindi la somma degli errori al quadrato sarà Il principio del metodo dei minimi quadrati è minimizzare la somma (2) rispetto ai parametri `a` e `b`. Il minimo è raggiunto quando le derivate parziali della somma (2) rispetto ai coefficienti `a` e `b` sono uguali a zero: Espandendo le derivate, otteniamo un sistema di due equazioni in due incognite: Apriamo le parentesi e trasferiamo le somme indipendenti dai coefficienti desiderati nell'altra metà, otteniamo un sistema di equazioni lineari: Risolvendo il sistema risultante, troviamo le formule per i coefficienti "a" e "b": `a = frac(somma_(i=1)^(n) y_i somma_(i=1)^(n) x_i^2 - somma_(i=1)^(n) x_i somma_(i=1)^(n ) x_iy_i) (n somma_(i=1)^(n) x_i^2 - (somma_(i=1)^(n) x_i)^2)` (3.1) `b = frac(n somma_(i=1)^(n) x_iy_i - somma_(i=1)^(n) x_i somma_(i=1)^(n) y_i) (n somma_(i=1)^ (n) x_i^2 - (somma_(i=1)^(n) x_i)^2)` (3.2) Queste formule hanno soluzioni quando `n > 1` (la linea può essere tracciata utilizzando almeno 2 punti) e quando il determinante `D = n sum_(i=1)^(n) x_i^2 — (sum_(i= 1 )^(n) x_i)^2 != 0`, cioè quando i punti `x_i` nell'esperimento sono diversi (cioè quando la linea non è verticale). Per una stima più accurata dell'errore nel calcolo dei coefficienti "a" e "b", è desiderabile un gran numero di punti sperimentali. Quando `n = 2`, è impossibile stimare l'errore dei coefficienti, perché la retta di approssimazione passerà univocamente per due punti. Viene determinato l'errore della variabile casuale "V". legge di accumulazione degli errori Scriviamo la legge dell'accumulo di errori per l'errore dei coefficienti "a" e "b". `S_y^2 = S_(y_i)^2` - l'errore (varianza, deviazione standard al quadrato) nella dimensione `y`, supponendo che l'errore sia uniforme per tutti i valori `y`. Sostituendo le formule per calcolare "a" e "b" nelle espressioni risultanti, otteniamo `S_a^2 = S_y^2 frac(somma_(i=1)^(n) (somma_(i=1)^(n) x_i^2 - x_i somma_(i=1)^(n) x_i)^2 ) (D^2) = S_y^2 frac((n somma_(i=1)^(n) x_i^2 - (somma_(i=1)^(n) x_i)^2) somma_(i=1) ^(n) x_i^2) (D^2) = S_y^2 frac(somma_(i=1)^(n) x_i^2) (D)` (4.1) `S_b^2 = S_y^2 frac(somma_(i=1)^(n) (n x_i - somma_(i=1)^(n) x_i)^2) (D^2) = S_y^2 frac( n (n somma_(i=1)^(n) x_i^2 - (somma_(i=1)^(n) x_i)^2)) (D^2) = S_y^2 frac(n) (D) ` (4.2) Nella maggior parte degli esperimenti reali, il valore di "Sy" non viene misurato. Per fare ciò, è necessario eseguire diverse misurazioni parallele (esperimenti) in uno o più punti del piano, il che aumenta il tempo (ed eventualmente il costo) dell'esperimento. Pertanto, di solito si presume che la deviazione di "y" dalla linea di regressione possa essere considerata casuale. La stima della varianza "y" in questo caso è calcolata dalla formula. `S_y^2 = S_(y, resto)^2 = frac(somma_(i=1)^n (y_i - a - b x_i)^2) (n-2)`. Il divisore `n-2` appare perché abbiamo ridotto il numero di gradi di libertà dovuti al calcolo di due coefficienti per lo stesso campione di dati sperimentali. Questa stima è anche chiamata varianza residua relativa alla retta di regressione `S_(y, rest)^2`. La valutazione della significatività dei coefficienti è effettuata secondo il criterio dello Studente `t_a = frac(|a|) (S_a)`, `t_b = frac(|b|) (S_b)` Se i criteri calcolati `t_a`, `t_b` sono inferiori ai criteri della tabella `t(P, n-2)`, allora si considera che il coefficiente corrispondente non è significativamente diverso da zero con una data probabilità `P`. Per valutare la qualità della descrizione di una relazione lineare, puoi confrontare `S_(y, rest)^2` e `S_(bar y)` rispetto alla media utilizzando il criterio di Fisher. `S_(barra y) = frac(somma_(i=1)^n (y_i - barra y)^2) (n-1) = frac(somma_(i=1)^n (y_i - (somma_(i= 1)^n y_i) /n)^2) (n-1)` - stima campionaria della varianza di `y` rispetto alla media. Per valutare l'efficacia dell'equazione di regressione per descrivere la dipendenza, viene calcolato il coefficiente di Fisher Se `F > F(P, n-1, n-2)`, la differenza tra la descrizione della dipendenza `y = f(x)` utilizzando l'equazione di regressione e la descrizione utilizzando la media è considerata statisticamente significativa con probabilità `P`. Quelli. la regressione descrive la dipendenza meglio della diffusione di "y" attorno alla media. Clicca sul grafico Il metodo dei minimi quadrati significa la determinazione di parametri sconosciuti a, b, c,… dipendenza funzionale accettata y = f(x,a,b,c,…), che fornirebbe un minimo del quadrato medio (varianza) dell'errore dove x io , y io - insieme di coppie di numeri ottenuti dall'esperimento. Poiché la condizione per l'estremo di una funzione di più variabili è la condizione che le sue derivate parziali siano uguali a zero, allora i parametri a, b, c,… sono determinati dal sistema di equazioni: ; ; ; … (25) Va ricordato che il metodo dei minimi quadrati viene utilizzato per selezionare i parametri dopo la forma della funzione y = f(x) definito. Se da considerazioni teoriche è impossibile trarre conclusioni su quale dovrebbe essere la formula empirica, allora bisogna essere guidati da rappresentazioni visive, principalmente una rappresentazione grafica dei dati osservati. In pratica, il più delle volte limitato ai seguenti tipi di funzioni: 1) lineare 2) quadratico a . L'essenza del metodo dei minimi quadrati è
nel trovare i parametri di un modello di trend che meglio descriva il trend di sviluppo di qualche fenomeno casuale nel tempo o nello spazio (un trend è una linea che caratterizza il trend di questo sviluppo). Il compito del metodo dei minimi quadrati (OLS) è trovare non solo un modello di tendenza, ma trovare il modello migliore o ottimale. Questo modello sarà ottimale se la somma dei quadrati delle deviazioni tra i valori effettivi osservati e i corrispondenti valori di tendenza calcolati è minima (più piccola): dove è la deviazione standard tra il valore effettivo osservato e il corrispondente valore di tendenza calcolato, Il valore effettivo (osservato) del fenomeno oggetto di studio, Valore stimato del modello di tendenza, Il numero di osservazioni del fenomeno oggetto di studio. MNC è usato raramente da solo. Di norma, il più delle volte viene utilizzato solo come tecnica necessaria negli studi di correlazione.
Va ricordato che la base informativa del LSM può essere solo una serie statistica attendibile e il numero di osservazioni non deve essere inferiore a 4, altrimenti le procedure di livellamento del LSM potrebbero perdere il loro buon senso. Il toolkit OLS si riduce alle seguenti procedure: Prima procedura.
Si scopre se c'è qualche tendenza al cambiamento nell'attributo risultante quando cambia l'argomento-fattore selezionato, o in altre parole, se c'è una connessione tra " A
" E " X
». Seconda procedura.
Viene determinato quale linea (traiettoria) è meglio in grado di descrivere o caratterizzare questa tendenza. Terza procedura.
Esempio. Supponiamo di avere informazioni sulla resa media di girasole per l'azienda in esame (Tabella 9.1). Tabella 9.1 Numero di osservazione Produttività, c/ha Poiché il livello di tecnologia nella produzione di girasole nel nostro Paese non è cambiato molto negli ultimi 10 anni, significa che, molto probabilmente, le fluttuazioni della resa nel periodo analizzato sono dipese molto dalle fluttuazioni delle condizioni meteorologiche e climatiche. È vero? Prima procedura MNC.
È in fase di verifica l'ipotesi circa l'esistenza di un andamento della variazione della resa del girasole in funzione dei cambiamenti delle condizioni meteorologiche e climatiche nei 10 anni analizzati. In questo esempio, per " si
» si consiglia di prendere la resa del girasole, e per « X
» è il numero dell'anno osservato nel periodo analizzato. Testare l'ipotesi sull'esistenza di qualsiasi relazione tra " X
" E " si
» può avvenire in due modi: manualmente e con l'ausilio di programmi informatici. Naturalmente, con la disponibilità della tecnologia informatica, questo problema si risolve da solo. Ma, per comprendere meglio il toolkit OLS, è consigliabile verificare l'ipotesi sull'esistenza di una relazione tra " X
" E " si
» manualmente, quando sono a portata di mano solo una penna e una normale calcolatrice. In tali casi, l'ipotesi dell'esistenza di una tendenza è meglio verificata visivamente dalla posizione dell'immagine grafica delle serie temporali analizzate - il campo di correlazione: Il campo di correlazione nel nostro esempio si trova attorno a una linea che sale lentamente. Questo di per sé indica l'esistenza di una certa tendenza nella variazione della resa del girasole. È impossibile parlare della presenza di qualsiasi tendenza solo quando il campo di correlazione sembra un cerchio, un cerchio, una nuvola strettamente verticale o strettamente orizzontale o è costituito da punti sparsi casualmente. In tutti gli altri casi, è necessario confermare l'ipotesi dell'esistenza di una relazione tra " X
" E " si
e continuare la ricerca. Seconda procedura MNC.
Si determina quale linea (traiettoria) è meglio in grado di descrivere o caratterizzare l'andamento delle variazioni della resa del girasole per il periodo analizzato. Con la disponibilità della tecnologia informatica, la selezione della tendenza ottimale avviene automaticamente. Con l'elaborazione "manuale", la scelta della funzione ottimale viene effettuata, di norma, in modo visivo, dalla posizione del campo di correlazione. Cioè, in base al tipo di grafico, viene selezionata l'equazione della linea, che è più adatta all'andamento empirico (alla traiettoria effettiva). Come sapete, in natura esiste un'enorme varietà di dipendenze funzionali, quindi è estremamente difficile analizzarne visivamente anche una piccola parte. Fortunatamente, nella pratica economica reale, la maggior parte delle relazioni può essere accuratamente descritta da una parabola, da un'iperbole o da una linea retta. A questo proposito, con l'opzione "manuale" per la selezione della funzione migliore, puoi limitarti solo a questi tre modelli. Iperbole: Parabola del secondo ordine: È facile vedere che nel nostro esempio, la tendenza delle variazioni della resa dei girasoli nei 10 anni analizzati è meglio caratterizzata da una linea retta, quindi l'equazione di regressione sarà un'equazione in linea retta. Terza procedura.
Si calcolano i parametri dell'equazione di regressione che caratterizza questa linea, ovvero si determina una formula analitica che descrive il miglior modello di trend. Trovare i valori dei parametri dell'equazione di regressione, nel nostro caso i parametri e , è il nocciolo dei minimi quadrati. Questo processo si riduce alla risoluzione di un sistema di equazioni normali. Questo sistema di equazioni è facilmente risolvibile con il metodo di Gauss. Ricordiamo che come risultato della soluzione, nel nostro esempio, vengono trovati i valori dei parametri e. Pertanto, l'equazione di regressione trovata avrà la seguente forma: 
YouTube enciclopedico
Sottotitoli
Storia
L'essenza del metodo dei minimi quadrati
Esempio - sistema di equazioni lineari
OLS nell'analisi di regressione (approssimazione dei dati)
LSM nel caso di regressione lineare
I casi speciali più semplici
Il caso di un modello polinomiale
Proprietà statistiche delle stime OLS
Minimi quadrati ponderati
, 
, che esegue l'approssimazione quadratica media della funzione data rispetto ai punti. Comporre una funzione 
e scrivi la condizione estrema necessaria per esso:
L'essenza del metodo dei minimi quadrati (LSM).
assume il valore più piccolo. Cioè, dati i dati UN E B la somma delle deviazioni al quadrato dei dati sperimentali dalla retta trovata sarà la più piccola. Questo è il punto centrale del metodo dei minimi quadrati.Derivazione di formule per trovare i coefficienti.
per variabili UN E B, equipariamo queste derivate a zero. 
assume il valore più piccolo. La prova di questo fatto è data di seguito nel testo a fine pagina.
approssima meglio i dati originali, cioè per fare una stima usando il metodo dei minimi quadrati.Stima dell'errore del metodo dei minimi quadrati.
E 
, un valore minore corrisponde a una linea che approssima meglio i dati originali in termini di metodo dei minimi quadrati. 
Illustrazione grafica del metodo dei minimi quadrati (LSM).
, i punti rosa sono i dati originali.
era definito positivo. Dimostriamolo.
e i valori degli elementi non dipendono da UN E B.
. La disuguaglianza è stretta, poiché i punti non coincidono. Questo sarà implicito in quanto segue.
metodo di induzione matematica.
, quindi, sono i parametri desiderati per il metodo dei minimi quadrati.
Ordina una soluzioneSviluppo di una previsione utilizzando il metodo dei minimi quadrati. Esempio di soluzione del problema
Un esempio di utilizzo del metodo dei minimi quadrati per sviluppare una previsione
Metodo dei minimi quadrati
Altri articoli correlati:
Programma MNE
Inserisci i dati
Dati e approssimazione y = a + b x
x io- il valore del parametro fisso nel punto io;
si io- il valore del parametro misurato nel punto io;
ω i- peso di misura al punto io;
si io, calc.- la differenza tra il valore misurato e il valore calcolato dalla regressione si al punto io;
S x io (x io)- stima dell'errore x io durante la misurazione si al punto io.Dati e approssimazione y = kx
io
x io
si io
ω i
si io, calc.
Sì io
S x io (x io)
Manuale utente per il programma online MNC.
Metodo dei minimi quadrati (LSM).
Una breve teoria dei minimi quadrati per la dipendenza lineare
dove "I" è la forza attuale; `R` - resistenza; `U` - tensione.
dove `A` è la densità ottica della soluzione; `ε` - trasmittanza del soluto; `l` - lunghezza del percorso quando la luce passa attraverso una cuvetta con una soluzione; "C" è la concentrazione del soluto.
`y = a + bx`.Trovare i parametri della retta di regressione.
`y_i = a + b x_i + ε_i` (1),
dove "ε_i" è l'errore di misura sconosciuto di "y" nell'esperimento "i".
`Φ = somma_(i=1)^(n) ε_i^2 = somma_(i=1)^(n) (y_i - a - b x_i)^2`. (2)
`frac(Φ parziale)(a parziale) = frac(somma parziale_(i=1)^(n) (y_i - a - b x_i)^2)(a parziale) = 0`
`frac(Φ parziale)(b parziale) = frac(somma parziale_(i=1)^(n) (y_i - a - b x_i)^2)(b parziale) = 0`
`somma_(i=1)^(n) (2a + 2bx_i - 2y_i) = somma_(i=1)^(n) (a + bx_i - y_i) = 0`
`somma_(i=1)^(n) (2bx_i^2 + 2ax_i - 2x_iy_i) = somma_(i=1)^(n) (bx_i^2 + ax_i - x_iy_i) = 0`
`somma_(i=1)^(n) y_i = a n + b somma_(i=1)^(n) bx_i`
`somma_(i=1)^(n) x_iy_i = a somma_(i=1)^(n) x_i + b somma_(i=1)^(n) x_i^2`Stima degli errori nei coefficienti della retta di regressione
`S_V^2 = somma_(i=1)^p (frac(f parziale)(z_i parziale))^2 S_(z_i)^2`,
dove `p` è il numero di parametri `z_i` con errore `S_(z_i)` che influenzano l'errore `S_V`;
"f" è una funzione di dipendenza di "V" su "z_i".
`S_a^2 = somma_(i=1)^(n)(frac(a parziale)(y_i parziale))^2 S_(y_i)^2 + somma_(i=1)^(n)(frac(a parziale )(x_i parziale))^2 S_(x_i)^2 = S_y^2 sum_(i=1)^(n)(frac(a parziale)(y_i parziale))^2 `,
`S_b^2 = somma_(i=1)^(n)(frac(b parziale)(y_i parziale))^2 S_(y_i)^2 + somma_(i=1)^(n)(frac(b parziale )(x_i parziale))^2 S_(x_i)^2 = S_y^2 sum_(i=1)^(n)(frac(b parziale)(y_i parziale))^2 `,
Perché `S_(x_i)^2 = 0` (precedentemente abbiamo fatto una riserva che l'errore di `x` è trascurabile).
`F = S_(barra y) / S_(y, riposo)^2`,
che viene confrontato con il coefficiente tabulare di Fisher `F(p, n-1, n-2)`.
per aggiungere valori alla tabellaMetodo dei minimi quadrati. Il metodo dei minimi quadrati significa la determinazione dei parametri sconosciuti a, b, c, la dipendenza funzionale accettata
, (24)
;
:
(9.2)
