Analiza datelor folosind metoda celor mai mici pătrate. Metoda celor mai mici pătrate în Excel
Metoda celor mai mici pătrate
În lecția finală a subiectului, ne vom familiariza cu cea mai cunoscută aplicație FNP, care își găsește cea mai largă aplicație în diverse domenii ale științei și activității practice. Aceasta ar putea fi fizică, chimie, biologie, economie, sociologie, psihologie și așa mai departe și așa mai departe. Prin voința sorții, de multe ori trebuie să mă ocup de economie și, prin urmare, astăzi vă voi aranja o excursie într-o țară uimitoare numită Econometrie=) ...Cum sa nu-l vrei?! Este foarte bine acolo – trebuie doar să vă hotărâți! ...Dar ceea ce probabil că vrei cu siguranță este să înveți cum să rezolvi problemele metoda celor mai mici pătrate. Și mai ales cititorii harnici vor învăța să le rezolve nu doar cu acuratețe, ci și FOARTE RAPID ;-) Dar mai întâi expunerea generală a problemei+ exemplu însoțitor:
Să studiem indicatorii dintr-un anumit domeniu care au o expresie cantitativă. În același timp, există toate motivele să credem că indicatorul depinde de indicator. Această ipoteză poate fi fie o ipoteză științifică, fie bazată pe bunul simț de bază. Să lăsăm totuși știința deoparte și să explorăm zone mai apetisante - și anume, magazinele alimentare. Să notăm prin:
– suprafata comerciala a unui magazin alimentar, mp,
– cifra de afaceri anuală a unui magazin alimentar, milioane de ruble.
Este absolut clar că, cu cât suprafața magazinului este mai mare, cu atât va fi mai mare în majoritatea cazurilor cifra de afaceri a acestuia.
Sa presupunem ca dupa efectuarea observatiilor/experimentelor/calculelor/dansurilor cu tamburina avem la dispozitie date numerice: 
Cu magazinele alimentare, cred că totul este clar: - aceasta este zona primului magazin, - cifra de afaceri anuală a acestuia, - zona celui de-al doilea magazin, - cifra de afaceri anuală etc. Apropo, nu este deloc necesar să aveți acces la materiale clasificate - o evaluare destul de precisă a cifrei de afaceri comerciale poate fi obținută prin intermediul statistici matematice. Totuși, să nu ne distragem, cursul de spionaj comercial este deja plătit =)
Datele tabelare pot fi, de asemenea, scrise sub formă de puncte și descrise în forma familiară Sistemul cartezian .
Să răspundem la o întrebare importantă: Câte puncte sunt necesare pentru un studiu calitativ?
Cu cât mai mare cu atât mai bine. Setul minim acceptabil este format din 5-6 puncte. În plus, atunci când cantitatea de date este mică, rezultatele „anomale” nu pot fi incluse în eșantion. Deci, de exemplu, un mic magazin de elită poate câștiga ordine de mărime mai mult decât „colegii săi”, distorsionând astfel modelul general pe care trebuie să-l găsiți!
Pentru a spune foarte simplu, trebuie să selectăm o funcție, programa care trece cât mai aproape de puncte 
. Această funcție este numită aproximând
(aproximare - aproximare) sau functie teoretica
. În general, aici apare imediat un „concurent” evident - un polinom de grad înalt, al cărui grafic trece prin TOATE punctele. Dar această opțiune este complicată și adesea pur și simplu incorectă. (deoarece graficul se va „încerca” tot timpul și reflectă slab tendința principală).
Astfel, funcția căutată trebuie să fie destul de simplă și, în același timp, să reflecte adecvat dependența. După cum ați putea ghici, una dintre metodele pentru găsirea unor astfel de funcții este numită metoda celor mai mici pătrate. În primul rând, să ne uităm la esența sa în termeni generali. Lasă o anumită funcție să aproximeze datele experimentale: 
Cum se evaluează acuratețea acestei aproximări? Să calculăm și diferențele (abaterile) dintre valorile experimentale și cele funcționale (studiam desenul). Primul gând care îmi vine în minte este de a estima cât de mare este suma, dar problema este că diferențele pot fi negative. (De exemplu, 
)
iar abaterile ca urmare a unei astfel de însumări se vor anula reciproc. Prin urmare, ca o estimare a preciziei aproximării, se cere să se ia suma module abateri:
sau prăbușit: (in caz ca cineva nu stie:
este pictograma sumei și
– o variabilă „contor” auxiliară, care ia valori de la 1 la
)
.
Aproximând punctele experimentale cu diferite funcții, vom obține valori diferite și este evident unde această sumă este mai mică - acea funcție este mai precisă.
O astfel de metodă există și se numește metoda modulului minim. Cu toate acestea, în practică a devenit mult mai răspândită metoda celor mai mici pătrate, în care posibilele valori negative sunt eliminate nu prin modul, ci prin pătrarea abaterilor:
, după care eforturile sunt direcționate către selectarea unei astfel de funcție încât suma abaterilor pătrate 
era cât se poate de mică. De fapt, de aici provine numele metodei.
Și acum revenim la un alt punct important: după cum sa menționat mai sus, funcția selectată ar trebui să fie destul de simplă - dar există și multe astfel de funcții: liniar , hiperbolic , exponenţială , logaritmică , pătratică etc. Și, desigur, aici aș dori imediat să „reduc domeniul de activitate”. Ce clasă de funcții ar trebui să aleg pentru cercetare? O tehnică primitivă, dar eficientă:
– Cel mai simplu mod este să descrii puncte pe desen și analizați locația acestora. Dacă au tendința de a alerga în linie dreaptă, atunci ar trebui să cauți ecuația unei linii 
cu valori optime și . Cu alte cuvinte, sarcina este de a găsi ACEPTĂ coeficienți astfel încât suma abaterilor pătrate să fie cea mai mică.
Dacă punctele sunt situate, de exemplu, de-a lungul hiperbolă, atunci este evident clar că funcția liniară va da o aproximare slabă. În acest caz, căutăm cei mai „favorabili” coeficienți pentru ecuația hiperbolei - cei care dau suma minimă a pătratelor 
.
Acum rețineți că în ambele cazuri vorbim funcţiile a două variabile, ale căror argumente sunt parametrii de dependență căutați:
Și, în esență, trebuie să rezolvăm o problemă standard - găsiți funcţie minimă a două variabile.
Să ne amintim exemplul nostru: să presupunem că punctele „de depozit” tind să fie situate în linie dreaptă și există toate motivele să credem că dependență liniară cifra de afaceri din spațiul comercial. Să găsim astfel de coeficienți „a” și „fi” astfel încât suma abaterilor pătrate 
a fost cel mai mic. Totul este ca de obicei - mai întâi Derivate parțiale de ordinul I. Conform regula liniarității Puteți diferenția chiar sub pictograma sumă: 
Dacă doriți să folosiți aceste informații pentru un eseu sau un referat, vă voi fi foarte recunoscător pentru linkul din lista de surse; veți găsi astfel de calcule detaliate în câteva locuri: 
Să creăm un sistem standard: 
Reducem fiecare ecuație cu „două” și, în plus, „despărțim” sumele: 
Notă
: analizați în mod independent de ce „a” și „fi” pot fi scoase dincolo de pictograma sumei. Apropo, formal acest lucru se poate face cu suma 
Să rescriem sistemul în formă „aplicată”: 
după care începe să apară algoritmul pentru rezolvarea problemei noastre:
Cunoaștem coordonatele punctelor? Noi stim. Sume 
il putem gasi? Uşor. Să facem cel mai simplu sistem de două ecuații liniare în două necunoscute(„a” și „fi”). Rezolvăm sistemul, de exemplu, metoda lui Cramer, în urma căruia obținem un punct staționar. Control condiție suficientă pentru un extremum, putem verifica că în acest moment funcția 
ajunge exact minim. Verificarea presupune calcule suplimentare și, prin urmare, o vom lăsa în culise (dacă este necesar, cadrul lipsă poate fi vizualizatAici
)
. Tragem concluzia finală:
Funcţie 
cel mai bun mod (cel puțin în comparație cu orice altă funcție liniară) apropie punctele experimentale . În linii mari, graficul său trece cât mai aproape de aceste puncte. In traditie econometrie funcţia de aproximare rezultată se mai numeşte ecuație de regresie liniară pereche
.
Problema luată în considerare este de mare importanță practică. În situația noastră exemplu, Ec. vă permite să preziceți ce cifră de afaceri comercială ("Igrec") magazinul va avea la una sau alta valoare a zonei de vânzare (unul sau altul sens al lui „x”). Da, prognoza rezultată va fi doar o prognoză, dar în multe cazuri se va dovedi a fi destul de precisă.
Voi analiza doar o problemă cu numerele „reale”, deoarece nu există dificultăți în ea - toate calculele sunt la nivelul curriculum-ului școlar de clasa a VII-a-8. În 95 la sută din cazuri, vi se va cere să găsiți doar o funcție liniară, dar la sfârșitul articolului voi arăta că nu este mai dificil să găsiți ecuațiile hiperbolei optime, ale exponențiale și ale altor funcții.
De fapt, rămâne să distribuiți bunătățile promise - astfel încât să învățați cum să rezolvați astfel de exemple nu numai cu acuratețe, ci și rapid. Studiem cu atenție standardul:
Sarcină
În urma studierii relației dintre doi indicatori, s-au obținut următoarele perechi de numere: 
Folosind metoda celor mai mici pătrate, găsiți funcția liniară care aproximează cel mai bine empiric (cu experienta) date. Realizați un desen pe care, într-un sistem de coordonate dreptunghiular cartezian, să trasați punctele experimentale și un grafic al funcției de aproximare 
. Aflați suma abaterilor pătrate dintre valorile empirice și teoretice. Aflați dacă funcția ar fi mai bună (din punct de vedere al metodei celor mai mici pătrate) apropie punctele experimentale.
Rețineți că valorile „x” sunt valori naturale, iar aceasta are o semnificație caracteristică, despre care voi vorbi puțin mai târziu; dar ele, desigur, pot fi și fracționate. În plus, în funcție de conținutul unei anumite sarcini, atât valorile „X” cât și „G” pot fi complet sau parțial negative. Ei bine, ni s-a dat o sarcină „fără chip” și o începem soluţie:
Găsim coeficienții funcției optime ca soluție a sistemului: 
În scopul unei notații mai compacte, variabila „contor” poate fi omisă, deoarece este deja clar că însumarea se realizează de la 1 la .
Este mai convenabil să calculați sumele necesare în formă tabelară: 
Calculele pot fi efectuate pe un microcalculator, dar este mult mai bine să utilizați Excel - atât mai rapid, cât și fără erori; vezi un scurt video:
Astfel, obținem următoarele sistem:
Aici puteți înmulți a doua ecuație cu 3 și scădeți al 2-lea din prima ecuație termen cu termen. Dar acesta este noroc - în practică, sistemele nu sunt adesea dotate și, în astfel de cazuri, economisesc metoda lui Cramer:
, ceea ce înseamnă că sistemul are o soluție unică.
Hai să facem o verificare. Înțeleg că nu vrei, dar de ce să sari peste erorile în care nu pot fi ratate? Să înlocuim soluția găsită în partea stângă a fiecărei ecuații a sistemului:
Se obțin părțile din dreapta ecuațiilor corespunzătoare, ceea ce înseamnă că sistemul este rezolvat corect.
Astfel, funcția de aproximare dorită: – de la toate funcțiile liniare Ea este cea care aproximează cel mai bine datele experimentale.
Spre deosebire de Drept
dependenţa cifrei de afaceri a magazinului de suprafaţa acestuia, dependenţa constatată este verso
(principiul „cu cât mai mult, cu atât mai puțin”), iar acest fapt este imediat relevat de negativ coeficient unghiular. Funcţie 
ne spune că cu o creștere a unui anumit indicator cu 1 unitate, valoarea indicatorului dependent scade in medie cu 0,65 unități. După cum se spune, cu cât prețul hrișcii este mai mare, cu atât se vinde mai puțin.
Pentru a reprezenta graficul funcției de aproximare, găsim cele două valori ale acesteia:
și executați desenul: 
Linia dreaptă construită se numește linie de tendință
(și anume, o linie de tendință liniară, adică, în cazul general, o tendință nu este neapărat o linie dreaptă). Toată lumea este familiarizată cu expresia „a fi în tendință” și cred că acest termen nu are nevoie de comentarii suplimentare.
Să calculăm suma abaterilor pătrate 
între valorile empirice şi cele teoretice. Geometric, aceasta este suma pătratelor lungimii segmentelor „zmeură”. (dintre care două sunt atât de mici încât nici măcar nu sunt vizibile).
Să rezumam calculele într-un tabel: 
Din nou, pot fi făcute manual; pentru orice eventualitate, voi da un exemplu pentru primul punct: 
dar este mult mai eficient să o faci în modul deja cunoscut:
Repetăm încă o dată: Care este semnificația rezultatului obținut? Din toate funcțiile liniare funcția y indicatorul este cel mai mic, adică din familia sa este cea mai bună aproximare. Și aici, apropo, întrebarea finală a problemei nu este întâmplătoare: ce se întâmplă dacă funcția exponențială propusă va aproxima mai bine punctele experimentale?
Să găsim suma corespunzătoare a abaterilor pătrate - pentru a distinge, le voi desemna cu litera „epsilon”. Tehnica este exact aceeași:
Și din nou, pentru orice eventualitate, calculele pentru primul punct: 
În Excel folosim funcția standard EXP (sintaxa poate fi găsită în Ajutor Excel).
Concluzie: , ceea ce înseamnă că funcția exponențială aproximează punctele experimentale mai rău decât o dreaptă .
Dar aici trebuie remarcat că „mai rău” este nu înseamnă încă, Ce s-a întâmplat. Acum am construit un grafic al acestei funcții exponențiale - și trece, de asemenea, aproape de puncte 
- atât de mult încât fără cercetare analitică este greu de spus care funcție este mai precisă.
Aceasta încheie soluția și revin la întrebarea valorilor naturale ale argumentului. În diverse studii, de obicei economice sau sociologice, „X”-urile naturale sunt folosite pentru a număra luni, ani sau alte intervale de timp egale. Luați în considerare, de exemplu, următoarea problemă:
Următoarele date sunt disponibile cu privire la cifra de afaceri cu amănuntul a magazinului pentru prima jumătate a anului:
Folosind alinierea analitică în linie dreaptă, determinați volumul cifrei de afaceri pentru iulie.
Da, nicio problemă: numerotăm lunile 1, 2, 3, 4, 5, 6 și folosim algoritmul obișnuit, în urma căruia obținem o ecuație - singurul lucru este că, când vine vorba de timp, de obicei folosesc litera „te” (deși acest lucru nu este critic). Ecuația rezultată arată că în prima jumătate a anului cifra de afaceri din comerț a crescut în medie cu 27,74 unități. pe luna. Să luăm prognoza pentru iulie (luna nr. 7): d.e.
Și există nenumărate sarcini ca aceasta. Cei care doresc pot folosi un serviciu suplimentar si anume my Calculator Excel (versiunea demo), care rezolvă problema analizată aproape instantaneu! Versiunea de lucru a programului este disponibilă în schimb sau pentru onorariu simbolic.
La sfârșitul lecției, informații scurte despre găsirea dependențelor de alte tipuri. De fapt, nu sunt multe de spus, deoarece abordarea fundamentală și algoritmul de soluție rămân aceleași.
Să presupunem că aranjarea punctelor experimentale seamănă cu o hiperbolă. Apoi, pentru a găsi coeficienții celei mai bune hiperbole, trebuie să găsiți minimul funcției - oricine poate efectua calcule detaliate și poate ajunge la un sistem similar: 
Din punct de vedere tehnic formal, se obține dintr-un sistem „liniar”. 
(să-l notăm cu un asterisc)înlocuind „x” cu . Ei bine, cum rămâne cu sumele? 
calculați, după care la coeficienții optimi „a” și „fi” la indemana.
Dacă există toate motivele să credem că punctele sunt situate de-a lungul unei curbe logaritmice, apoi pentru a găsi valorile optime găsim minimul funcției 
. În mod oficial, în sistem (*) trebuie înlocuit cu: 
Când efectuați calcule în Excel, utilizați funcția LN. Mărturisesc că nu mi-ar fi deosebit de dificil să creez calculatoare pentru fiecare dintre cazurile luate în considerare, dar tot ar fi mai bine dacă ai „programa” singur calculele. Videoclipuri de lecție pentru a ajuta.
Cu dependența exponențială situația este puțin mai complicată. Pentru a reduce problema la cazul liniar, luăm funcția logaritm și folosim proprietățile logaritmului:
Acum, comparând funcția rezultată cu funcția liniară, ajungem la concluzia că în sistem (*) trebuie înlocuit cu , și – cu . Pentru comoditate, să notăm: 
Vă rugăm să rețineți că sistemul este rezolvat în raport cu și, prin urmare, după găsirea rădăcinilor, nu trebuie să uitați să găsiți coeficientul în sine.
Pentru a apropia punctele experimentale parabolă optimă 
, ar trebui găsit funcţie minimă a trei variabile. După efectuarea acțiunilor standard, obținem următoarea „funcționare” sistem:
Da, desigur, aici sunt mai multe sume, dar nu există deloc dificultăți atunci când utilizați aplicația preferată. Și, în sfârșit, vă voi spune cum să efectuați rapid o verificare folosind Excel și să construiți linia de tendință dorită: creați un grafic de dispersie, selectați oricare dintre punctele cu mouse-ul și faceți clic dreapta pentru a selecta opțiunea „Adăugați o linie de tendință”. Apoi, selectați tipul de diagramă și pe filă "Opțiuni" activați opțiunea „Afișați ecuația pe diagramă”. Bine
Ca întotdeauna, vreau să închei articolul cu o frază frumoasă și aproape că am tastat „Fii în tendințe!” Dar s-a răzgândit în timp. Și nu pentru că este stereotip. Nu știu cum este pentru nimeni, dar nu prea vreau să urmăresc tendința promovată americană și mai ales europeană =) Prin urmare, vă doresc fiecăruia dintre voi să rămână la propria linie!
http://www.grandars.ru/student/vysshaya-matematika/metod-naimenshih-kvadratov.html
Metoda celor mai mici pătrate este una dintre cele mai comune și mai dezvoltate datorită ei simplitatea și eficiența metodelor de estimare a parametrilor modelelor econometrice liniare. În același timp, atunci când îl utilizați, trebuie să aveți grijă, deoarece modelele construite folosindu-l pot să nu satisfacă o serie de cerințe pentru calitatea parametrilor lor și, ca urmare, să nu reflecte „bine” tiparele de dezvoltare a procesului. suficient.
Să luăm în considerare mai detaliat procedura de estimare a parametrilor unui model econometric liniar folosind metoda celor mai mici pătrate. Un astfel de model în general poate fi reprezentat prin ecuația (1.2):
y t = a 0 + a 1 x 1t +...+ a n x nt + ε t.
Datele inițiale la estimarea parametrilor a 0 , a 1 ,..., a n sunt un vector de valori ale variabilei dependente y= (y 1 , y 2 , ... , y T)" și matricea valorilor variabilelor independente
în care prima coloană, formată din unele, corespunde coeficientului de model.
Metoda celor mai mici pătrate și-a primit numele pe baza principiului de bază conform căruia estimările parametrilor obținute pe baza ei trebuie să satisfacă: suma pătratelor erorii de model ar trebui să fie minimă.
Exemple de rezolvare a problemelor prin metoda celor mai mici pătrate
Exemplul 2.1.Întreprinderea comercială are o rețea de 12 magazine, informații despre activitățile cărora sunt prezentate în tabel. 2.1.
Conducerea întreprinderii ar dori să știe în ce măsură dimensiunea cifrei de afaceri anuale depinde de spațiul de vânzare cu amănuntul al magazinului.
Tabelul 2.1
| Numărul magazinului | Cifra de afaceri anuală, milioane de ruble. | Suprafata comerciala, mii m2 |
| 19,76 | 0,24 | |
| 38,09 | 0,31 | |
| 40,95 | 0,55 | |
| 41,08 | 0,48 | |
| 56,29 | 0,78 | |
| 68,51 | 0,98 | |
| 75,01 | 0,94 | |
| 89,05 | 1,21 | |
| 91,13 | 1,29 | |
| 91,26 | 1,12 | |
| 99,84 | 1,29 | |
| 108,55 | 1,49 |
Soluția celor mai mici pătrate. Să notăm cifra de afaceri anuală a celui de-al-lea magazin, milioane de ruble; - suprafața comercială a celui de-al-lea magazin, mii m2.
Fig.2.1. Scatterplot pentru Exemplul 2.1
Pentru a determina forma relației funcționale dintre variabile și vom construi o diagramă de dispersie (Fig. 2.1).
Pe baza diagramei de dispersie, putem concluziona că cifra de afaceri anuală este dependentă pozitiv de spațiul comercial (adică, y va crește odată cu creșterea ). Cea mai potrivită formă de conexiune funcțională este liniar.
Informațiile pentru calcule suplimentare sunt prezentate în tabel. 2.2. Folosind metoda celor mai mici pătrate, estimăm parametrii unui model econometric liniar cu un singur factor
Tabelul 2.2
| t | YT | x 1t | y t 2 | x 1t 2 | x 1t y t |
| 19,76 | 0,24 | 390,4576 | 0,0576 | 4,7424 | |
| 38,09 | 0,31 | 1450,8481 | 0,0961 | 11,8079 | |
| 40,95 | 0,55 | 1676,9025 | 0,3025 | 22,5225 | |
| 41,08 | 0,48 | 1687,5664 | 0,2304 | 19,7184 | |
| 56,29 | 0,78 | 3168,5641 | 0,6084 | 43,9062 | |
| 68,51 | 0,98 | 4693,6201 | 0,9604 | 67,1398 | |
| 75,01 | 0,94 | 5626,5001 | 0,8836 | 70,5094 | |
| 89,05 | 1,21 | 7929,9025 | 1,4641 | 107,7505 | |
| 91,13 | 1,29 | 8304,6769 | 1,6641 | 117,5577 | |
| 91,26 | 1,12 | 8328,3876 | 1,2544 | 102,2112 | |
| 99,84 | 1,29 | 9968,0256 | 1,6641 | 128,7936 | |
| 108,55 | 1,49 | 11783,1025 | 2,2201 | 161,7395 | |
| S | 819,52 | 10,68 | 65008,554 | 11,4058 | 858,3991 |
| In medie | 68,29 | 0,89 |
Prin urmare,
Prin urmare, cu o creștere a spațiului de vânzare cu amănuntul cu 1 mie m2, celelalte lucruri fiind egale, cifra de afaceri medie anuală crește cu 67,8871 milioane de ruble.
Exemplul 2.2. Conducerea companiei a observat că cifra de afaceri anuală depinde nu doar de aria de vânzare a magazinului (vezi exemplul 2.1), ci și de numărul mediu de vizitatori. Informațiile relevante sunt prezentate în tabel. 2.3.
Tabelul 2.3
Soluţie. Să notăm - numărul mediu de vizitatori ai magazinului pe zi, mii de oameni.
Pentru a determina forma relației funcționale dintre variabile și vom construi o diagramă de dispersie (Fig. 2.2).
Pe baza graficului de dispersie, putem concluziona că cifra de afaceri anuală depinde pozitiv de numărul mediu de vizitatori pe zi (adică, y va crește odată cu creșterea ). Forma dependenței funcționale este liniară.
Orez. 2.2. Scatterplot pentru Exemplul 2.2
Tabelul 2.4
| t | x 2t | x 2t 2 | y t x 2t | x 1t x 2t |
| 8,25 | 68,0625 | 163,02 | 1,98 | |
| 10,24 | 104,8575 | 390,0416 | 3,1744 | |
| 9,31 | 86,6761 | 381,2445 | 5,1205 | |
| 11,01 | 121,2201 | 452,2908 | 5,2848 | |
| 8,54 | 72,9316 | 480,7166 | 6,6612 | |
| 7,51 | 56,4001 | 514,5101 | 7,3598 | |
| 12,36 | 152,7696 | 927,1236 | 11,6184 | |
| 10,81 | 116,8561 | 962,6305 | 13,0801 | |
| 9,89 | 97,8121 | 901,2757 | 12,7581 | |
| 13,72 | 188,2384 | 1252,0872 | 15,3664 | |
| 12,27 | 150,5529 | 1225,0368 | 15,8283 | |
| 13,92 | 193,7664 | 1511,016 | 20,7408 | |
| S | 127,83 | 1410,44 | 9160,9934 | 118,9728 |
| In medie | 10,65 |
În general, este necesar să se determine parametrii unui model econometric cu doi factori
y t = a 0 + a 1 x 1t + a 2 x 2t + ε t
Informațiile necesare pentru calcule ulterioare sunt prezentate în tabel. 2.4.
Să estimăm parametrii unui model econometric liniar cu doi factori folosind metoda celor mai mici pătrate.
Prin urmare,
Estimarea coeficientului =61,6583 arată că, în egală măsură, cu o creștere a spațiului comercial cu 1 mie m 2, cifra de afaceri anuală va crește cu o medie de 61,6583 milioane ruble.
Coeficientul estimat = 2,2748 arată că, cu toate acestea, cu o creștere a numărului mediu de vizitatori la 1 mie de persoane. pe zi, cifra de afaceri anuală va crește cu o medie de 2,2748 milioane de ruble.
Exemplul 2.3. Folosind informațiile prezentate în tabel. 2.2 și 2.4, estimați parametrul modelului econometric cu un singur factor
unde este valoarea centrată a cifrei de afaceri anuale a celui de-al-lea magazin, milioane de ruble; - valoarea centrată a numărului mediu zilnic de vizitatori la al-lea magazin, mii de persoane. (vezi exemplele 2.1-2.2).
Soluţie. Informațiile suplimentare necesare pentru calcule sunt prezentate în tabel. 2.5.
Tabelul 2.5
| -48,53 | -2,40 | 5,7720 | 116,6013 | |
| -30,20 | -0,41 | 0,1702 | 12,4589 | |
| -27,34 | -1,34 | 1,8023 | 36,7084 | |
| -27,21 | 0,36 | 0,1278 | -9,7288 | |
| -12,00 | -2,11 | 4,4627 | 25,3570 | |
| 0,22 | -3,14 | 9,8753 | -0,6809 | |
| 6,72 | 1,71 | 2,9156 | 11,4687 | |
| 20,76 | 0,16 | 0,0348 | 3,2992 | |
| 22,84 | -0,76 | 0,5814 | -17,413 | |
| 22,97 | 3,07 | 9,4096 | 70,4503 | |
| 31,55 | 1,62 | 2,6163 | 51,0267 | |
| 40,26 | 3,27 | 10,6766 | 131,5387 | |
| Cantitate | 48,4344 | 431,0566 |
Folosind formula (2.35), obținem
Prin urmare,
http://www.cleverstudents.ru/articles/mnk.html
Exemplu.
Date experimentale despre valorile variabilelor XȘi la sunt date în tabel. 
Ca urmare a alinierii lor, se obține funcția 
Folosind metoda celor mai mici pătrate, aproximați aceste date printr-o dependență liniară y=ax+b(găsiți parametri AȘi b). Aflați care dintre cele două linii este mai bună (în sensul metodei celor mai mici pătrate) aliniază datele experimentale. Faceți un desen.
Soluţie.
În exemplul nostru n=5. Completam tabelul pentru confortul calculării sumelor care sunt incluse în formulele coeficienților necesari. 
Valorile din al patrulea rând al tabelului se obțin prin înmulțirea valorilor celui de-al 2-lea rând cu valorile celui de-al 3-lea rând pentru fiecare număr i.
Valorile din al cincilea rând al tabelului se obțin prin pătrarea valorilor din al doilea rând pentru fiecare număr i.
Valorile din ultima coloană a tabelului sunt sumele valorilor de pe rânduri.
Folosim formulele metodei celor mai mici pătrate pentru a găsi coeficienții AȘi b. Înlocuim valorile corespunzătoare din ultima coloană a tabelului în ele: 
Prin urmare, y = 0,165x+2,184- linia dreaptă de aproximare dorită.
Rămâne să aflăm care dintre rânduri y = 0,165x+2,184 sau aproximează mai bine datele originale, adică face o estimare folosind metoda celor mai mici pătrate.
Dovada.
Așa că atunci când este găsit AȘi b funcția ia cea mai mică valoare, este necesar ca în acest moment matricea formei pătratice a diferenţialului de ordinul doi pentru funcţie 
a fost pozitiv definit. Să o arătăm.
Diferenţialul de ordinul doi are forma: 
Acesta este
Prin urmare, matricea de formă pătratică are forma 
iar valorile elementelor nu depind de AȘi b.
Să arătăm că matricea este definită pozitivă. Pentru a face acest lucru, minorii unghiulari trebuie să fie pozitivi.
Minor unghiular de ordinul întâi 
. Inegalitatea este strictă, deoarece punctele
- Tutorial
Introducere
Sunt matematician și programator. Cel mai mare salt pe care l-am făcut în cariera mea a fost când am învățat să spun: "Eu nu înțeleg nimic!" Acum nu mi-e rușine să-i spun luminatorului științei că el îmi ține o prelegere, că nu înțeleg ce îmi spune el, luminatorul. Și este foarte greu. Da, a-ți recunoaște ignoranța este dificil și jenant. Cui îi place să recunoască că nu știe elementele de bază ale ceva? Din cauza profesiei mele, trebuie să asist la un număr mare de prezentări și prelegeri, unde, recunosc, în marea majoritate a cazurilor îmi doresc să dorm pentru că nu înțeleg nimic. Dar nu înțeleg pentru că problema uriașă a situației actuale în știință constă în matematică. Se presupune că toți ascultătorii sunt familiarizați cu absolut toate domeniile matematicii (ceea ce este absurd). A recunoaște că nu știi ce este un derivat (vom vorbi despre ce este acesta puțin mai târziu) este rușinos.
Dar am învățat să spun că nu știu ce este înmulțirea. Da, nu știu ce este o subalgebră peste o algebră Lie. Da, nu știu de ce sunt necesare ecuații patratice în viață. Apropo, dacă ești sigur că știi, atunci avem despre ce să vorbim! Matematica este o serie de trucuri. Matematicienii încearcă să încurce și să intimideze publicul; unde nu există confuzie, nu există reputație, nici autoritate. Da, este prestigios să vorbești într-o limbă cât mai abstractă, ceea ce este o totală prostie.
Știți ce este un derivat? Cel mai probabil îmi veți spune despre limita raportului de diferență. În primul an de matematică și mecanică la Universitatea de Stat din Sankt Petersburg, mi-a spus Viktor Petrovici Khavin determinat derivată ca coeficient al primului termen al seriei Taylor al funcției la un punct (aceasta a fost o gimnastică separată pentru a determina seria Taylor fără derivate). Am râs de această definiție mult timp până am înțeles în sfârșit despre ce este vorba. Derivata nu este altceva decât o simplă măsură a cât de asemănătoare este funcția pe care o diferențiem cu funcția y=x, y=x^2, y=x^3.
Acum am onoarea de a ține prelegeri studenților care frică matematică. Dacă ți-e frică de matematică, suntem pe aceeași cale. De îndată ce încerci să citești ceva text și ți se pare că este prea complicat, atunci știi că este prost scris. Afirm că nu există o singură zonă a matematicii care să nu poată fi discutată „pe degete” fără a pierde acuratețea.
Temă pentru viitorul apropiat: le-am încredințat studenților să înțeleagă ce este un regulator liniar pătratic. Nu fi timid, petrece trei minute din viața ta și urmărește linkul. Dacă nu înțelegi nimic, atunci suntem pe aceeași cale. Nici eu (matematician-programator profesionist) nu am inteles nimic. Și vă asigur că vă puteți da seama de asta „pe degetele tale”. Momentan nu stiu ce este, dar va asigur ca vom reusi sa ne dam seama.
Așadar, prima prelegere pe care o voi ține studenților mei după ce vor veni în fugă la mine îngroziți și vor spune că un regulator liniar-quadratic este un lucru groaznic pe care nu îl vei stăpâni niciodată în viața ta este metodele celor mai mici pătrate. Puteți rezolva ecuații liniare? Dacă citiți acest text, atunci cel mai probabil nu.
Deci, având în vedere două puncte (x0, y0), (x1, y1), de exemplu, (1,1) și (3,2), sarcina este de a găsi ecuația dreptei care trece prin aceste două puncte:
ilustrare
Această linie ar trebui să aibă o ecuație ca următoarea:
Aici alfa și beta ne sunt necunoscute, dar două puncte ale acestei linii sunt cunoscute:
Puteți scrie această ecuație sub formă de matrice:
Aici ar trebui să facem o digresiune lirică: ce este o matrice? O matrice nu este altceva decât o matrice bidimensională. Acesta este un mod de stocare a datelor, nu ar trebui să i se atașeze mai multe valori. Depinde de noi cum să interpretăm exact o anumită matrice. Periodic o voi interpreta ca o mapare liniară, periodic ca o formă pătratică și uneori pur și simplu ca un set de vectori. Toate acestea vor fi clarificate în context.
Să înlocuim matricele specifice cu reprezentarea lor simbolică:
Apoi (alfa, beta) pot fi găsite cu ușurință:
Mai precis pentru datele noastre anterioare:
Ceea ce duce la următoarea ecuație a unei drepte care trece prin punctele (1,1) și (3,2):
Bine, totul este clar aici. Și să găsim ecuația unei drepte care trece prin Trei puncte: (x0,y0), (x1,y1) și (x2,y2):
Oh-oh-oh, dar avem trei ecuații pentru două necunoscute! Matematicianul standard va spune că nu există o soluție. Ce va spune programatorul? Și mai întâi va rescrie sistemul anterior de ecuații în următoarea formă:
În cazul nostru, vectorii i, j, b sunt tridimensionali, prin urmare, (în cazul general) nu există o soluție pentru acest sistem. Orice vector (alfa\*i + beta\*j) se află în planul acoperit de vectorii (i, j). Dacă b nu aparține acestui plan, atunci nu există soluție (egalitatea în ecuație nu poate fi obținută). Ce să fac? Să căutăm un compromis. Să notăm prin e(alfa, beta) exact cât de departe nu am atins egalitatea:
Și vom încerca să minimizăm această eroare:
De ce pătrat?
Căutăm nu doar minimul normei, ci și minimul pătratului normei. De ce? Punctul minim în sine coincide, iar pătratul dă o funcție netedă (o funcție pătratică a argumentelor (alfa, beta)), în timp ce pur și simplu lungimea dă o funcție în formă de con, nediferențiabilă la punctul minim. Brr. Un pătrat este mai convenabil.
Evident, eroarea este minimizată atunci când vectorul e ortogonală cu planul acoperit de vectori iȘi j.
Ilustrare
Cu alte cuvinte: căutăm o linie dreaptă astfel încât suma pătratelor lungimii distanțelor de la toate punctele la această dreaptă să fie minimă:
UPDATE: Am o problemă aici, distanța până la linia dreaptă ar trebui măsurată vertical, și nu prin proiecție ortogonală. Acest comentator are dreptate.
Ilustrare
Cu cuvinte complet diferite (atenție, prost formalizate, dar ar trebui să fie clar): luăm toate liniile posibile între toate perechile de puncte și căutăm linia medie între toate:
Ilustrare
O altă explicație este simplă: atașăm un arc între toate punctele de date (aici avem trei) și linia dreaptă pe care o căutăm, iar linia dreaptă a stării de echilibru este exact ceea ce căutăm.
Forma cuadratică minimă
Deci, având în vedere acest vector b iar planul acoperit de coloanele-vectori ai matricei A(în acest caz (x0,x1,x2) și (1,1,1)), căutăm un vector e cu un pătrat minim de lungime. Evident, minimul este realizabil doar pentru vector e, ortogonal cu planul acoperit de coloanele-vectori ai matricei A:Cu alte cuvinte, căutăm un vector x=(alfa, beta) astfel încât:
Vă reamintesc că acest vector x=(alfa, beta) este minimul funcției pătratice ||e(alfa, beta)||^2:
Aici este util să ne amintim că matricea poate fi interpretată la fel ca și forma pătratică, de exemplu, matricea de identitate ((1,0),(0,1)) poate fi interpretată ca o funcție a x^2 + y ^2:
formă pătratică
Toată această gimnastică este cunoscută sub denumirea de regresie liniară.
Ecuația lui Laplace cu condiția la limită Dirichlet
Acum, cea mai simplă problemă reală: există o anumită suprafață triangulată, este necesar să o neteziți. De exemplu, să încărcăm un model al feței mele:
Commit-ul original este disponibil. Pentru a minimiza dependențele externe, am luat codul programului meu de redare software, deja pe Habré. Pentru a rezolva un sistem liniar, folosesc OpenNL, acesta este un solutor excelent, care, totuși, este foarte greu de instalat: trebuie să copiați două fișiere (.h+.c) în folderul cu proiectul dvs. Toată netezirea se face cu următorul cod:
Pentru (int d=0; d<3; d++) {
nlNewContext();
nlSolverParameteri(NL_NB_VARIABLES, verts.size());
nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE);
nlBegin(NL_SYSTEM);
nlBegin(NL_MATRIX);
for (int i=0; i<(int)verts.size(); i++) {
nlBegin(NL_ROW);
nlCoefficient(i, 1);
nlRightHandSide(verts[i][d]);
nlEnd(NL_ROW);
}
for (unsigned int i=0; i
Coordonatele X, Y și Z sunt separabile, le netezesc separat. Adică rezolv trei sisteme de ecuații liniare, fiecare cu un număr de variabile egal cu numărul de vârfuri din modelul meu. Primele n rânduri ale matricei A au doar un 1 pe rând, iar primele n rânduri ale vectorului b au coordonatele modelului original. Adică leg un arc între noua poziție a vârfului și vechea poziție a vârfului - cele noi nu trebuie să se îndepărteze prea mult de cele vechi.
Toate rândurile ulterioare ale matricei A (faces.size()*3 = numărul de muchii ale tuturor triunghiurilor din plasă) au o apariție de 1 și o apariție de -1, cu vectorul b având componente zero opuse. Aceasta înseamnă că am pus un arc pe fiecare margine a rețelei noastre triunghiulare: toate marginile încearcă să obțină același vârf ca punctul lor de început și de sfârșit.
Încă o dată: toate nodurile sunt variabile și nu se pot deplasa departe de poziția lor inițială, dar în același timp încearcă să devină asemănătoare între ele.
Iată rezultatul:
Totul ar fi bine, modelul este cu adevărat netezit, dar s-a îndepărtat de marginea inițială. Hai sa schimbam putin codul:
Pentru (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }
În matricea noastră A, pentru vârfurile care sunt pe margine, nu adaug un rând din categoria v_i = verts[i][d], ci 1000*v_i = 1000*verts[i][d]. Ce se schimbă? Și asta ne schimbă forma pătratică de eroare. Acum, o singură abatere de la partea de sus la margine va costa nu o unitate, ca înainte, ci 1000*1000 de unități. Adică am atârnat un arc mai puternic pe vârfurile extreme, soluția va prefera să le întindă pe celelalte mai puternic. Iată rezultatul:
Să dublăm puterea arcului dintre vârfuri:
nlCoeficient(față[ j ], 2); nlCoeficient(față[(j+1)%3], -2);
Este logic că suprafața a devenit mai netedă:
Și acum chiar de o sută de ori mai puternic:
Ce este asta? Imaginează-ți că am scufundat un inel de sârmă în apă cu săpun. Drept urmare, filmul de săpun rezultat va încerca să aibă cea mai mică curbură posibil, atingând granița - inelul nostru de sârmă. Este exact ceea ce am obținut fixând chenarul și cerând o suprafață netedă în interior. Felicitări, tocmai am rezolvat ecuația lui Laplace cu condițiile la limită Dirichlet. Suna bine? Dar, în realitate, trebuie doar să rezolvi un sistem de ecuații liniare.
ecuația lui Poisson
Să ne amintim un alt nume grozav.Să zicem că am o imagine ca aceasta:
Arată bine tuturor, dar nu-mi place scaunul.
Voi tăia poza în jumătate: 
Și voi alege un scaun cu mâinile mele: 
Apoi voi trage tot ce este alb în mască în partea stângă a imaginii și, în același timp, pe parcursul imaginii, voi spune că diferența dintre doi pixeli vecini ar trebui să fie egală cu diferența dintre doi pixeli vecini din dreapta. imagine:
Pentru (int i=0; i Iată rezultatul: Cod si poze disponibile Metoda celor mai mici pătrate obișnuite (OLS).- o metodă matematică utilizată pentru rezolvarea diverselor probleme, bazată pe minimizarea sumei abaterilor pătrate ale anumitor funcții de la variabilele dorite. Poate fi folosit pentru a „rezolva” sisteme de ecuații supradeterminate (când numărul de ecuații depășește numărul de necunoscute), pentru a găsi soluții în cazul sistemelor de ecuații neliniare obișnuite (nu supradeterminate), pentru a aproxima valorile punctuale ale unor funcţie. MCO este una dintre metodele de bază de analiză de regresie pentru estimarea parametrilor necunoscuți ai modelelor de regresie din datele eșantionului. 1
/
5 ✪ Metoda celor mai mici pătrate. Subiect ✪ Mitin I.V. - Prelucrarea rezultatelor fizice. experiment - metoda celor mai mici pătrate (Lectura 4) ✪ Metoda celor mai mici pătrate, lecția 1/2. Funcție liniară ✪ Econometrie. Cursul 5. Metoda celor mai mici pătrate ✪ Metoda celor mai mici pătrate. Răspunsuri Până la începutul secolului al XIX-lea. oamenii de știință nu aveau anumite reguli pentru rezolvarea unui sistem de ecuații în care numărul de necunoscute este mai mic decât numărul de ecuații; Până atunci se foloseau tehnici private care depindeau de tipul de ecuații și de inteligența calculatoarelor și, prin urmare, calculatoare diferite, bazate pe aceleași date de observație, ajungeau la concluzii diferite. Gauss (1795) a fost primul care a folosit metoda, iar Legendre (1805) a descoperit-o și a publicat-o independent sub numele său modern (franceză. Méthode des moindres quarrés). Laplace a conectat metoda cu teoria probabilității, iar matematicianul american Adrain (1808) a luat în considerare aplicațiile sale teoretice probabilităților. Metoda a fost răspândită și îmbunătățită prin cercetări ulterioare ale lui Encke, Bessel, Hansen și alții. Lăsa x (\displaystyle x)- trusa n (\displaystyle n) variabile necunoscute (parametri), f i (x) (\displaystyle f_(i)(x)), , m > n (\displaystyle m>n)- un set de funcții din acest set de variabile. Sarcina este de a selecta astfel de valori x (\displaystyle x), astfel încât valorile acestor funcții să fie cât mai apropiate de anumite valori y i (\displaystyle y_(i)). În esență, vorbim despre „soluția” unui sistem de ecuații supradeterminat f i (x) = y i (\displaystyle f_(i)(x)=y_(i)), i = 1 , … , m (\displaystyle i=1,\ldots ,m)în sensul indicat de proximitate maximă a părților din stânga și din dreapta ale sistemului. Esența metodei celor mai mici pătrate este de a selecta ca „măsură de proximitate” suma abaterilor pătrate ale laturilor stângi și drepte. | f i (x) − y i | (\displaystyle |f_(i)(x)-y_(i)|). Astfel, esența MNC poate fi exprimată după cum urmează: Dacă sistemul de ecuații are o soluție, atunci minimul sumei pătratelor va fi egal cu zero și soluțiile exacte ale sistemului de ecuații pot fi găsite analitic sau, de exemplu, folosind diverse metode de optimizare numerică. Dacă sistemul este supradeterminat, adică în mod vag, numărul de ecuații independente este mai mare decât numărul de variabile dorite, atunci sistemul nu are o soluție exactă și metoda celor mai mici pătrate ne permite să găsim un vector „optim” x (\displaystyle x)în sensul proximităţii maxime a vectorilor y (\displaystyle y)Și f (x) (\displaystyle f(x)) sau proximitatea maximă a vectorului de abatere e (\displaystyle e) la zero (apropierea se înțelege în sensul distanței euclidiene). În special, metoda celor mai mici pătrate poate fi utilizată pentru a „rezolva” sistemul de ecuații liniare Unde A (\displaystyle A) matrice de dimensiuni dreptunghiulare m × n , m > n (\displaystyle m\times n,m>n)(adică numărul de rânduri ale matricei A este mai mare decât numărul de variabile căutate). În cazul general, un astfel de sistem de ecuații nu are soluție. Prin urmare, acest sistem poate fi „rezolvat” doar în sensul alegerii unui astfel de vector x (\displaystyle x) pentru a minimiza „distanța” dintre vectori A x (\displaystyle Ax)Și b (\displaystyle b). Pentru a face acest lucru, puteți aplica criteriul de minimizare a sumei diferențelor pătrate ale părților din stânga și din dreapta ale ecuațiilor sistemului, adică (A x - b) T (A x - b) → min (\displaystyle (Ax-b)^(T)(Ax-b)\rightarrow \min ). Este ușor de arătat că rezolvarea acestei probleme de minimizare duce la rezolvarea următorului sistem de ecuații Să fie n (\displaystyle n) valorile unor variabile y (\displaystyle y)(acestea ar putea fi rezultatele observațiilor, experimentelor etc.) și variabilelor aferente x (\displaystyle x). Provocarea este să ne asigurăm că relația dintre y (\displaystyle y)Și x (\displaystyle x) aproximativ cu o funcție cunoscută în cadrul unor parametri necunoscuți b (\displaystyle b), adică găsiți de fapt cele mai bune valori ale parametrilor b (\displaystyle b), aproximând la maxim valorile f (x, b) (\displaystyle f(x,b)) la valorile reale y (\displaystyle y). De fapt, acest lucru se reduce la cazul „rezolvării” unui sistem supradeterminat de ecuații cu privire la b (\displaystyle b): F (x t , b) = y t , t = 1 , … , n (\displaystyle f(x_(t),b)=y_(t),t=1,\ldots,n). În analiza de regresie și în special în econometrie, sunt utilizate modele probabilistice de dependență între variabile Y t = f (x t , b) + ε t (\displaystyle y_(t)=f(x_(t),b)+\varepsilon _(t)), Unde ε t (\displaystyle \varepsilon _(t))- așa-zisul erori aleatorii modele. În consecință, abaterile valorilor observate y (\displaystyle y) de la model f (x, b) (\displaystyle f(x,b)) este deja presupus în modelul în sine. Esența metodei celor mai mici pătrate (obișnuită, clasică) este găsirea unor astfel de parametri b (\displaystyle b), la care suma abaterilor pătrate (erori, pentru modelele de regresie sunt adesea numite reziduuri de regresie) e t (\displaystyle e_(t)) va fi minim: Unde R S S (\displaystyle RSS)- Engleză Suma reziduală a pătratelor este definită ca: În cazul general, această problemă poate fi rezolvată prin metode de optimizare (minimizare) numerică. În acest caz ei vorbesc despre cele mai mici pătrate neliniare(NLS sau NLLS - engleză Non-Linear Least Squares). În multe cazuri este posibilă obținerea unei soluții analitice. Pentru a rezolva problema de minimizare, este necesar să se găsească puncte staționare ale funcției R S S (b) (\displaystyle RSS(b)), diferentiindu-l in functie de parametri necunoscuti b (\displaystyle b), echivalând derivatele cu zero și rezolvând sistemul de ecuații rezultat: Fie dependența de regresie liniară: Lăsa y este vectorul coloană de observații ale variabilei care se explică și X (\displaystyle X)- Acest (n × k) (\displaystyle ((n\time k)))-matricea observațiilor factorilor (rândurile matricei sunt vectori ai valorilor factorilor într-o observație dată, coloanele sunt un vector al valorilor unui anumit factor în toate observațiile). Reprezentarea matricială a modelului liniar are forma: Atunci vectorul estimărilor variabilei explicate și vectorul reziduurilor de regresie vor fi egali În consecință, suma pătratelor reziduurilor de regresie va fi egală cu Diferenţierea acestei funcţii în raport cu vectorul parametrilor b (\displaystyle b)și echivalând derivatele cu zero, obținem un sistem de ecuații (sub formă de matrice): Sub formă de matrice descifrată, acest sistem de ecuații arată astfel: (∑ x t 1 2 ∑ x t 1 x t 2 ∑ x t 1 x t 3 … ∑ x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t 2 x t 3 … ∑ x t 2 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t 2 x t 3 … ∑ x t 2 x t k ∑ x t 2 x t ∑ t ∑ t 2 x t 3 2 … ∑ x t 3 x t k ⋮ ⋮ ⋮ ⋱ ⋮ ∑ x t k x t 1 ∑ x t k x t 2 ∑ x t k x t 3 … ∑ x t k 2) (b 1 b 2 b 3 ⋮ ∑ t k x ⋮ t x ⋮ t x ⋮ t k x) ∑ x t 3 y t ⋮ ∑ x t k y t) , (\displaystyle (\begin(pmatrix)\sum x_(t1)^(2)&\sum x_(t1)x_(t2)&\sum x_(t1)x_(t3)&\ldots &\sum x_(t1)x_(tk)\\\sum x_(t2)x_(t1)&\sum x_(t2)^(2)&\sum x_(t2)x_(t3)&\ldots &\ suma x_(t2)x_(tk)\\\sum x_(t3)x_(t1)&\sum x_(t3)x_(t2)&\sum x_(t3)^(2)&\ldots &\sum x_ (t3)x_(tk)\\\vdots &\vdots &\vdots &\ddots &\vdots \\\sum x_(tk)x_(t1)&\sum x_(tk)x_(t2)&\sum x_ (tk)x_(t3)&\ldots &\sum x_(tk)^(2)\\\end(pmatrix))(\begin(pmatrix)b_(1)\\b_(2)\\b_(3) )\\\vdots \\b_(k)\\\end(pmatrix))=(\begin(pmatrix)\sum x_(t1)y_(t)\\\sum x_(t2)y_(t)\\ \sum x_(t3)y_(t)\\\vdots \\\sum x_(tk)y_(t)\\\end(pmatrix)),) unde toate sumele sunt preluate peste toate valorile valabile t (\displaystyle t). Dacă o constantă este inclusă în model (ca de obicei), atunci x t 1 = 1 (\displaystyle x_(t1)=1)în fața tuturor t (\displaystyle t), prin urmare, în colțul din stânga sus al matricei sistemului de ecuații se află numărul de observații n (\displaystyle n), iar în elementele rămase din primul rând și prima coloană - pur și simplu sumele valorilor variabilelor: ∑ x t j (\displaystyle \sum x_(tj)) iar primul element din partea dreaptă a sistemului este ∑ y t (\displaystyle \sum y_(t)). Rezolvarea acestui sistem de ecuații oferă formula generală pentru estimările celor mai mici pătrate pentru un model liniar: În scopuri analitice, ultima reprezentare a acestei formule se dovedește a fi utilă (în sistemul de ecuații când se împarte la n, în loc de sume apar mediile aritmetice). Dacă într-un model de regresie datele centrat, atunci în această reprezentare prima matrice are semnificația matricei de covarianță eșantion de factori, iar a doua este vectorul de covarianțe de factori cu variabilă dependentă. Dacă în plus datele sunt de asemenea normalizat către MSE (adică, în cele din urmă standardizate), atunci prima matrice are semnificația unei matrice de corelație eșantion de factori, al doilea vector - un vector de corelații de eșantion de factori cu variabila dependentă. O proprietate importantă a estimărilor MOL pentru modele cu constantă- linia regresiei construite trece prin centrul de greutate al datelor eșantionului, adică egalitatea este satisfăcută: În special, în cazul extrem, când singurul regresor este o constantă, constatăm că estimarea MCO a singurului parametru (constanta însăși) este egală cu valoarea medie a variabilei explicate. Adică, media aritmetică, cunoscută pentru proprietățile sale bune din legile numerelor mari, este și o estimare a celor mai mici pătrate - satisface criteriul sumei minime a abaterilor pătrate de la aceasta. În cazul regresiei liniare perechi y t = a + b x t + ε t (\displaystyle y_(t)=a+bx_(t)+\varepsilon _(t)), când se estimează dependența liniară a unei variabile față de alta, formulele de calcul sunt simplificate (puteți face fără algebra matriceală). Sistemul de ecuații are forma: De aici este ușor să găsiți estimări ale coeficienților: În ciuda faptului că în cazul general sunt de preferat modelele cu constantă, în unele cazuri se știe din considerente teoretice că constanta a (\displaystyle a) trebuie să fie egal cu zero. De exemplu, în fizică relația dintre tensiune și curent este U = I ⋅ R (\displaystyle U=I\cdot R); Când se măsoară tensiunea și curentul, este necesar să se estimeze rezistența. În acest caz, vorbim despre model y = b x (\displaystyle y=bx). În acest caz, în loc de un sistem de ecuații avem o singură ecuație (∑ x t 2) b = ∑ x t y t (\displaystyle \left(\sum x_(t)^(2)\right)b=\sum x_(t)y_(t)). Prin urmare, formula de estimare a coeficientului unic are forma B ^ = ∑ t = 1 n x t y t ∑ t = 1 n x t 2 = x y ¯ x 2 ¯ (\displaystyle (\hat (b))=(\frac (\sum _(t=1)^(n)x_(t) )y_(t))(\sum _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))). Dacă datele sunt potrivite printr-o funcție de regresie polinomială a unei variabile f (x) = b 0 + ∑ i = 1 k b i x i (\displaystyle f(x)=b_(0)+\sum \limits _(i=1)^(k)b_(i)x^(i)), apoi, grade percepând x i (\displaystyle x^(i)) ca factori independenţi pentru fiecare i (\displaystyle i) este posibilă estimarea parametrilor modelului pe baza formulei generale de estimare a parametrilor unui model liniar. Pentru a face acest lucru, este suficient să ținem cont în formula generală că cu o astfel de interpretare x t i x t j = x t i x t j = x t i + j (\displaystyle x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j))Și x t j y t = x t j y t (\displaystyle x_(tj)y_(t)=x_(t)^(j)y_(t)). În consecință, ecuațiile matriceale în acest caz vor lua forma: (n ∑ n x t … ∑ n x t k ∑ n x t ∑ n x i 2 … ∑ m x i k + 1 ⋮ ⋮ ⋱ ⋮ ∑ n x t k ∑ n x t k + 1 … ∑ n x t 2 k) [ b 0 y∑ n∑ t 2 k) [ b 0 n∑ t ∑ t x t y t ⋮ ∑ n x t k y t ] . (\displaystyle (\begin(pmatrix)n&\sum\limits _(n)x_(t)&\ldots &\sum\limits _(n)x_(t)^(k)\\\sum \limits _( n)x_(t)&\sum \limits _(n)x_(i)^(2)&\ldots &\sum \limits _(m)x_(i)^(k+1)\\\vdots & \vdots &\ddots &\vdots \\\sum \limits _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\ldots &\ suma \limits _(n)x_(t)^(2k)\end(pmatrix))(\begin(bmatrix)b_(0)\\b_(1)\\\vdots \\b_(k)\end( bmatrix))=(\begin(bmatrix)\sum \limits _(n)y_(t)\\\sum \limits _(n)x_(t)y_(t)\\\vdots \\\sum \limits _(n)x_(t)^(k)y_(t)\end(bmatrix)).) În primul rând, observăm că pentru modelele liniare, estimările MCO sunt estimări liniare, după cum rezultă din formula de mai sus. Pentru estimările MCO nepărtinitoare, este necesar și suficient să se îndeplinească cea mai importantă condiție a analizei de regresie: așteptarea matematică a unei erori aleatoare, condiționată de factori, trebuie să fie egală cu zero. Această condiție este îndeplinită, în special, dacă A doua condiție - condiția factorilor exogeni - este fundamentală. Dacă această proprietate nu este îndeplinită, atunci putem presupune că aproape orice estimări vor fi extrem de nesatisfăcătoare: nici măcar nu vor fi consecvente (adică chiar și o cantitate foarte mare de date nu ne permite să obținem estimări de înaltă calitate în acest caz ). În cazul clasic, se face o presupunere mai puternică despre determinismul factorilor, spre deosebire de o eroare aleatorie, ceea ce înseamnă automat că este îndeplinită condiția de exogeneitate. În cazul general, pentru consistența estimărilor, este suficientă satisfacerea condiției de exogeneitate împreună cu convergența matricei. V x (\displaystyle V_(x)) la o matrice nesingulară pe măsură ce dimensiunea eșantionului crește la infinit. Pentru ca, pe lângă consecvență și imparțialitate, estimările celor mai mici pătrate (obișnuite) să fie și eficiente (cele mai bune din clasa estimărilor liniare imparțiale), trebuie îndeplinite proprietăți suplimentare ale erorii aleatoare: Aceste ipoteze pot fi formulate pentru matricea de covarianță a vectorului de eroare aleatorie V (ε) = σ 2 eu (\displaystyle V(\varepsilon)=\sigma ^(2)I). Un model liniar care satisface aceste condiții se numește clasic. Estimările MCO pentru regresia liniară clasică sunt estimări imparțiale, consistente și cele mai eficiente din clasa tuturor estimărilor nepărtinitoare liniare (în literatura engleză abrevierea este uneori folosită ALBASTRU (Cel mai bun estimator liniar imparțial) - cea mai bună estimare liniară imparțială; În literatura rusă este mai des citată teorema Gauss-Markov). După cum este ușor de arătat, matricea de covarianță a vectorului estimărilor de coeficienți va fi egală cu: V (b ^ O L S) = σ 2 (X T X) - 1 (\displaystyle V((\hat (b))_(OLS))=\sigma ^(2)(X^(T)X)^(-1 )). Eficiența înseamnă că această matrice de covarianță este „minimă” (orice combinație liniară de coeficienți, și în special coeficienții înșiși, au o varianță minimă), adică, în clasa estimatorilor liniari imparțiali, estimatorii MCO sunt cei mai buni. Elementele diagonale ale acestei matrice - varianțele estimărilor coeficienților - sunt parametri importanți ai calității estimărilor obținute. Cu toate acestea, nu este posibil să se calculeze matricea de covarianță deoarece varianța erorii aleatoare este necunoscută. Se poate dovedi că o estimare imparțială și consecventă (pentru un model liniar clasic) a varianței erorilor aleatoare este mărimea: S 2 = R S S / (n - k) (\displaystyle s^(2)=RSS/(n-k)). Înlocuind această valoare în formula pentru matricea de covarianță, obținem o estimare a matricei de covarianță. Estimările rezultate sunt, de asemenea, imparțial și consecvente. De asemenea, este important ca estimarea varianței erorii (și deci a variației coeficienților) și estimările parametrilor modelului să fie variabile aleatoare independente, ceea ce face posibilă obținerea de statistici de testare pentru testarea ipotezelor despre coeficienții modelului. Trebuie remarcat faptul că, dacă ipotezele clasice nu sunt îndeplinite, estimările parametrilor MCO nu sunt cele mai eficiente și, acolo unde W (\displaystyle W) este o matrice de greutate definită pozitivă simetrică. Cele mai mici pătrate convenționale sunt un caz special al acestei abordări, în care matricea de greutate este proporțională cu matricea de identitate. După cum se știe, pentru matrice (sau operatori) simetrice există o expansiune W = P T P (\displaystyle W=P^(T)P). Prin urmare, funcționalitatea specificată poate fi reprezentată după cum urmează e T P T P e = (P e) T P e = e ∗ T e ∗ (\displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *)), adică acest funcțional poate fi reprezentat ca suma pătratelor unor „rămăși” transformate. Astfel, putem distinge o clasă de metode ale celor mai mici pătrate - metodele LS (Least Squares). S-a dovedit (teorema lui Aitken) că pentru un model de regresie liniară generalizată (în care nu sunt impuse restricții asupra matricei de covarianță a erorilor aleatoare), cele mai eficiente (din clasa estimărilor liniare nepărtinitoare) sunt așa-numitele estimări. Cele mai mici pătrate generalizate (GLS - Generalized Least Squares)- Metoda LS cu o matrice de ponderi egală cu matricea de covarianță inversă a erorilor aleatoare: W = V ε - 1 (\displaystyle W=V_(\varepsilon )^(-1)). Se poate demonstra că formula pentru estimările GLS ale parametrilor unui model liniar are forma B ^ G L S = (X T V - 1 X) - 1 X T V - 1 y (\displaystyle (\hat (b))_(GLS)=(X^(T)V^(-1)X)^(-1) X^(T)V^(-1)y). Matricea de covarianță a acestor estimări va fi în consecință egală cu V (b ^ G L S) = (X T V - 1 X) - 1 (\displaystyle V((\hat (b))_(GLS))=(X^(T)V^(-1)X)^(- 1)). De fapt, esența MOL constă într-o anumită transformare (liniară) (P) a datelor originale și aplicarea MCO obișnuită la datele transformate. Scopul acestei transformări este ca pentru datele transformate, erorile aleatoare să satisfacă deja ipotezele clasice. În cazul unei matrice de ponderi diagonale (și, prin urmare, a unei matrice de covarianță a erorilor aleatoare), avem așa-numitele Least Squares (WLS) ponderate. În acest caz, suma ponderată a pătratelor reziduurilor modelului este minimizată, adică fiecare observație primește o „pondere” care este invers proporțională cu varianța erorii aleatoare din această observație: e T W mi = ∑ t = 1 n e t 2 σ t 2 (\displaystyle e^(T)We=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ sigma_(t)^(2)))). De fapt, datele sunt transformate prin ponderarea observațiilor (împărțirea la o sumă proporțională cu abaterea standard estimată a erorilor aleatoare), iar datelor ponderate se aplică MCO obișnuite. ISBN 978-5-7749-0473-0 . Să aproximăm funcția printr-un polinom de gradul 2. Pentru a face acest lucru, calculăm coeficienții sistemului normal de ecuații: , Să creăm un sistem normal de cele mai mici pătrate, care are forma: Soluția sistemului este ușor de găsit:, , . Astfel, se găsește un polinom de gradul II: . Informații teoretice Reveniți la pagină<Введение в вычислительную математику. Примеры> Exemplul 2. Aflarea gradului optim al unui polinom. Reveniți la pagină<Введение в вычислительную математику. Примеры> Exemplul 3. Derivarea unui sistem normal de ecuații pentru aflarea parametrilor dependenței empirice. Să derivăm un sistem de ecuații pentru a determina coeficienții și funcțiile Apoi sistemul normal va lua forma: Am obținut un sistem liniar de ecuații pentru parametrii necunoscuți și, care este ușor de rezolvat. Informații teoretice Reveniți la pagină<Введение в вычислительную математику. Примеры> Exemplu. Date experimentale despre valorile variabilelor XȘi la sunt date în tabel. Ca urmare a alinierii lor, se obține funcția Folosind metoda celor mai mici pătrate, aproximați aceste date printr-o dependență liniară y=ax+b(găsiți parametri AȘi b). Aflați care dintre cele două linii este mai bună (în sensul metodei celor mai mici pătrate) aliniază datele experimentale. Faceți un desen. Sarcina este de a găsi coeficienții de dependență liniară la care funcția a două variabile AȘi b Astfel, rezolvarea exemplului se reduce la găsirea extremului unei funcții a două variabile. Se compilează și se rezolvă un sistem de două ecuații cu două necunoscute. Găsirea derivatelor parțiale ale unei funcții Rezolvăm sistemul de ecuații rezultat prin orice metodă (de exemplu prin metoda substitutiei sau metoda lui Cramer) și obțineți formule pentru găsirea coeficienților folosind metoda celor mai mici pătrate (LSM). Dat AȘi b funcţie Aceasta este întreaga metodă a celor mai mici pătrate. Formula pentru găsirea parametrului A conține sumele , , și parametrul n— cantitatea de date experimentale. Vă recomandăm să calculați separat valorile acestor sume. Coeficient b găsit după calcul A. Este timpul să ne amintim de exemplul original. Soluţie. În exemplul nostru n=5. Completam tabelul pentru confortul calculării sumelor care sunt incluse în formulele coeficienților necesari. Valorile din al patrulea rând al tabelului se obțin prin înmulțirea valorilor celui de-al 2-lea rând cu valorile celui de-al 3-lea rând pentru fiecare număr i. Valorile din al cincilea rând al tabelului se obțin prin pătrarea valorilor din al doilea rând pentru fiecare număr i. Valorile din ultima coloană a tabelului sunt sumele valorilor de pe rânduri. Folosim formulele metodei celor mai mici pătrate pentru a găsi coeficienții AȘi b. Înlocuim valorile corespunzătoare din ultima coloană a tabelului în ele: Prin urmare, y = 0,165x+2,184— linia dreaptă de aproximare dorită. Rămâne să aflăm care dintre rânduri y = 0,165x+2,184 sau Pentru a face acest lucru, trebuie să calculați suma abaterilor pătrate ale datelor originale din aceste linii De la , apoi drept y = 0,165x+2,184 aproximează mai bine datele originale. Totul arată grozav în topuri. Linia roșie este linia găsită y = 0,165x+2,184, linia albastră este Pentru ce este, pentru ce sunt toate aceste aproximări? Eu personal îl folosesc pentru a rezolva probleme de netezire a datelor, probleme de interpolare și extrapolare (în exemplul original li se poate cere să găsească valoarea unei valori observate y la x=3 sau când x=6 folosind metoda celor mai mici pătrate). Dar vom vorbi mai multe despre asta mai târziu într-o altă secțiune a site-ului. Începutul paginii Dovada. Așa că atunci când este găsit AȘi b funcția ia cea mai mică valoare, este necesar ca în acest moment matricea formei pătratice a diferenţialului de ordinul doi pentru funcţie Diferenţialul de ordinul doi are forma: Acesta este Prin urmare, matricea de formă pătratică are forma Să arătăm că matricea este definită pozitivă. Pentru a face acest lucru, minorii unghiulari trebuie să fie pozitivi. Minor unghiular de ordinul întâi Minor unghiular de ordinul doi Să demonstrăm asta Concluzie: valori găsite AȘi b corespund celei mai mici valori a funcției Nu ai timp să-ți dai seama? Începutul paginii Extrapolarea
este o metodă de cercetare științifică care se bazează pe diseminarea tendințelor, modelelor și conexiunilor trecute și prezente cu dezvoltarea viitoare a obiectului prognozat. Metodele de extrapolare includ
metoda mediei mobile, metoda netezirii exponențiale, metoda celor mai mici pătrate. Esență metoda celor mai mici pătrate
constă în minimizarea sumei abaterilor pătrate dintre valorile observate şi cele calculate. Valorile calculate sunt găsite folosind ecuația selectată - ecuația de regresie. Cu cât distanța dintre valorile reale și cele calculate este mai mică, cu atât prognoza este mai precisă pe baza ecuației de regresie. O analiză teoretică a esenței fenomenului studiat, a cărei modificare este reflectată de o serie temporală, servește drept bază pentru alegerea unei curbe. Uneori sunt luate în considerare considerații despre natura creșterii nivelurilor seriei. Astfel, dacă se așteaptă creșterea producției într-o progresie aritmetică, atunci netezirea este efectuată în linie dreaptă. Dacă se dovedește că creșterea este în progresie geometrică, atunci netezirea trebuie făcută folosind o funcție exponențială. Formula de lucru pentru metoda celor mai mici pătrate
: Y t+1 = a*X + b, unde t + 1 – perioada de prognoză; Уt+1 – indicator prezis; a și b sunt coeficienți; X este un simbol al timpului. Calculul coeficienților a și b se realizează folosind următoarele formule: unde, Uf – valorile reale ale seriei de dinamică; n – numărul de niveluri de serie temporală; Netezirea seriilor temporale folosind metoda celor mai mici pătrate servește pentru a reflecta modelul de dezvoltare al fenomenului studiat. În exprimarea analitică a unei tendințe, timpul este considerat ca o variabilă independentă, iar nivelurile seriei acționează ca o funcție a acestei variabile independente. Dezvoltarea unui fenomen nu depinde de câți ani au trecut de la punctul de plecare, ci de ce factori au influențat dezvoltarea lui, în ce direcție și cu ce intensitate. De aici reiese clar că dezvoltarea unui fenomen în timp este rezultatul acțiunii acestor factori. Stabilirea corectă a tipului de curbă, tipul de dependență analitică de timp este una dintre cele mai dificile sarcini ale analizei predictive.
. Selecția tipului de funcție care descrie tendința, ai cărui parametri sunt determinați prin metoda celor mai mici pătrate, se realizează în cele mai multe cazuri empiric, prin construirea unui număr de funcții și comparându-le între ele în funcție de valoarea eroare pătratică medie, calculată prin formula: unde UV sunt valorile reale ale seriei de dinamică; Ur – valori calculate (netezite) ale seriei de dinamică; n – numărul de niveluri de serie temporală; p – numărul de parametri definiți în formulele care descriu tendința (tendința de dezvoltare). Dezavantajele metodei celor mai mici pătrate
: Sarcină
. Există date care caracterizează rata șomajului în regiune, % Soluția celor mai mici pătrate
Pentru a rezolva acest lucru, vom întocmi un tabel în care vom face calculele necesare: ε = 28,63/10 = 2,86% exactitatea prognozeiînalt. Concluzie
: Compararea rezultatelor obţinute în urma calculelor metoda mediei mobile
, metoda de netezire exponenţială
și metoda celor mai mici pătrate, putem spune că eroarea relativă medie la calcularea utilizând metoda de netezire exponențială se încadrează în intervalul 20-50%. Aceasta înseamnă că acuratețea prognozei în acest caz este doar satisfăcătoare. În primul și al treilea caz, acuratețea prognozei este mare, deoarece eroarea relativă medie este mai mică de 10%. Dar metoda mediei mobile a permis obținerea unor rezultate mai fiabile (prognoză pentru noiembrie - 1,52%, prognoză pentru decembrie - 1,53%, prognoză pentru ianuarie - 1,49%), deoarece eroarea relativă medie la utilizarea acestei metode este cea mai mică - 1 ,13%. Lista surselor utilizate i- numărul punctului experimental; Faceți clic pe diagramă În câmpul de date, introduceți pe fiecare linie separată valorile lui `x` și `y` la un punct experimental. Valorile trebuie separate printr-un caracter alb (spațiu sau tab). A treia valoare ar putea fi greutatea punctului „w”. Dacă greutatea unui punct nu este specificată, aceasta este egală cu unu. În marea majoritate a cazurilor, ponderile punctelor experimentale sunt necunoscute sau necalculate, adică. toate datele experimentale sunt considerate echivalente. Uneori, ponderile din intervalul de valori studiat nu sunt absolut echivalente și pot fi chiar calculate teoretic. De exemplu, în spectrofotometrie, greutățile pot fi calculate folosind formule simple, deși acest lucru este neglijat în mare parte pentru a reduce costurile cu forța de muncă. Datele pot fi lipite prin clipboard dintr-o foaie de calcul dintr-o suită de birou, cum ar fi Excel din Microsoft Office sau Calc din Open Office. Pentru a face acest lucru, în foaia de calcul, selectați intervalul de date de copiat, copiați în clipboard și inserați datele în câmpul de date de pe această pagină. Pentru a calcula folosind metoda celor mai mici pătrate, sunt necesare cel puțin două puncte pentru a determina doi coeficienți `b` - tangenta unghiului de înclinare a dreptei și `a` - valoarea interceptată de linia pe axa `y`. Pentru a estima eroarea coeficienților de regresie calculați, trebuie să setați numărul de puncte experimentale la mai mult de două. Cu cât numărul de puncte experimentale este mai mare, cu atât este mai precisă evaluarea statistică a coeficienților (datorită scăderii coeficientului Student) și cu atât estimarea este mai apropiată de estimarea eșantionului general. Obținerea valorilor la fiecare punct experimental este adesea asociată cu costuri semnificative ale forței de muncă, astfel încât adesea se efectuează un număr compromis de experimente care oferă o estimare gestionabilă și nu duce la costuri excesive ale forței de muncă. De regulă, numărul de puncte experimentale pentru o dependență liniară a celor mai mici pătrate cu doi coeficienți este selectat în regiunea de 5-7 puncte. Să presupunem că avem un set de date experimentale sub formă de perechi de valori [`y_i`, `x_i`], unde `i` este numărul unei măsurători experimentale de la 1 la `n`; `y_i` - valoarea mărimii măsurate la punctul `i`; `x_i` - valoarea parametrului pe care l-am setat la punctul `i`. Ca exemplu, luați în considerare funcționarea legii lui Ohm. Schimbând tensiunea (diferența de potențial) între secțiunile unui circuit electric, măsurăm cantitatea de curent care trece prin această secțiune. Fizica ne oferă o dependență găsită experimental: „I=U/R”, În acest caz, `y_i` este valoarea curentă măsurată, iar `x_i` este valoarea tensiunii. Ca un alt exemplu, luați în considerare absorbția luminii de către o soluție a unei substanțe în soluție. Chimia ne dă formula: `A = εl C`, În acest caz, `y_i` este valoarea măsurată a densității optice `A`, iar `x_i` este valoarea concentrației substanței pe care o specificăm. Vom lua în considerare cazul în care eroarea relativă în atribuirea `x_i` este semnificativ mai mică decât eroarea relativă în măsurarea `y_i`. De asemenea, vom presupune că toate valorile măsurate `y_i` sunt aleatorii și distribuite normal, adică. respectă legea distribuției normale. În cazul unei dependențe liniare a lui `y` de `x`, putem scrie dependența teoretică: Din punct de vedere geometric, coeficientul `b` denotă tangenta unghiului de înclinare a dreptei la axa `x`, iar coeficientul `a` - valoarea lui `y` în punctul de intersecție al linie cu axa `y` (la `x = 0`). Într-un experiment, valorile măsurate ale lui `y_i` nu pot sta exact pe linia dreaptă teoretică din cauza erorilor de măsurare, care sunt întotdeauna inerente vieții reale. Prin urmare, o ecuație liniară trebuie reprezentată printr-un sistem de ecuații: Dependența (1) se mai numește regresie, adică dependenţa a două mărimi una faţă de alta cu semnificaţie statistică. Sarcina restabilirii dependenței este de a găsi coeficienții `a` și `b` din punctele experimentale [`y_i`, `x_i`]. Pentru a găsi coeficienții `a` și `b` se folosește de obicei metoda celor mai mici pătrate(MNC). Este un caz special al principiului maximului probabilitate. Să rescriem (1) sub forma `ε_i = y_i - a - b x_i`. Apoi suma erorilor pătrate va fi Principiul celor mai mici pătrate (mai mici pătrate) este de a minimiza suma (2) în raport cu parametrii `a` și `b`. Minimul se realizează atunci când derivatele parțiale ale sumei (2) față de coeficienții `a` și `b` sunt egale cu zero: Extinderea derivatelor, obținem un sistem de două ecuații cu două necunoscute: Deschidem parantezele și transferăm sumele independente de coeficienții necesari în cealaltă jumătate, obținem un sistem de ecuații liniare: Rezolvând sistemul rezultat, găsim formule pentru coeficienții `a` și `b`: `a = frac(sum_(i=1)^(n) y_i sum_(i=1)^(n) x_i^2 — sum_(i=1)^(n) x_i sum_(i=1)^(n) ) x_iy_i) (n sum_(i=1)^(n) x_i^2 — (sum_(i=1)^(n) x_i)^2)` (3.1) `b = frac(n sum_(i=1)^(n) x_iy_i — sum_(i=1)^(n) x_i sum_(i=1)^(n) y_i) (n sum_(i=1)^ (n) x_i^2 — (sum_(i=1)^(n) x_i)^2)` (3.2) Aceste formule au soluții când `n > 1` (linia poate fi construită folosind cel puțin 2 puncte) și când determinantul `D = n sum_(i=1)^(n) x_i^2 - (sum_(i= 1) )^(n) x_i)^2 != 0`, adică. când punctele `x_i` din experiment sunt diferite (adică când linia nu este verticală). Pentru o evaluare mai precisă a erorii în calcularea coeficienților `a` și `b`, este de dorit un număr mare de puncte experimentale. Când `n = 2`, este imposibil să se estimeze eroarea coeficienților, deoarece linia de aproximare va trece în mod unic prin două puncte. Se determină eroarea variabilei aleatoare `V` legea acumulării erorilor Să notăm legea cumulării erorilor pentru eroarea coeficienților `a` și `b` `S_y^2 = S_(y_i)^2` - eroare (varianță, abatere standard pătrată) în măsurarea lui `y`, presupunând că eroarea este uniformă pentru toate valorile lui `y`. Înlocuirea formulelor pentru calcularea `a` și `b` în expresiile rezultate pe care le obținem `S_a^2 = S_y^2 frac(sum_(i=1)^(n) (sum_(i=1)^(n) x_i^2 — x_i sum_(i=1)^(n) x_i)^2 ) (D^2) = S_y^2 frac((n sum_(i=1)^(n) x_i^2 — (sum_(i=1)^(n) x_i)^2) sum_(i=1) ^(n) x_i^2) (D^2) = S_y^2 frac(sum_(i=1)^(n) x_i^2) (D)` (4.1) `S_b^2 = S_y^2 frac(sum_(i=1)^(n) (n x_i — sum_(i=1)^(n) x_i)^2) (D^2) = S_y^2 frac( n (n sum_(i=1)^(n) x_i^2 — (sum_(i=1)^(n) x_i)^2)) (D^2) = S_y^2 frac(n) (D) „(4.2) În majoritatea experimentelor reale, valoarea lui `Sy` nu este măsurată. Pentru a face acest lucru, este necesar să se efectueze mai multe măsurători (experimente) paralele la unul sau mai multe puncte din plan, ceea ce crește timpul (și eventual costul) experimentului. Prin urmare, de obicei se presupune că abaterea lui `y` de la linia de regresie poate fi considerată aleatorie. Estimarea varianței `y` în acest caz este calculată folosind formula. `S_y^2 = S_(y, rest)^2 = frac(sum_(i=1)^n (y_i - a - b x_i)^2) (n-2)`. Divizorul `n-2` apare deoarece numărul nostru de grade de libertate a scăzut datorită calculului a doi coeficienți folosind același eșantion de date experimentale. Această estimare se mai numește și varianța reziduală relativă la dreapta de regresie `S_(y, rest)^2`. Semnificația coeficienților este evaluată cu ajutorul testului t Student `t_a = frac(|a|) (S_a)`, `t_b = frac(|b|) (S_b)` Dacă criteriile calculate `t_a`, `t_b` sunt mai mici decât criteriile tabulate `t(P, n-2)`, atunci se consideră că coeficientul corespunzător nu este semnificativ diferit de zero cu o probabilitate dată `P`. Pentru a evalua calitatea descrierii unei relații liniare, puteți compara `S_(y, rest)^2` și `S_(bar y)` relativ la medie folosind criteriul Fisher. `S_(bar y) = frac(sum_(i=1)^n (y_i — bar y)^2) (n-1) = frac(sum_(i=1)^n (y_i — (sum_(i=) 1)^n y_i) /n)^2) (n-1)` - estimarea eșantionului a varianței `y` față de medie. Pentru a evalua eficacitatea ecuației de regresie pentru a descrie dependența, se calculează coeficientul Fisher Dacă `F > F(P, n-1, n-2)`, diferența dintre descrierea relației `y = f(x)` folosind ecuația de regresie și descrierea folosind media este considerată semnificativă statistic cu probabilitate `P`. Acestea. regresia descrie dependența mai bine decât răspândirea lui `y` în jurul mediei. Faceți clic pe diagramă Metoda celor mai mici pătrate se referă la determinarea parametrilor necunoscuți a, b, c,... dependenta functionala acceptata y = f(x,a,b,c,...), care ar furniza un minim al pătratului mediu (varianta) erorii unde x i, y i este o mulțime de perechi de numere obținute în urma experimentului. Deoarece condiția pentru extremul unei funcții a mai multor variabile este condiția ca derivatele sale parțiale să fie egale cu zero, atunci parametrii a, b, c,... sunt determinate din sistemul de ecuații: ; ; ; … (25) Trebuie reținut că metoda celor mai mici pătrate este folosită pentru a selecta parametrii după tipul funcției y = f(x) definit Dacă, din considerente teoretice, nu se pot trage concluzii despre care ar trebui să fie formula empirică, atunci trebuie să ne ghidăm după reprezentări vizuale, în primul rând prin reprezentări grafice ale datelor observate. În practică, acestea sunt cel mai adesea limitate la următoarele tipuri de funcții: 1) liniară 2) pătratică a. Esența metodei celor mai mici pătrate este
în găsirea parametrilor unui model de tendință care descrie cel mai bine tendința de dezvoltare a oricărui fenomen aleator în timp sau spațiu (o tendință este o linie care caracterizează tendința acestei dezvoltări). Sarcina metodei celor mai mici pătrate (LSM) se rezumă nu doar la găsirea unui model de tendință, ci la găsirea celui mai bun sau optim model. Acest model va fi optim dacă suma abaterilor pătrate dintre valorile reale observate și valorile de tendință calculate corespunzătoare este minimă (cea mai mică): unde este abaterea pătrată dintre valoarea reală observată și valoarea de tendință calculată corespunzătoare, Valoarea reală (observată) a fenomenului studiat, Valoarea calculată a modelului de tendință, Numărul de observații ale fenomenului studiat. MNC este folosit destul de rar pe cont propriu. De regulă, cel mai adesea este folosit doar ca tehnică tehnică necesară în studiile de corelare.
Trebuie amintit că baza informațională a OLS poate fi doar o serie statistică de încredere, iar numărul de observații nu trebuie să fie mai mic de 4, altfel procedurile de netezire ale OLS își pot pierde bunul simț. Setul de instrumente MNC se rezumă la următoarele proceduri: Prima procedură.
Se dovedește dacă există vreo tendință de a schimba atributul rezultat atunci când factorul-argument selectat se schimbă sau, cu alte cuvinte, există o legătură între „ la
" Și " X
». A doua procedură.
Se stabilește care linie (traiectorie) poate descrie sau caracteriza cel mai bine această tendință. A treia procedură.
Exemplu. Să presupunem că avem informații despre randamentul mediu de floarea-soarelui pentru ferma studiată (Tabelul 9.1). Tabelul 9.1 Numărul de observație Productivitate, c/ha Întrucât nivelul tehnologiei în producția de floarea soarelui în țara noastră a rămas practic neschimbat în ultimii 10 ani, înseamnă că, aparent, fluctuațiile de producție în perioada analizată au fost foarte dependente de fluctuațiile condițiilor meteo și climatice. Este asta cu adevărat adevărat? Prima procedură OLS.
Este testată ipoteza privind existența unei tendințe de modificare a randamentului de floarea-soarelui în funcție de modificările condițiilor meteo și climatice pe parcursul celor 10 ani analizați. În acest exemplu, pentru " y
» este indicat să luați randamentul de floarea soarelui, iar pentru « X
» este numărul anului observat în perioada analizată. Testarea ipotezei despre existența oricărei relații între " X
" Și " y
» se poate face in doua moduri: manual si cu ajutorul programelor de calculator. Desigur, odată cu disponibilitatea tehnologiei informatice, această problemă poate fi rezolvată de la sine. Dar pentru a înțelege mai bine instrumentele MNC, este indicat să testați ipoteza despre existența unei relații între „ X
" Și " y
» manual, când sunt la îndemână doar un pix și un calculator obișnuit. În astfel de cazuri, ipoteza despre existența unei tendințe este cel mai bine verificată vizual prin locația imaginii grafice a seriei de dinamică analizată - câmpul de corelație: Câmpul de corelație din exemplul nostru este situat în jurul unei linii care crește încet. Acest lucru în sine indică existența unei anumite tendințe de modificare a recoltelor de floarea soarelui. Este imposibil să vorbim despre prezența oricărei tendințe doar atunci când câmpul de corelare arată ca un cerc, un cerc, un nor strict vertical sau strict orizontal sau este format din puncte împrăștiate haotic. În toate celelalte cazuri, ipoteza despre existența unei relații între „ X
" Și " y
„, și continuă cercetările. A doua procedură OLS.
Se stabilește care linie (traiectorie) poate descrie sau caracteriza cel mai bine tendința de modificări ale producției de floarea soarelui în perioada analizată. Dacă aveți tehnologie informatică, selectarea tendinței optime are loc automat. În procesarea „manuală”, selectarea funcției optime se realizează, de regulă, vizual - prin locația câmpului de corelare. Adică, pe baza tipului de grafic, este selectată ecuația dreptei care se potrivește cel mai bine tendinței empirice (traiectoria reală). După cum se știe, în natură există o mare varietate de dependențe funcționale, deci este extrem de dificil să analizezi vizual chiar și o mică parte din ele. Din fericire, în practica economică reală, majoritatea relațiilor pot fi descrise destul de precis fie printr-o parabolă, fie printr-o hiperbolă, fie printr-o linie dreaptă. În acest sens, cu opțiunea „manuală” de selectare a celei mai bune funcții, vă puteți limita doar la aceste trei modele. Hiperbolă: Parabola de ordinul doi: Este ușor de observat că, în exemplul nostru, tendința de modificare a producției de floarea-soarelui pe parcursul celor 10 ani analizați este cel mai bine caracterizată printr-o linie dreaptă, astfel încât ecuația de regresie va fi ecuația unei linii drepte. A treia procedură.
Se calculează parametrii ecuației de regresie care caracterizează această linie sau, cu alte cuvinte, se determină o formulă analitică care descrie cel mai bun model de tendință. Găsirea valorilor parametrilor ecuației de regresie, în cazul nostru parametrii și , este nucleul MOL. Acest proces se reduce la rezolvarea unui sistem de ecuații normale. Acest sistem de ecuații este destul de ușor de rezolvat prin metoda Gauss. Să ne amintim că, ca urmare a soluției, în exemplul nostru, se găsesc valorile parametrilor și. Astfel, ecuația de regresie găsită va avea următoarea formă: 
YouTube enciclopedic
Subtitrări
Poveste
Esența metodei celor mai mici pătrate
Exemplu - sistem de ecuații liniare
MCO în analiza de regresie (aproximarea datelor)
MCO în cazul regresiei liniare
Cele mai simple cazuri speciale
Cazul unui model polinomial
Proprietățile statistice ale estimărilor MOL
MCO ponderate
, 
, care realizează aproximarea rădăcină pătratică medie a unei funcții date prin puncte. Compuneți o funcție 
și notează condiția extremum necesară pentru aceasta:
Esența metodei celor mai mici pătrate (LSM).
ia cea mai mică valoare. Adică dat AȘi b suma abaterilor pătrate a datelor experimentale de la linia dreaptă găsită va fi cea mai mică. Acesta este punctul întreg al metodei celor mai mici pătrate.Derivarea formulelor pentru găsirea coeficienților.
prin variabile AȘi b, echivalăm aceste derivate cu zero. 
ia cea mai mică valoare. Dovada acestui fapt este dată mai jos în textul de la sfârșitul paginii.
aproximează mai bine datele originale, adică face o estimare folosind metoda celor mai mici pătrate.Estimarea erorilor metodei celor mai mici pătrate.
Și 
, o valoare mai mică corespunde unei linii care aproximează mai bine datele originale în sensul metodei celor mai mici pătrate. 
Ilustrare grafică a metodei celor mai mici pătrate (LS).
, punctele roz sunt datele originale.
a fost pozitiv definit. Să o arătăm.
iar valorile elementelor nu depind de AȘi b.
. Inegalitatea este strictă deoarece punctele nu coincid. În cele ce urmează vom implica acest lucru.
prin metoda inducţiei matematice.
, prin urmare, sunt parametrii necesari pentru metoda celor mai mici pătrate.
Comanda o solutieElaborarea unei prognoze folosind metoda celor mai mici pătrate. Exemplu de rezolvare a problemei
Un exemplu de utilizare a metodei celor mai mici pătrate pentru a dezvolta o prognoză
Metoda celor mai mici pătrate
Alte articole pe acest subiect:
Programul MNC
Introduceți datele
Date și aproximări y = a + b x
x i- valoarea unui parametru fix la un punct i;
y eu- valoarea parametrului măsurat într-un punct i;
ωi- măsurarea greutății într-un punct i;
y i, calc.- diferența dintre valoarea măsurată și cea calculată de regresie y la punct i;
S x i (x i)- estimarea erorii x i la măsurare y la punct i.Date și aproximări y = k x
i
x i
y eu
ωi
y i, calc.
Δy i
S x i (x i)
Manual de utilizare pentru programul online MNC.
Metoda celor mai mici pătrate (LSM).
O scurtă teorie a celor mai mici pătrate pentru relațiile liniare
unde `I` este puterea curentă; `R` - rezistenta; `U` - tensiune.
unde „A” este densitatea optică a soluției; `ε` - transmitanța substanței dizolvate; `l` - lungimea drumului când lumina trece printr-o cuvă cu o soluție; `C` este concentrația substanței dizolvate.
`y = a + bx`.Găsirea parametrilor liniei de regresie.
`y_i = a + b x_i + ε_i` (1),
unde `ε_i` este eroarea de măsurare necunoscută a lui `y` în experimentul `i`.
`Φ = sum_(i=1)^(n) ε_i^2 = sum_(i=1)^(n) (y_i - a - b x_i)^2`. (2)
`frac(partial Φ)(partial a) = frac(partial sum_(i=1)^(n) (y_i - a - b x_i)^2)(partial a) = 0`
`frac(partial Φ)(partial b) = frac(partial sum_(i=1)^(n) (y_i - a - b x_i)^2)(partial b) = 0`
`sum_(i=1)^(n) (2a + 2bx_i — 2y_i) = sum_(i=1)^(n) (a + bx_i — y_i) = 0`
`sum_(i=1)^(n) (2bx_i^2 + 2ax_i — 2x_iy_i) = sum_(i=1)^(n) (bx_i^2 + ax_i — x_iy_i) = 0`
`sum_(i=1)^(n) y_i = a n + b sum_(i=1)^(n) bx_i`
`sum_(i=1)^(n) x_iy_i = a sum_(i=1)^(n) x_i + b sum_(i=1)^(n) x_i^2`Estimarea erorilor coeficienților liniilor de regresie
`S_V^2 = sum_(i=1)^p (frac(partial f)(partial z_i))^2 S_(z_i)^2`,
unde `p` este numărul de parametri `z_i` cu eroarea `S_(z_i)`, care afectează eroarea `S_V`;
`f` este o funcție de dependență a lui `V` pe `z_i`.
`S_a^2 = sum_(i=1)^(n)(frac(parțial a)(parțial y_i))^2 S_(y_i)^2 + sum_(i=1)^(n)(frac(parțial a) )(parțial x_i))^2 S_(x_i)^2 = S_y^2 sum_(i=1)^(n)(frac(parțial a)(parțial y_i))^2 `,
`S_b^2 = sum_(i=1)^(n)(frac(parțial b)(parțial y_i))^2 S_(y_i)^2 + sum_(i=1)^(n)(frac(parțial b) )(parțial x_i))^2 S_(x_i)^2 = S_y^2 sum_(i=1)^(n)(frac(parțial b)(parțial y_i))^2 `,
deoarece `S_(x_i)^2 = 0` (am făcut anterior o rezervă că eroarea `x` este neglijabilă).
`F = S_(bar y) / S_(y, rest)^2`,
care este comparat cu coeficientul Fisher tabelar `F(p, n-1, n-2)`.
pentru a adăuga valori la tabelMetoda celor mai mici pătrate. Metoda celor mai mici pătrate înseamnă determinarea parametrilor necunoscuți a, b, c, dependența funcțională acceptată
, (24)
;
:
(9.2)
