Analiza datelor folosind metoda celor mai mici pătrate. Cele mai mici pătrate în Excel
Metoda celor mai mici pătrate
În lecția finală a subiectului, ne vom familiariza cu cea mai cunoscută aplicație FNP, care găsește cea mai largă aplicație în diverse domenii ale științei și practicii. Poate fi fizică, chimie, biologie, economie, sociologie, psihologie și așa mai departe. Prin voința sorții, de multe ori trebuie să mă ocup de economie și, prin urmare, astăzi vă voi aranja un bilet către o țară uimitoare numită Econometrie=) … Cum nu vrei asta?! E foarte bine acolo - trebuie doar să te decizi! …Dar ceea ce probabil că vrei cu siguranță este să înveți cum să rezolvi problemele cele mai mici pătrate. Și mai ales cititorii harnici vor învăța să le rezolve nu doar cu acuratețe, ci și FOARTE RAPID ;-) Dar mai întâi expunerea generală a problemei+ exemplu înrudit:
Să fie studiați indicatorii într-o anumită materie care au o expresie cantitativă. În același timp, există toate motivele să credem că indicatorul depinde de indicator. Această presupunere poate fi atât o ipoteză științifică, cât și bazată pe bun simț elementar. Să lăsăm totuși știința deoparte și să explorăm zone mai apetisante - și anume, magazinele alimentare. Se notează prin:
– spațiu comercial al unui magazin alimentar, mp,
- cifra de afaceri anuală a unui magazin alimentar, milioane de ruble.
Este destul de clar că, cu cât suprafața magazinului este mai mare, cu atât cifra de afaceri este mai mare în majoritatea cazurilor.
Să presupunem că după efectuarea de observații / experimente / calcule / dans cu o tamburină, avem la dispoziție date numerice: 
Cu magazinele alimentare, cred că totul este clar: - aceasta este zona primului magazin, - cifra de afaceri anuală a acestuia, - zona celui de-al doilea magazin, - cifra de afaceri anuală etc. Apropo, nu este deloc necesar să aveți acces la materiale clasificate - o evaluare destul de precisă a cifrei de afaceri poate fi obținută folosind statistici matematice. Cu toate acestea, nu vă lăsați distras, cursul de spionaj comercial este deja plătit =)
Datele tabelare pot fi scrise și sub formă de puncte și descrise în mod obișnuit pentru noi. Sistemul cartezian .
Să răspundem la o întrebare importantă: de câte puncte sunt necesare pentru un studiu calitativ?
Cu cât mai mare cu atât mai bine. Setul minim admis este format din 5-6 puncte. În plus, cu o cantitate mică de date, rezultatele „anormale” nu ar trebui incluse în eșantion. Deci, de exemplu, un mic magazin de elită poate ajuta ordine de mărime mai mult decât „colegii lor”, distorsionând astfel modelul general care trebuie găsit!
Dacă este destul de simplu, trebuie să alegem o funcție, programa care trece cât mai aproape de puncte 
. O astfel de funcție este numită aproximând
(aproximare - aproximare) sau functie teoretica
. În general, aici apare imediat un „pretendint” evident - un polinom de grad înalt, al cărui grafic trece prin TOATE punctele. Dar această opțiune este complicată și adesea pur și simplu incorectă. (deoarece graficul se va „vânta” tot timpul și reflectă slab tendința principală).
Astfel, funcția dorită trebuie să fie suficient de simplă și, în același timp, să reflecte adecvat dependența. După cum ați putea ghici, una dintre metodele pentru găsirea unor astfel de funcții este numită cele mai mici pătrate. În primul rând, să analizăm esența sa într-un mod general. Fie ca o funcție să aproximeze datele experimentale: 
Cum se evaluează acuratețea acestei aproximări? Să calculăm și diferențele (abaterile) dintre valorile experimentale și cele funcționale (studiam desenul). Primul gând care îmi vine în minte este să estimăm cât de mare este suma, dar problema este că diferențele pot fi negative. (de exemplu, 
)
iar abaterile ca urmare a unei astfel de însumări se vor anula reciproc. Prin urmare, ca o estimare a preciziei aproximării, se sugerează să ia suma module abateri:
sau în formă pliată: (pentru cei care nu stiu:
este pictograma sumei și
- variabilă auxiliară - „contor”, care ia valori de la 1 la
)
.
Aproximând punctele experimentale cu diferite funcții, vom obține valori diferite și este evident unde această sumă este mai mică - acea funcție este mai precisă.
O astfel de metodă există și este numită metoda modulului minim. Cu toate acestea, în practică a devenit mult mai răspândită. metoda celor mai mici pătrate, în care posibilele valori negative sunt eliminate nu prin modul, ci prin pătrarea abaterilor:
, după care eforturile sunt direcționate către selectarea unei astfel de funcție încât suma abaterilor pătrate 
era cât se poate de mică. De fapt, de aici și numele metodei.
Și acum revenim la un alt punct important: după cum sa menționat mai sus, funcția selectată ar trebui să fie destul de simplă - dar există și multe astfel de funcții: liniar , hiperbolic , exponenţială , logaritmică , pătratică etc. Și, bineînțeles, aici aș vrea imediat să „reduiesc domeniul de activitate”. Ce clasă de funcții să alegeți pentru cercetare? Tehnica primitivă, dar eficientă:
- Cel mai simplu mod de a atrage puncte pe desen și analizați locația acestora. Dacă tind să fie în linie dreaptă, atunci ar trebui să cauți ecuație în linie dreaptă 
cu valori optime și . Cu alte cuvinte, sarcina este de a găsi ACEPTĂ coeficienți - astfel încât suma abaterilor pătrate să fie cea mai mică.
Dacă punctele sunt situate, de exemplu, de-a lungul hiperbolă, atunci este clar că funcția liniară va da o aproximare slabă. În acest caz, căutăm cei mai „favorabili” coeficienți pentru ecuația hiperbolei - cei care dau suma minimă a pătratelor 
.
Acum observați că în ambele cazuri vorbim funcţiile a două variabile, ale căror argumente sunt opțiuni de dependență căutate:
Și, în esență, trebuie să rezolvăm o problemă standard - să găsim minim de o funcție a două variabile.
Amintiți-vă exemplul nostru: să presupunem că punctele „magazin” tind să fie situate în linie dreaptă și că există toate motivele să credem că prezența dependență liniară cifra de afaceri din zona de tranzactionare. Să găsim astfel de coeficienți „a” și „fi”, astfel încât suma abaterilor pătrate 
a fost cel mai mic. Totul ca de obicei - mai întâi derivate parțiale de ordinul I. Conform regula liniarității puteți diferenția chiar sub pictograma sumă: 
Dacă doriți să folosiți aceste informații pentru un eseu sau un curs, vă voi fi foarte recunoscător pentru linkul din lista de surse, nu veți găsi nicăieri astfel de calcule detaliate: 
Să facem un sistem standard: 
Reducem fiecare ecuație cu un „doi” și, în plus, „despărțim” sumele: 
Notă
: analizați în mod independent de ce „a” și „fi” pot fi scoase din pictograma sumă. Apropo, formal acest lucru se poate face cu suma 
Să rescriem sistemul într-o formă „aplicată”: 
după care începe să fie trasat algoritmul pentru rezolvarea problemei noastre:
Cunoaștem coordonatele punctelor? Noi stim. Sume 
putem gasi? Uşor. Compunem cel mai simplu sistem de două ecuații liniare cu două necunoscute("a" și "beh"). Rezolvăm sistemul, de exemplu, metoda lui Cramer, rezultând un punct staționar . Control condiție suficientă pentru un extremum, putem verifica că în acest moment funcția 
ajunge precis minim. Verificarea este asociată cu calcule suplimentare și, prin urmare, o vom lăsa în culise. (dacă este necesar, cadrul lipsă poate fi vizualizatAici
)
. Tragem concluzia finală:
Funcţie 
cel mai bun mod (cel puțin în comparație cu orice altă funcție liniară) apropie punctele experimentale . În linii mari, graficul său trece cât mai aproape de aceste puncte. In traditie econometrie funcţia de aproximare rezultată se mai numeşte ecuație de regresie liniară pereche
.
Problema luată în considerare este de mare importanță practică. În situația cu exemplul nostru, ecuația vă permite să preziceți ce fel de cifră de afaceri ("yig") va fi la magazinul cu una sau alta valoare a zonei de vânzare (unul sau altul sens al lui „x”). Da, prognoza rezultată va fi doar o prognoză, dar în multe cazuri se va dovedi a fi destul de precisă.
Voi analiza doar o singură problemă cu numerele „reale”, deoarece nu există dificultăți în ea - toate calculele sunt la nivelul programului școlar din clasele 7-8. În 95 la sută din cazuri, vi se va cere să găsiți doar o funcție liniară, dar la sfârșitul articolului voi arăta că nu este mai dificil să găsiți ecuațiile pentru hiperbola optimă, exponent și alte funcții.
De fapt, rămâne să distribuiți bunătățile promise - astfel încât să învățați cum să rezolvați astfel de exemple nu numai cu acuratețe, ci și rapid. Studiem cu atenție standardul:
O sarcină
În urma studierii relației dintre doi indicatori, s-au obținut următoarele perechi de numere: 
Folosind metoda celor mai mici pătrate, găsiți funcția liniară care aproximează cel mai bine empiric (cu experienta) date. Realizați un desen pe care, într-un sistem de coordonate dreptunghiular cartezian, să trasați punctele experimentale și un grafic al funcției de aproximare 
. Aflați suma abaterilor pătrate dintre valorile empirice și teoretice. Aflați dacă funcția este mai bună (în ceea ce privește metoda celor mai mici pătrate) puncte experimentale aproximative.
Rețineți că valorile „x” sunt valori naturale, iar aceasta are o semnificație caracteristică, despre care voi vorbi puțin mai târziu; dar ele, desigur, pot fi fracționate. În plus, în funcție de conținutul unei anumite sarcini, atât valorile „X” cât și „G” pot fi complet sau parțial negative. Ei bine, ni s-a dat o sarcină „fără chip” și o începem soluţie:
Găsim coeficienții funcției optime ca soluție a sistemului: 
În scopul unei notații mai compacte, variabila „contor” poate fi omisă, deoarece este deja clar că însumarea se realizează de la 1 la .
Este mai convenabil să calculați sumele necesare într-o formă tabelară: 
Calculele pot fi efectuate pe un microcalculator, dar este mult mai bine să utilizați Excel - atât mai rapid, cât și fără erori; vezi un scurt video:
Astfel, obținem următoarele sistem:
Aici puteți înmulți a doua ecuație cu 3 și scădeți al 2-lea din prima ecuație termen cu termen. Dar acesta este noroc - în practică, sistemele nu sunt adesea dotate și, în astfel de cazuri, economisesc metoda lui Cramer:
, astfel încât sistemul are o soluție unică.
Hai să facem o verificare. Înțeleg că nu vreau, dar de ce să sari peste greșeli în care nu le poți rata? Înlocuiți soluția găsită în partea stângă a fiecărei ecuații a sistemului:
Se obțin părțile corecte ale ecuațiilor corespunzătoare, ceea ce înseamnă că sistemul este rezolvat corect.
Astfel, funcția de aproximare dorită: – de la toate funcțiile liniare datele experimentale sunt cel mai bine aproximate prin aceasta.
Spre deosebire de Drept
dependenţa cifrei de afaceri a magazinului de suprafaţa acestuia, dependenţa constatată este verso
(principiul „cu cât mai mult – cu atât mai puțin”), iar acest fapt este imediat relevat de negativ coeficient unghiular. Funcţie 
ne informează că odată cu creșterea unui anumit indicator cu 1 unitate, valoarea indicatorului dependent scade in medie cu 0,65 unități. După cum se spune, cu cât prețul hrișcii este mai mare, cu atât se vând mai puțin.
Pentru a reprezenta graficul funcției de aproximare, găsim două dintre valorile acesteia:
și executați desenul: 
Linia construită se numește linie de tendință
(și anume, o linie de tendință liniară, adică, în cazul general, o tendință nu este neapărat o linie dreaptă). Toată lumea este familiarizată cu expresia „a fi în tendință”, și cred că acest termen nu are nevoie de comentarii suplimentare.
Calculați suma abaterilor pătrate 
între valorile empirice şi cele teoretice. Din punct de vedere geometric, aceasta este suma pătratelor lungimii segmentelor „crimson”. (dintre care două sunt atât de mici încât nici nu le poți vedea).
Să rezumam calculele într-un tabel: 
Ele pot fi din nou efectuate manual, doar în cazul în care voi da un exemplu pentru primul punct: 
dar este mult mai eficient să faci modul deja cunoscut:
Să repetăm: care este sensul rezultatului? Din toate funcțiile liniare funcţie exponentul este cel mai mic, adică este cea mai bună aproximare din familia sa. Și aici, apropo, întrebarea finală a problemei nu este întâmplătoare: ce se întâmplă dacă funcția exponențială propusă va aproxima mai bine punctele experimentale?
Să găsim suma corespunzătoare a abaterilor pătrate - pentru a le distinge, le voi desemna cu litera „epsilon”. Tehnica este exact aceeași:
Și din nou pentru fiecare calcul de incendiu pentru primul punct: 
În Excel, folosim funcția standard EXP (Sintaxa poate fi găsită în Ajutor Excel).
Concluzie: , deci funcția exponențială aproximează punctele experimentale mai rău decât dreapta .
Dar trebuie remarcat aici că „mai rău” este nu înseamnă încă, Ce s-a întâmplat. Acum am construit un grafic al acestei funcții exponențiale - și trece, de asemenea, aproape de puncte 
- atât de mult încât fără un studiu analitic este greu de spus care funcție este mai exactă.
Aceasta completează soluția și revin la întrebarea valorilor naturale ale argumentului. În diverse studii, de regulă, economice sau sociologice, lunile, anii sau alte intervale de timp egale sunt numerotate cu „X” natural. Luați în considerare, de exemplu, următoarea problemă:
Avem următoarele date despre cifra de afaceri cu amănuntul a magazinului pentru prima jumătate a anului:
Folosind alinierea analitică în linie dreaptă, găsiți volumul vânzărilor pentru iulie.
Da, nicio problemă: numerotăm lunile 1, 2, 3, 4, 5, 6 și folosim algoritmul obișnuit, în urma căruia obținem o ecuație - singurul lucru când vine vorba de timp este de obicei litera „te ” (deși nu este critic). Ecuația rezultată arată că în prima jumătate a anului, cifra de afaceri a crescut cu o medie de 27,74 UM. pe luna. Obțineți o prognoză pentru iulie (luna #7): UE.
Și sarcini similare - întunericul este întunecat. Cei care doresc pot folosi un serviciu suplimentar si anume my Calculator Excel (versiunea demo), care rezolvă problema aproape instantaneu! Versiunea de lucru a programului este disponibilă în schimb sau pentru plata simbolica.
La sfârșitul lecției, o scurtă informație despre găsirea dependențelor de alte tipuri. De fapt, nu este nimic special de spus, deoarece abordarea fundamentală și algoritmul de soluție rămân aceleași.
Să presupunem că locația punctelor experimentale seamănă cu o hiperbolă. Apoi, pentru a găsi coeficienții celei mai bune hiperbole, trebuie să găsiți minimul funcției - cei care doresc pot efectua calcule detaliate și pot ajunge la un sistem similar: 
Din punct de vedere tehnic formal, se obține din sistemul „liniar”. 
(să-l marchem cu un asterisc)înlocuind „x” cu . Ei bine, sumele 
calculați, după care la coeficienții optimi „a” și „fi” la mana.
Dacă există toate motivele să credem că punctele sunt aranjate de-a lungul unei curbe logaritmice, apoi pentru a căuta valorile optime și a găsi minimul funcției 
. Formal, în sistem (*) ar trebui înlocuit cu: 
Când calculați în Excel, utilizați funcția LN. Mărturisesc că nu îmi va fi greu să creez calculatoare pentru fiecare dintre cazurile luate în considerare, dar tot va fi mai bine dacă „programați” singuri calculele. Tutoriale video pentru a ajuta.
Cu dependența exponențială, situația este puțin mai complicată. Pentru a reduce problema la cazul liniar, luăm logaritmul funcției și al utilizării proprietățile logaritmului:
Acum, comparând funcția obținută cu funcția liniară , ajungem la concluzia că în sistem (*) trebuie înlocuit cu , și - cu . Pentru comoditate, notăm: 
Vă rugăm să rețineți că sistemul este rezolvat în raport cu și și, prin urmare, după găsirea rădăcinilor, nu trebuie să uitați să găsiți coeficientul în sine.
Pentru a aproxima punctele experimentale parabolă optimă 
, ar trebui găsit minim de o funcție de trei variabile. După efectuarea acțiunilor standard, obținem următoarea „funcționare” sistem:
Da, desigur, aici sunt mai multe sume, dar nu există deloc dificultăți atunci când utilizați aplicația preferată. Și, în sfârșit, vă voi spune cum să verificați rapid folosind Excel și să construiți linia de tendință dorită: creați o diagramă de dispersie, selectați oricare dintre puncte cu mouse-ul și clic dreapta selectați opțiunea „Adăugați o linie de tendință”. Apoi, selectați tipul de diagramă și pe filă "Opțiuni" activați opțiunea „Afișați ecuația pe diagramă”. O.K
Ca întotdeauna, vreau să închei articolul cu o frază frumoasă și aproape că am tastat „Fii în tendințe!”. Dar în timp s-a răzgândit. Și nu pentru că ar fi formulat. Nu știu cum de cineva, dar nu vreau deloc să urmăresc tendința promovată americană și mai ales europeană =) Prin urmare, vă doresc fiecăruia dintre voi să rămâi la propria linie!
http://www.grandars.ru/student/vysshaya-matematika/metod-naimenshih-kvadratov.html
Metoda celor mai mici pătrate este una dintre cele mai comune și mai dezvoltate datorită ei simplitatea și eficiența metodelor de estimare a parametrilor modelelor econometrice liniare. În același timp, trebuie avută o anumită precauție atunci când îl utilizați, deoarece modelele construite folosindu-l pot să nu îndeplinească o serie de cerințe privind calitatea parametrilor lor și, ca urmare, să nu reflecte „bine” modelele de dezvoltare a procesului.
Să luăm în considerare mai detaliat procedura de estimare a parametrilor unui model econometric liniar folosind metoda celor mai mici pătrate. Un astfel de model în formă generală poate fi reprezentat prin ecuația (1.2):
y t = a 0 + a 1 x 1t +...+ a n x nt + ε t .
Datele inițiale la estimarea parametrilor a 0 , a 1 ,..., a n este vectorul valorilor variabilei dependente y= (y 1 , y 2 , ... , y T)" și matricea valorilor variabilelor independente
în care prima coloană, formată din unele, corespunde coeficientului modelului .
Metoda celor mai mici pătrate și-a primit numele pe baza principiului de bază conform căruia estimările parametrilor obținute pe baza ei trebuie să satisfacă: suma pătratelor erorii de model ar trebui să fie minimă.
Exemple de rezolvare a problemelor prin metoda celor mai mici pătrate
Exemplul 2.1.Întreprinderea comercială are o rețea formată din 12 magazine, informații despre activitățile cărora sunt prezentate în tabel. 2.1.
Conducerea companiei ar dori să știe în ce măsură dimensiunea cifrei de afaceri anuale depinde de spațiul de vânzare cu amănuntul al magazinului.
Tabelul 2.1
| Numărul magazinului | Cifra de afaceri anuală, milioane de ruble | Zona comercială, mii m2 |
| 19,76 | 0,24 | |
| 38,09 | 0,31 | |
| 40,95 | 0,55 | |
| 41,08 | 0,48 | |
| 56,29 | 0,78 | |
| 68,51 | 0,98 | |
| 75,01 | 0,94 | |
| 89,05 | 1,21 | |
| 91,13 | 1,29 | |
| 91,26 | 1,12 | |
| 99,84 | 1,29 | |
| 108,55 | 1,49 |
Soluția celor mai mici pătrate. Să desemnăm - cifra de afaceri anuală a celui de-al-lea magazin, milioane de ruble; - suprafața de vânzare a celui de-al-lea magazin, mii m2.
Fig.2.1. Scatterplot pentru Exemplul 2.1
Pentru a determina forma relației funcționale dintre variabile și a construi un grafic de dispersie (Fig. 2.1).
Pe baza diagramei de dispersie, putem concluziona că cifra de afaceri anuală este dependentă pozitiv de zona de vânzare (adică, y va crește odată cu creșterea ). Cea mai potrivită formă de conexiune funcțională este liniar.
Informațiile pentru calcule suplimentare sunt prezentate în tabel. 2.2. Folosind metoda celor mai mici pătrate, estimăm parametrii modelului econometric liniar cu un singur factor
Tabelul 2.2
| t | YT | x 1t | y t 2 | x1t2 | x 1t y t |
| 19,76 | 0,24 | 390,4576 | 0,0576 | 4,7424 | |
| 38,09 | 0,31 | 1450,8481 | 0,0961 | 11,8079 | |
| 40,95 | 0,55 | 1676,9025 | 0,3025 | 22,5225 | |
| 41,08 | 0,48 | 1687,5664 | 0,2304 | 19,7184 | |
| 56,29 | 0,78 | 3168,5641 | 0,6084 | 43,9062 | |
| 68,51 | 0,98 | 4693,6201 | 0,9604 | 67,1398 | |
| 75,01 | 0,94 | 5626,5001 | 0,8836 | 70,5094 | |
| 89,05 | 1,21 | 7929,9025 | 1,4641 | 107,7505 | |
| 91,13 | 1,29 | 8304,6769 | 1,6641 | 117,5577 | |
| 91,26 | 1,12 | 8328,3876 | 1,2544 | 102,2112 | |
| 99,84 | 1,29 | 9968,0256 | 1,6641 | 128,7936 | |
| 108,55 | 1,49 | 11783,1025 | 2,2201 | 161,7395 | |
| S | 819,52 | 10,68 | 65008,554 | 11,4058 | 858,3991 |
| In medie | 68,29 | 0,89 |
În acest fel,
Prin urmare, cu o creștere a suprafeței de tranzacționare cu 1 mie m 2, restul fiind egale, cifra de afaceri medie anuală crește cu 67,8871 milioane de ruble.
Exemplul 2.2. Conducerea întreprinderii a observat că cifra de afaceri anuală depinde nu numai de zona de vânzare a magazinului (vezi exemplul 2.1), ci și de numărul mediu de vizitatori. Informațiile relevante sunt prezentate în tabel. 2.3.
Tabelul 2.3
Soluţie. Indicați - numărul mediu de vizitatori ai magazinului --lea pe zi, mii de persoane.
Pentru a determina forma relației funcționale dintre variabile și a construi un grafic de dispersie (Fig. 2.2).
Pe baza diagramei de dispersie, putem concluziona că cifra de afaceri anuală este legată pozitiv de numărul mediu de vizitatori pe zi (adică, y va crește odată cu creșterea ). Forma dependenței funcționale este liniară.
Orez. 2.2. Scatterplot, de exemplu 2.2
Tabelul 2.4
| t | x 2t | x 2t 2 | yt x 2t | x 1t x 2t |
| 8,25 | 68,0625 | 163,02 | 1,98 | |
| 10,24 | 104,8575 | 390,0416 | 3,1744 | |
| 9,31 | 86,6761 | 381,2445 | 5,1205 | |
| 11,01 | 121,2201 | 452,2908 | 5,2848 | |
| 8,54 | 72,9316 | 480,7166 | 6,6612 | |
| 7,51 | 56,4001 | 514,5101 | 7,3598 | |
| 12,36 | 152,7696 | 927,1236 | 11,6184 | |
| 10,81 | 116,8561 | 962,6305 | 13,0801 | |
| 9,89 | 97,8121 | 901,2757 | 12,7581 | |
| 13,72 | 188,2384 | 1252,0872 | 15,3664 | |
| 12,27 | 150,5529 | 1225,0368 | 15,8283 | |
| 13,92 | 193,7664 | 1511,016 | 20,7408 | |
| S | 127,83 | 1410,44 | 9160,9934 | 118,9728 |
| In medie | 10,65 |
În general, este necesar să se determine parametrii modelului econometric cu doi factori
y t \u003d a 0 + a 1 x 1t + a 2 x 2t + ε t
Informațiile necesare pentru calcule ulterioare sunt prezentate în tabel. 2.4.
Să estimăm parametrii unui model econometric liniar cu doi factori folosind metoda celor mai mici pătrate.
În acest fel,
Evaluarea coeficientului = 61,6583 arată că, toate celelalte lucruri fiind egale, cu o creștere a suprafeței de vânzare cu 1 mie m 2, cifra de afaceri anuală va crește cu o medie de 61,6583 milioane de ruble.
Estimarea coeficientului = 2,2748 arată că, cu toate acestea, cu o creștere a numărului mediu de vizitatori la 1 mie de persoane. pe zi, cifra de afaceri anuală va crește cu o medie de 2,2748 milioane de ruble.
Exemplul 2.3. Folosind informațiile prezentate în tabel. 2.2 și 2.4, estimați parametrul unui model econometric cu un singur factor
unde este valoarea centrată a cifrei de afaceri anuale a celui de-al-lea magazin, milioane de ruble; - valoarea centrată a numărului mediu zilnic de vizitatori la al-lea magazin, mii de persoane. (vezi exemplele 2.1-2.2).
Soluţie. Informațiile suplimentare necesare pentru calcule sunt prezentate în tabel. 2.5.
Tabelul 2.5
| -48,53 | -2,40 | 5,7720 | 116,6013 | |
| -30,20 | -0,41 | 0,1702 | 12,4589 | |
| -27,34 | -1,34 | 1,8023 | 36,7084 | |
| -27,21 | 0,36 | 0,1278 | -9,7288 | |
| -12,00 | -2,11 | 4,4627 | 25,3570 | |
| 0,22 | -3,14 | 9,8753 | -0,6809 | |
| 6,72 | 1,71 | 2,9156 | 11,4687 | |
| 20,76 | 0,16 | 0,0348 | 3,2992 | |
| 22,84 | -0,76 | 0,5814 | -17,413 | |
| 22,97 | 3,07 | 9,4096 | 70,4503 | |
| 31,55 | 1,62 | 2,6163 | 51,0267 | |
| 40,26 | 3,27 | 10,6766 | 131,5387 | |
| Sumă | 48,4344 | 431,0566 |
Folosind formula (2.35), obținem
În acest fel,
http://www.cleverstudents.ru/articles/mnk.html
Exemplu.
Date experimentale despre valorile variabilelor Xși la sunt date în tabel. 
Ca urmare a alinierii lor, funcția 
Folosind metoda celor mai mici pătrate, aproximați aceste date cu o dependență liniară y=ax+b(găsiți opțiuni Ași b). Aflați care dintre cele două linii este mai bună (în sensul metodei celor mai mici pătrate) aliniază datele experimentale. Faceți un desen.
Soluţie.
În exemplul nostru n=5. Completam tabelul pentru confortul calculării sumelor care sunt incluse în formulele coeficienților necesari. 
Valorile din al patrulea rând al tabelului se obțin prin înmulțirea valorilor celui de-al 2-lea rând cu valorile celui de-al 3-lea rând pentru fiecare număr i.
Valorile din al cincilea rând al tabelului se obțin prin pătrarea valorilor din al doilea rând pentru fiecare număr i.
Valorile ultimei coloane a tabelului sunt sumele valorilor de pe rânduri.
Folosim formulele metodei celor mai mici pătrate pentru a găsi coeficienții Ași b. Înlocuim în ele valorile corespunzătoare din ultima coloană a tabelului: 
Prin urmare, y=0,165x+2,184 este linia dreaptă de aproximare dorită.
Rămâne să aflăm care dintre rânduri y=0,165x+2,184 sau aproximează mai bine datele originale, adică să facă o estimare folosind metoda celor mai mici pătrate.
Dovada.
Așa că atunci când este găsit Ași b funcția ia cea mai mică valoare, este necesar ca în acest moment matricea formei pătratice a diferenţialului de ordinul doi pentru funcţie 
a fost pozitiv definit. Să o arătăm.
Diferenţialul de ordinul doi are forma: 
Acesta este
Prin urmare, matricea formei pătratice are forma 
iar valorile elementelor nu depind de Ași b.
Să arătăm că matricea este definită pozitivă. Acest lucru necesită ca unghiul minori să fie pozitiv.
Minor unghiular de ordinul întâi 
. Inegalitatea este strictă, deoarece punctele
- tutorial
Introducere
Eu sunt un programator. Am făcut cel mai mare salt din cariera mea când am învățat să spun: "Eu nu înțeleg nimic!" Acum nu mi-e rușine să-i spun luminatorului științei că îmi ține o prelegere, că nu înțeleg despre ce îmi vorbește, luminatorul. Și este foarte greu. Da, este greu și jenant să recunoști că nu știi. Cui îi place să recunoască că nu știe elementele de bază ale ceva-acolo. În virtutea profesiei mele, trebuie să asist la un număr mare de prezentări și prelegeri, unde, mărturisesc, în marea majoritate a cazurilor îmi este somnoros, pentru că nu înțeleg nimic. Și nu înțeleg pentru că problema uriașă a situației actuale în știință constă în matematică. Se presupune că toți elevii sunt familiarizați cu absolut toate domeniile matematicii (ceea ce este absurd). Să recunoști că nu știi ce este un derivat (că acesta este puțin mai târziu) este păcat.
Dar am învățat să spun că nu știu ce este înmulțirea. Da, nu știu ce este o subalgebră peste o algebră Lie. Da, nu știu de ce sunt necesare ecuații patratice în viață. Apropo, dacă ești sigur că știi, atunci avem despre ce să vorbim! Matematica este o serie de trucuri. Matematicienii încearcă să încurce și să intimideze publicul; unde nu există confuzie, nici reputație, nici autoritate. Da, este prestigios să vorbești într-un limbaj cel mai abstract posibil, ceea ce este un nonsens în sine.
Știți ce este un derivat? Cel mai probabil îmi veți spune despre limita relației de diferență. În primul an de matematică la Universitatea de Stat din Sankt Petersburg, Viktor Petrovici Khavin mă definit derivată ca coeficient al primului termen al seriei Taylor al funcției la punctul (a fost o gimnastică separată pentru a determina seria Taylor fără derivate). Am râs mult timp de această definiție, până am înțeles în sfârșit despre ce este vorba. Derivata nu este altceva decât o măsură a cât de mult este similară funcției pe care o diferențiem cu funcția y=x, y=x^2, y=x^3.
Acum am onoarea de a preda studenți care frică matematică. Dacă ți-e frică de matematică - suntem pe drum. De îndată ce încerci să citești ceva text și ți se pare că este prea complicat, atunci știi că este prost scris. Susțin că nu există o singură zonă a matematicii despre care să nu se poată vorbi despre „pe degete” fără a pierde acuratețea.
Provocarea pentru viitorul apropiat: mi-am instruit elevii să înțeleagă ce este un controler liniar-quadratic. Nu fi timid, pierde trei minute din viața ta, urmărește linkul. Dacă nu înțelegi nimic, atunci suntem pe drum. Nici eu (matematician-programator profesionist) nu am inteles nimic. Și vă asigur că asta se poate rezolva „pe degete”. Momentan nu știu ce este, dar vă asigur că vom reuși să ne dăm seama.
Așadar, prima prelegere pe care o voi ține studenților mei după ce vor veni în fugă la mine îngroziți cu cuvintele că un controler liniar-quadratic este un bug teribil pe care nu îl vei stăpâni niciodată în viața ta este metodele celor mai mici pătrate. Puteți rezolva ecuații liniare? Dacă citiți acest text, atunci cel mai probabil nu.
Deci, având în vedere două puncte (x0, y0), (x1, y1), de exemplu, (1,1) și (3,2), sarcina este de a găsi ecuația unei drepte care trece prin aceste două puncte:
ilustrare
Această linie dreaptă ar trebui să aibă o ecuație ca următoarea:
Aici alfa și beta ne sunt necunoscute, dar două puncte ale acestei linii sunt cunoscute:
Puteți scrie această ecuație sub formă de matrice:
Aici ar trebui să facem o digresiune lirică: ce este o matrice? O matrice nu este altceva decât o matrice bidimensională. Acesta este un mod de stocare a datelor, nu ar trebui să i se mai acorde valori. Depinde de noi cum să interpretăm exact o anumită matrice. Periodic, o voi interpreta ca o mapare liniară, periodic ca o formă pătratică și uneori pur și simplu ca un set de vectori. Toate acestea vor fi clarificate în context.
Să înlocuim matricele specifice cu reprezentarea lor simbolică:
Apoi (alfa, beta) pot fi găsite cu ușurință:
Mai precis pentru datele noastre anterioare:
Ceea ce duce la următoarea ecuație a unei drepte care trece prin punctele (1,1) și (3,2):
Bine, totul este clar aici. Și să găsim ecuația unei drepte care trece prin Trei puncte: (x0,y0), (x1,y1) și (x2,y2):
Oh-oh-oh, dar avem trei ecuații pentru două necunoscute! Matematicianul standard va spune că nu există o soluție. Ce va spune programatorul? Și mai întâi va rescrie sistemul anterior de ecuații în următoarea formă:
În cazul nostru, vectorii i, j, b sunt tridimensionali, prin urmare, (în cazul general) nu există o soluție pentru acest sistem. Orice vector (alfa\*i + beta\*j) se află în planul acoperit de vectorii (i, j). Dacă b nu aparține acestui plan, atunci nu există soluție (egalitatea în ecuație nu poate fi obținută). Ce să fac? Să căutăm un compromis. Să notăm prin e(alfa, beta) cum exact nu am atins egalitatea:
Și vom încerca să minimizăm această eroare:
De ce un pătrat?
Căutăm nu doar minimul normei, ci și minimul pătratului normei. De ce? Punctul minim în sine coincide, iar pătratul dă o funcție netedă (o funcție pătratică a argumentelor (alfa,beta)), în timp ce doar lungimea dă o funcție sub formă de con, nediferențiabilă la punctul minim. Brr. Square este mai convenabil.
Evident, eroarea este minimizată atunci când vectorul e ortogonală cu planul acoperit de vectori iși j.
Ilustrare
Cu alte cuvinte: căutăm o dreaptă astfel încât suma pătratelor lungimii distanțelor de la toate punctele la această dreaptă să fie minimă:
UPDATE: aici am un jamb, distanța până la linie trebuie măsurată pe verticală, nu proiecție ortografică. Acest comentator este corect.
Ilustrare
Cu cuvinte complet diferite (atenție, prost formalizate, dar ar trebui să fie clar pe degete): luăm toate liniile posibile între toate perechile de puncte și căutăm linia medie între toate:
Ilustrare
O altă explicație pe degete: atașăm un arc între toate punctele de date (aici avem trei) și linia pe care o căutăm, iar linia stării de echilibru este exact ceea ce căutăm.
Forma cuadratică minimă
Deci, având în vedere vectorul b iar planul acoperit de coloanele-vectori ai matricei A(în acest caz (x0,x1,x2) și (1,1,1)), căutăm un vector e cu un pătrat minim de lungime. Evident, minimul este realizabil doar pentru vector e, ortogonal cu planul acoperit de coloanele-vectori ai matricei A:Cu alte cuvinte, căutăm un vector x=(alfa, beta) astfel încât:
Vă reamintesc că acest vector x=(alfa, beta) este minimul funcției pătratice ||e(alfa, beta)||^2:
Aici este util să ne amintim că matricea poate fi interpretată la fel ca și forma pătratică, de exemplu, matricea de identitate ((1,0),(0,1)) poate fi interpretată ca o funcție a x^2 + y ^2:
formă pătratică
Toată această gimnastică este cunoscută ca regresie liniară.
Ecuația Laplace cu condiția la limită Dirichlet
Acum, cea mai simplă problemă reală: există o anumită suprafață triangulată, este necesar să o neteziți. De exemplu, să încărcăm modelul feței mele:
Commit-ul original este disponibil. Pentru a minimiza dependențele externe, am luat codul programului meu de redare software, deja pe Habré. Pentru a rezolva sistemul liniar, folosesc OpenNL , este un solutor grozav, dar este foarte greu de instalat: trebuie să copiați două fișiere (.h + .c) în folderul proiectului. Toată netezirea se face prin următorul cod:
Pentru (int d=0; d<3; d++) {
nlNewContext();
nlSolverParameteri(NL_NB_VARIABLES, verts.size());
nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE);
nlBegin(NL_SYSTEM);
nlBegin(NL_MATRIX);
for (int i=0; i<(int)verts.size(); i++) {
nlBegin(NL_ROW);
nlCoefficient(i, 1);
nlRightHandSide(verts[i][d]);
nlEnd(NL_ROW);
}
for (unsigned int i=0; i
Coordonatele X, Y și Z sunt separabile, le netezesc separat. Adică rezolv trei sisteme de ecuații liniare, fiecare cu același număr de variabile ca numărul de vârfuri din modelul meu. Primele n rânduri ale matricei A au doar un 1 pe rând, iar primele n rânduri ale vectorului b au coordonatele modelului original. Adică, fac legătura între noua poziție de vârf și vechea poziție de vârf - cele noi nu ar trebui să fie prea departe de cele vechi.
Toate rândurile ulterioare ale matricei A (faces.size()*3 = numărul de muchii ale tuturor triunghiurilor din grilă) au o apariție de 1 și o apariție de -1, în timp ce vectorul b are componente zero opuse. Aceasta înseamnă că am pus un arc pe fiecare margine a rețelei noastre triunghiulare: toate marginile încearcă să obțină același vârf ca punctele lor de început și de sfârșit.
Încă o dată: toate nodurile sunt variabile și nu se pot abate departe de poziția lor inițială, dar în același timp încearcă să devină asemănătoare între ele.
Iată rezultatul:
Totul ar fi bine, modelul este cu adevărat netezit, dar s-a îndepărtat de marginea inițială. Hai sa schimbam putin codul:
Pentru (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }
În matricea noastră A, pentru vârfurile care sunt pe margine, nu adaug un rând din categoria v_i = verts[i][d], ci 1000*v_i = 1000*verts[i][d]. Ce se schimbă? Și asta schimbă forma noastră pătratică a erorii. Acum, o singură abatere de la partea de sus la margine va costa nu o unitate, ca înainte, ci 1000 * 1000 de unități. Adică am atârnat un arc mai puternic pe vârfurile extreme, soluția preferă să le întindă pe altele mai puternic. Iată rezultatul:
Să dublăm puterea arcurilor dintre vârfuri:
nlCoeficient(față[ j ], 2); nlCoeficient(față[(j+1)%3], -2);
Este logic că suprafața a devenit mai netedă:
Și acum chiar de o sută de ori mai puternic:
Ce este asta? Imaginează-ți că am scufundat un inel de sârmă în apă cu săpun. Drept urmare, pelicula de săpun rezultată va încerca să aibă cea mai mică curbură posibil, atingând aceeași graniță - inelul nostru de sârmă. Este exact ceea ce am obținut fixând chenarul și cerând o suprafață netedă în interior. Felicitări, tocmai am rezolvat ecuația Laplace cu condițiile la limită Dirichlet. Suna bine? Dar, de fapt, un singur sistem de ecuații liniare de rezolvat.
Ecuația Poisson
Să avem un alt nume grozav.Să zicem că am o imagine ca aceasta:
Toată lumea este bună, dar nu-mi place scaunul.
Am tăiat poza în jumătate: 
Și voi alege un scaun cu mâinile mele: 
Apoi voi trage tot ce este alb în mască în partea stângă a imaginii și, în același timp, voi spune pe parcursul întregii imagini că diferența dintre doi pixeli vecini ar trebui să fie egală cu diferența dintre doi pixeli vecini ai imaginii. imagine dreapta:
Pentru (int i=0; i Iată rezultatul: Codul și imaginile sunt disponibile Metoda celor mai mici pătrate (OLS, ing. Ordinary Least Squares, MCO)- o metodă matematică utilizată pentru rezolvarea diverselor probleme, bazată pe minimizarea sumei abaterilor pătrate ale unor funcții de la variabilele dorite. Poate fi folosit pentru a „rezolva” sisteme de ecuații supradeterminate (când numărul de ecuații depășește numărul de necunoscute), pentru a găsi o soluție în cazul sistemelor de ecuații neliniare obișnuite (nu supradeterminate), pentru a aproxima valorile punctuale a unei anumite funcţii. OLS este una dintre metodele de bază de analiză de regresie pentru estimarea parametrilor necunoscuți ai modelelor de regresie din datele eșantionului. 1
/
5 ✪ Metoda celor mai mici pătrate. Subiect ✪ Mitin I. V. - Prelucrarea rezultatelor fizice. experiment - metoda celor mai mici pătrate (Lectura 4) ✪ Cele mai mici pătrate, lecția 1/2. Funcție liniară ✪ Econometrie. Cursul 5. Metoda celor mai mici pătrate ✪ Metoda celor mai mici pătrate. Răspunsuri Până la începutul secolului al XIX-lea. oamenii de știință nu aveau anumite reguli pentru rezolvarea unui sistem de ecuații în care numărul de necunoscute este mai mic decât numărul de ecuații; Până atunci s-au folosit metode deosebite, în funcție de tipul ecuațiilor și de ingeniozitatea calculatoarelor și, prin urmare, calculatoare diferite, plecând de la aceleași date observaționale, au ajuns la concluzii diferite. Gauss (1795) este creditat cu prima aplicare a metodei, iar Legendre (1805) a descoperit-o și publicat-o în mod independent sub numele său modern (fr. Methode des moindres quarres). Laplace a conectat metoda cu teoria probabilităților, iar matematicianul american Adrain (1808) a considerat aplicațiile probabilistice ale acesteia. Metoda este răspândită și îmbunătățită prin cercetări ulterioare ale lui Encke, Bessel, Hansen și alții. Lăsa x (\displaystyle x)- trusa n (\displaystyle n) variabile necunoscute (parametri), f i (x) (\displaystyle f_(i)(x)), , m > n (\displaystyle m>n)- set de funcții din acest set de variabile. Problema este să alegi astfel de valori x (\displaystyle x) astfel încât valorile acestor funcții să fie cât mai apropiate de unele valori y i (\displaystyle y_(i)). În esență, vorbim despre „soluția” sistemului de ecuații supradeterminat f i (x) = y i (\displaystyle f_(i)(x)=y_(i)), i = 1 , … , m (\displaystyle i=1,\ldots ,m)în sensul indicat, proximitatea maximă a părților din stânga și din dreapta ale sistemului. Esența LSM este de a alege ca „măsură a proximității” suma abaterilor pătrate ale părților din stânga și din dreapta | f i (x) − y i | (\displaystyle |f_(i)(x)-y_(i)|). Astfel, esența LSM poate fi exprimată astfel: Dacă sistemul de ecuații are o soluție, atunci minimul sumei pătratelor va fi egal cu zero și soluțiile exacte ale sistemului de ecuații pot fi găsite analitic sau, de exemplu, prin diverse metode de optimizare numerică. Dacă sistemul este supradeterminat, adică în mod vag, numărul de ecuații independente este mai mare decât numărul de variabile necunoscute, atunci sistemul nu are o soluție exactă și metoda celor mai mici pătrate ne permite să găsim un vector „optim” x (\displaystyle x)în sensul proximităţii maxime a vectorilor y (\displaystyle y)și f (x) (\displaystyle f(x)) sau proximitatea maximă a vectorului de abatere e (\displaystyle e) la zero (proximitatea se înțelege în sensul distanței euclidiene). În special, metoda celor mai mici pătrate poate fi utilizată pentru a „rezolva” sistemul de ecuații liniare Unde A (\displaystyle A) matrice de dimensiuni dreptunghiulare m × n , m > n (\displaystyle m\times n,m>n)(adică numărul de rânduri ale matricei A este mai mare decât numărul de variabile necesare). Un astfel de sistem de ecuații, în general, nu are soluție. Prin urmare, acest sistem poate fi „rezolvat” doar în sensul alegerii unui astfel de vector x (\displaystyle x) pentru a minimiza „distanța” dintre vectori A x (\displaystyle Ax)și b (\displaystyle b). Pentru a face acest lucru, puteți aplica criteriul de minimizare a sumei diferențelor pătrate ale părților din stânga și din dreapta ale ecuațiilor sistemului, adică (A x - b) T (A x - b) → min (\displaystyle (Ax-b)^(T)(Ax-b)\rightarrow \min ). Este ușor de arătat că rezolvarea acestei probleme de minimizare duce la rezolvarea următorului sistem de ecuații Să fie n (\displaystyle n) valorile unor variabile y (\displaystyle y)(acestea pot fi rezultatele observațiilor, experimentelor etc.) și variabilele corespunzătoare x (\displaystyle x). Provocarea este de a face relația între y (\displaystyle y)și x (\displaystyle x) aproximată printr-o funcție cunoscută până la niște parametri necunoscuți b (\displaystyle b), adică găsiți de fapt cele mai bune valori ale parametrilor b (\displaystyle b), aproximând la maxim valorile f (x, b) (\displaystyle f(x,b)) la valorile reale y (\displaystyle y). De fapt, aceasta se reduce la cazul „soluției” unui sistem supradeterminat de ecuații în raport cu b (\displaystyle b): F (x t , b) = y t , t = 1 , … , n (\displaystyle f(x_(t),b)=y_(t),t=1,\ldots,n). În analiza de regresie, și în special în econometrie, sunt utilizate modele probabilistice ale relației dintre variabile. Y t = f (x t , b) + ε t (\displaystyle y_(t)=f(x_(t),b)+\varepsilon _(t)), Unde ε t (\displaystyle \varepsilon _(t))- așa-zisul erori aleatorii modele. În consecință, abaterile valorilor observate y (\displaystyle y) de la model f (x, b) (\displaystyle f(x,b)) deja asumat în modelul în sine. Esența LSM (obișnuită, clasică) este găsirea unor astfel de parametri b (\displaystyle b), la care suma abaterilor pătrate (erori, pentru modelele de regresie sunt adesea numite reziduuri de regresie) e t (\displaystyle e_(t)) va fi minim: Unde R S S (\displaystyle RSS)- Engleză. Suma reziduală a pătratelor este definită ca: În cazul general, această problemă poate fi rezolvată prin metode numerice de optimizare (minimizare). În acest caz, se vorbește despre cele mai mici pătrate neliniare(NLS sau NLLS - ing. Cele mai mici pătrate neliniare). În multe cazuri, se poate obține o soluție analitică. Pentru a rezolva problema minimizării, este necesar să găsiți punctele staționare ale funcției R S S (b) (\displaystyle RSS(b)), diferențiându-l în raport cu parametrii necunoscuți b (\displaystyle b), echivalând derivatele cu zero și rezolvând sistemul de ecuații rezultat: Fie dependența de regresie liniară: Lăsa y este vectorul coloană de observații ale variabilei care se explică și X (\displaystyle X)- aceasta este (n × k) (\displaystyle ((n\times k)))- matricea de observații a factorilor (rânduri ale matricei - vectori de valori ale factorilor din această observație, pe coloane - vector de valori ale acestui factor în toate observațiile). Reprezentarea matricială a modelului liniar are forma: Atunci vectorul estimărilor variabilei explicate și vectorul reziduurilor de regresie vor fi egale cu în consecință, suma pătratelor reziduurilor de regresie va fi egală cu Diferențierea acestei funcție în raport cu vectorul parametru b (\displaystyle b)și echivalând derivatele cu zero, obținem un sistem de ecuații (sub formă de matrice): În forma matricei descifrate, acest sistem de ecuații arată astfel: (∑ x t 1 2 ∑ x t 1 x t 2 ∑ x t 1 x t 3 … ∑ x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t 2 x t 3 … ∑ x t 2 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t 2 x t 3 … ∑ x t 2 x t k ∑ x t 3 … ∑ x t 3 x t k ⋮ ⋮ ⋮ ⋱ ⋮ ∑ x t k x t 1 ∑ x t k x t 2 ∑ x t k x t 3 … ∑ x t k 2) (b 1 b 2 b 3 ⋮ b k) = (∑ x tk x∑ tdis 3 ⋮ b k) = (∑ x3 y∑ tdis ∑ tdis ∑ t∑ t∑ t∮ t∑ t (\begin(pmatrix)\sum x_(t1)^(2)&\sum x_(t1)x_(t2)&\sum x_(t1)x_(t3)&\ldots &\sum x_(t1)x_( tk)\\\sum x_(t2)x_(t1)&\sum x_(t2)^(2)&\sum x_(t2)x_(t3)&\ldots &\ sum x_(t2)x_(tk) \\\sum x_(t3)x_(t1)&\sum x_(t3)x_(t2)&\sum x_(t3)^(2)&\ldots &\sum x_ (t3)x_(tk)\\ \vdots &\vdots &\vdots &\ddots &\vdots \\\sum x_(tk)x_(t1)&\sum x_(tk)x_(t2)&\sum x_ (tk)x_(t3)&\ ldots &\sum x_(tk)^(2)\\\end(pmatrix))(\begin(pmatrix)b_(1)\\b_(2)\\b_(3 )\\\vdots \\b_( k)\\\end(pmatrix))=(\begin(pmatrix)\sum x_(t1)y_(t)\\\sum x_(t2)y_(t)\\ \sum x_(t3)y_(t) )\\\vdots \\\sum x_(tk)y_(t)\\\end(pmatrix))) unde toate sumele sunt preluate peste toate valorile admisibile t (\displaystyle t). Dacă o constantă este inclusă în model (ca de obicei), atunci x t 1 = 1 (\displaystyle x_(t1)=1) pentru toți t (\displaystyle t), prin urmare, în colțul din stânga sus al matricei sistemului de ecuații se află numărul de observații n (\displaystyle n), iar în elementele rămase din primul rând și prima coloană - doar suma valorilor variabilelor: ∑ x t j (\displaystyle \sum x_(tj))și primul element din partea dreaptă a sistemului - ∑ y t (\displaystyle \sum y_(t)). Rezolvarea acestui sistem de ecuații oferă formula generală pentru estimările celor mai mici pătrate pentru modelul liniar: În scopuri analitice, ultima reprezentare a acestei formule se dovedește a fi utilă (în sistemul de ecuații când se împarte la n, în loc de sume apar mediile aritmetice). Dacă datele din modelul de regresie centrat, atunci în această reprezentare prima matrice are semnificația unei matrice de covarianță eșantion de factori, iar a doua este vectorul de covarianțe de factori cu o variabilă dependentă. Dacă, în plus, datele sunt de asemenea normalizat la SKO (adică, în cele din urmă standardizate), atunci prima matrice are semnificația matricei de corelație a eșantionului de factori, al doilea vector - vectorul de corelații a eșantionului de factori cu variabila dependentă. O proprietate importantă a estimărilor LLS pentru modele cu o constantă- linia regresiei construite trece prin centrul de greutate al datelor eșantionului, adică egalitatea este îndeplinită: În special, în cazul extrem, când singurul regresor este o constantă, constatăm că estimarea MCO a unui singur parametru (constanta însăși) este egală cu valoarea medie a variabilei care se explică. Adică, media aritmetică, cunoscută pentru proprietățile sale bune din legile numerelor mari, este, de asemenea, o estimare a celor mai mici pătrate - satisface criteriul pentru suma minimă a abaterilor pătrate de la aceasta. În cazul regresiei liniare pe perechi y t = a + b x t + ε t (\displaystyle y_(t)=a+bx_(t)+\varepsilon _(t)), când se estimează dependența liniară a unei variabile față de alta, formulele de calcul sunt simplificate (puteți face fără algebra matriceală). Sistemul de ecuații are forma: De aici este ușor să găsiți estimări pentru coeficienți: În ciuda faptului că, în general, modelele cu o constantă sunt de preferat, în unele cazuri se știe din considerente teoretice că constanta a (\displaystyle a) ar trebui să fie egal cu zero. De exemplu, în fizică, relația dintre tensiune și curent are forma U = I ⋅ R (\displaystyle U=I\cdot R); măsurând tensiunea și curentul, este necesar să se estimeze rezistența. În acest caz, vorbim despre un model y = b x (\displaystyle y=bx). În acest caz, în loc de un sistem de ecuații, avem o singură ecuație (∑ x t 2) b = ∑ x t y t (\displaystyle \left(\sum x_(t)^(2)\right)b=\sum x_(t)y_(t)). Prin urmare, formula de estimare a unui singur coeficient are forma B ^ = ∑ t = 1 n x t y t ∑ t = 1 n x t 2 = x y ¯ x 2 ¯ (\displaystyle (\hat (b))=(\frac (\sum _(t=1)^(n)x_(t) )y_(t))(\sum _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))). Dacă datele sunt ajustate printr-o funcție de regresie polinomială a unei variabile f (x) = b 0 + ∑ i = 1 k b i x i (\displaystyle f(x)=b_(0)+\sum \limits _(i=1)^(k)b_(i)x^(i)), apoi, grade percepând x i (\displaystyle x^(i)) ca factori independenţi pentru fiecare i (\displaystyle i) este posibilă estimarea parametrilor modelului pe baza formulei generale de estimare a parametrilor modelului liniar. Pentru aceasta, este suficient să se țină seama în formula generală de faptul că la o asemenea interpretare x t i x t j = x t i x t j = x t i + j (\displaystyle x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j))și x t j y t = x t j y t (\displaystyle x_(tj)y_(t)=x_(t)^(j)y_(t)). Prin urmare, ecuațiile matriceale în acest caz vor lua forma: (n ∑ n x t ... ∑ n x t k ∑ n x t ∑ n x i 2 ... ∑ m x i k + 1 ⋮ ⋱ ⋮ ∑ ∑ n x t k ∑ n x t k + 1 ... ∑ n x t 2 k) [b 0∑ b k) n y t ∑ n x t y t ⋮ n x t k y t k y t ] . (\displaystyle (\begin(pmatrix)n&\sum\limits _(n)x_(t)&\ldots &\sum\limits _(n)x_(t)^(k)\\\sum \limits _( n)x_(t)&\sum \limits _(n)x_(i)^(2)&\ldots &\sum \limits _(m)x_(i)^(k+1)\\\vdots & \vdots &\ddots &\vdots \\\sum \limits _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\ldots &\ suma \limits _(n)x_(t)^(2k)\end(pmatrix))(\begin(bmatrix)b_(0)\\b_(1)\\\vdots \\b_(k)\end( bmatrix))=(\begin(bmatrix)\sum \limits _(n)y_(t)\\\sum \limits _(n)x_(t)y_(t)\\\vdots \\\sum \limits _(n)x_(t)^(k)y_(t)\end(bmatrix)).) În primul rând, observăm că pentru modelele liniare, estimările celor mai mici pătrate sunt estimări liniare, după cum rezultă din formula de mai sus. Pentru imparțialitatea estimărilor celor mai mici pătrate, este necesar și suficient să se îndeplinească cea mai importantă condiție a analizei de regresie: așteptarea matematică a unei erori aleatoare condiționată de factori trebuie să fie egală cu zero. Această condiție este îndeplinită, în special, dacă A doua condiție - condiția factorilor exogeni - este fundamentală. Dacă această proprietate nu este satisfăcută, atunci putem presupune că aproape orice estimări vor fi extrem de nesatisfăcătoare: nici măcar nu vor fi consecvente (adică chiar și o cantitate foarte mare de date nu permite obținerea de estimări calitative în acest caz). În cazul clasic, se face o presupunere mai puternică despre determinismul factorilor, spre deosebire de o eroare aleatorie, ceea ce înseamnă automat că condiția exogenă este satisfăcută. În cazul general, pentru consistența estimărilor, este suficientă satisfacerea condiției de exogeneitate împreună cu convergența matricei. V x (\displaystyle V_(x)) la o matrice nedegenerată pe măsură ce dimensiunea eșantionului crește la infinit. Pentru ca, pe lângă consecvență și imparțialitate, estimările (obișnuite) ale celor mai mici pătrate să fie de asemenea eficiente (cele mai bune din clasa estimărilor liniare nepărtinitoare), trebuie îndeplinite proprietăți suplimentare ale unei erori aleatorii: Aceste ipoteze pot fi formulate pentru matricea de covarianță a vectorului de erori aleatoare V (ε) = σ 2 eu (\displaystyle V(\varepsilon)=\sigma ^(2)I). Un model liniar care satisface aceste condiții se numește clasic. Estimările MCO pentru regresia liniară clasică sunt estimări imparțiale, consistente și cele mai eficiente din clasa tuturor estimărilor nepărtinitoare liniare (în literatura engleză, abrevierea este uneori folosită albastru (Cel mai bun estimator liniar imparțial) este cea mai bună estimare liniară imparțială; în literatura internă, este mai des citată teorema Gauss - Markov). După cum este ușor de arătat, matricea de covarianță a vectorului de estimare a coeficienților va fi egală cu: V (b ^ O L S) = σ 2 (X T X) - 1 (\displaystyle V((\hat (b))_(OLS))=\sigma ^(2)(X^(T)X)^(-1 )). Eficiența înseamnă că această matrice de covarianță este „minimă” (orice combinație liniară de coeficienți, și în special coeficienții înșiși, au o varianță minimă), adică, în clasa estimărilor liniare nepărtinitoare, estimările MCO sunt cele mai bune. Elementele diagonale ale acestei matrice - varianțele estimărilor coeficienților - sunt parametri importanți ai calității estimărilor obținute. Cu toate acestea, nu este posibil să se calculeze matricea de covarianță deoarece varianța erorii aleatoare este necunoscută. Se poate dovedi că estimarea imparțială și consistentă (pentru modelul liniar clasic) a varianței erorilor aleatoare este valoarea: S 2 = R S S / (n - k) (\displaystyle s^(2)=RSS/(n-k)). Înlocuind această valoare în formula pentru matricea de covarianță, obținem o estimare a matricei de covarianță. Estimările rezultate sunt, de asemenea, imparțial și consecvente. De asemenea, este important ca estimarea varianței erorii (și, prin urmare, a variațiilor coeficienților) și estimările parametrilor modelului să fie variabile aleatoare independente, ceea ce face posibilă obținerea statisticilor de testare pentru testarea ipotezelor despre coeficienții modelului. Trebuie remarcat faptul că, dacă ipotezele clasice nu sunt îndeplinite, estimările parametrilor celor mai mici pătrate nu sunt cele mai eficiente și, unde W (\displaystyle W) este o matrice de greutate definită pozitivă simetrică. Cele mai mici pătrate obișnuite este un caz special al acestei abordări, când matricea de ponderi este proporțională cu matricea de identitate. După cum se știe, pentru matrice (sau operatori) simetrice există o descompunere W = P T P (\displaystyle W=P^(T)P). Prin urmare, această funcționalitate poate fi reprezentată după cum urmează e T P T P e = (P e) T P e = e ∗ T e ∗ (\displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *)), adică acest funcțional poate fi reprezentat ca suma pătratelor unor „reziduuri” transformate. Astfel, putem distinge o clasă de metode ale celor mai mici pătrate - LS-methods (Least Squares). Se dovedește (teorema lui Aitken) că pentru un model de regresie liniară generalizată (în care nu sunt impuse restricții asupra matricei de covarianță a erorilor aleatoare), cele mai eficiente (din clasa estimărilor liniare nepărtinitoare) sunt estimările așa-numitelor. MOL generalizat (OMNK, GLS - Cele mai mici pătrate generalizate)- Metoda LS cu o matrice de ponderi egală cu matricea de covarianță inversă a erorilor aleatoare: W = V ε - 1 (\displaystyle W=V_(\varepsilon )^(-1)). Se poate arăta că formula pentru estimările GLS ale parametrilor modelului liniar are forma B ^ G L S = (X T V - 1 X) - 1 X T V - 1 y (\displaystyle (\hat (b))_(GLS)=(X^(T)V^(-1)X)^(-1) X^(T)V^(-1)y). Matricea de covarianță a acestor estimări, respectiv, va fi egală cu V (b ^ G L S) = (X T V - 1 X) - 1 (\displaystyle V((\hat (b))_(GLS))=(X^(T)V^(-1)X)^(- unu)). De fapt, esența MCO constă într-o anumită transformare (liniară) (P) a datelor originale și aplicarea celor mai mici pătrate uzuale la datele transformate. Scopul acestei transformări este ca pentru datele transformate, erorile aleatoare să satisfacă deja ipotezele clasice. În cazul unei matrice de ponderi diagonale (și, prin urmare, matricea de covarianță a erorilor aleatoare), avem așa-numitele cele mai mici pătrate ponderate (WLS - Weighted Least Squares). În acest caz, suma ponderată a pătratelor a reziduurilor modelului este minimizată, adică fiecare observație primește o „pondere” care este invers proporțională cu varianța erorii aleatoare din această observație: e T W mi = ∑ t = 1 n e t 2 σ t 2 (\displaystyle e^(T)We=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ sigma _(t)^(2)))). De fapt, datele sunt transformate prin ponderarea observațiilor (împărțirea la o sumă proporțională cu abaterea standard presupusă a erorilor aleatoare), iar datelor ponderate se aplică cele mai mici pătrate normale. ISBN 978-5-7749-0473-0. Aproximăm funcția printr-un polinom de gradul 2. Pentru a face acest lucru, calculăm coeficienții sistemului normal de ecuații: , Să compunem un sistem normal de cele mai mici pătrate, care are forma: Soluția sistemului este ușor de găsit:, , . Astfel, polinomul de gradul II se află: . Context teoretic Înapoi la pagină<Введение в вычислительную математику. Примеры> Exemplul 2. Aflarea gradului optim al unui polinom. Înapoi la pagină<Введение в вычислительную математику. Примеры> Exemplul 3. Derivarea unui sistem normal de ecuații pentru găsirea parametrilor unei dependențe empirice. Să derivăm un sistem de ecuații pentru determinarea coeficienților și funcțiilor Apoi sistemul normal va lua forma: Am obținut un sistem liniar de ecuații pentru parametrii necunoscuți și care este ușor de rezolvat. Context teoretic Înapoi la pagină<Введение в вычислительную математику. Примеры> Exemplu. Date experimentale despre valorile variabilelor Xși la sunt date în tabel. Ca urmare a alinierii lor, funcția Folosind metoda celor mai mici pătrate, aproximați aceste date cu o dependență liniară y=ax+b(găsiți opțiuni Ași b). Aflați care dintre cele două linii este mai bună (în sensul metodei celor mai mici pătrate) aliniază datele experimentale. Faceți un desen. Problema este de a găsi coeficienții de dependență liniară pentru care funcția a două variabile Ași b Astfel, soluția exemplului se reduce la găsirea extremului unei funcții a două variabile. Se compilează și se rezolvă un sistem de două ecuații cu două necunoscute. Găsirea derivatelor parțiale ale funcțiilor Rezolvăm sistemul de ecuații rezultat prin orice metodă (de exemplu metoda de substitutie sau metoda lui Cramer) și obțineți formule pentru găsirea coeficienților folosind metoda celor mai mici pătrate (LSM). Cu date Ași b funcţie Aceasta este întreaga metodă a celor mai mici pătrate. Formula pentru găsirea parametrului A conține sumele , , , și parametrul n este cantitatea de date experimentale. Se recomandă ca valorile acestor sume să fie calculate separat. Coeficient b găsit după calcul A. Este timpul să ne amintim de exemplul original. Soluţie. În exemplul nostru n=5. Completam tabelul pentru confortul calculării sumelor care sunt incluse în formulele coeficienților necesari. Valorile din al patrulea rând al tabelului se obțin prin înmulțirea valorilor celui de-al 2-lea rând cu valorile celui de-al 3-lea rând pentru fiecare număr i. Valorile din al cincilea rând al tabelului se obțin prin pătrarea valorilor din al doilea rând pentru fiecare număr i. Valorile ultimei coloane a tabelului sunt sumele valorilor de pe rânduri. Folosim formulele metodei celor mai mici pătrate pentru a găsi coeficienții Ași b. Înlocuim în ele valorile corespunzătoare din ultima coloană a tabelului: Prin urmare, y=0,165x+2,184 este linia dreaptă de aproximare dorită. Rămâne să aflăm care dintre rânduri y=0,165x+2,184 sau Pentru a face acest lucru, trebuie să calculați sumele abaterilor pătrate ale datelor originale din aceste linii De la , apoi linia y=0,165x+2,184 aproximează mai bine datele originale. Totul arată grozav în topuri. Linia roșie este linia găsită y=0,165x+2,184, linia albastră este Pentru ce este, pentru ce sunt toate aceste aproximări? Eu personal folosesc pentru a rezolva probleme de netezire a datelor, probleme de interpolare și extrapolare (în exemplul original, vi se poate cere să găsiți valoarea valorii observate y la x=3 sau când x=6 conform metodei MNC). Dar vom vorbi mai multe despre asta mai târziu într-o altă secțiune a site-ului. Începutul paginii Dovada. Așa că atunci când este găsit Ași b funcția ia cea mai mică valoare, este necesar ca în acest moment matricea formei pătratice a diferenţialului de ordinul doi pentru funcţie Diferenţialul de ordinul doi are forma: Acesta este Prin urmare, matricea formei pătratice are forma Să arătăm că matricea este definită pozitivă. Acest lucru necesită ca unghiul minori să fie pozitiv. Minor unghiular de ordinul întâi Minor unghiular de ordinul doi Să demonstrăm asta Concluzie: valori găsite Ași b corespund celei mai mici valori a funcției A înțeles vreodată? Începutul paginii Extrapolarea
— aceasta este o metodă de cercetare științifică, care se bazează pe diseminarea tendințelor trecute și prezente, a tiparelor, a relațiilor cu dezvoltarea viitoare a obiectului prognozei. Metodele de extrapolare includ
metoda mediei mobile, metoda netezirii exponențiale, metoda celor mai mici pătrate. Esență metoda celor mai mici pătrate
constă în minimizarea sumei abaterilor pătrate dintre valorile observate şi cele calculate. Valorile calculate se găsesc în funcție de ecuația selectată - ecuația de regresie. Cu cât distanța dintre valorile reale și cele calculate este mai mică, cu atât prognoza este mai precisă pe baza ecuației de regresie. Analiza teoretică a esenței fenomenului studiat, a cărui modificare este afișată printr-o serie temporală, servește drept bază pentru alegerea unei curbe. Considerații despre natura creșterii nivelurilor seriei sunt uneori luate în considerare. Deci, dacă creșterea producției este de așteptat într-o progresie aritmetică, atunci netezirea este efectuată în linie dreaptă. Dacă se dovedește că creșterea este exponențială, atunci netezirea ar trebui făcută în funcție de funcția exponențială. Formula de lucru a metodei celor mai mici pătrate
: Y t+1 = a*X + b, unde t + 1 este perioada de prognoză; Уt+1 – indicator prezis; a și b sunt coeficienți; X este un simbol al timpului. Coeficienții a și b se calculează după următoarele formule: unde, Uf - valorile reale ale seriei de dinamică; n este numărul de niveluri din seria temporală; Netezirea seriilor de timp prin metoda celor mai mici pătrate servește la reflectarea tiparelor de dezvoltare a fenomenului studiat. În exprimarea analitică a unei tendințe, timpul este considerat ca o variabilă independentă, iar nivelurile seriei acționează în funcție de această variabilă independentă. Dezvoltarea unui fenomen nu depinde de câți ani au trecut de la punctul de plecare, ci de ce factori au influențat dezvoltarea lui, în ce direcție și cu ce intensitate. Din aceasta rezultă clar că dezvoltarea unui fenomen în timp apare ca urmare a acțiunii acestor factori. Stabilirea corectă a tipului de curbă, tipul de dependență analitică de timp este una dintre cele mai dificile sarcini ale analizei pre-predictive.
. Alegerea tipului de funcție care descrie tendința, ai cărui parametri sunt determinați prin metoda celor mai mici pătrate, este în majoritatea cazurilor empirică, prin construirea unui număr de funcții și compararea lor între ele în ceea ce privește valoarea rădăcinii. -eroare pătratică medie, calculată prin formula: unde Uf - valorile reale ale seriei de dinamică; Ur – valori calculate (netezite) ale seriei de timp; n este numărul de niveluri din seria temporală; p este numărul de parametri determinați în formulele care descriu tendința (tendința de dezvoltare). Dezavantajele metodei celor mai mici pătrate
: O sarcină
. Există date care caracterizează nivelul șomajului în regiune, % Soluția celor mai mici pătrate
Pentru rezolvare, vom alcătui un tabel în care vom face calculele necesare: ε = 28,63/10 = 2,86% exactitatea prognozeiînalt. Concluzie
: Compararea rezultatelor obţinute în calcule metoda mediei mobile
, netezire exponenţială
și metoda celor mai mici pătrate, putem spune că eroarea relativă medie în calcule prin metoda de netezire exponențială se încadrează în 20-50%. Aceasta înseamnă că acuratețea prognozei în acest caz este doar satisfăcătoare. În primul și al treilea caz, acuratețea prognozei este mare, deoarece eroarea relativă medie este mai mică de 10%. Dar metoda mediei mobile a permis obținerea unor rezultate mai fiabile (prognoza pentru noiembrie - 1,52%, prognoza pentru decembrie - 1,53%, prognoza pentru ianuarie - 1,49%), deoarece eroarea relativă medie la utilizarea acestei metode este cea mai mică - 1 ,13%. Lista surselor utilizate i- numărul punctului experimental; Faceți clic pe diagramă În câmpul de date, introduceți pe fiecare linie separată valorile lui `x` și `y` la un punct experimental. Valorile trebuie separate prin spații albe (spațiu sau tab). A treia valoare poate fi greutatea punctului lui `w`. Dacă greutatea punctului nu este specificată, atunci aceasta este egală cu unu. În marea majoritate a cazurilor, ponderile punctelor experimentale sunt necunoscute sau necalculate; toate datele experimentale sunt considerate echivalente. Uneori, ponderile din intervalul de valori studiat nu sunt cu siguranță echivalente și pot fi chiar calculate teoretic. De exemplu, în spectrofotometrie, greutățile pot fi calculate folosind formule simple, deși, practic, toată lumea neglijează acest lucru pentru a reduce costurile cu forța de muncă. Datele pot fi lipite prin clipboard dintr-o foaie de calcul de birou, cum ar fi Excel din Microsoft Office sau Calc din Open Office. Pentru a face acest lucru, selectați intervalul de date care trebuie copiat în foaia de calcul, copiați-l în clipboard și inserați datele în câmpul de date de pe această pagină. Pentru a calcula prin metoda celor mai mici pătrate, sunt necesare cel puțin două puncte pentru a determina doi coeficienți `b` - tangenta unghiului de înclinare a dreptei și `a` - valoarea tăiată de linia dreaptă pe `y ` axa. Pentru a estima eroarea coeficienților de regresie calculați, este necesar să setați numărul de puncte experimentale la mai mult de două. Cu cât numărul de puncte experimentale este mai mare, cu atât estimarea statistică a coeficienților este mai precisă (datorită scăderii coeficientului Student) și cu atât estimarea este mai apropiată de estimarea eșantionului general. Obținerea valorilor la fiecare punct experimental este adesea asociată cu costuri semnificative ale forței de muncă, prin urmare, se efectuează adesea un număr compromis de experimente, ceea ce oferă o estimare digerabilă și nu duce la costuri excesive ale forței de muncă. De regulă, numărul de puncte experimentale pentru o dependență liniară a celor mai mici pătrate cu doi coeficienți este ales în regiunea de 5-7 puncte. Să presupunem că avem un set de date experimentale sub formă de perechi de valori [`y_i`, `x_i`], unde `i` este numărul unei măsurători experimentale de la 1 la `n`; `y_i` - valoarea valorii măsurate în punctul `i`; `x_i` - valoarea parametrului pe care îl setăm în punctul `i`. Un exemplu este operarea legii lui Ohm. Schimbând tensiunea (diferența de potențial) între secțiunile circuitului electric, măsurăm cantitatea de curent care trece prin această secțiune. Fizica ne oferă dependența găsită experimental: „I=U/R”, În acest caz, `y_i` este valoarea curentului măsurat, iar `x_i` este valoarea tensiunii. Ca un alt exemplu, luați în considerare absorbția luminii de către o soluție a unei substanțe în soluție. Chimia ne dă formula: `A = εl C`, În acest caz, `y_i` este densitatea optică măsurată `A`, iar `x_i` este concentrația substanței pe care am stabilit-o. Vom lua în considerare cazul în care eroarea relativă în setarea `x_i` este mult mai mică decât eroarea relativă în măsurarea `y_i`. De asemenea, vom presupune că toate valorile măsurate ale lui `y_i` sunt aleatorii și distribuite normal, adică. respectă legea distribuției normale. În cazul unei dependențe liniare a lui `y` de `x`, putem scrie dependența teoretică: Din punct de vedere geometric, coeficientul `b` denotă tangenta pantei dreptei la axa `x`, iar coeficientul `a` - valoarea lui `y` în punctul de intersecție a dreptei cu ` axa y` (cu `x = 0`). Într-un experiment, valorile măsurate ale lui `y_i` nu pot sta exact pe linia teoretică din cauza erorilor de măsurare, care sunt întotdeauna inerente vieții reale. Prin urmare, o ecuație liniară trebuie reprezentată printr-un sistem de ecuații: Dependența (1) se mai numește regresie, adică dependenţa celor două mărimi una faţă de alta cu semnificaţie statistică. Sarcina restabilirii dependenței este de a găsi coeficienții `a` și `b` din punctele experimentale [`y_i`, `x_i`]. Pentru a găsi coeficienții `a` și `b` se utilizează de obicei metoda celor mai mici pătrate(MNK). Este un caz special al principiului maximului probabilitate. Să rescriem (1) ca `ε_i = y_i - a - b x_i`. Apoi suma erorilor pătrate va fi Principiul metodei celor mai mici pătrate este de a minimiza suma (2) în raport cu parametrii `a` și `b`. Minimul este atins atunci când derivatele parțiale ale sumei (2) față de coeficienții `a` și `b` sunt egale cu zero: Extinderea derivatelor, obținem un sistem de două ecuații cu două necunoscute: Deschidem parantezele și transferăm sumele independente de coeficienții doriti în cealaltă jumătate, obținem un sistem de ecuații liniare: Rezolvând sistemul rezultat, găsim formule pentru coeficienții `a` și `b`: `a = frac(sum_(i=1)^(n) y_i sum_(i=1)^(n) x_i^2 - sum_(i=1)^(n) x_i sum_(i=1)^(n) ) x_iy_i) (n sum_(i=1)^(n) x_i^2 — (sum_(i=1)^(n) x_i)^2)` (3.1) `b = frac(n sum_(i=1)^(n) x_iy_i - sum_(i=1)^(n) x_i sum_(i=1)^(n) y_i) (n sum_(i=1)^ (n) x_i^2 - (sum_(i=1)^(n) x_i)^2)` (3.2) Aceste formule au soluții când `n > 1` (linia poate fi trasă folosind cel puțin 2 puncte) și când determinantul `D = n sum_(i=1)^(n) x_i^2 — (sum_(i= 1) )^(n) x_i)^2 != 0`, adică. când punctele `x_i` din experiment sunt diferite (adică când linia nu este verticală). Pentru o estimare mai precisă a erorii în calcularea coeficienților `a` și `b`, este de dorit un număr mare de puncte experimentale. Când `n = 2`, este imposibil să se estimeze eroarea coeficienților, deoarece linia de aproximare va trece în mod unic prin două puncte. Se determină eroarea variabilei aleatoare `V` legea acumulării erorilor Să scriem legea cumulării erorilor pentru eroarea coeficienților `a` și `b` `S_y^2 = S_(y_i)^2` - eroarea (varianță, abatere standard pătrată) în dimensiunea `y`, presupunând că eroarea este uniformă pentru toate valorile `y`. Înlocuind formulele pentru calcularea `a` și `b` în expresiile rezultate, obținem `S_a^2 = S_y^2 frac(sum_(i=1)^(n) (sum_(i=1)^(n) x_i^2 - x_i sum_(i=1)^(n) x_i)^2 ) (D^2) = S_y^2 frac((n sum_(i=1)^(n) x_i^2 - (sum_(i=1)^(n) x_i)^2) sum_(i=1) ^(n) x_i^2) (D^2) = S_y^2 frac(sum_(i=1)^(n) x_i^2) (D)` (4.1) `S_b^2 = S_y^2 frac(sum_(i=1)^(n) (n x_i - sum_(i=1)^(n) x_i)^2) (D^2) = S_y^2 frac( n (n sum_(i=1)^(n) x_i^2 - (sum_(i=1)^(n) x_i)^2)) (D^2) = S_y^2 frac(n) (D) „(4.2) În majoritatea experimentelor reale, valoarea lui `Sy` nu este măsurată. Pentru a face acest lucru, este necesar să se efectueze mai multe măsurători (experimente) paralele la unul sau mai multe puncte ale planului, ceea ce crește timpul (și eventual costul) experimentului. Prin urmare, de obicei se presupune că abaterea lui `y` de la linia de regresie poate fi considerată aleatorie. Estimarea varianței `y` în acest caz este calculată prin formula. `S_y^2 = S_(y, rest)^2 = frac(sum_(i=1)^n (y_i - a - b x_i)^2) (n-2)`. Divizorul `n-2` apare deoarece am redus numărul de grade de libertate datorită calculului a doi coeficienți pentru același eșantion de date experimentale. Această estimare se mai numește și varianța reziduală relativă la dreapta de regresie `S_(y, rest)^2`. Evaluarea semnificației coeficienților se realizează după criteriul Studentului `t_a = frac(|a|) (S_a)`, `t_b = frac(|b|) (S_b)` Dacă criteriile calculate `t_a`, `t_b` sunt mai mici decât criteriile de tabel `t(P, n-2)`, atunci se consideră că coeficientul corespunzător nu este semnificativ diferit de zero cu o probabilitate dată `P`. Pentru a evalua calitatea descrierii unei relații liniare, puteți compara `S_(y, rest)^2` și `S_(bar y)` relativ la medie folosind criteriul Fisher. `S_(bar y) = frac(sum_(i=1)^n (y_i - bar y)^2) (n-1) = frac(sum_(i=1)^n (y_i - (sum_(i=) 1)^n y_i) /n)^2) (n-1)` - eșantion estimare a varianței lui `y` față de medie. Pentru a evalua eficacitatea ecuației de regresie pentru descrierea dependenței, se calculează coeficientul Fisher Dacă `F > F(P, n-1, n-2)`, diferența dintre descrierea dependenței `y = f(x)` folosind ecuația de regresie și descrierea folosind media este considerată semnificativă statistic cu probabilitate `P`. Acestea. regresia descrie dependența mai bine decât răspândirea lui `y` în jurul mediei. Faceți clic pe diagramă Metoda celor mai mici pătrate înseamnă determinarea unor parametri necunoscuți a, b, c,... dependenta functionala acceptata y = f(x,a,b,c,...), care ar furniza un minim al pătratului mediu (varianta) erorii unde x i , y i - mulţime de perechi de numere obţinute din experiment. Deoarece condiția pentru extremul unei funcții a mai multor variabile este condiția ca derivatele sale parțiale să fie egale cu zero, atunci parametrii a, b, c,... sunt determinate din sistemul de ecuații: ; ; ; … (25) Trebuie reținut că metoda celor mai mici pătrate este utilizată pentru a selecta parametrii după forma funcției y = f(x) definit. Dacă din considerente teoretice este imposibil să tragem concluzii despre care ar trebui să fie formula empirică, atunci trebuie să ne ghidăm după reprezentări vizuale, în primul rând o reprezentare grafică a datelor observate. În practică, cel mai adesea limitat la următoarele tipuri de funcții: 1) liniară 2) a pătratică . Esența metodei celor mai mici pătrate este
în găsirea parametrilor modelului de tendință care descrie cel mai bine tendința de dezvoltare a oricărui fenomen aleator în timp sau spațiu (o tendință este o linie care caracterizează tendința acestei dezvoltări). Sarcina metodei celor mai mici pătrate (OLS) este de a găsi nu doar un model de tendință, ci de a găsi cel mai bun sau optim model. Acest model va fi optim dacă suma abaterilor pătrate dintre valorile reale observate și valorile de tendință calculate corespunzătoare este minimă (cea mai mică): unde este abaterea standard dintre valoarea reală observată și valoarea de tendință calculată corespunzătoare, Valoarea reală (observată) a fenomenului studiat, Valoarea estimată a modelului de tendințe, Numărul de observații ale fenomenului studiat. MNC este rareori folosit pe cont propriu. De regulă, cel mai adesea este folosit doar ca tehnică necesară în studiile de corelație.
Trebuie amintit că baza informațională a LSM poate fi doar o serie statistică de încredere, iar numărul de observații nu trebuie să fie mai mic de 4, în caz contrar, procedurile de netezire ale LSM-ului își pot pierde bunul simț. Setul de instrumente OLS este redus la următoarele proceduri: Prima procedură.
Se dovedește dacă există vreo tendință de a schimba atributul rezultat atunci când factorul-argument selectat se schimbă sau, cu alte cuvinte, dacă există o legătură între " la
" și " X
». A doua procedură.
Se stabilește care linie (traiectorie) este cel mai în măsură să descrie sau să caracterizeze această tendință. A treia procedură.
Exemplu. Să presupunem că avem informații despre randamentul mediu de floarea soarelui pentru ferma studiată (Tabelul 9.1). Tabelul 9.1 Numărul de observație Productivitate, c/ha Întrucât nivelul tehnologiei în producția de floarea soarelui în țara noastră nu s-a schimbat foarte mult în ultimii 10 ani, înseamnă că, cel mai probabil, fluctuațiile de producție în perioada analizată au depins foarte mult de fluctuațiile condițiilor meteo și climatice. Este adevarat? Prima procedură MNC.
Se testează ipoteza despre existența unei tendințe de modificare a randamentului de floarea-soarelui în funcție de modificările condițiilor meteo și climatice pe parcursul celor 10 ani analizați. În acest exemplu, pentru " y
» este indicat să luați randamentul de floarea soarelui, iar pentru « X
» este numărul anului observat în perioada analizată. Testarea ipotezei despre existența oricărei relații între " X
" și " y
» se poate face in doua moduri: manual si cu ajutorul programelor de calculator. Desigur, odată cu disponibilitatea tehnologiei informatice, această problemă se rezolvă de la sine. Dar, pentru a înțelege mai bine instrumentele OLS, este recomandabil să testați ipoteza despre existența unei relații între " X
" și " y
» manual, când sunt la îndemână doar un pix și un calculator obișnuit. În astfel de cazuri, ipoteza existenței unei tendințe este cel mai bine verificată vizual prin locația imaginii grafice a seriei temporale analizate - câmpul de corelație: Câmpul de corelație din exemplul nostru este situat în jurul unei linii care crește încet. Acest lucru în sine indică existența unei anumite tendințe în schimbarea producției de floarea soarelui. Este imposibil să vorbim despre prezența oricărei tendințe numai atunci când câmpul de corelare arată ca un cerc, un cerc, un nor strict vertical sau strict orizontal sau este format din puncte împrăștiate aleatoriu. În toate celelalte cazuri, este necesar să se confirme ipoteza existenței unei relații între " X
" și " y
și continuă cercetarea. A doua procedură MNC.
Se determină care linie (traiectorie) este cel mai în măsură să descrie sau să caracterizeze tendința modificărilor producției de floarea-soarelui pentru perioada analizată. Odată cu disponibilitatea tehnologiei informatice, selectarea tendinței optime are loc automat. Cu prelucrarea „manuală”, alegerea funcției optime se realizează, de regulă, într-un mod vizual - prin locația câmpului de corelare. Adică, în funcție de tipul de diagramă, este selectată ecuația liniei, care se potrivește cel mai bine tendinței empirice (la traiectoria reală). După cum știți, în natură există o mare varietate de dependențe funcționale, deci este extrem de dificil să analizați vizual chiar și o mică parte din ele. Din fericire, în practica economică reală, majoritatea relațiilor pot fi descrise cu acuratețe fie printr-o parabolă, fie printr-o hiperbolă, fie printr-o linie dreaptă. În acest sens, cu opțiunea „manual” pentru selectarea celei mai bune funcții, te poți limita doar la aceste trei modele. Hiperbolă: Parabola de ordinul doi: Este ușor de observat că, în exemplul nostru, tendința de modificare a producției de floarea-soarelui pe parcursul celor 10 ani analizați este cel mai bine caracterizată printr-o linie dreaptă, astfel încât ecuația de regresie va fi o ecuație în linie dreaptă. A treia procedură.
Se calculează parametrii ecuației de regresie care caracterizează această linie sau, cu alte cuvinte, se determină o formulă analitică care descrie cel mai bun model de tendință. Găsirea valorilor parametrilor ecuației de regresie, în cazul nostru, parametrii și , este nucleul celor mai mici pătrate. Acest proces se reduce la rezolvarea unui sistem de ecuații normale. Acest sistem de ecuații este destul de ușor de rezolvat prin metoda Gauss. Amintiți-vă că, ca urmare a soluției, în exemplul nostru, se găsesc valorile parametrilor și. Astfel, ecuația de regresie găsită va avea următoarea formă: 
YouTube enciclopedic
Subtitrări
Poveste
Esența metodei celor mai mici pătrate
Exemplu - sistem de ecuații liniare
MCO în analiza de regresie (aproximarea datelor)
LSM în cazul regresiei liniare
Cele mai simple cazuri speciale
Cazul unui model polinomial
Proprietățile statistice ale estimărilor MOL
Cele mai mici pătrate ponderate
, 
, care realizează aproximarea rădăcină pătratică medie a funcției date în raport cu punctele. Compuneți o funcție 
și scrieți condiția extremum necesară pentru aceasta:
Esența metodei celor mai mici pătrate (LSM).
ia cea mai mică valoare. Adică având în vedere datele Ași b suma abaterilor pătrate ale datelor experimentale de la linia dreaptă găsită va fi cea mai mică. Acesta este punctul întreg al metodei celor mai mici pătrate.Derivarea formulelor pentru găsirea coeficienților.
prin variabile Ași b, echivalăm aceste derivate cu zero. 
ia cea mai mică valoare. Dovada acestui fapt este dată mai jos în textul de la sfârșitul paginii.
aproximează mai bine datele originale, adică să facă o estimare folosind metoda celor mai mici pătrate.Estimarea erorii metodei celor mai mici pătrate.
și 
, o valoare mai mică corespunde unei linii care aproximează mai bine datele originale în ceea ce privește metoda celor mai mici pătrate. 
Ilustrare grafică a metodei celor mai mici pătrate (LSM).
, punctele roz sunt datele originale.
a fost pozitiv definit. Să o arătăm.
iar valorile elementelor nu depind de Ași b.
. Inegalitatea este strictă, deoarece punctele nu coincid. Acest lucru va fi implicat în cele ce urmează.
metoda de inducție matematică.
, prin urmare, sunt parametrii doriti pentru metoda celor mai mici pătrate.
Comandați o soluțieElaborarea unei prognoze folosind metoda celor mai mici pătrate. Exemplu de rezolvare a problemei
Un exemplu de utilizare a metodei celor mai mici pătrate pentru a dezvolta o prognoză
Metoda celor mai mici pătrate
Alte articole conexe:
Programul MNE
Introduceți datele
Date și aproximări y = a + b x
x i- valoarea parametrului fix la punct i;
y eu- valoarea parametrului măsurat în punct i;
ω i- greutate de măsurare la punct i;
y i, calc.- diferenţa dintre valoarea măsurată şi valoarea calculată din regresie y la punct i;
S x i (x i)- estimarea erorii x i la măsurare y la punct i.Date și aproximări y = k x
i
x i
y eu
ω i
y i, calc.
Δy i
S x i (x i)
Manual de utilizare pentru programul online MNC.
Metoda celor mai mici pătrate (LSM).
O scurtă teorie a celor mai mici pătrate pentru dependența liniară
unde `I` - puterea curentului; `R` - rezistenta; `U` - tensiune.
unde „A” este densitatea optică a soluției; `ε` - transmitanța soluției; `l` - lungimea drumului când lumina trece printr-o cuvă cu o soluție; `C` este concentrația substanței dizolvate.
`y = a + bx`.Aflarea parametrilor dreptei de regresie.
`y_i = a + b x_i + ε_i` (1),
unde `ε_i` este eroarea de măsurare necunoscută a lui `y` în al `i`-lea experiment.
`Φ = sum_(i=1)^(n) ε_i^2 = sum_(i=1)^(n) (y_i - a - b x_i)^2`. (2)
`frac(partial Φ)(partial a) = frac(partial sum_(i=1)^(n) (y_i - a - b x_i)^2)(partial a) = 0`
`frac(partial Φ)(partial b) = frac(partial sum_(i=1)^(n) (y_i - a - b x_i)^2)(partial b) = 0`
`sum_(i=1)^(n) (2a + 2bx_i - 2y_i) = sum_(i=1)^(n) (a + bx_i - y_i) = 0`
`sum_(i=1)^(n) (2bx_i^2 + 2ax_i - 2x_iy_i) = sum_(i=1)^(n) (bx_i^2 + ax_i - x_iy_i) = 0`
`sum_(i=1)^(n) y_i = a n + b sum_(i=1)^(n) bx_i`
`sum_(i=1)^(n) x_iy_i = a sum_(i=1)^(n) x_i + b sum_(i=1)^(n) x_i^2`Estimarea erorilor în coeficienții dreptei de regresie
`S_V^2 = sum_(i=1)^p (frac(partial f)(partial z_i))^2 S_(z_i)^2`,
unde `p` este numărul de parametri `z_i` cu eroare `S_(z_i)` care afectează eroarea `S_V`;
`f` este o funcție de dependență a lui `V` pe `z_i`.
`S_a^2 = sum_(i=1)^(n)(frac(parțial a)(parțial y_i))^2 S_(y_i)^2 + sum_(i=1)^(n)(frac(parțial a) )(parțial x_i))^2 S_(x_i)^2 = S_y^2 sum_(i=1)^(n)(frac(parțial a)(parțial y_i))^2 `,
`S_b^2 = sum_(i=1)^(n)(frac(parțial b)(parțial y_i))^2 S_(y_i)^2 + sum_(i=1)^(n)(frac(parțial b) )(parțial x_i))^2 S_(x_i)^2 = S_y^2 sum_(i=1)^(n)(frac(parțial b)(parțial y_i))^2 `,
deoarece `S_(x_i)^2 = 0` (am făcut anterior o rezervă că eroarea lui `x` este neglijabilă).
`F = S_(bar y) / S_(y, rest)^2`,
care este comparat cu coeficientul Fisher tabelar `F(p, n-1, n-2)`.
pentru a adăuga valori la tabelMetoda celor mai mici pătrate. Metoda celor mai mici pătrate înseamnă determinarea parametrilor necunoscuți a, b, c, dependența funcțională acceptată
, (24)
;
:
(9.2)
