Analiza podataka metodom najmanjih kvadrata. Najmanji kvadrati u Excelu
Metoda najmanjeg kvadrata
U završnoj lekciji teme upoznat ćemo se s najpoznatijom primjenom FNP, koji nalazi najširu primjenu u raznim područjima znanosti i prakse. To može biti fizika, kemija, biologija, ekonomija, sociologija, psihologija i tako dalje i tako dalje. Voljom sudbine, često se moram baviti ekonomijom, pa ću vam danas organizirati kartu za nevjerojatnu zemlju zvanu Ekonometrija=) … Kako to ne želite?! Tamo je jako dobro - samo se trebate odlučiti! ...Ali ono što vjerojatno sigurno želite je naučiti kako rješavati probleme najmanjih kvadrata. A posebno marljivi čitatelji naučit će ih riješiti ne samo točno, već i VRLO BRZO ;-) Ali prvo opća izjava problema+ povezani primjer:
Neka se u nekom predmetnom području proučavaju pokazatelji koji imaju kvantitativni izraz. U isto vrijeme, postoji svaki razlog za vjerovanje da pokazatelj ovisi o pokazatelju. Ova pretpostavka može biti i znanstvena hipoteza i utemeljena na elementarnom zdravom razumu. Ostavimo, međutim, znanost po strani i istražimo ukusnija područja – naime, trgovine mješovitom robom. Označiti sa:
– prodajni prostor trgovine mješovitom robom, m2,
- godišnji promet trgovine mješovitom robom, milijun rubalja.
Sasvim je jasno da što je veća površina trgovine, to je u većini slučajeva veći njen promet.
Pretpostavimo da nakon promatranja / pokusa / izračuna / plesa uz tamburu imamo na raspolaganju brojčane podatke: 
Sa trgovinama mješovitom robom mislim da je sve jasno: - ovo je površina 1. trgovine, - njen godišnji promet, - površina 2. trgovine, - njen godišnji promet itd. Usput, uopće nije potrebno imati pristup povjerljivim materijalima - prilično točna procjena prometa može se dobiti pomoću matematička statistika. Međutim, ne dajte se omesti, tečaj komercijalne špijunaže je već plaćen =)
Tablični podaci također se mogu napisati u obliku točaka i prikazati na uobičajeni način za nas. Kartezijanski sustav .
Odgovorimo na važno pitanje: koliko bodova je potrebno za kvalitativni studij?
Što veće, to bolje. Minimalni dopušteni skup sastoji se od 5-6 bodova. Osim toga, s malom količinom podataka, "abnormalni" rezultati ne bi trebali biti uključeni u uzorak. Tako, na primjer, mala elitna trgovina može pomoći redovima veličine više od "njihovih kolega", iskrivljujući tako opći obrazac koji treba pronaći!
Ako je sasvim jednostavno, moramo odabrati funkciju, raspored koja prolazi što bliže točkama 
. Takva se funkcija naziva aproksimirajući
(aproksimacija - aproksimacija) ili teorijska funkcija
. Općenito govoreći, ovdje se odmah pojavljuje očiti "pretendent" - polinom visokog stupnja, čiji graf prolazi kroz SVE točke. Ali ova je opcija komplicirana i često jednostavno netočna. (jer će grafikon cijelo vrijeme "vijugati" i slabo odražavati glavni trend).
Dakle, željena funkcija mora biti dovoljno jednostavna i istovremeno adekvatno odražavati ovisnost. Kao što možete pogoditi, jedna od metoda za pronalaženje takvih funkcija je poziv najmanjih kvadrata. Prvo, analizirajmo njegovu bit na opći način. Neka neka funkcija aproksimira eksperimentalne podatke: 
Kako procijeniti točnost ove aproksimacije? Izračunajmo i razlike (odstupanja) između eksperimentalnih i funkcionalnih vrijednosti (proučavamo crtež). Prva pomisao koja pada na pamet je procijeniti koliki je zbroj, no problem je što razlike mogu biti negativne. (na primjer, 
)
a odstupanja kao rezultat takvog zbrajanja međusobno će se poništiti. Stoga, kao procjena točnosti aproksimacije, predlaže se uzeti zbroj moduli odstupanja:
ili u presavijenom obliku: (za one koji ne znaju:
je ikona zbroja i
- pomoćna varijabla - "brojač", koja uzima vrijednosti od 1 do
)
.
Aproksimirajući eksperimentalne točke različitim funkcijama, dobit ćemo različite vrijednosti, a očito je da je tamo gdje je taj zbroj manji - ta funkcija točnija.
Takva metoda postoji i zove se metoda najmanjeg modula. Međutim, u praksi je postalo mnogo raširenije. metoda najmanjih kvadrata, u kojem se moguće negativne vrijednosti eliminiraju ne modulom, već kvadratom odstupanja:
, nakon čega se napori usmjeravaju na izbor takve funkcije da zbroj kvadrata odstupanja 
bila što manja. Zapravo, otuda i naziv metode.
A sada se vraćamo na još jednu važnu točku: kao što je gore navedeno, odabrana funkcija bi trebala biti prilično jednostavna - ali postoji i mnogo takvih funkcija: linearni , hiperboličan , eksponencijalni , logaritamski , kvadratni itd. I, naravno, ovdje bih odmah želio "smanjiti polje djelovanja". Koju klasu funkcija odabrati za istraživanje? Primitivna, ali učinkovita tehnika:
- Najlakši način za crtanje bodova na crtežu i analizirati njihov položaj. Ako imaju tendenciju da budu u ravnoj liniji, onda biste trebali tražiti jednadžba ravne linije 
s optimalnim vrijednostima i . Drugim riječima, zadatak je pronaći TAKVE koeficijente - da zbroj kvadrata odstupanja bude najmanji.
Ako se točke nalaze, na primjer, duž hiperbola, onda je jasno da će linearna funkcija dati lošu aproksimaciju. U ovom slučaju tražimo "najpovoljnije" koeficijente za jednadžbu hiperbole - one koji daju minimalni zbroj kvadrata 
.
Sada primijetite da u oba slučaja govorimo funkcije dviju varijabli, čiji su argumenti pretraživali opcije ovisnosti:
A u biti treba riješiti standardni problem – pronaći minimum funkcije dviju varijabli.
Prisjetite se našeg primjera: pretpostavimo da su točke "prodavnice" obično smještene u ravnoj liniji i postoji svaki razlog za vjerovanje prisutnosti linearna ovisnost promet iz trgovačkog prostora. Nađimo TAKVE koeficijente "a" i "be" tako da zbroj kvadrata odstupanja 
bio najmanji. Sve kao i obično - prvo parcijalne derivacije 1. reda. Prema pravilo linearnosti možete razlikovati odmah ispod ikone zbroja: 
Ako želite koristiti ove informacije za esej ili kolegij, bit ću vam vrlo zahvalan za vezu na popisu izvora, nigdje nećete pronaći tako detaljne izračune: 
Napravimo standardni sustav: 
Svaku jednadžbu smanjujemo za “dvojku” i dodatno “rastavljamo” zbrojeve: 
Bilješka
: samostalno analizirati zašto se "a" i "be" mogu izbaciti iz ikone zbroja. Usput, formalno se to može učiniti sa zbrojem 
Prepišimo sustav u "primijenjenom" obliku: 
nakon čega se počinje iscrtavati algoritam za rješavanje našeg problema:
Znamo li koordinate točaka? Znamo. Zbrojevi 
možemo pronaći? Lako. Sastavljamo najjednostavnije sustav dviju linearnih jednadžbi s dvije nepoznanice("a" i "beh"). Sustav rješavamo npr. Cramerova metoda, što rezultira stacionarnom točkom . Provjeravanje dovoljan uvjet za ekstrem, možemo potvrditi da je u ovom trenutku funkcija 
doseže precizno minimum. Provjera je povezana s dodatnim izračunima i stoga ćemo je ostaviti iza scene. (po potrebi se može vidjeti okvir koji nedostajeovdje
)
. Izvodimo konačni zaključak:
Funkcija 
najbolji način (barem u usporedbi s bilo kojom drugom linearnom funkcijom) približava eksperimentalne točke . Grubo govoreći, njegov graf prolazi što je moguće bliže tim točkama. U tradiciji ekonometrija naziva se i rezultirajuća aproksimirajuća funkcija jednadžba uparene linearne regresije
.
Problem koji se razmatra je od velike praktične važnosti. U situaciji s našim primjerom, jednadžba omogućuje vam predviđanje vrste prometa ("jig")će biti u trgovini s ovom ili onom vrijednošću prodajnog prostora (jedno ili drugo značenje "x"). Da, rezultirajuća prognoza bit će samo prognoza, ali će se u mnogim slučajevima pokazati prilično točnom.
Analizirat ću samo jedan problem sa "pravim" brojevima, jer nema poteškoća u tome - svi izračuni su na razini školskog programa u 7-8 razredima. U 95 posto slučajeva od vas će se tražiti da pronađete samo linearnu funkciju, ali na samom kraju članka pokazat ću da nije ništa teže pronaći jednadžbe za optimalnu hiperbolu, eksponent i neke druge funkcije.
Zapravo, ostaje distribuirati obećane dobrote - kako biste naučili rješavati takve primjere ne samo točno, već i brzo. Pažljivo proučavamo standard:
Zadatak
Kao rezultat proučavanja odnosa između dva pokazatelja, dobiveni su sljedeći parovi brojeva: 
Koristeći metodu najmanjih kvadrata, pronađite linearnu funkciju koja najbolje aproksimira empirijsku (iskusan) podaci. Napravite crtež na kojemu u kartezijskom pravokutnom koordinatnom sustavu ucrtajte eksperimentalne točke i graf aproksimativne funkcije 
. Nađite zbroj kvadrata odstupanja između empirijskih i teoretskih vrijednosti. Saznajte je li funkcija bolja (u smislu metode najmanjih kvadrata) približne eksperimentalne točke.
Imajte na umu da su vrijednosti "x" prirodne vrijednosti, a to ima karakteristično smisleno značenje, o kojem ću govoriti malo kasnije; ali oni, naravno, mogu biti frakcijski. Osim toga, ovisno o sadržaju pojedinog zadatka, i "X" i "G" vrijednosti mogu biti potpuno ili djelomično negativne. Pa, dobili smo “bezlični” zadatak i mi ga krećemo riješenje:
Koeficijente optimalne funkcije nalazimo kao rješenje sustava: 
U svrhu kompaktnijeg zapisa, varijabla “brojač” može se izostaviti, jer je već jasno da se zbrajanje provodi od 1 do .
Pogodnije je izračunati potrebne količine u tabličnom obliku: 
Izračuni se mogu provesti na mikrokalkulatoru, ali mnogo je bolje koristiti Excel - i brže i bez pogrešaka; pogledajte kratki video:
Dakle, dobivamo sljedeće sustav:
Ovdje možete pomnožiti drugu jednadžbu s 3 i oduzmite 2. od 1. jednadžbe član po član. Ali to je sreća - u praksi sustavi često nisu nadareni, au takvim slučajevima štedi Cramerova metoda:
, tako da sustav ima jedinstveno rješenje.
Napravimo provjeru. Razumijem da ne želim, ali zašto preskakati greške tamo gdje ih apsolutno ne možete propustiti? Nađeno rješenje zamijenite u lijevu stranu svake jednadžbe sustava:
Dobiveni su pravi dijelovi odgovarajućih jednadžbi, što znači da je sustav ispravno riješen.
Dakle, željena aproksimativna funkcija: – od sve linearne funkcije njime se najbolje približavaju eksperimentalni podaci.
Za razliku od ravno
ovisnost prometa trgovine o njezinoj površini, utvrđena ovisnost je obrnuti
(princip "što više - to manje"), a tu činjenicu odmah otkriva negativ kutni koeficijent. Funkcija 
obavještava nas da povećanjem određenog pokazatelja za 1 jedinicu vrijednost ovisnog pokazatelja opada prosjek za 0,65 jedinica. Kako kažu, što je veća cijena heljde, to se manje prodaje.
Da bismo nacrtali funkciju aproksimacije, pronalazimo dvije njene vrijednosti:
i izvršite crtež: 
Konstruirana linija naziva se linija trenda
(naime, linearna linija trenda, tj. u općem slučaju, trend nije nužno ravna linija). Svima je poznat izraz "biti u trendu" i mislim da ovaj termin ne treba dodatno komentirati.
Izračunajte zbroj kvadrata odstupanja 
između empirijskih i teorijskih vrijednosti. Geometrijski, to je zbroj kvadrata duljina "grimiznih" segmenata (od kojih su dva toliko mala da ih ni ne možete vidjeti).
Sažmimo izračune u tablicu: 
Ponovno se mogu izvršiti ručno, za svaki slučaj dat ću primjer za 1. točku: 
ali puno je učinkovitije raditi na već poznati način:
Ponovimo: koje je značenje rezultata? Iz sve linearne funkcije funkcija eksponent je najmanji, odnosno najbolja je aproksimacija u svojoj obitelji. I ovdje, usput, posljednje pitanje problema nije slučajno: što ako će predložena eksponencijalna funkcija bolje aproksimirati eksperimentalne točke?
Nađimo odgovarajući zbroj kvadrata odstupanja - da ih razlikujem, označit ću ih slovom "epsilon". Tehnika je potpuno ista:
I opet za svaki proračun požara za 1. točku: 
U Excelu koristimo standardnu funkciju EXP (Sintaksu možete pronaći u Excel pomoći).
Zaključak: , pa eksponencijalna funkcija lošije aproksimira eksperimentalne točke nego ravna linija .
Ali ovdje treba napomenuti da je "gore". ne znači još, što nije u redu. Sada sam napravio graf ove eksponencijalne funkcije - i on također prolazi blizu točaka 
- toliko da je bez analitičke studije teško reći koja je funkcija točnija.
Time je rješenje završeno, a ja se vraćam na pitanje prirodnih vrijednosti argumenta. U raznim se studijama, u pravilu, ekonomskim ili sociološkim, prirodnim "X" označavaju mjeseci, godine ili drugi jednaki vremenski intervali. Razmotrimo, na primjer, sljedeći problem:
O prometu trgovine na malo za prvo polugodište raspolažemo sljedećim podacima:
Koristeći analitičko poravnanje ravnom linijom, pronađite obujam prodaje za srpanj.
Da, nema problema: mjesece označavamo brojevima 1, 2, 3, 4, 5, 6 i koristimo uobičajeni algoritam, na temelju čega dobivamo jednadžbu - jedino što se tiče vremena obično je slovo “te” ” (iako nije kritično). Dobivena jednadžba pokazuje da je u prvoj polovici godine promet porastao u prosjeku za 27,74 CU. na mjesec. Dobijte prognozu za srpanj (mjesec #7): e.u.
I slični zadaci - tama je mrak. Oni koji žele mogu koristiti dodatnu uslugu, odnosno moju Excel kalkulator (demo verzija), koji je rješava problem gotovo trenutno! Dostupna je radna verzija programa u zamjenu ili za simbolično plaćanje.
Na kraju lekcije kratka informacija o pronalaženju ovisnosti nekih drugih vrsta. Zapravo, nema se što posebno reći, jer temeljni pristup i algoritam rješenja ostaju isti.
Pretpostavimo da položaj eksperimentalnih točaka nalikuje hiperboli. Zatim, da biste pronašli koeficijente najbolje hiperbole, morate pronaći minimum funkcije - oni koji žele mogu provesti detaljne izračune i doći do sličnog sustava: 
S formalno tehničkog gledišta, dobiva se iz "linearnog" sustava 
(označimo zvjezdicom) zamjena "x" sa . Pa iznosi 
izračunati, nakon čega do optimalnih koeficijenata "a" i "be" pri ruci.
Ako postoji svaki razlog vjerovati da bodovi raspoređene duž logaritamske krivulje, zatim tražiti optimalne vrijednosti i pronaći minimum funkcije 
. Formalno, u sustavu (*) treba zamijeniti s: 
Kada računate u Excelu, koristite funkciju LN. Priznajem da mi neće biti teško stvoriti kalkulatore za svaki od razmatranih slučajeva, ali ipak će biti bolje ako sami "programirate" izračune. Video upute za pomoć.
S eksponencijalnom ovisnošću situacija je nešto složenija. Da svedemo stvar na linearni slučaj, uzimamo logaritam funkcije i koristimo svojstva logaritma:
Sada, uspoređujući dobivenu funkciju s linearnom funkcijom , dolazimo do zaključka da se u sustavu (*) mora zamijeniti s , a - s . Radi praktičnosti, označavamo: 
Imajte na umu da je sustav riješen s obzirom na i , pa stoga, nakon pronalaženja korijena, ne smijete zaboraviti pronaći sam koeficijent.
Za aproksimaciju eksperimentalnih točaka optimalna parabola 
, treba pronaći minimum funkcije tri varijable. Nakon izvođenja standardnih radnji, dobivamo sljedeće "radne" sustav:
Da, naravno, ovdje ima više iznosa, ali nema nikakvih poteškoća kada koristite svoju omiljenu aplikaciju. I na kraju, reći ću vam kako brzo provjeriti pomoću Excela i izgraditi željenu liniju trenda: izradite raspršeni grafikon, odaberite bilo koju točku mišem i desnom tipkom miša odaberite opciju "Dodaj liniju trenda". Zatim odaberite vrstu grafikona i na kartici "Opcije" aktivirati opciju "Prikaži jednadžbu na grafikonu". u redu
Kao i uvijek, želim završiti članak nekom lijepom rečenicom, a skoro sam upisala “Budi u trendu!”. Ali s vremenom se predomislio. I to ne zato što je formulacija. Ne znam kako tko, ali ja uopće ne želim slijediti propagirani američki, a pogotovo europski trend =) Stoga želim da se svatko od vas drži svoje linije!
http://www.grandars.ru/student/vysshaya-matematika/metod-naimenshih-kvadratov.html
Metoda najmanjih kvadrata jedna je od najčešćih i najrazvijenijih zbog svoje jednostavnost i učinkovitost metoda za procjenu parametara linearnih ekonometrijskih modela. Istodobno, treba biti oprezan pri njegovoj uporabi, budući da modeli izgrađeni pomoću nje možda neće zadovoljiti niz zahtjeva za kvalitetu svojih parametara i, kao rezultat toga, neće "dobro" odražavati obrasce razvoja procesa.
Razmotrimo detaljnije postupak procjene parametara linearnog ekonometrijskog modela metodom najmanjih kvadrata. Takav model u općem obliku može se prikazati jednadžbom (1.2):
y t = a 0 + a 1 x 1t +...+ a n x nt + ε t .
Početni podatak pri procjeni parametara a 0 , a 1 ,..., a n je vektor vrijednosti zavisne varijable g= (y 1 , y 2 , ... , y T)" i matrica vrijednosti nezavisnih varijabli
u kojem prvi stupac, koji se sastoji od jedinica, odgovara koeficijentu modela .
Metoda najmanjih kvadrata dobila je naziv na temelju osnovnog načela da procjene parametara dobivene na temelju nje moraju zadovoljiti: zbroj kvadrata pogreške modela trebao bi biti minimalan.
Primjeri rješavanja problema metodom najmanjih kvadrata
Primjer 2.1. Trgovačko poduzeće ima mrežu od 12 trgovina, čije su aktivnosti prikazane u tablici. 2.1.
Upravu tvrtke zanima kako veličina godišnjeg prometa ovisi o maloprodajnom prostoru trgovine.
Tablica 2.1
| Broj trgovine | Godišnji promet, milijun rubalja | Trgovačka površina, tisuća m 2 |
| 19,76 | 0,24 | |
| 38,09 | 0,31 | |
| 40,95 | 0,55 | |
| 41,08 | 0,48 | |
| 56,29 | 0,78 | |
| 68,51 | 0,98 | |
| 75,01 | 0,94 | |
| 89,05 | 1,21 | |
| 91,13 | 1,29 | |
| 91,26 | 1,12 | |
| 99,84 | 1,29 | |
| 108,55 | 1,49 |
Rješenje najmanjih kvadrata. Naznačimo - godišnji promet -te trgovine, milijun rubalja; - prodajna površina trgovine, tisuća m 2.
sl.2.1. Dijagram raspršenosti za primjer 2.1
Odrediti oblik funkcionalnog odnosa između varijabli i konstruirati dijagram raspršenja (slika 2.1).
Na temelju dijagrama raspršenosti možemo zaključiti da godišnji promet pozitivno ovisi o prodajnoj površini (tj. y će rasti s rastom ). Najprikladniji oblik funkcionalne veze je linearni.
Podaci za daljnje izračune prikazani su u tablici. 2.2. Koristeći metodu najmanjih kvadrata, procjenjujemo parametre linearnog jednofaktorskog ekonometrijskog modela
Tablica 2.2
| t | y t | x 1t | y t 2 | x1t2 | x 1t y t |
| 19,76 | 0,24 | 390,4576 | 0,0576 | 4,7424 | |
| 38,09 | 0,31 | 1450,8481 | 0,0961 | 11,8079 | |
| 40,95 | 0,55 | 1676,9025 | 0,3025 | 22,5225 | |
| 41,08 | 0,48 | 1687,5664 | 0,2304 | 19,7184 | |
| 56,29 | 0,78 | 3168,5641 | 0,6084 | 43,9062 | |
| 68,51 | 0,98 | 4693,6201 | 0,9604 | 67,1398 | |
| 75,01 | 0,94 | 5626,5001 | 0,8836 | 70,5094 | |
| 89,05 | 1,21 | 7929,9025 | 1,4641 | 107,7505 | |
| 91,13 | 1,29 | 8304,6769 | 1,6641 | 117,5577 | |
| 91,26 | 1,12 | 8328,3876 | 1,2544 | 102,2112 | |
| 99,84 | 1,29 | 9968,0256 | 1,6641 | 128,7936 | |
| 108,55 | 1,49 | 11783,1025 | 2,2201 | 161,7395 | |
| S | 819,52 | 10,68 | 65008,554 | 11,4058 | 858,3991 |
| Prosjek | 68,29 | 0,89 |
Na ovaj način,
Stoga, s povećanjem trgovačke površine za 1 tisuću m 2, pod istim uvjetima, prosječni godišnji promet povećava se za 67,8871 milijuna rubalja.
Primjer 2.2. Uprava poduzeća primijetila je da godišnji promet ne ovisi samo o prodajnom prostoru trgovine (vidi primjer 2.1), već i o prosječnom broju posjetitelja. Relevantne informacije prikazane su u tablici. 2.3.
Tablica 2.3
Riješenje. Označite - prosječan broj posjetitelja trgovine po danu, tisuća ljudi.
Odrediti oblik funkcionalnog odnosa između varijabli i konstruirati dijagram raspršenja (slika 2.2).
Na temelju dijagrama raspršenosti možemo zaključiti da je godišnji promet pozitivno povezan s prosječnim brojem posjetitelja po danu (tj. y će rasti s rastom od ). Oblik funkcionalne ovisnosti je linearan.
Riža. 2.2. Dijagram raspršenosti na primjer 2.2
Tablica 2.4
| t | x 2t | x 2t 2 | yt x 2t | x 1t x 2t |
| 8,25 | 68,0625 | 163,02 | 1,98 | |
| 10,24 | 104,8575 | 390,0416 | 3,1744 | |
| 9,31 | 86,6761 | 381,2445 | 5,1205 | |
| 11,01 | 121,2201 | 452,2908 | 5,2848 | |
| 8,54 | 72,9316 | 480,7166 | 6,6612 | |
| 7,51 | 56,4001 | 514,5101 | 7,3598 | |
| 12,36 | 152,7696 | 927,1236 | 11,6184 | |
| 10,81 | 116,8561 | 962,6305 | 13,0801 | |
| 9,89 | 97,8121 | 901,2757 | 12,7581 | |
| 13,72 | 188,2384 | 1252,0872 | 15,3664 | |
| 12,27 | 150,5529 | 1225,0368 | 15,8283 | |
| 13,92 | 193,7664 | 1511,016 | 20,7408 | |
| S | 127,83 | 1410,44 | 9160,9934 | 118,9728 |
| Prosjek | 10,65 |
Općenito, potrebno je odrediti parametre dvofaktorskog ekonometrijskog modela
y t \u003d a 0 + a 1 x 1t + a 2 x 2t + ε t
Podaci potrebni za daljnje izračune prikazani su u tablici. 2.4.
Procijenimo parametre linearnog dvofaktorskog ekonometrijskog modela koristeći metodu najmanjih kvadrata.
Na ovaj način,
Procjena koeficijenta = 61,6583 pokazuje da će, uz sve ostale stvari jednake, s povećanjem prodajne površine za 1 tisuću m 2, godišnji promet porasti u prosjeku za 61,6583 milijuna rubalja.
Procjena koeficijenta = 2,2748 pokazuje da, uz ostale uvjete, uz porast prosječnog broja posjetitelja na 1 tisuću stanovnika. dnevno, godišnji promet će se povećati u prosjeku za 2,2748 milijuna rubalja.
Primjer 2.3. Koristeći informacije prikazane u tablici. 2.2 i 2.4, procjenjuju parametar jednofaktorskog ekonometrijskog modela
gdje je centrirana vrijednost godišnjeg prometa -te trgovine, milijun rubalja; - centrirana vrijednost prosječnog dnevnog broja posjetitelja t-te trgovine, tisuća ljudi. (vidi primjere 2.1-2.2).
Riješenje. Dodatne informacije potrebne za izračun prikazane su u tablici. 2.5.
Tablica 2.5
| -48,53 | -2,40 | 5,7720 | 116,6013 | |
| -30,20 | -0,41 | 0,1702 | 12,4589 | |
| -27,34 | -1,34 | 1,8023 | 36,7084 | |
| -27,21 | 0,36 | 0,1278 | -9,7288 | |
| -12,00 | -2,11 | 4,4627 | 25,3570 | |
| 0,22 | -3,14 | 9,8753 | -0,6809 | |
| 6,72 | 1,71 | 2,9156 | 11,4687 | |
| 20,76 | 0,16 | 0,0348 | 3,2992 | |
| 22,84 | -0,76 | 0,5814 | -17,413 | |
| 22,97 | 3,07 | 9,4096 | 70,4503 | |
| 31,55 | 1,62 | 2,6163 | 51,0267 | |
| 40,26 | 3,27 | 10,6766 | 131,5387 | |
| Iznos | 48,4344 | 431,0566 |
Koristeći formulu (2.35), dobivamo
Na ovaj način,
http://www.cleverstudents.ru/articles/mnk.html
Primjer.
Eksperimentalni podaci o vrijednostima varijabli x i na dati su u tablici. 
Kao rezultat njihova poravnanja, funkcija 
Korištenje metoda najmanjih kvadrata, aproksimirajte ove podatke linearnom ovisnošću y=ax+b(pronađi opcije a i b). Otkrijte koja od dvije linije bolje (u smislu metode najmanjih kvadrata) usklađuje eksperimentalne podatke. Napravite crtež.
Riješenje.
U našem primjeru n=5. Ispunjavamo tablicu radi lakšeg izračunavanja iznosa koji su uključeni u formule potrebnih koeficijenata. 
Vrijednosti u četvrtom retku tablice dobivene su množenjem vrijednosti 2. retka s vrijednostima 3. retka za svaki broj. ja.
Vrijednosti u petom retku tablice dobivene su kvadriranjem vrijednosti 2. retka za svaki broj ja.
Vrijednosti posljednjeg stupca tablice su zbrojevi vrijednosti u redovima.
Za pronalaženje koeficijenata koristimo se formulama metode najmanjih kvadrata a i b. Zamjenjujemo u njima odgovarajuće vrijednosti iz posljednjeg stupca tablice: 
Posljedično, y=0,165x+2,184 je željena aproksimativna ravna linija.
Ostaje otkriti koji od redaka y=0,165x+2,184 ili bolje aproksimira izvorne podatke, tj. napraviti procjenu metodom najmanjih kvadrata.
Dokaz.
Tako da kada se nađe a i b funkcija poprima najmanju vrijednost, potrebno je da u tom trenutku matrica kvadratnog oblika diferencijala drugog reda za funkciju 
bio pozitivno određen. Pokažimo to.
Diferencijal drugog reda ima oblik: 
To je
Prema tome, matrica kvadratnog oblika ima oblik 
a vrijednosti elemenata ne ovise o a i b.
Pokažimo da je matrica pozitivno određena. To zahtijeva da minori kutova budu pozitivni.
Kutni minor prvog reda 
. Nejednakost je stroga, budući da točke
- tutorial
Uvod
Ja sam računalni programer. Najveći skok u karijeri napravio sam kada sam naučio reći: "Ne razumijem ništa!" Sada se ne sramim reći svjetlu znanosti da mi drži predavanje, da ne razumijem o čemu ono, svjetlo, priča sa mnom. I jako je teško. Da, teško je i neugodno priznati da ne znaš. Tko voli priznati da ne zna osnove nečega-tamo. Po struci moram prisustvovati velikom broju izlaganja i predavanja, gdje mi se, priznajem, u velikoj većini slučajeva spava, jer ništa ne razumijem. I ne razumijem jer veliki problem trenutne situacije u znanosti leži u matematici. Pretpostavlja se da svi učenici poznaju apsolutno sva područja matematike (što je apsurdno). Priznati da ne znaš što je izvedenica (da je ovo malo kasnije) je šteta.
Ali naučio sam reći da ne znam što je množenje. Da, ne znam što je subalgebra nad Liejevom algebrom. Da, ne znam zašto su kvadratne jednadžbe potrebne u životu. Usput, ako ste sigurni da znate, onda imamo o čemu razgovarati! Matematika je niz trikova. Matematičari pokušavaju zbuniti i zastrašiti javnost; gdje nema zabune, nema ugleda, nema autoriteta. Da, prestižno je govoriti što apstraktnijim jezikom, što je samo po sebi potpuna besmislica.
Znate li što je derivat? Najvjerojatnije ćete mi reći o granici relacije razlike. Na prvoj godini matematike na St. Petersburg State University, Viktor Petrovich Khavin me definiran derivacija kao koeficijent prvog člana Taylorovog reda funkcije u točki (bila je posebna gimnastika odrediti Taylorov red bez derivacija). Dugo sam se smijao ovoj definiciji, dok konačno nisam shvatio o čemu se radi. Derivacija nije ništa drugo nego samo mjera koliko je funkcija koju diferenciramo slična funkciji y=x, y=x^2, y=x^3.
Sada imam čast predavati studentima koji strah matematika. Ako se bojite matematike - mi smo na putu. Čim pokušate pročitati neki tekst, a čini vam se da je prekompliciran, znajte da je loše napisan. Tvrdim da ne postoji nijedno područje matematike o kojem se ne može govoriti "na prste", a da se ne izgubi na točnosti.
Izazov za blisku budućnost: uputio sam svoje učenike da razumiju što je linearno-kvadratni regulator. Nemojte se sramiti, izgubite tri minute svog života, slijedite link. Ako ništa ne razumijete, onda smo na putu. Ja (profesionalni matematičar-programer) također nisam ništa razumio. I uvjeravam vas, ovo se može riješiti "na prste". U ovom trenutku ne znam o čemu se radi, ali uvjeravam vas da ćemo to moći otkriti.
Dakle, prvo predavanje koje ću održati svojim studentima nakon što mi užasnuti dotrče s riječima da je linearno-kvadratni regulator užasna greška koju nikada u životu nećete savladati je metode najmanjih kvadrata. Možete li riješiti linearne jednadžbe? Ako čitate ovaj tekst, onda vrlo vjerojatno ne.
Dakle, dane su dvije točke (x0, y0), (x1, y1), na primjer, (1,1) i (3,2), zadatak je pronaći jednadžbu ravne linije koja prolazi kroz te dvije točke:
ilustracija
Ova ravna linija trebala bi imati jednadžbu poput sljedeće:
Ovdje su nam alfa i beta nepoznate, ali dvije točke ove linije su poznate:
Ovu jednadžbu možete napisati u matričnom obliku:
Ovdje treba napraviti lirsku digresiju: što je matrica? Matrica nije ništa drugo nego dvodimenzionalni niz. Ovo je način pohranjivanja podataka, ne smiju mu se davati više vrijednosti. Na nama je kako točno interpretirati određenu matricu. Povremeno ću ga tumačiti kao linearno preslikavanje, povremeno kao kvadratni oblik, a ponekad jednostavno kao skup vektora. Sve će to biti razjašnjeno u kontekstu.
Zamijenimo određene matrice njihovim simboličkim prikazom:
Tada se (alfa, beta) može lako pronaći:
Konkretnije za naše prethodne podatke:
Što dovodi do sljedeće jednadžbe pravca koji prolazi kroz točke (1,1) i (3,2):
Dobro, ovdje je sve jasno. Nađimo jednadžbu ravne linije koja prolazi kroz nju tri točke: (x0,y0), (x1,y1) i (x2,y2):
Oh-oh-oh, ali imamo tri jednadžbe za dvije nepoznanice! Standardni matematičar će reći da rješenja nema. Što će reći programer? I prvo će prepisati prethodni sustav jednadžbi u sljedećem obliku:
U našem slučaju vektori i, j, b su trodimenzionalni, stoga (u općem slučaju) nema rješenja za ovaj sustav. Svaki vektor (alfa\*i + beta\*j) leži u ravnini razapetoj vektorima (i, j). Ako b ne pripada ovoj ravnini, tada rješenja nema (ne može se postići jednakost u jednadžbi). Što učiniti? Tražimo kompromis. Označimo sa e(alfa, beta) kako točno nismo postigli ravnopravnost:
Pokušat ćemo minimizirati ovu grešku:
Zašto kvadrat?
Ne tražimo samo minimum norme, nego minimum kvadrata norme. Zašto? Sama točka minimuma koincidira, a kvadrat daje glatku funkciju (kvadratnu funkciju argumenata (alfa,beta)), dok samo duljina daje funkciju u obliku stošca, nediferencijabilnu u točki minimuma. Brr. Kvadrat je prikladniji.
Očito, greška je minimizirana kada vektor e okomito na ravninu koju vektori premošćuju ja i j.
Ilustracija
Drugim riječima: tražimo pravac takav da je zbroj kvadrata duljina udaljenosti od svih točaka do tog pravca minimalan:
UPDATE: ovdje imam zastoj, udaljenost do linije treba mjeriti okomito, a ne ortografskom projekcijom. Ovaj komentator je u pravu.
Ilustracija
Potpuno drugim riječima (pažljivo, loše formalizirano, ali trebalo bi biti jasno na prstima): uzimamo sve moguće linije između svih parova točaka i tražimo prosječnu liniju između svih:
Ilustracija
Još jedno objašnjenje na prstima: pričvrstimo oprugu između svih podatkovnih točaka (ovdje ih imamo tri) i linije koju tražimo, a linija stanja ravnoteže je upravo ono što tražimo.
Minimum kvadratnog oblika
Dakle, s obzirom na vektor b a ravnina prevučena stupcima-vektorima matrice A(u ovom slučaju (x0,x1,x2) i (1,1,1)), tražimo vektor e s minimalnim kvadratom duljine. Očito je minimum ostvariv samo za vektor e, okomito na ravninu razapetu stupcima-vektorima matrice A:Drugim riječima, tražimo vektor x=(alfa, beta) takav da je:
Podsjećam vas da je ovaj vektor x=(alpha, beta) minimum kvadratne funkcije ||e(alpha, beta)||^2:
Ovdje je korisno zapamtiti da se matrica može tumačiti kao i kvadratni oblik, na primjer, matrica identiteta ((1,0),(0,1)) može se tumačiti kao funkcija x^2 + y ^2:
kvadratni oblik
Sva ova gimnastika poznata je kao linearna regresija.
Laplaceova jednadžba s Dirichletovim rubnim uvjetom
Sada najjednostavniji pravi problem: postoji određena trokutasta površina, potrebno ju je izravnati. Na primjer, učitajmo moj model lica:
Izvorni commit je dostupan. Kako bih smanjio vanjske ovisnosti, uzeo sam kod svog softverskog renderera koji je već na Habréu. Za rješavanje linearnog sustava koristim OpenNL, odličan je alat za rješavanje problema, ali ga je vrlo teško instalirati: trebate kopirati dvije datoteke (.h + .c) u mapu projekta. Svo izglađivanje vrši se pomoću sljedećeg koda:
Za (int d=0; d<3; d++) {
nlNewContext();
nlSolverParameteri(NL_NB_VARIABLES, verts.size());
nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE);
nlBegin(NL_SYSTEM);
nlBegin(NL_MATRIX);
for (int i=0; i<(int)verts.size(); i++) {
nlBegin(NL_ROW);
nlCoefficient(i, 1);
nlRightHandSide(verts[i][d]);
nlEnd(NL_ROW);
}
for (unsigned int i=0; i
Koordinate X, Y i Z su odvojive, ja ih zasebno glačam. To jest, rješavam tri sustava linearnih jednadžbi, svaki s istim brojem varijabli kao i broj vrhova u mom modelu. Prvih n redaka matrice A ima samo jednu 1 po retku, a prvih n redaka vektora b imaju izvorne koordinate modela. To jest, vezujem između novog položaja vrha i starog položaja vrha - novi ne bi trebali biti previše udaljeni od starih.
Svi sljedeći redovi matrice A (faces.size()*3 = broj bridova svih trokuta u mreži) imaju jedno pojavljivanje 1 i jedno pojavljivanje -1, dok vektor b ima nula komponenti nasuprot. To znači da sam stavio oprugu na svaki rub naše trokutaste mreže: svi rubovi pokušavaju dobiti isti vrh kao njihova početna i završna točka.
Još jednom: svi vrhovi su varijable i ne mogu daleko odstupiti od svog izvornog položaja, ali istovremeno pokušavaju postati slični jedni drugima.
Evo rezultata:
Sve bi bilo u redu, model je stvarno izglađen, ali se odmaknuo od originalnog ruba. Promijenimo malo kod:
Za (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }
U našoj matrici A, za vrhove koji su na rubu, ne dodajem red iz kategorije v_i = verts[i][d], već 1000*v_i = 1000*verts[i][d]. Što to mijenja? I ovo mijenja naš kvadratni oblik pogreške. Sada jedno odstupanje od vrha na rubu neće koštati jednu jedinicu, kao prije, već 1000 * 1000 jedinica. To jest, objesili smo jaču oprugu na krajnje vrhove, rješenje preferira da se drugi jače protežu. Evo rezultata:
Udvostručimo snagu opruga između vrhova:
nlKoeficijent(lice[ j ], 2); nlKoeficijent(lice[(j+1)%3], -2);
Logično je da je površina postala glatkija:
A sada još sto puta jače:
Što je ovo? Zamislimo da smo umočili žičani prsten u sapunicu. Kao rezultat toga, dobiveni sapunski film pokušat će imati što je moguće manju zakrivljenost, dodirujući istu granicu - naš žičani prsten. To je upravo ono što smo dobili popravljajući rub i tražeći glatku površinu iznutra. Čestitamo, upravo smo riješili Laplaceovu jednadžbu s Dirichletovim rubnim uvjetima. Zvuči super? Ali zapravo, samo jedan sustav linearnih jednadžbi za rješavanje.
Poissonova jednadžba
Hajdemo imati još jedno cool ime.Recimo da imam ovakvu sliku:
Svi su dobri, ali meni se ne sviđa stolica.
Prerezao sam sliku na pola: 
I ja ću izabrati stolicu svojim rukama: 
Zatim ću sve što je bijelo u maski povući na lijevu stranu slike, a ujedno ću kroz cijelu sliku reći da razlika između dva susjedna piksela treba biti jednaka razlici između dva susjedna piksela desna slika:
Za (int i=0; i Evo rezultata: Šifra i slike su dostupni Metoda najmanjih kvadrata (OLS, eng. Ordinary Least Squares, OLS)- matematička metoda koja se koristi za rješavanje raznih problema, a temelji se na minimiziranju zbroja kvadrata odstupanja nekih funkcija od željenih varijabli. Može se koristiti za "rješavanje" predeterminiranih sustava jednadžbi (kada je broj jednadžbi veći od broja nepoznanica), za pronalaženje rješenja u slučaju običnih (ne predeterminiranih) nelinearnih sustava jednadžbi, za aproksimaciju točkastih vrijednosti neke funkcije. OLS je jedna od osnovnih metoda regresijske analize za procjenu nepoznatih parametara regresijskih modela iz podataka uzorka. 1
/
5 ✪ Metoda najmanjih kvadrata. Tema ✪ Mitin I. V. - Obrada rezultata tjelesnog. eksperiment - Metoda najmanjih kvadrata (predavanje 4) ✪ Najmanji kvadrati, lekcija 1/2. Linearna funkcija ✪ Ekonometrija. Predavanje 5. Metoda najmanjih kvadrata ✪ Metoda najmanjih kvadrata. Odgovori Sve do početka XIX stoljeća. znanstvenici nisu imali određena pravila za rješavanje sustava jednadžbi u kojima je broj nepoznanica manji od broja jednadžbi; Do tada su se koristile posebne metode, ovisno o vrsti jednadžbi i domišljatosti kalkulatora, pa su različiti kalkulatori, polazeći od istih podataka opažanja, dolazili do različitih zaključaka. Gauss (1795) je zaslužan za prvu primjenu metode, a Legendre (1805) ju je neovisno otkrio i objavio pod njenim modernim imenom (fr. Methode des moindres quarres) . Laplace je metodu povezao s teorijom vjerojatnosti, a američki matematičar Adrain (1808.) razmatrao je njezinu probabilističku primjenu. Metoda je raširena i poboljšana daljnjim istraživanjima Enckea, Bessela, Hansena i drugih. Neka x (\displaystyle x)- komplet n (\displaystyle n) nepoznate varijable (parametri), f i (x) (\displaystyle f_(i)(x)), , m > n (\displaystyle m>n)- skup funkcija iz ovog skupa varijabli. Problem je odabrati takve vrijednosti x (\displaystyle x) tako da vrijednosti tih funkcija budu što bliže nekim vrijednostima y i (\displaystyle y_(i)). U biti, govorimo o “rješenju” preodređenog sustava jednadžbi f i (x) = y i (\displaystyle f_(i)(x)=y_(i)), i = 1 , … , m (\displaystyle i=1,\ldots ,m) u naznačenom smislu najveća blizina lijevog i desnog dijela sustava. Bit LSM-a je odabrati kao "mjeru blizine" zbroj kvadrata odstupanja lijevog i desnog dijela | f i (x) − y i | (\displaystyle |f_(i)(x)-y_(i)|). Stoga se suština LSM-a može izraziti na sljedeći način: Ako sustav jednadžbi ima rješenje, tada će minimum zbroja kvadrata biti jednak nuli, a točna rješenja sustava jednadžbi mogu se naći analitički ili npr. raznim numeričkim optimizacijskim metodama. Ako je sustav preodređen, odnosno, slobodno rečeno, broj neovisnih jednadžbi veći je od broja nepoznatih varijabli, tada sustav nema točno rješenje i metoda najmanjih kvadrata omogućuje nam da pronađemo neki "optimalni" vektor x (\displaystyle x) u smislu maksimalne blizine vektora y (\displaystyle y) i f (x) (\displaystyle f(x)) odnosno maksimalnu blizinu vektora odstupanja e (\displaystyle e) na nulu (blizina se shvaća u smislu euklidske udaljenosti). Konkretno, metoda najmanjih kvadrata može se koristiti za "rješavanje" sustava linearnih jednadžbi gdje A (\displaystyle A) matrica pravokutne veličine m × n, m > n (\displaystyle m\times n,m>n)(tj. broj redaka matrice A je veći od broja potrebnih varijabli). Takav sustav jednadžbi općenito nema rješenja. Stoga se ovaj sustav može "riješiti" samo u smislu odabira takvog vektora x (\displaystyle x) kako bi se smanjila "udaljenost" između vektora A x (\displaystyle Sjekira) i b (\displaystyle b). Da biste to učinili, možete primijeniti kriterij za minimiziranje zbroja kvadrata razlika lijevog i desnog dijela jednadžbi sustava, tj. (A x − b) T (A x − b) → min (\displaystyle (Ax-b)^(T)(Ax-b)\rightarrow \min ). Lako je pokazati da rješenje ovog problema minimizacije vodi do rješenja sljedećeg sustava jednadžbi Neka bude n (\displaystyle n) vrijednosti neke varijable y (\displaystyle y)(to mogu biti rezultati opažanja, eksperimenata itd.) i odgovarajuće varijable x (\displaystyle x). Izazov je uspostaviti odnos između y (\displaystyle y) i x (\displaystyle x) aproksimirati nekom poznatom funkcijom do nekih nepoznatih parametara b (\displaystyle b), odnosno zapravo pronaći najbolje vrijednosti parametara b (\displaystyle b), maksimalno približavajući vrijednosti f (x , b) (\displaystyle f(x,b)) na stvarne vrijednosti y (\displaystyle y). Zapravo, ovo se svodi na slučaj "rješenja" preodređenog sustava jednadžbi u odnosu na b (\displaystyle b): F (x t , b) = y t , t = 1 , … , n (\displaystyle f(x_(t),b)=y_(t),t=1,\ldots ,n). U regresijskoj analizi, a posebice u ekonometriji, koriste se probabilistički modeli odnosa između varijabli. Y t = f (x t , b) + ε t (\displaystyle y_(t)=f(x_(t),b)+\varepsilon _(t)), gdje ε t (\displaystyle \varepsilon _(t))- tzv slučajne greške modeli. Sukladno tome, odstupanja promatranih vrijednosti y (\displaystyle y) od modela f (x , b) (\displaystyle f(x,b)) već pretpostavljena u samom modelu. Bit LSM-a (običnog, klasičnog) je pronaći takve parametre b (\displaystyle b), kod kojih je zbroj kvadrata odstupanja (pogreški, za regresijske modele često se nazivaju regresijski reziduali) e t (\displaystyle e_(t)) bit će minimalan: gdje R S S (\displaystyle RSS)- Engleski. Preostali zbroj kvadrata definiran je kao: U općem slučaju ovaj se problem može riješiti numeričkim metodama optimizacije (minimizacije). U ovom slučaju govori se o nelinearni najmanji kvadrati(NLS ili NLLS - eng. Non-Linear Least Squares). U mnogim slučajevima može se dobiti analitičko rješenje. Za rješavanje problema minimizacije potrebno je pronaći stacionarne točke funkcije R S S (b) (\displaystyle RSS(b)), diferencirajući ga s obzirom na nepoznate parametre b (\displaystyle b), izjednačujući derivacije s nulom i rješavajući dobiveni sustav jednadžbi: Neka je regresijska ovisnost linearna: Neka g je vektor stupca opažanja varijable koja se objašnjava, i X (\displaystyle X)- ovo je (n × k) (\displaystyle ((n\puta k)))- matrica opažanja faktora (redovi matrice - vektori vrijednosti faktora u ovom promatranju, po stupcima - vektor vrijednosti ovog faktora u svim promatranjima). Matrična reprezentacija linearnog modela ima oblik: Tada će vektor procjena objašnjene varijable i vektor regresijskih reziduala biti jednak prema tome, zbroj kvadrata regresijskih reziduala bit će jednak Diferenciranje ove funkcije s obzirom na vektor parametra b (\displaystyle b) i izjednačavanjem derivacija s nulom dobivamo sustav jednadžbi (u matričnom obliku): U dešifriranom obliku matrice ovaj sustav jednadžbi izgleda ovako: (∑ x t 1 2 ∑ x t 1 x t 2 ∑ x t 1 x t 3 … ∑ x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t 2 x t 3 … ∑ x t 2 x t k ∑ x t 3 x t 1 ∑ x t x t 3 2 … ∑ x t 3 x t k ⋮ ⋮ ⋮ ⋱ ⋮ ∑ x t k x t 1 ∑ x t k x t 2 ∑ x t k x t 3 … ∑ x t k 2) (b 1 b 2 b 3 ⋮ b k) = (∑ x t 1 y x t ∑ 3 y t ⋮ ∑ stil reprodukcije) x t (\y (\begin(pmatrix)\sum x_(t1)^(2)&\sum x_(t1)x_(t2)&\sum x_(t1)x_(t3)&\ldots &\sum x_(t1)x_( tk)\\\zbir x_(t2)x_(t1)&\zbir x_(t2)^(2)&\zbir x_(t2)x_(t3)&\ldots &\ zbroj x_(t2)x_(tk) \\\zbir x_(t3)x_(t1)&\zbir x_(t3)x_(t2)&\zbir x_(t3)^(2)&\ldots &\zbir x_ (t3)x_(tk)\\ \vdots &\vdots &\vdots &\ddots &\vdots \\\sum x_(tk)x_(t1)&\sum x_(tk)x_(t2)&\sum x_ (tk)x_(t3)&\ ldots &\sum x_(tk)^(2)\\\end(pmatrix))(\begin(pmatrix)b_(1)\\b_(2)\\b_(3 )\\\vdots \\b_( k)\\\end(pmatrix))=(\begin(pmatrix)\sum x_(t1)y_(t)\\\sum x_(t2)y_(t)\\ \sum x_(t3)y_(t )\\\vtočkice \\\zbroj x_(tk)y_(t)\\\end(pmatrica))) gdje su svi zbrojevi preuzeti preko svih dopuštenih vrijednosti t (\displaystyle t). Ako je konstanta uključena u model (kao i obično), tada x t 1 = 1 (\displaystyle x_(t1)=1) za sve t (\displaystyle t), stoga je u gornjem lijevom kutu matrice sustava jednadžbi broj opažanja n (\displaystyle n), a u preostalim elementima prvog reda i prvog stupca - samo zbroj vrijednosti varijabli: ∑ x t j (\displaystyle \sum x_(tj)) i prvi element desne strane sustava - ∑ y t (\displaystyle \sum y_(t)). Rješenje ovog sustava jednadžbi daje opću formulu za procjene najmanjih kvadrata za linearni model: Za analitičke svrhe, posljednji prikaz ove formule pokazao se korisnim (u sustavu jednadžbi kada se podijeli s n, umjesto zbrojeva pojavljuju se aritmetičke sredine). Ako podaci u regresijskom modelu centriran, onda u ovom prikazu prva matrica ima značenje ogledne matrice kovarijanci faktora, a druga je vektor kovarijanci faktora sa zavisnom varijablom. Ako su uz to i podaci normalizirao u SKO-u (tj. u konačnici standardizirani), tada prva matrica ima značenje uzorka korelacijske matrice faktora, drugi vektor - vektor uzorka korelacije faktora sa zavisnom varijablom. Važno svojstvo LLS procjena za modele s konstantom- linija konstruirane regresije prolazi kroz težište podataka uzorka, odnosno ispunjena je jednakost: Konkretno, u ekstremnom slučaju, kada je jedini regresor konstanta, nalazimo da je OLS procjena jednog parametra (sama konstanta) jednaka srednjoj vrijednosti varijable koja se objašnjava. To jest, aritmetička sredina, poznata po svojim dobrim svojstvima iz zakona velikih brojeva, također je procjena najmanjih kvadrata - ona zadovoljava kriterij za minimalni zbroj kvadrata odstupanja od nje. U slučaju parne linearne regresije y t = a + b x t + ε t (\displaystyle y_(t)=a+bx_(t)+\varepsilon _(t)), kada se procjenjuje linearna ovisnost jedne varijable o drugoj, formule za izračun su pojednostavljene (možete bez matrične algebre). Sustav jednadžbi ima oblik: Odavde je lako pronaći procjene za koeficijente: Unatoč činjenici da su, općenito, modeli s konstantom poželjniji, u nekim je slučajevima iz teorijskih razmatranja poznato da konstanta a (\displaystyle a) treba biti jednak nuli. Na primjer, u fizici odnos između napona i struje ima oblik U = I ⋅ R (\displaystyle U=I\cdot R); mjerenje napona i struje, potrebno je procijeniti otpor. U ovom slučaju govorimo o modelu y = b x (\displaystyle y=bx). U ovom slučaju umjesto sustava jednadžbi imamo jednu jednadžbu (∑ x t 2) b = ∑ x t y t (\displaystyle \left(\sum x_(t)^(2)\right)b=\sum x_(t)y_(t)). Stoga formula za procjenu jednog koeficijenta ima oblik B ^ = ∑ t = 1 n x t y t ∑ t = 1 n x t 2 = x y ¯ x 2 ¯ (\displaystyle (\hat (b))=(\frac (\sum _(t=1)^(n)x_(t )y_(t))(\sum _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))). Ako su podaci prilagođeni polinomnom regresijskom funkcijom jedne varijable f (x) = b 0 + ∑ i = 1 k b i x i (\displaystyle f(x)=b_(0)+\sum \limits _(i=1)^(k)b_(i)x^(i)), zatim, opažanje stupnjeva x i (\displaystyle x^(i)) kao nezavisni faktori za svaki ja (\displaystyle i) moguće je estimirati parametre modela na temelju opće formule za estimaciju parametara linearnog modela. Da bismo to učinili, dovoljno je uzeti u obzir u općoj formuli da s takvim tumačenjem x t i x t j = x t i x t j = x t i + j (\displaystyle x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j)) i x t j y t = x t j y t (\displaystyle x_(tj)y_(t)=x_(t)^(j)y_(t)). Stoga će matrične jednadžbe u ovom slučaju imati oblik: (n ∑ n x t ... ∑ n x t k ∑ n x t ∑ n x i 2 ... ∑ m x i k + 1 ⋮ ⋱ ⋮ ∑ n x t k ∑ n x t k + 1 ... ∑ n x t 2 k) [b 0 b 1 ⋮ b k] = [∑ n y t ∑ n x t y t ⋮ n x t k y t ] . (\displaystyle (\begin(pmatrix)n&\sum \limits _(n)x_(t)&\ldots &\sum \limits _(n)x_(t)^(k)\\\sum \limits _( n)x_(t)&\sum \limits _(n)x_(i)^(2)&\ldots &\sum \limits _(m)x_(i)^(k+1)\\\vdots & \vdots &\ddots &\vdots \\\sum \limits _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\ldots &\ zbroj \limits _(n)x_(t)^(2k)\end(pmatrix))(\begin(bmatrix)b_(0)\\b_(1)\\\vdots \\b_(k)\end( bmatrix))=(\begin(bmatrix)\sum \limits _(n)y_(t)\\\sum \limits _(n)x_(t)y_(t)\\\vdots \\\sum \limits _(n)x_(t)^(k)y_(t)\end(bmatrica)).) Prije svega, napominjemo da su za linearne modele procjene najmanjih kvadrata linearne procjene, kao što slijedi iz gornje formule. Za nepristranost procjena najmanjih kvadrata potrebno je i dovoljno ispuniti najvažniji uvjet regresijske analize: matematičko očekivanje slučajne pogreške uvjetovane faktorima mora biti jednako nuli. Ovaj uvjet je posebno zadovoljen ako Drugi uvjet – uvjet egzogenih čimbenika – temeljan je. Ako ovo svojstvo nije zadovoljeno, tada možemo pretpostaviti da će gotovo sve procjene biti krajnje nezadovoljavajuće: neće čak biti ni konzistentne (to jest, čak i vrlo velika količina podataka ne dopušta dobivanje kvalitativnih procjena u ovom slučaju). U klasičnom slučaju radi se o jačoj pretpostavci determinizma faktora, za razliku od slučajne pogreške, što automatski znači da je egzogeni uvjet zadovoljen. U općem slučaju, za konzistentnost procjena dovoljno je zadovoljiti uvjet egzogenosti zajedno s konvergencijom matrice V x (\displaystyle V_(x)) na neku nedegeneriranu matricu kako se veličina uzorka povećava do beskonačnosti. Da bi, uz dosljednost i nepristranost, (obične) procjene najmanjih kvadrata bile učinkovite (najbolje u klasi linearnih nepristranih procjena), moraju biti zadovoljena dodatna svojstva slučajne pogreške: Ove pretpostavke mogu se formulirati za matricu kovarijance vektora slučajnih pogrešaka V (ε) = σ 2 I (\displaystyle V(\varepsilon)=\sigma ^(2)I). Linearni model koji zadovoljava ove uvjete naziva se klasični. OLS procjene za klasičnu linearnu regresiju su nepristrane, konzistentne i najučinkovitije procjene u klasi svih linearnih nepristranih procjena (u engleskoj literaturi ponekad se koristi skraćenica plava (Najbolji linearni nepristrani procjenitelj) je najbolja linearna nepristrana procjena; u domaćoj literaturi češće se navodi Gauss - Markovljev teorem). Kao što je lako pokazati, matrica kovarijance vektora procjene koeficijenata bit će jednaka: V (b ^ O L S) = σ 2 (X T X) − 1 (\displaystyle V((\hat (b))_(OLS))=\sigma ^(2)(X^(T)X)^(-1 )). Učinkovitost znači da je ova matrica kovarijance "minimalna" (svaka linearna kombinacija koeficijenata, a posebno sami koeficijenti, imaju minimalnu varijancu), odnosno, u klasi linearnih nepristranih procjena, OLS procjene su najbolje. Dijagonalni elementi ove matrice - varijance ocjena koeficijenata - važni su parametri kvalitete dobivenih ocjena. Međutim, nije moguće izračunati matricu kovarijance jer je varijanca slučajne pogreške nepoznata. Može se dokazati da je nepristrana i dosljedna (za klasični linearni model) procjena varijance slučajnih pogrešaka vrijednost: S 2 = R S S / (n − k) (\displaystyle s^(2)=RSS/(n-k)). Zamjenom ove vrijednosti u formulu za matricu kovarijance dobivamo procjenu matrice kovarijance. Dobivene procjene također su nepristrane i dosljedne. Također je važno da su procjena varijance pogreške (a time i varijance koeficijenata) i procjene parametara modela neovisne slučajne varijable, što omogućuje dobivanje testne statistike za testiranje hipoteza o koeficijentima modela. Treba napomenuti da ako klasične pretpostavke nisu ispunjene, procjene parametara najmanjih kvadrata nisu najučinkovitije i, gdje W (\displaystyle W) je neka simetrična pozitivno određena matrica težine. Obični najmanji kvadrati su poseban slučaj ovog pristupa, kada je matrica težine proporcionalna matrici identiteta. Kao što je poznato, za simetrične matrice (ili operatore) postoji dekompozicija W = P T P (\displaystyle W=P^(T)P). Stoga se ovaj funkcional može prikazati na sljedeći način e T P T P e = (P e) T P e = e ∗ T e ∗ (\displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *)), odnosno ovaj se funkcional može prikazati kao zbroj kvadrata nekih transformiranih "reziduala". Dakle, možemo razlikovati klasu metoda najmanjih kvadrata - LS-metode (Least Squares). Dokazuje se (Aitkenov teorem) da su za model generalizirane linearne regresije (u kojem se ne nameću nikakva ograničenja na kovarijancijsku matricu slučajnih pogrešaka) najučinkovitije (u klasi linearnih nepristranih procjena) procjene tzv. generalizirani OLS (OMNK, GLS - generalizirani najmanji kvadrati)- LS-metoda s matricom težine jednakom inverznoj kovarijancijskoj matrici slučajnih pogrešaka: W = V ε − 1 (\displaystyle W=V_(\varepsilon )^(-1)). Može se pokazati da formula za GLS-procjene parametara linearnog modela ima oblik B ^ G L S = (X T V − 1 X) − 1 X T V − 1 y (\displaystyle (\hat (b))_(GLS)=(X^(T)V^(-1)X)^(-1) X^(T)V^(-1)y). Matrica kovarijance ovih procjena bit će jednaka V (b ^ G L S) = (X T V − 1 X) − 1 (\displaystyle V((\hat (b))_(GLS))=(X^(T)V^(-1)X)^(- jedan)). Zapravo, bit OLS-a leži u određenoj (linearnoj) transformaciji (P) izvornih podataka i primjeni uobičajenih najmanjih kvadrata na transformirane podatke. Svrha ove transformacije je da za transformirane podatke slučajne pogreške već zadovoljavaju klasične pretpostavke. U slučaju dijagonalne matrice težine (a time i matrice kovarijance slučajnih pogrešaka) imamo takozvane ponderirane najmanje kvadrate (WLS - Weighted Least Squares). U ovom slučaju, ponderirani zbroj kvadrata reziduala modela je minimiziran, to jest, svako promatranje dobiva "težinu" koja je obrnuto proporcionalna varijanci slučajne pogreške u ovom promatranju: e T W e = ∑ t = 1 n e t 2 σ t 2 (\displaystyle e^(T)We=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ sigma _(t)^(2)))). Zapravo, podaci se transformiraju ponderiranjem opažanja (dijeleći s iznosom proporcionalnim pretpostavljenoj standardnoj devijaciji slučajnih pogrešaka), a normalni najmanji kvadrati se primjenjuju na ponderirane podatke. ISBN 978-5-7749-0473-0. Funkciju aproksimiramo polinomom 2. stupnja. Da bismo to učinili, izračunavamo koeficijente normalnog sustava jednadžbi: , Sastavimo normalan sustav najmanjih kvadrata koji ima oblik: Rješenje sustava je lako pronaći:, , . Tako se nalazi polinom 2. stupnja: . Teorijska referenca Povratak na stranicu<Введение в вычислительную математику. Примеры> Primjer 2. Određivanje optimalnog stupnja polinoma. Povratak na stranicu<Введение в вычислительную математику. Примеры> Primjer 3. Derivacija normalnog sustava jednadžbi za pronalaženje parametara empirijske ovisnosti. Izvedimo sustav jednadžbi za određivanje koeficijenata i funkcija Tada će normalni sustav imati oblik: Dobili smo linearni sustav jednadžbi za nepoznate parametre i koji se lako rješava. Teorijska referenca Povratak na stranicu<Введение в вычислительную математику. Примеры> Primjer. Eksperimentalni podaci o vrijednostima varijabli x i na dati su u tablici. Kao rezultat njihova poravnanja, funkcija Korištenje metoda najmanjih kvadrata, aproksimirajte ove podatke linearnom ovisnošću y=ax+b(pronađi opcije a i b). Otkrijte koja od dvije linije bolje (u smislu metode najmanjih kvadrata) usklađuje eksperimentalne podatke. Napravite crtež. Problem je pronaći koeficijente linearne ovisnosti za koje je funkcija dviju varijabli a i b Dakle, rješenje primjera se svodi na pronalaženje ekstremuma funkcije dviju varijabli. Sastavlja se i rješava sustav dviju jednadžbi s dvije nepoznanice. Određivanje parcijalnih izvoda funkcija Dobiveni sustav jednadžbi rješavamo bilo kojom metodom (npr metoda supstitucije ili Cramerova metoda) i dobiti formule za određivanje koeficijenata metodom najmanjih kvadrata (LSM). S podacima a i b funkcija To je cijela metoda najmanjih kvadrata. Formula za pronalaženje parametra a sadrži zbrojeve , , , i parametar n je količina eksperimentalnih podataka. Vrijednosti ovih zbrojeva preporučuje se zasebno izračunati. Koeficijent b pronađeno nakon proračuna a. Vrijeme je da se prisjetimo izvornog primjera. Riješenje. U našem primjeru n=5. Ispunjavamo tablicu radi lakšeg izračunavanja iznosa koji su uključeni u formule potrebnih koeficijenata. Vrijednosti u četvrtom retku tablice dobivene su množenjem vrijednosti 2. retka s vrijednostima 3. retka za svaki broj. ja. Vrijednosti u petom retku tablice dobivene su kvadriranjem vrijednosti 2. retka za svaki broj ja. Vrijednosti posljednjeg stupca tablice su zbrojevi vrijednosti u redovima. Za pronalaženje koeficijenata koristimo se formulama metode najmanjih kvadrata a i b. Zamjenjujemo u njima odgovarajuće vrijednosti iz posljednjeg stupca tablice: Posljedično, y=0,165x+2,184 je željena aproksimativna ravna linija. Ostaje otkriti koji od redaka y=0,165x+2,184 ili Da biste to učinili, morate izračunati zbrojeve kvadrata odstupanja izvornih podataka od ovih redaka Budući da je , zatim linija y=0,165x+2,184 bolje približava izvorne podatke. Na ljestvicama sve izgleda sjajno. Crvena linija je pronađena linija y=0,165x+2,184, plava linija je Čemu to služi, čemu sve te aproksimacije? Osobno koristim za rješavanje problema s izglađivanjem podataka, problema interpolacije i ekstrapolacije (u izvornom primjeru od vas bi se moglo tražiti da pronađete vrijednost opažene vrijednosti g na x=3 ili kada x=6 prema MNC metodi). Ali o tome ćemo više govoriti kasnije u drugom odjeljku stranice. Vrh stranice Dokaz. Tako da kada se nađe a i b funkcija poprima najmanju vrijednost, potrebno je da u tom trenutku matrica kvadratnog oblika diferencijala drugog reda za funkciju Diferencijal drugog reda ima oblik: To je Prema tome, matrica kvadratnog oblika ima oblik Pokažimo da je matrica pozitivno određena. To zahtijeva da minori kutova budu pozitivni. Kutni minor prvog reda Kutni minor drugog reda Dokažimo to Zaključak: pronađene vrijednosti a i b odgovaraju najmanjoj vrijednosti funkcije Jeste li ikada razumjeli? Vrh stranice Ekstrapolacija
— ovo je metoda znanstvenog istraživanja koja se temelji na širenju prošlih i sadašnjih trendova, obrazaca, odnosa prema budućem razvoju objekta predviđanja. Metode ekstrapolacije uključuju
metoda pokretnog prosjeka, metoda eksponencijalnog izglađivanja, metoda najmanjih kvadrata. Esencija metoda najmanjih kvadrata
sastoji se u minimiziranju zbroja kvadratnih odstupanja između promatranih i izračunatih vrijednosti. Izračunate vrijednosti nalaze se prema odabranoj jednadžbi - regresijskoj jednadžbi. Što je manja udaljenost između stvarnih vrijednosti i izračunatih, točnija je prognoza na temelju regresijske jednadžbe. Kao osnova za izbor krivulje služi teorijska analiza suštine proučavanog fenomena, čija se promjena prikazuje vremenskim nizom. Razmatranja o prirodi rasta razina serije ponekad se uzimaju u obzir. Dakle, ako se rast outputa očekuje u aritmetičkoj progresiji, tada se izravnavanje izvodi pravocrtno. Ako se pokaže da je rast eksponencijalan, onda treba izglađivanje raditi prema eksponencijalnoj funkciji. Radna formula metode najmanjih kvadrata
: Y t+1 = a*X + b, gdje je t + 1 razdoblje prognoze; Ut+1 – predviđeni pokazatelj; a i b su koeficijenti; X je simbol vremena. Koeficijenti a i b izračunavaju se prema sljedećim formulama: gdje, Uf - stvarne vrijednosti niza dinamike; n je broj razina u vremenskoj seriji; Izglađivanje vremenskih serija metodom najmanjih kvadrata služi za odraz obrazaca razvoja fenomena koji se proučava. U analitičkom izrazu trenda, vrijeme se smatra nezavisnom varijablom, a razine serije djeluju kao funkcija ove nezavisne varijable. Razvoj neke pojave ne ovisi o tome koliko je godina prošlo od polazišta, već o tome koji su čimbenici utjecali na njen razvoj, u kojem smjeru i kojim intenzitetom. Iz ovoga je jasno da se razvoj pojave u vremenu pojavljuje kao rezultat djelovanja ovih čimbenika. Ispravno postavljanje tipa krivulje, tipa analitičke ovisnosti o vremenu jedan je od najtežih zadataka pred-prediktivne analize.
. Izbor vrste funkcije koja opisuje trend, čiji se parametri određuju metodom najmanjih kvadrata, u većini je slučajeva empirijski, konstruiranjem niza funkcija i njihovom međusobnom usporedbom u smislu vrijednosti korijena - srednja kvadratna pogreška, izračunata po formuli: gdje je Uf - stvarne vrijednosti niza dinamike; Ur – izračunate (izglađene) vrijednosti vremenske serije; n je broj razina u vremenskoj seriji; p je broj parametara definiranih u formulama koje opisuju trend (trend razvoja). Nedostaci metode najmanjih kvadrata
: Zadatak
. Postoje podaci koji karakteriziraju razinu nezaposlenosti u regiji, % Rješenje najmanjih kvadrata
Za rješenje ćemo sastaviti tablicu u kojoj ćemo napraviti potrebne izračune: ε = 28,63/10 = 2,86% točnost prognoze visoka. Zaključak
: Usporedba rezultata dobivenih proračunima metoda pokretnog prosjeka
, eksponencijalno izglađivanje
i metodom najmanjih kvadrata, možemo reći da je prosječna relativna pogreška u izračunima metodom eksponencijalnog izglađivanja unutar 20-50%. To znači da je točnost predviđanja u ovom slučaju samo zadovoljavajuća. U prvom i trećem slučaju točnost prognoze je visoka, budući da je prosječna relativna pogreška manja od 10%. Ali metoda pomičnog prosjeka omogućila je dobivanje pouzdanijih rezultata (prognoza za studeni - 1,52%, prognoza za prosinac - 1,53%, prognoza za siječanj - 1,49%), budući da je prosječna relativna pogreška pri korištenju ove metode najmanja - 1 ,13%. Popis korištenih izvora ja- broj pokusne točke; Kliknite na grafikon U podatkovno polje unesite u svaki zasebni red vrijednosti `x` i `y` u jednoj eksperimentalnoj točki. Vrijednosti moraju biti odvojene razmakom (razmak ili tab). Treća vrijednost može biti težina točke za "w". Ako težina boda nije navedena, tada je jednaka jedinici. U velikoj većini slučajeva, težine eksperimentalnih točaka su nepoznate ili nisu izračunate; svi eksperimentalni podaci smatraju se ekvivalentnima. Ponekad težine u proučavanom rasponu vrijednosti definitivno nisu ekvivalentne i mogu se čak teoretski izračunati. Na primjer, u spektrofotometriji, težine se mogu izračunati pomoću jednostavnih formula, iako to u osnovi svi zanemaruju kako bi smanjili troškove rada. Podaci se mogu zalijepiti kroz međuspremnik iz proračunske tablice uredskog paketa, kao što je Excel iz Microsoft Officea ili Calc iz Open Officea. Da biste to učinili, u proračunskoj tablici odaberite raspon podataka za kopiranje, kopirajte u međuspremnik i zalijepite podatke u podatkovno polje na ovoj stranici. Za izračun metodom najmanjih kvadrata potrebne su najmanje dvije točke za određivanje dva koeficijenta `b` - tangens kuta nagiba ravne crte i `a` - vrijednost odsječena pravom linijom na `y ` os. Za procjenu pogreške izračunatih regresijskih koeficijenata potrebno je postaviti broj eksperimentalnih točaka na više od dvije. Što je veći broj eksperimentalnih točaka, to je statistička procjena koeficijenata točnija (zbog smanjenja Studentova koeficijenta) i bliža procjeni općeg uzorka. Dobivanje vrijednosti u svakoj eksperimentalnoj točki često je povezano sa značajnim troškovima rada, stoga se često provodi kompromisni broj eksperimenata koji daje probavljivu procjenu i ne dovodi do pretjeranih troškova rada. U pravilu, broj eksperimentalnih točaka za linearnu ovisnost najmanjih kvadrata s dva koeficijenta odabire se u području od 5-7 točaka. Pretpostavimo da imamo skup eksperimentalnih podataka u obliku parova vrijednosti [`y_i`, `x_i`], gdje je `i` broj jednog eksperimentalnog mjerenja od 1 do `n`; `y_i` - vrijednost izmjerene vrijednosti u točki `i`; `x_i` - vrijednost parametra koji postavljamo u točku `i`. Primjer je djelovanje Ohmovog zakona. Promjenom napona (razlike potencijala) između dijelova električnog kruga mjerimo količinu struje koja prolazi kroz ovaj dio. Fizika nam daje eksperimentalno utvrđenu ovisnost: `I=U/R`, U ovom slučaju, "y_i" je izmjerena vrijednost struje, a "x_i" je vrijednost napona. Kao drugi primjer, razmotrite apsorpciju svjetlosti otopinom tvari u otopini. Kemija nam daje formulu: `A = εl C`, U ovom slučaju, `y_i` je izmjerena optička gustoća `A`, a `x_i` je koncentracija tvari koju smo postavili. Razmotrit ćemo slučaj kada je relativna pogreška u postavljanju `x_i` puno manja od relativne pogreške u mjerenju `y_i`. Također ćemo pretpostaviti da su sve izmjerene vrijednosti `y_i` slučajne i normalno raspoređene, tj. poštuju zakon normalne distribucije. U slučaju linearne ovisnosti `y` o `x`, možemo napisati teorijsku ovisnost: S geometrijskog gledišta, koeficijent `b` označava tangentu nagiba linije na os `x`, a koeficijent `a` - vrijednost `y` u točki sjecišta linije sa ` y` osi (s `x = 0`). U eksperimentu, izmjerene vrijednosti `y_i` ne mogu točno ležati na teoretskoj liniji zbog pogrešaka mjerenja, koje su uvijek svojstvene stvarnom životu. Stoga se linearna jednadžba mora prikazati sustavom jednadžbi: Ovisnost (1) se također naziva regresija, tj. ovisnost dviju veličina jedna o drugoj sa statističkom značajnošću. Zadatak vraćanja ovisnosti je pronaći koeficijente `a` i `b` iz eksperimentalnih točaka [`y_i`, `x_i`]. Za pronalaženje koeficijenata `a` i `b` obično se koriste metoda najmanjih kvadrata(MNK). To je poseban slučaj načela najveće vjerojatnosti. Prepišimo (1) kao `ε_i = y_i - a - b x_i`. Tada će zbroj kvadrata pogrešaka biti Načelo metode najmanjih kvadrata je minimiziranje zbroja (2) s obzirom na parametre `a` i `b`. Minimum je postignut kada su parcijalne derivacije zbroja (2) u odnosu na koeficijente `a` i `b` jednake nuli: Proširujući derivacije dobivamo sustav dviju jednadžbi s dvije nepoznanice: Otvorimo zagrade i prebacimo zbrojeve neovisne o željenim koeficijentima u drugu polovicu, dobivamo sustav linearnih jednadžbi: Rješavanjem dobivenog sustava nalazimo formule za koeficijente `a` i `b`: `a = frac(sum_(i=1)^(n) y_i zbroj_(i=1)^(n) x_i^2 - zbroj_(i=1)^(n) x_i zbroj_(i=1)^(n ) x_iy_i) (n zbroj_(i=1)^(n) x_i^2 — (zbroj_(i=1)^(n) x_i)^2)` (3.1) `b = frac(n zbroj_(i=1)^(n) x_iy_i - zbroj_(i=1)^(n) x_i zbroj_(i=1)^(n) y_i) (n zbroj_(i=1)^ (n) x_i^2 - (zbroj_(i=1)^(n) x_i)^2)` (3.2) Ove formule imaju rješenja kada je `n > 1` (crta se može povući pomoću najmanje 2 točke) i kada je determinanta `D = n zbroj_(i=1)^(n) x_i^2 — (zbroj_(i= 1 )^(n) x_i)^2 != 0`, tj. kada su `x_i` točke u eksperimentu različite (tj. kada linija nije okomita). Za točniju procjenu pogreške u izračunavanju koeficijenata `a` i `b` poželjan je veliki broj eksperimentalnih točaka. Kada je `n = 2` nemoguće je procijeniti pogrešku koeficijenata jer aproksimirajući pravac će jednoznačno prolaziti kroz dvije točke. Određuje se pogreška slučajne varijable `V` zakon akumulacije pogreške Napišimo zakon akumulacije grešaka za grešku koeficijenata `a` i `b` `S_y^2 = S_(y_i)^2` - pogreška (varijanca, kvadrat standardne devijacije) u dimenziji `y`, uz pretpostavku da je pogreška ujednačena za sve vrijednosti `y`. Zamjenom formula za izračunavanje `a` i `b` u dobivene izraze dobivamo `S_a^2 = S_y^2 frac(sum_(i=1)^(n) (sum_(i=1)^(n) x_i^2 - x_i zbroj_(i=1)^(n) x_i)^2 ) (D^2) = S_y^2 frac((n zbroj_(i=1)^(n) x_i^2 - (zbroj_(i=1)^(n) x_i)^2) zbroj_(i=1) ^(n) x_i^2) (D^2) = S_y^2 frac(sum_(i=1)^(n) x_i^2) (D)` (4.1) `S_b^2 = S_y^2 frac(sum_(i=1)^(n) (n x_i - zbroj_(i=1)^(n) x_i)^2) (D^2) = S_y^2 frac( n (n zbroj_(i=1)^(n) x_i^2 - (zbroj_(i=1)^(n) x_i)^2)) (D^2) = S_y^2 frac(n) (D) ` (4.2) U većini stvarnih eksperimenata, vrijednost "Sy" se ne mjeri. Za to je potrebno provesti nekoliko paralelnih mjerenja (eksperimenata) na jednoj ili više točaka plana, što povećava vrijeme (a možda i cijenu) eksperimenta. Stoga se obično pretpostavlja da se odstupanje "y" od regresijske linije može smatrati slučajnim. Procjena varijance `y` u ovom slučaju izračunava se formulom. `S_y^2 = S_(y, ostatak)^2 = frac(sum_(i=1)^n (y_i - a - b x_i)^2) (n-2)`. Djelitelj `n-2` se pojavljuje jer smo smanjili broj stupnjeva slobode zbog izračuna dvaju koeficijenata za isti uzorak eksperimentalnih podataka. Ova se procjena također naziva rezidualna varijanca u odnosu na regresijsku liniju "S_(y, ostatak)^2". Procjena značajnosti koeficijenata provodi se prema Studentovom kriteriju `t_a = frac(|a|) (S_a)`, `t_b = frac(|b|) (S_b)` Ako su izračunati kriteriji `t_a`, `t_b` manji od kriterija tablice `t(P, n-2)`, tada se smatra da se odgovarajući koeficijent ne razlikuje značajno od nule uz zadanu vjerojatnost `P`. Da biste procijenili kvalitetu opisa linearnog odnosa, možete usporediti `S_(y, ostatak)^2` i `S_(bar y)` u odnosu na srednju vrijednost koristeći Fisherov kriterij. `S_(bar y) = frac(sum_(i=1)^n (y_i - bar y)^2) (n-1) = frac(sum_(i=1)^n (y_i - (sum_(i= 1)^n y_i) /n)^2) (n-1)` - procjena uzorka varijance `y` u odnosu na srednju vrijednost. Za procjenu učinkovitosti regresijske jednadžbe za opisivanje ovisnosti izračunava se Fisherov koeficijent Ako je `F > F(P, n-1, n-2)`, razlika između opisa ovisnosti `y = f(x)` pomoću regresijske jednadžbe i opisa koji koristi srednju vrijednost smatra se statistički značajnom s vjerojatnošću `P`. Oni. regresija bolje opisuje ovisnost nego širenje "y" oko srednje vrijednosti. Kliknite na grafikon Metoda najmanjih kvadrata znači određivanje nepoznatih parametara a, b, c,… prihvaćena funkcionalna ovisnost y = f(x,a,b,c,…), koji bi osigurao minimum srednjeg kvadrata (varijance) pogreške gdje x i , y i - skup parova brojeva dobivenih iz eksperimenta. Kako je uvjet za ekstrem funkcije više varijabli uvjet da njezine parcijalne derivacije budu jednake nuli, tada parametri a, b, c,… određuju se iz sustava jednadžbi: ; ; ; … (25) Mora se zapamtiti da se metoda najmanjih kvadrata koristi za odabir parametara nakon oblika funkcije y = f(x) definiran. Ako se iz teorijskih razmatranja ne može zaključiti kakva bi empirijska formula trebala biti, onda se treba voditi vizualnim prikazima, prvenstveno grafičkim prikazom promatranih podataka. U praksi se najčešće ograničava na sljedeće vrste funkcija: 1) linearni 2) kvadratni a . Bit metode najmanjih kvadrata je
u pronalaženju parametara modela trenda koji najbolje opisuje trend razvoja bilo koje slučajne pojave u vremenu ili prostoru (trend je linija koja karakterizira trend tog razvoja). Zadatak metode najmanjih kvadrata (OLS) je pronaći ne samo neki model trenda, već pronaći najbolji ili optimalan model. Ovaj model će biti optimalan ako je zbroj kvadrata odstupanja između promatranih stvarnih vrijednosti i odgovarajućih izračunatih vrijednosti trenda minimalan (najmanji): gdje je standardna devijacija između promatrane stvarne vrijednosti i odgovarajuću izračunatu vrijednost trenda, Stvarna (opažena) vrijednost fenomena koji se proučava, Procijenjena vrijednost modela trenda, Broj opažanja fenomena koji se proučava. MNC se rijetko koristi samostalno. U pravilu se najčešće koristi samo kao nužna tehnika u korelacijskim studijama.
Treba imati na umu da informacijska osnova LSM-a može biti samo pouzdana statistička serija, a broj opažanja ne smije biti manji od 4, inače bi postupci izglađivanja LSM-a mogli izgubiti svoj zdrav razum. OLS skup alata svodi se na sljedeće postupke: Prvi postupak.
Ispostavlja se postoji li uopće tendencija promjene rezultantnog atributa kada se promijeni odabrani faktor-argument, ili drugim riječima, postoji li veza između " na
" i " x
». Drugi postupak.
Određuje se koja linija (trajektorija) najbolje opisuje ili karakterizira ovaj trend. Treći postupak.
Primjer. Pretpostavimo da imamo informacije o prosječnom prinosu suncokreta za farmu koja se proučava (tablica 9.1). Tablica 9.1 Broj opažanja Produktivnost, c/ha Budući da se razina tehnologije proizvodnje suncokreta u našoj zemlji nije bitno mijenjala u proteklih 10 godina, to znači da su, najvjerojatnije, kolebanja prinosa u analiziranom razdoblju uvelike ovisila o fluktuacijama vremenskih i klimatskih prilika. To je istina? Prvi MNC postupak.
Provjerava se hipoteza o postojanju trenda promjene prinosa suncokreta ovisno o promjenama vremenskih i klimatskih uvjeta tijekom analiziranih 10 godina. U ovom primjeru, za " g
» preporučljivo je uzeti prinos suncokreta, a za « x
» je broj promatrane godine u analiziranom razdoblju. Testiranje hipoteze o postojanju bilo kakvog odnosa između " x
" i " g
» može se obaviti na dva načina: ručno i uz pomoć računalnih programa. Naravno, uz dostupnost računalne tehnologije, ovaj problem se rješava sam po sebi. No, kako bismo bolje razumjeli OLS alate, preporučljivo je testirati hipotezu o postojanju odnosa između " x
" i " g
» ručno, kada su vam pri ruci samo olovka i obični kalkulator. U takvim slučajevima hipotezu o postojanju trenda najbolje je vizualno provjeriti položajem grafičke slike analizirane vremenske serije – korelacijsko polje: Korelacijsko polje u našem primjeru nalazi se oko linije koja se polako diže. To samo po sebi ukazuje na postojanje određenog trenda u kretanju prinosa suncokreta. Nemoguće je govoriti o postojanju bilo kakvog trenda samo kada korelacijsko polje izgleda kao krug, krug, strogo okomit ili strogo vodoravan oblak ili se sastoji od nasumično razbacanih točaka. U svim ostalim slučajevima potrebno je potvrditi hipotezu o postojanju veze između " x
" i " g
i nastaviti istraživanje. Drugi MNC postupak.
Utvrđuje se koja linija (trajektorija) najbolje opisuje ili karakterizira trend promjene prinosa suncokreta za analizirano razdoblje. Uz dostupnost računalne tehnologije, odabir optimalnog trenda događa se automatski. S "ručnom" obradom, izbor optimalne funkcije provodi se, u pravilu, vizualno - prema položaju korelacijskog polja. Odnosno, prema vrsti grafikona odabire se jednadžba linije koja najbolje odgovara empirijskom trendu (stvarnoj putanji). Kao što znate, u prirodi postoji velika raznolikost funkcionalnih ovisnosti, pa je vrlo teško vizualno analizirati čak i mali dio njih. Srećom, u stvarnoj ekonomskoj praksi većina odnosa može se točno opisati ili parabolom, ili hiperbolom, ili ravnom crtom. U tom smislu, s "ručnom" opcijom odabira najbolje funkcije, možete se ograničiti samo na ova tri modela. Hiperbola: Parabola drugog reda: Lako je vidjeti da se u našem primjeru trend promjena prinosa suncokreta tijekom analiziranih 10 godina najbolje karakterizira pravolinijom, pa će regresijska jednadžba biti ravnocrtna. Treći postupak.
Izračunavaju se parametri regresijske jednadžbe koja karakterizira ovu liniju, odnosno utvrđuje se analitička formula koja opisuje najbolji model trenda. Pronalaženje vrijednosti parametara regresijske jednadžbe, u našem slučaju, parametara i , srž je LSM-a. Taj se proces svodi na rješavanje sustava normalnih jednadžbi. Ovaj sustav jednadžbi se prilično jednostavno rješava Gaussovom metodom. Podsjetimo se da su kao rezultat rješenja, u našem primjeru, pronađene vrijednosti parametara i . Dakle, pronađena regresijska jednadžba će imati sljedeći oblik: 
Enciklopedijski YouTube
titlovi
Priča
Bit metode najmanjih kvadrata
Primjer - sustav linearnih jednadžbi
OLS u regresijskoj analizi (aproksimacija podataka)
LSM u slučaju linearne regresije
Najjednostavniji posebni slučajevi
Slučaj polinomskog modela
Statistička svojstva OLS procjena
Ponderirani najmanji kvadrati
, 
, koji izvodi aproksimaciju srednjeg kvadrata zadane funkcije s obzirom na točke. Sastavite funkciju 
i napiši potreban ekstremni uvjet za to:
Bit metode najmanjih kvadrata (LSM).
uzima najmanju vrijednost. Odnosno s obzirom na podatke a i b zbroj kvadrata odstupanja eksperimentalnih podataka od nađene ravne linije bit će najmanji. Ovo je cijela poanta metode najmanjih kvadrata.Izvođenje formula za određivanje koeficijenata.
po varijablama a i b, te izvodnice izjednačujemo s nulom. 
uzima najmanju vrijednost. Dokaz za ovu činjenicu nalazi se u nastavku teksta na kraju stranice.
bolje aproksimira izvorne podatke, tj. napraviti procjenu metodom najmanjih kvadrata.Procjena pogreške metode najmanjih kvadrata.
i 
, manja vrijednost odgovara liniji koja bolje aproksimira izvorne podatke u smislu metode najmanjih kvadrata. 
Grafički prikaz metode najmanjih kvadrata (LSM).
, ružičaste točkice su izvorni podaci.
bio pozitivno određen. Pokažimo to.
a vrijednosti elemenata ne ovise o a i b.
. Nejednakost je stroga jer se točke ne poklapaju. To će biti implicirano u onome što slijedi.
metoda matematičke indukcije.
, stoga su željeni parametri za metodu najmanjih kvadrata.
Naručite rješenjeIzrada prognoze metodom najmanjih kvadrata. Primjer rješenja problema
Primjer korištenja metode najmanjih kvadrata za izradu prognoze
Metoda najmanjeg kvadrata
Ostali povezani članci:
MNE Program
Unesite podatke
Podaci i aproksimacija y = a + b x
x i- vrijednost fiksnog parametra u točki ja;
y i- vrijednost mjerenog parametra u točki ja;
ω i- mjerna težina u točki ja;
y i, izr.- razlika između izmjerene vrijednosti i vrijednosti izračunate iz regresije g u točki ja;
S x i (x i)- procjena pogreške x i prilikom mjerenja g u točki ja.Podaci i aproksimacija y = kx
ja
x i
y i
ω i
y i, izr.
Δy i
S x i (x i)
Korisnički priručnik za MNC online program.
Metoda najmanjih kvadrata (LSM).
Kratka teorija najmanjih kvadrata za linearnu ovisnost
gdje je `I` - jakost struje; `R` - otpor; `U` - napon.
gdje je `A` optička gustoća otopine; `ε` - propusnost otopljene tvari; `l` - duljina puta kada svjetlost prolazi kroz kivetu s otopinom; `C` je koncentracija otopljene tvari.
`y = a + bx`.Određivanje parametara regresijske linije.
`y_i = a + b x_i + ε_i` (1),
gdje je `ε_i` nepoznata pogreška mjerenja `y` u `i`tom eksperimentu.
`Φ = zbroj_(i=1)^(n) ε_i^2 = zbroj_(i=1)^(n) (y_i - a - b x_i)^2`. (2)
`frac(djelomični Φ)(djelomični a) = frac(djelomični zbroj_(i=1)^(n) (y_i - a - b x_i)^2)(djelomični a) = 0`
`frac(djelomični Φ)(djelomični b) = frac(djelomični zbroj_(i=1)^(n) (y_i - a - b x_i)^2)(djelomični b) = 0`
`zbroj_(i=1)^(n) (2a + 2bx_i - 2y_i) = zbroj_(i=1)^(n) (a + bx_i - y_i) = 0`
`zbroj_(i=1)^(n) (2bx_i^2 + 2ax_i - 2x_iy_i) = zbroj_(i=1)^(n) (bx_i^2 + ax_i - x_iy_i) = 0`
`zbroj_(i=1)^(n) y_i = a n + b zbroj_(i=1)^(n) bx_i`
`zbroj_(i=1)^(n) x_iy_i = a zbroj_(i=1)^(n) x_i + b zbroj_(i=1)^(n) x_i^2`Procjena pogrešaka u koeficijentima regresijske linije
`S_V^2 = zbroj_(i=1)^p (frac(djelomični f)(djelomični z_i))^2 S_(z_i)^2`,
gdje je `p` broj parametara `z_i` s pogreškom `S_(z_i)` koji utječu na pogrešku `S_V`;
`f` je funkcija ovisnosti `V` o `z_i`.
`S_a^2 = zbroj_(i=1)^(n)(frac(djelomični a)(djelomični y_i))^2 S_(y_i)^2 + zbroj_(i=1)^(n)(frac(djelomični a )(djelomični x_i))^2 S_(x_i)^2 = S_y^2 zbroj_(i=1)^(n)(frac(djelomični a)(djelomični y_i))^2 `,
`S_b^2 = zbroj_(i=1)^(n)(frac(djelomični b)(djelomični y_i))^2 S_(y_i)^2 + zbroj_(i=1)^(n)(frac(djelomični b )(djelomični x_i))^2 S_(x_i)^2 = S_y^2 zbroj_(i=1)^(n)(frac(djelomični b)(djelomični y_i))^2 `,
jer `S_(x_i)^2 = 0` (prethodno smo rekli da je pogreška `x` zanemariva).
`F = S_(bar y) / S_(y, odmor)^2`,
koji se uspoređuje s tabličnim Fisherovim koeficijentom `F(p, n-1, n-2)`.
za dodavanje vrijednosti u tablicuMetoda najmanjeg kvadrata. Metoda najmanjih kvadrata znači određivanje nepoznatih parametara a, b, c, prihvaćene funkcionalne ovisnosti
, (24)
;
:
(9.2)
