Analýza údajov metódou najmenších štvorcov. Najmenšie štvorce v Exceli

Metóda najmenších štvorcov

V záverečnej lekcii témy sa zoznámime s najznámejšou aplikáciou FNP, ktorý nachádza najširšie uplatnenie v rôznych oblastiach vedy a praxe. Môže to byť fyzika, chémia, biológia, ekonómia, sociológia, psychológia a tak ďalej a tak ďalej. Z vôle osudu sa často musím popasovať s ekonomikou, a preto vám dnes vybavím letenku do úžasnej krajiny tzv. Ekonometria=) ... Ako to nechceš?! Je to tam veľmi dobré - stačí sa rozhodnúť! ...Ale to, čo pravdepodobne určite chcete, je naučiť sa riešiť problémy najmenších štvorcov. A hlavne usilovní čitatelia sa ich naučia riešiť nielen presne, ale aj VEĽMI RÝCHLO ;-) Ale najskôr všeobecné vyjadrenie problému+ súvisiaci príklad:

Nech sa študujú ukazovatele v nejakej tematickej oblasti, ktoré majú kvantitatívne vyjadrenie. Zároveň existujú všetky dôvody domnievať sa, že ukazovateľ závisí od ukazovateľa. Tento predpoklad môže byť vedeckou hypotézou aj založenou na elementárnom zdravom rozume. Nechajme však vedu bokom a preskúmajme chutnejšie oblasti – menovite obchody s potravinami. Označiť podľa:

– obchodný priestor predajne potravín, m2,
- ročný obrat obchodu s potravinami, milióny rubľov.

Je úplne jasné, že čím väčšia je plocha predajne, tým väčší je jej obrat vo väčšine prípadov.

Predpokladajme, že po vykonaní pozorovaní / experimentov / výpočtov / tanca s tamburínou máme k dispozícii číselné údaje:

Pri obchodoch s potravinami je myslím všetko jasné: - toto je plocha 1. predajne, - jej ročný obrat, - plocha 2. predajne, - jej ročný obrat atď. Mimochodom, nie je vôbec potrebné mať prístup k utajovaným materiálom - pomerne presné vyhodnotenie obratu možno získať pomocou matematickej štatistiky. Nenechajte sa však rozptyľovať, kurz komerčnej špionáže je už zaplatený =)

Tabuľkové údaje môžu byť zapísané aj vo forme bodov a zobrazené pre nás obvyklým spôsobom. karteziánsky systém .

Odpovedzme si na dôležitú otázku: koľko bodov je potrebných na kvalitatívnu štúdiu?

Čím väčšie, tým lepšie. Minimálny prípustný set pozostáva z 5-6 bodov. Okrem toho pri malom množstve údajov by do vzorky nemali byť zahrnuté „abnormálne“ výsledky. Takže napríklad malý elitný obchod môže pomôcť rádovo viac ako „ich kolegovia“, čím skresľuje všeobecný vzorec, ktorý je potrebné nájsť!

Ak je to celkom jednoduché, musíme vybrať funkciu, harmonogram ktorý prechádza čo najbližšie k bodom . Takáto funkcia sa nazýva aproximácia (aproximácia - aproximácia) alebo teoretická funkcia . Vo všeobecnosti sa tu okamžite objaví zjavný „predstierač“ - polynóm vysokého stupňa, ktorého graf prechádza VŠETKÝMI bodmi. Táto možnosť je však komplikovaná a často jednoducho nesprávna. (pretože graf sa bude neustále „navíjať“ a zle odráža hlavný trend).

Požadovaná funkcia teda musí byť dostatočne jednoduchá a zároveň primerane odrážať závislosť. Ako asi tušíte, jedna z metód na nájdenie takýchto funkcií je tzv najmenších štvorcov. Najprv analyzujme jeho podstatu všeobecným spôsobom. Nechajte nejakú funkciu aproximovať experimentálne údaje:


Ako vyhodnotiť presnosť tejto aproximácie? Vypočítajme aj rozdiely (odchýlky) medzi experimentálnymi a funkčnými hodnotami (študujeme kresbu). Prvá myšlienka, ktorá príde na myseľ, je odhadnúť, aká veľká je suma, ale problém je, že rozdiely môžu byť negatívne. (napríklad, ) a odchýlky v dôsledku takéhoto súčtu sa navzájom vyrušia. Preto sa ako odhad presnosti aproximácie navrhuje použiť súčet modulov odchýlky:

alebo v zloženom tvare: (pre tých čo nevedia: je ikona súčtu a - pomocná premenná - "počítadlo", ktoré nadobúda hodnoty od 1 do ) .

Aproximáciou experimentálnych bodov s rôznymi funkciami dostaneme rôzne hodnoty a je zrejmé, kde je tento súčet menší - tá funkcia je presnejšia.

Takáto metóda existuje a volá sa metóda najmenšieho modulu. V praxi sa však výrazne rozšíril. metóda najmenších štvorcov, v ktorom možné záporné hodnoty nie sú eliminované modulom, ale kvadratúrou odchýlok:

, po ktorom úsilie smeruje k výberu takej funkcie, aby súčet kvadrátov odchýlok bol čo najmenší. Odtiaľ vlastne pochádza aj názov metódy.

A teraz sa vrátime k ďalšiemu dôležitému bodu: ako je uvedené vyššie, vybraná funkcia by mala byť pomerne jednoduchá - existuje však aj veľa takýchto funkcií: lineárne , hyperbolický , exponenciálny , logaritmický , kvadratický atď. A, samozrejme, tu by som okamžite rád „zmenšil pole pôsobnosti“. Akú triedu funkcií zvoliť pre výskum? Primitívna, ale účinná technika:

- Najjednoduchší spôsob kreslenia bodov na výkrese a analyzovať ich umiestnenie. Ak majú tendenciu byť v priamej línii, mali by ste hľadať priamka rovnica s optimálnymi hodnotami a . Inými slovami, úlohou je nájsť TAKÉTO koeficienty – tak, aby súčet kvadrátov odchýlok bol najmenší.

Ak sú body umiestnené napr hyperbola, potom je jasné, že lineárna funkcia poskytne zlú aproximáciu. V tomto prípade hľadáme „najvýhodnejšie“ koeficienty pre rovnicu hyperboly – tie, ktoré dávajú minimálny súčet štvorcov .

Teraz si všimnite, že v oboch prípadoch hovoríme o funkcie dvoch premenných, ktorých argumenty sú hľadal možnosti závislosti:

A v podstate potrebujeme vyriešiť štandardný problém – nájsť minimálne funkcie dvoch premenných.

Pripomeňme si náš príklad: Predpokladajme, že body „obchodu“ majú tendenciu byť umiestnené v priamej línii a existuje každý dôvod domnievať sa, že existuje lineárna závislosť obrat z obchodnej oblasti. Nájdite TAKÉTO koeficienty "a" a "be" tak, aby bol súčet kvadrátov odchýlok bol najmenší. Všetko ako obvykle - prvé parciálne deriváty 1. rádu. Podľa pravidlo linearity môžete rozlišovať priamo pod ikonou sumy:

Ak chcete použiť tieto informácie na esej alebo semestrálnu prácu, budem veľmi vďačný za odkaz v zozname zdrojov, nikde nenájdete také podrobné výpočty:

Urobme štandardný systém:

Každú rovnicu zredukujeme o „dvojku“ a navyše „rozdelíme“ súčty:

Poznámka : nezávisle analyzovať, prečo je možné z ikony súčtu vyňať „a“ a „byť“. Mimochodom, formálne sa to dá urobiť so sumou

Prepíšme systém do „aplikovanej“ formy:

potom sa začne kresliť algoritmus na riešenie nášho problému:

Poznáme súradnice bodov? Vieme. Sumy môžeme nájsť? Jednoducho. Skladáme to najjednoduchšie sústava dvoch lineárnych rovníc s dvoma neznámymi("a" a "beh"). Systém riešime napr. Cramerova metóda, výsledkom čoho je stacionárny bod . Kontrola postačujúca podmienka pre extrém, môžeme overiť, že v tomto bode je funkcia dosiahne presne minimálne. Overenie je spojené s dodatočnými výpočtami a preto ho necháme v zákulisí. (v prípade potreby je možné zobraziť chýbajúci rámtu ) . Vyvodzujeme konečný záver:

Funkcia najlepšia cesta (aspoň v porovnaní s akoukoľvek inou lineárnou funkciou) približuje experimentálne body . Zhruba povedané, jeho graf prechádza čo najbližšie k týmto bodom. V tradícii ekonometrie sa nazýva aj výsledná aproximačná funkcia párová lineárna regresná rovnica .

Uvažovaný problém má veľký praktický význam. V situácii s naším príkladom, rovnica umožňuje predpovedať, aký druh obratu ("yig") bude v predajni s jednou alebo druhou hodnotou predajnej plochy (jeden alebo iný význam "x"). Áno, výsledná predpoveď bude len predpoveďou, no v mnohých prípadoch sa ukáže ako celkom presná.

Rozoberiem len jeden problém so „skutočnými“ číslami, keďže v ňom nie sú žiadne ťažkosti – všetky výpočty sú na úrovni školských osnov v 7. – 8. ročníku. V 95 percentách prípadov budete požiadaní, aby ste našli len lineárnu funkciu, ale na samom konci článku ukážem, že nájsť rovnice pre optimálnu hyperbolu, exponent a niektoré ďalšie funkcie nie je o nič zložitejšie.

V skutočnosti zostáva rozdávať sľúbené dobroty – aby ste sa naučili takéto príklady riešiť nielen presne, ale aj rýchlo. Starostlivo študujeme štandard:

Úloha

Ako výsledok štúdia vzťahu medzi dvoma ukazovateľmi sa získali nasledujúce dvojice čísel:

Pomocou metódy najmenších štvorcov nájdite lineárnu funkciu, ktorá najlepšie aproximuje empirickú funkciu (skúsený)údajov. Vytvorte výkres, na ktorom v karteziánskom pravouhlom súradnicovom systéme nakreslite experimentálne body a graf aproximačnej funkcie . Nájdite súčet štvorcových odchýlok medzi empirickými a teoretickými hodnotami. Zistite, či je funkcia lepšia (v zmysle metódy najmenších štvorcov) približné experimentálne body.

Všimnite si, že hodnoty „x“ sú prirodzené hodnoty a to má charakteristický zmysluplný význam, o ktorom budem hovoriť o niečo neskôr; ale, samozrejme, môžu byť zlomkové. Okrem toho v závislosti od obsahu konkrétnej úlohy môžu byť hodnoty „X“ aj „G“ úplne alebo čiastočne záporné. Dostali sme „netvárnu“ úlohu a začíname s ňou Riešenie:

Nájdeme koeficienty optimálnej funkcie ako riešenie systému:

Na účely kompaktnejšieho zápisu možno premennú „counter“ vynechať, pretože už je jasné, že sčítanie sa vykonáva od 1 do .

Je vhodnejšie vypočítať požadované množstvá v tabuľkovej forme:


Výpočty je možné vykonávať na mikrokalkulačke, ale oveľa lepšie je použiť Excel - rýchlejšie a bez chýb; pozrite si krátke video:

Dostávame teda nasledovné systém:

Tu môžete vynásobiť druhú rovnicu 3 a odčítajte 2. od 1. rovnice člen po člene. Ale to je šťastie - v praxi systémy často nie sú nadané a v takýchto prípadoch šetrí Cramerova metóda:
, takže systém má unikátne riešenie.

Urobme kontrolu. Chápem, že to nechcem, ale prečo preskakovať chyby tam, kde si ich nemôžete nechať ujsť? Nájdené riešenie dosaďte na ľavú stranu každej rovnice systému:

Získajú sa správne časti zodpovedajúcich rovníc, čo znamená, že systém je vyriešený správne.

Požadovaná aproximačná funkcia: – od všetky lineárne funkcie najlepšie sa ním priblížia experimentálne údaje.

Na rozdiel od rovno závislosť obratu predajne od jej plochy, zistená závislosť je obrátene (zásada „čím viac – tým menej“), a túto skutočnosť okamžite odhalí negatív uhlový koeficient. Funkcia nás informuje, že so zvýšením určitého ukazovateľa o 1 jednotku sa hodnota závislého ukazovateľa znižuje priemer o 0,65 jednotky. Ako sa hovorí, čím vyššia je cena pohánky, tým menej sa predáva.

Na vykreslenie aproximačnej funkcie nájdeme dve jej hodnoty:

a vykonajte kreslenie:

Vybudovaná čiara je tzv trendová čiara (konkrétne lineárna trendová čiara, t. j. vo všeobecnom prípade trend nemusí byť nevyhnutne priamka). Výraz „byť v trende“ pozná každý a myslím si, že tento výraz nepotrebuje ďalší komentár.

Vypočítajte súčet štvorcových odchýlok medzi empirickými a teoretickými hodnotami. Geometricky ide o súčet druhých mocnín dĺžok „karmínových“ segmentov (dve z nich sú také malé, že ich ani nevidíte).

Zhrňme si výpočty do tabuľky:


Môžu byť opäť vykonané ručne, len v prípade, že uvediem príklad pre 1. bod:

ale oveľa efektívnejšie je urobiť už známy spôsob:

Zopakujme si: aký je zmysel výsledku? Od všetky lineárne funkcie funkciu exponent je najmenší, to znamená, že je to najlepšia aproximácia vo svojej rodine. A tu, mimochodom, posledná otázka problému nie je náhodná: čo ak navrhovaná exponenciálna funkcia bude lepšie aproximovať experimentálne body?

Nájdite zodpovedajúci súčet štvorcových odchýlok - aby som ich rozlíšil, označím ich písmenom "epsilon". Technika je úplne rovnaká:

A opäť pre každý výpočet požiaru pre 1. bod:

V Exceli používame štandardnú funkciu EXP (Syntax nájdete v Pomocníkovi programu Excel).

Záver: , takže exponenciálna funkcia aproximuje experimentálne body horšie ako priamka .

Tu však treba poznamenať, že „horšie“ je ešte neznamená, čo je zle. Teraz som vytvoril graf tejto exponenciálnej funkcie - a tiež prechádza blízko k bodom - natoľko, že bez analytickej štúdie je ťažké povedať, ktorá funkcia je presnejšia.

Tým je riešenie dokončené a vraciam sa k otázke prirodzených hodnôt argumentu. V rôznych štúdiách sú spravidla ekonomické alebo sociologické mesiace, roky alebo iné rovnaké časové intervaly očíslované prirodzeným „X“. Zvážte napríklad nasledujúci problém:

O maloobchodnom obrate predajne za prvý polrok máme nasledujúce údaje:

Pomocou lineárneho analytického zarovnania nájdite objem predaja za júl.

Áno, žiadny problém: očíslujeme mesiace 1, 2, 3, 4, 5, 6 a použijeme zvyčajný algoritmus, v dôsledku čoho dostaneme rovnicu – jediné, čo sa týka času, je zvyčajne písmeno „te " (aj keď to nie je kritické). Výsledná rovnica ukazuje, že v prvom polroku sa obrat zvýšil v priemere o 27,74 CU. za mesiac. Získajte predpoveď na júl (7. mesiac): EÚ.

A podobné úlohy – tma je tma. Tí, ktorí si to želajú, môžu využiť doplnkovú službu, a to moju Excel kalkulačka (demo verzia), ktorý problém vyrieši takmer okamžite! K dispozícii je pracovná verzia programu výmenou za alebo pre symbolická platba.

Na konci lekcie stručná informácia o hľadaní závislostí niektorých ďalších typov. V skutočnosti nie je čo povedať, pretože základný prístup a algoritmus riešenia zostávajú rovnaké.

Predpokladajme, že umiestnenie experimentálnych bodov pripomína hyperbolu. Potom, aby ste našli koeficienty najlepšej hyperboly, musíte nájsť minimum funkcie - tí, ktorí chcú, môžu vykonať podrobné výpočty a prísť k podobnému systému:

Z formálneho technického hľadiska sa získava z „lineárneho“ systému (označme to hviezdičkou) nahradenie "x" znakom . No tie sumy vypočítajte, po ktorom sa dosiahnu optimálne koeficienty "a" a "be" po ruke.

Ak existujú všetky dôvody domnievať sa, že body sú usporiadané pozdĺž logaritmickej krivky, potom hľadať optimálne hodnoty a nájsť minimum funkcie . Formálne by sa v systéme (*) malo nahradiť:

Pri výpočte v Exceli použite funkciu LN. Priznám sa, že nebude pre mňa ťažké vytvárať kalkulačky pre každý z uvažovaných prípadov, no predsa len bude lepšie, ak si výpočty „naprogramujete“ sami. Videonávody, ktoré vám pomôžu.

Pri exponenciálnej závislosti je situácia o niečo komplikovanejšia. Aby sme to zredukovali na lineárny prípad, vezmeme logaritmus funkcie a použijeme vlastnosti logaritmu:

Teraz, porovnaním získanej funkcie s lineárnou funkciou , dospejeme k záveru, že v systéme (*) musí byť nahradené , a - . Pre pohodlie uvádzame:

Upozorňujeme, že systém je riešený vzhľadom na a , a preto po nájdení koreňov nesmiete zabudnúť nájsť samotný koeficient.

Na aproximáciu experimentálnych bodov optimálna parabola , treba nájsť minimálne funkcie troch premenných. Po vykonaní štandardných akcií dostaneme nasledujúce „pracovné“ systém:

Áno, samozrejme, je tu viac súm, ale pri používaní vašej obľúbenej aplikácie nie sú žiadne ťažkosti. A nakoniec vám poviem, ako rýchlo skontrolovať pomocou Excelu a vytvoriť požadovanú trendovú čiaru: vytvorte bodový graf, vyberte ľubovoľný z bodov pomocou myši a kliknite pravým tlačidlom myši vyberte možnosť "Pridať trendovú čiaru". Ďalej vyberte typ grafu a na karte "Možnosti" aktivovať možnosť "Zobraziť rovnicu na grafe". OK

Ako vždy chcem ukončiť článok krásnou frázou a takmer som napísal „Buďte v trende!“. Časom však zmenil názor. A nie preto, že je to formulované. Neviem ako kto, ale mne sa vôbec nechce nasledovať propagovaný americký a hlavne európsky trend =) Preto prajem každému z vás, aby ste sa držali svojej línie!

http://www.grandars.ru/student/vysshaya-matematika/metod-naimenshih-kvadratov.html

Metóda najmenších štvorcov je jednou z najbežnejších a najrozvinutejších vďaka jej jednoduchosť a efektívnosť metód odhadu parametrov lineárnych ekonometrických modelov. Zároveň je potrebné pri jeho používaní dbať na určitú opatrnosť, pretože modely s jeho pomocou nemusia spĺňať množstvo požiadaviek na kvalitu svojich parametrov a v dôsledku toho „nezodpovedajú“ vzorom vývoja procesov.

Pozrime sa podrobnejšie na postup odhadu parametrov lineárneho ekonometrického modelu metódou najmenších štvorcov. Takýto model vo všeobecnej forme môže byť reprezentovaný rovnicou (1.2):

yt = a 0 + a 1 x 1t +...+ a n x nt + ε t.

Počiatočný údaj pri odhade parametrov a 0 , a 1 ,..., a n je vektor hodnôt závislej premennej r= (y 1 , y 2 , ... , y T)“ a matica hodnôt nezávislých premenných

v ktorom prvý stĺpec pozostávajúci z jednotiek zodpovedá koeficientu modelu .

Metóda najmenších štvorcov dostala svoj názov na základe základného princípu, že odhady parametrov získané na jej základe musia spĺňať: súčet štvorcov chyby modelu by mal byť minimálny.

Príklady riešenia úloh metódou najmenších štvorcov

Príklad 2.1. Obchodný podnik má sieť 12 predajní, o ktorých činnosti sú uvedené v tabuľke. 2.1.

Vedenie spoločnosti by chcelo vedieť, ako závisí veľkosť ročného obratu od predajnej plochy predajne.

Tabuľka 2.1

Číslo predajne	Ročný obrat, milióny rubľov	Obchodná plocha, tisíc m 2
	19,76	0,24
	38,09	0,31
	40,95	0,55
	41,08	0,48
	56,29	0,78
	68,51	0,98
	75,01	0,94
	89,05	1,21
	91,13	1,29
	91,26	1,12
	99,84	1,29
	108,55	1,49

Riešenie najmenších štvorcov. Označme - ročný obrat -tého obchodu, milióny rubľov; - predajná plocha predajne, tisíc m 2.

Obr.2.1. Bodový graf pre príklad 2.1

Určiť formu funkčného vzťahu medzi premennými a zostrojiť bodový graf (obr. 2.1).

Na základe rozptylového diagramu môžeme konštatovať, že ročný obrat je pozitívne závislý od predajnej plochy (t.j. y sa zvýši s rastom o ). Najvhodnejšia forma funkčného spojenia je lineárne.

Informácie pre ďalšie výpočty sú uvedené v tabuľke. 2.2. Pomocou metódy najmenších štvorcov odhadujeme parametre lineárneho jednofaktorového ekonometrického modelu

Tabuľka 2.2

t	y t	x 1 t	y t 2	x1t2	x 1t r t
	19,76	0,24	390,4576	0,0576	4,7424
	38,09	0,31	1450,8481	0,0961	11,8079
	40,95	0,55	1676,9025	0,3025	22,5225
	41,08	0,48	1687,5664	0,2304	19,7184
	56,29	0,78	3168,5641	0,6084	43,9062
	68,51	0,98	4693,6201	0,9604	67,1398
	75,01	0,94	5626,5001	0,8836	70,5094
	89,05	1,21	7929,9025	1,4641	107,7505
	91,13	1,29	8304,6769	1,6641	117,5577
	91,26	1,12	8328,3876	1,2544	102,2112
	99,84	1,29	9968,0256	1,6641	128,7936
	108,55	1,49	11783,1025	2,2201	161,7395
S	819,52	10,68	65008,554	11,4058	858,3991
Priemerná	68,29	0,89

Touto cestou,

Preto so zvýšením obchodnej oblasti o 1 000 m 2, ak sú ostatné veci rovnaké, priemerný ročný obrat sa zvyšuje o 67,8871 milióna rubľov.

Príklad 2.2. Vedenie podniku si všimlo, že ročný obrat nezávisí len od predajnej plochy predajne (pozri príklad 2.1), ale aj od priemerného počtu návštevníkov. Príslušné informácie sú uvedené v tabuľke. 2.3.

Tabuľka 2.3

Riešenie. Označte - priemerný počet návštevníkov obchodu za deň, tisíc ľudí.

Určiť formu funkčného vzťahu medzi premennými a zostrojiť bodový graf (obr. 2.2).

Na základe rozptylového diagramu môžeme konštatovať, že ročný obrat pozitívne súvisí s priemerným počtom návštevníkov za deň (t. j. y sa bude zvyšovať s rastom o ). Forma funkčnej závislosti je lineárna.

Ryža. 2.2. Napríklad bodový graf 2.2

Tabuľka 2.4

t	x 2t	x 2t 2	yt x 2t	x 1t x 2t
	8,25	68,0625	163,02	1,98
	10,24	104,8575	390,0416	3,1744
	9,31	86,6761	381,2445	5,1205
	11,01	121,2201	452,2908	5,2848
	8,54	72,9316	480,7166	6,6612
	7,51	56,4001	514,5101	7,3598
	12,36	152,7696	927,1236	11,6184
	10,81	116,8561	962,6305	13,0801
	9,89	97,8121	901,2757	12,7581
	13,72	188,2384	1252,0872	15,3664
	12,27	150,5529	1225,0368	15,8283
	13,92	193,7664	1511,016	20,7408
S	127,83	1410,44	9160,9934	118,9728
Priemerná	10,65

Vo všeobecnosti je potrebné určiť parametre dvojfaktorového ekonometrického modelu

y t \u003d a 0 + a 1 x 1 t + a 2 x 2 t + ε t

Informácie potrebné pre ďalšie výpočty sú uvedené v tabuľke. 2.4.

Odhadnime parametre lineárneho dvojfaktorového ekonometrického modelu metódou najmenších štvorcov.

Touto cestou,

Z vyhodnotenia koeficientu = 61,6583 vyplýva, že za rovnakých okolností pri zvýšení obchodnej plochy o 1 tisíc m 2 vzrastie ročný obrat v priemere o 61,6583 miliónov rubľov.

Z odhadu koeficientu = 2,2748 vyplýva, že za nezmenených okolností pri náraste priemernej návštevnosti na 1 tisíc ľudí. za deň sa ročný obrat zvýši v priemere o 2,2748 milióna rubľov.

Príklad 2.3. Použitie informácií uvedených v tabuľke. 2.2 a 2.4 odhadnite parameter jednofaktorového ekonometrického modelu

kde je stredná hodnota ročného obratu -tého obchodu, milión rubľov; - centrovaná hodnota priemerného denného počtu návštevníkov t-tej predajne, tisíc ľudí. (pozri príklady 2.1-2.2).

Riešenie.Ďalšie informácie potrebné na výpočty sú uvedené v tabuľke. 2.5.

Tabuľka 2.5

	-48,53	-2,40	5,7720	116,6013
	-30,20	-0,41	0,1702	12,4589
	-27,34	-1,34	1,8023	36,7084
	-27,21	0,36	0,1278	-9,7288
	-12,00	-2,11	4,4627	25,3570
	0,22	-3,14	9,8753	-0,6809
	6,72	1,71	2,9156	11,4687
	20,76	0,16	0,0348	3,2992
	22,84	-0,76	0,5814	-17,413
	22,97	3,07	9,4096	70,4503
	31,55	1,62	2,6163	51,0267
	40,26	3,27	10,6766	131,5387
Sum			48,4344	431,0566

Pomocou vzorca (2.35) dostaneme

Touto cestou,

http://www.cleverstudents.ru/articles/mnk.html

Príklad.

Experimentálne údaje o hodnotách premenných X a pri sú uvedené v tabuľke.

Výsledkom ich zosúladenia je funkcia

Použitím metóda najmenších štvorcov, aproximovať tieto údaje s lineárnou závislosťou y=ax+b(nájdite parametre a a b). Zistite, ktorý z dvoch riadkov je lepší (v zmysle metódy najmenších štvorcov) zarovnáva experimentálne údaje. Urobte si kresbu.

Riešenie.

V našom príklade n=5. Tabuľku vypĺňame pre pohodlie výpočtu súm, ktoré sú zahrnuté vo vzorcoch požadovaných koeficientov.

Hodnoty vo štvrtom riadku tabuľky sa získajú vynásobením hodnôt v 2. riadku hodnotami v 3. riadku pre každé číslo i.

Hodnoty v piatom riadku tabuľky sa získajú umocnením hodnôt v 2. riadku pre každé číslo i.

Hodnoty posledného stĺpca tabuľky sú súčty hodnôt v riadkoch.

Na zistenie koeficientov používame vzorce metódy najmenších štvorcov a a b. Nahradíme v nich zodpovedajúce hodnoty z posledného stĺpca tabuľky:

v dôsledku toho y = 0,165 x + 2,184 je požadovaná približná priamka.

Zostáva zistiť, ktorý z riadkov y = 0,165 x + 2,184 alebo lepšie aproximuje pôvodné údaje, t. j. urobiť odhad pomocou metódy najmenších štvorcov.

Dôkaz.

Takže keď sa nájde a a b funkcia nadobúda najmenšiu hodnotu, je potrebné, aby v tomto bode bola matica kvadratického tvaru diferenciálu druhého rádu pre funkciu bol pozitívny jednoznačný. Ukážme to.

Rozdiel druhého rádu má tvar:

Teda

Preto má matica kvadratickej formy tvar

a hodnoty prvkov nezávisia od a a b.

Ukážme, že matica je pozitívne definitívna. To si vyžaduje, aby uhol maloletých bol pozitívny.

Uhlová moll prvého rádu . Nerovnosť je prísna, keďže body

• tutoriál

Úvod

Som počítačový programátor. Najväčší skok vo svojej kariére som urobil, keď som sa naučil povedať: "Ničomu nerozumiem!" Teraz sa nehanbím povedať osvetľovačovi vedy, že mi robí prednášku, že nerozumiem, o čom ona, svetlica, so mnou hovorí. A je to veľmi ťažké. Áno, je ťažké a trápne priznať, že to neviete. Kto sa rád prizná, že nevie základy niečoho-tam. Z titulu svojej profesie musím absolvovať veľké množstvo prezentácií a prednášok, kde, priznám sa, v drvivej väčšine prípadov pociťujem ospalosť, pretože ničomu nerozumiem. A nerozumiem, pretože obrovský problém súčasnej situácie vo vede spočíva v matematike. Predpokladá, že všetci študenti poznajú absolútne všetky oblasti matematiky (čo je absurdné). Priznať, že neviete, čo je derivát (že toto je trochu neskôr), je škoda.

Ale naučil som sa povedať, že neviem, čo je násobenie. Áno, neviem, čo je subalgebra nad Lieovou algebrou. Áno, neviem, prečo sú v živote potrebné kvadratické rovnice. Mimochodom, ak ste si istí, že viete, potom sa máme o čom rozprávať! Matematika je séria trikov. Matematici sa snažia zmiasť a zastrašiť verejnosť; kde nie je zmätok, povesť, autorita. Áno, je prestížne hovoriť čo najabstraktnejším jazykom, čo je samo o sebe úplný nezmysel.

Viete, čo je derivát? S najväčšou pravdepodobnosťou mi poviete o limite rozdielového vzťahu. V prvom ročníku matematiky na Petrohradskej štátnej univerzite ma Viktor Petrovič Khavin definované derivácia ako koeficient prvého člena Taylorovho radu funkcie v bode (bola to samostatná gymnastika na určenie Taylorovho radu bez derivácií). Dlho som sa na tejto definícii smial, až som konečne pochopil, o čo ide. Derivácia nie je nič iné ako len miera toho, nakoľko je funkcia, ktorú derivujeme, podobná funkcii y=x, y=x^2, y=x^3.

Teraz mám tú česť prednášať študentom, ktorí strach matematiky. Ak sa bojíte matematiky - sme na ceste. Akonáhle sa pokúsite prečítať nejaký text a bude sa vám zdať, že je prehnane komplikovaný, tak vedzte, že je napísaný zle. Tvrdím, že neexistuje jediná oblasť matematiky, o ktorej by sa nedalo hovoriť „na prstoch“ bez straty presnosti.

Výzva pre blízku budúcnosť: Inštruoval som svojich študentov, aby pochopili, čo je lineárny-kvadratický regulátor. Nehanbite sa, premárnite tri minúty svojho života, nasledujte odkaz. Ak niečomu nerozumiete, sme na ceste. Ja (profesionálny matematik-programátor) som tiež ničomu nerozumel. A uisťujem vás, že sa to dá vyriešiť „na prstoch“. Momentálne neviem, čo to je, ale ubezpečujem vás, že na to prídeme.

Takže prvá prednáška, ktorú dám svojim študentom po tom, ako ku mne zdesene pribehnú so slovami, že lineárny kvadratický regulátor je strašná chyba, ktorú nikdy v živote nezvládnete, je metódy najmenších štvorcov. Viete riešiť lineárne rovnice? Ak čítate tento text, tak s najväčšou pravdepodobnosťou nie.

Takže ak sú dané dva body (x0, y0), (x1, y1), napríklad (1,1) a (3,2), úlohou je nájsť rovnicu priamky prechádzajúcej týmito dvoma bodmi:

ilustrácie

Táto priamka by mala mať rovnicu, ako je táto:

Alfa a beta sú nám neznáme, ale známe sú dva body tejto čiary:

Túto rovnicu môžete napísať v maticovom tvare:

Tu by sme mali urobiť lyrickú odbočku: čo je matrica? Matica nie je nič iné ako dvojrozmerné pole. Toto je spôsob ukladania údajov, nemali by sa mu dávať žiadne ďalšie hodnoty. Je na nás, ako presne interpretovať určitú maticu. Periodicky to budem interpretovať ako lineárne zobrazenie, periodicky ako kvadratickú formu a niekedy jednoducho ako množinu vektorov. Toto všetko bude objasnené v kontexte.

Nahraďme konkrétne matice ich symbolickým znázornením:

Potom (alfa, beta) možno ľahko nájsť:

Konkrétnejšie pre naše predchádzajúce údaje:

Čo vedie k nasledujúcej rovnici priamky prechádzajúcej bodmi (1,1) a (3,2):

Dobre, tu je všetko jasné. A nájdime rovnicu priamky prechádzajúcej cez tri body: (x0,y0), (x1,y1) a (x2,y2):

Oh-och-och, ale máme tri rovnice pre dve neznáme! Štandardný matematik povie, že neexistuje žiadne riešenie. Čo povie programátor? A najprv prepíše predchádzajúci systém rovníc v nasledujúcom tvare:

V našom prípade sú vektory i, j, b trojrozmerné, preto (vo všeobecnom prípade) neexistuje riešenie tohto systému. Akýkoľvek vektor (alpha\*i + beta\*j) leží v rovine preklenutej vektormi (i, j). Ak b nepatrí do tejto roviny, potom neexistuje riešenie (rovnosť v rovnici nemožno dosiahnuť). Čo robiť? Hľadajme kompromis. Označme podľa e (alfa, beta) ako presne sme nedosiahli rovnosť:

A túto chybu sa pokúsime minimalizovať:

Prečo štvorec?

Hľadáme nielen minimum normy, ale aj minimum druhej mocniny normy. prečo? Samotný minimálny bod sa zhoduje a štvorec dáva hladkú funkciu (kvadratická funkcia argumentov (alfa,beta)), zatiaľ čo len dĺžka dáva funkciu vo forme kužeľa, nediferencovateľného v minimálnom bode. Brr. Námestie je pohodlnejšie.

Je zrejmé, že chyba je minimalizovaná, keď vektor e ortogonálne k rovine preklenutej vektormi i a j.

Ilustračné

Inými slovami: hľadáme takú priamku, aby súčet druhých mocnín vzdialeností od všetkých bodov k tejto priamke bol minimálny:

AKTUALIZÁCIA: tu mám zárubňu, vzdialenosť k čiare by sa mala merať vertikálne, nie ortografická projekcia. Tento komentátor má pravdu.

Ilustračné

Úplne inými slovami (opatrne, zle formalizované, ale malo by to byť jasné na prstoch): vezmeme všetky možné čiary medzi všetkými pármi bodov a hľadáme priemernú čiaru medzi všetkými:

Ilustračné

Ďalšie vysvetlenie na prstoch: medzi všetky dátové body (tu máme tri) a čiaru, ktorú hľadáme, pripevníme pružinu a čiara rovnovážneho stavu je presne to, čo hľadáme.

Kvadratické minimum tvaru

Takže vzhľadom na vektor b a rovinu preklenutú stĺpcami-vektormi matice A(v tomto prípade (x0,x1,x2) a (1,1,1)), hľadáme vektor e s minimálnou štvorcovou dĺžkou. Je zrejmé, že minimum je dosiahnuteľné len pre vektor e, ortogonálne k rovine preklenutej stĺpcami-vektormi matice A:

Inými slovami, hľadáme vektor x=(alfa, beta) taký, že:

Pripomínam vám, že tento vektor x=(alfa, beta) je minimum kvadratickej funkcie ||e(alfa, beta)||^2:

Tu je užitočné pripomenúť, že maticu možno interpretovať rovnako ako kvadratickú formu, napríklad maticu identity ((1,0), (0,1)) možno interpretovať ako funkciu x^2 + y ^2:

kvadratická forma

Celá táto gymnastika je známa ako lineárna regresia.

Laplaceova rovnica s Dirichletovou okrajovou podmienkou

Teraz najjednoduchší skutočný problém: existuje určitý trojuholníkový povrch, je potrebné ho vyhladiť. Napríklad načítajme model mojej tváre:

Pôvodný záväzok je k dispozícii. Aby som minimalizoval externé závislosti, zobral som kód môjho softvérového renderera, už na Habré. Na vyriešenie lineárneho systému používam OpenNL , je to skvelý riešič, ale jeho inštalácia je veľmi náročná: musíte skopírovať dva súbory (.h + .c) do priečinka projektu. Celé vyhladenie sa vykonáva pomocou nasledujúceho kódu:

Pre (int d=0; d<3; d++) { nlNewContext(); nlSolverParameteri(NL_NB_VARIABLES, verts.size()); nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE); nlBegin(NL_SYSTEM); nlBegin(NL_MATRIX); for (int i=0; i<(int)verts.size(); i++) { nlBegin(NL_ROW); nlCoefficient(i, 1); nlRightHandSide(verts[i][d]); nlEnd(NL_ROW); } for (unsigned int i=0; i&face = tváre[i]; pre (int j=0; j<3; j++) { nlBegin(NL_ROW); nlCoefficient(face[ j ], 1); nlCoefficient(face[(j+1)%3], -1); nlEnd(NL_ROW); } } nlEnd(NL_MATRIX); nlEnd(NL_SYSTEM); nlSolve(); for (int i=0; i<(int)verts.size(); i++) { verts[i][d] = nlGetVariable(i); } }

Súradnice X, Y a Z sú oddeliteľné, hladkám ich samostatne. To znamená, že riešim tri sústavy lineárnych rovníc, každú s rovnakým počtom premenných ako je počet vrcholov v mojom modeli. Prvých n riadkov matice A má iba jednu 1 na riadok a prvých n riadkov vektora b má pôvodné súradnice modelu. To znamená, že prepojím novú pozíciu vrcholu a starú pozíciu vrcholu - nové by nemali byť príliš ďaleko od starých.

Všetky nasledujúce riadky matice A (faces.size()*3 = počet hrán všetkých trojuholníkov v mriežke) majú jeden výskyt 1 a jeden výskyt -1, pričom vektor b má nulové zložky oproti. To znamená, že na každý okraj našej trojuholníkovej siete vložím pružinu: všetky okraje sa snažia získať rovnaký vrchol ako ich počiatočný a koncový bod.

Ešte raz: všetky vrcholy sú premenné a nemôžu sa odchýliť ďaleko od svojej pôvodnej polohy, no zároveň sa snažia byť si navzájom podobné.

Tu je výsledok:

Všetko by bolo v poriadku, model je naozaj vyhladený, no vzdialil sa od pôvodného okraja. Poďme trochu zmeniť kód:

Pre (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }

V našej matici A pre vrcholy, ktoré sú na okraji, pridávam nie riadok z kategórie v_i = verts[i][d], ale 1000*v_i = 1000*verts[i][d]. Čo sa tým mení? A to mení našu kvadratickú formu chyby. Teraz jedna odchýlka od vrcholu na okraji nebude stáť jednu jednotku, ako predtým, ale 1 000 * 1 000 jednotiek. To znamená, že na krajné vrcholy sme zavesili silnejšiu pružinu, riešenie radšej silnejšie natiahne ostatné. Tu je výsledok:

Zdvojnásobme silu pružín medzi vrcholmi:
nlKoeficient(tvár[ j], 2); nlKoeficient(tvár[(j+1)%3], -2);

Je logické, že povrch je hladší:

A teraz ešte stokrát silnejšie:

Čo je toto? Predstavte si, že sme drôtený krúžok ponorili do mydlovej vody. Výsledkom je, že výsledný mydlový film sa bude snažiť mať čo najmenšie zakrivenie a dotýkať sa rovnakej hranice - nášho drôteného krúžku. To je presne to, čo sme získali, keď sme upevnili okraj a požiadali o hladký povrch vo vnútri. Gratulujeme, práve sme vyriešili Laplaceovu rovnicu s Dirichletovými okrajovými podmienkami. To znie dobre? Ale v skutočnosti stačí vyriešiť len jeden systém lineárnych rovníc.

Poissonova rovnica

Dajme ďalšie skvelé meno.

Povedzme, že mám takýto obrázok:

Všetci sú dobrí, ale stolička sa mi nepáči.

Rozrezal som obrázok na polovicu:

A vyberiem si stoličku rukami:

Potom pretiahnem všetko, čo je v maske biele, na ľavú stranu obrázka a zároveň v celom obrázku poviem, že rozdiel medzi dvoma susednými pixelmi by sa mal rovnať rozdielu medzi dvoma susednými pixelmi obrázka. pravý obrázok:

Pre (int i=0; i

Tu je výsledok:

Kód a obrázky sú k dispozícii

Metóda najmenších štvorcov (OLS, angl. Ordinary Least Squares, OLS)- matematická metóda používaná na riešenie rôznych úloh, založená na minimalizácii súčtu kvadrátov odchýlok niektorých funkcií od požadovaných premenných. Môže sa použiť na „riešenie“ preurčených systémov rovníc (keď počet rovníc presahuje počet neznámych), na nájdenie riešenia v prípade obyčajných (nie preurčených) nelineárnych systémov rovníc, na aproximáciu bodových hodnôt. nejakej funkcie. OLS je jednou zo základných metód regresnej analýzy na odhad neznámych parametrov regresných modelov zo vzorových údajov.

Encyklopedický YouTube

1 / 5

✪ Metóda najmenších štvorcov. Téma

✪ Mitin I. V. - Spracovanie výsledkov fyzi. experiment - Metóda najmenších štvorcov (4. prednáška)

✪ Najmenšie štvorce, lekcia 1/2. Lineárna funkcia

✪ Ekonometria. Prednáška 5. Metóda najmenších štvorcov

✪ Metóda najmenších štvorcov. Odpovede

titulky

Príbeh

Až do začiatku XIX storočia. vedci nemali isté pravidlá na riešenie sústavy rovníc, v ktorej je počet neznámych menší ako počet rovníc; Dovtedy sa používali osobitné metódy v závislosti od typu rovníc a dômyselnosti kalkulačiek, a preto rôzne kalkulačky vychádzajúce z rovnakých pozorovacích údajov dospeli k rôznym záverom. Gaussovi (1795) sa pripisuje prvá aplikácia metódy a Legendre (1805) ju nezávisle objavil a publikoval pod jej moderným názvom (fr. Methode des moindres quarres). Laplace spojil metódu s teóriou pravdepodobností a americký matematik Adrain (1808) uvažoval o jej pravdepodobnostných aplikáciách. Metóda je rozšírená a vylepšená ďalším výskumom Enckeho, Bessela, Hansena a ďalších.

Podstata metódy najmenších štvorcov

Nechaj x (\displaystyle x)- súprava n (\displaystyle n) neznáme premenné (parametre), f i (x) (\displaystyle f_(i)(x)), , m > n (\displaystyle m>n)- množina funkcií z tejto množiny premenných. Problém je zvoliť také hodnoty x (\displaystyle x) aby hodnoty týchto funkcií boli čo najbližšie k niektorým hodnotám y i (\displaystyle y_(i)). V podstate hovoríme o „riešení“ preurčeného systému rovníc f i (x) = y i (\displaystyle f_(i)(x)=y_(i)), i = 1 , … , m (\displaystyle i=1,\ldots ,m) v naznačenom zmysle maximálna blízkosť ľavej a pravej časti systému. Podstatou LSM je zvoliť ako „mieru blízkosti“ súčet štvorcových odchýlok ľavej a pravej časti. | f i (x) − y i | (\displaystyle |f_(i)(x)-y_(i)|). Podstatu LSM teda možno vyjadriť takto:

∑ i e i 2 = ∑ i (y i − f i (x)) 2 → min x (\displaystyle \sum _(i)e_(i)^(2)=\sum _(i)(y_(i)-f_( i)(x))^(2)\šípka doprava \min _(x)).

Ak má sústava rovníc riešenie, tak minimum súčtu štvorcov sa bude rovnať nule a presné riešenia sústavy rovníc možno nájsť analyticky alebo napríklad rôznymi numerickými optimalizačnými metódami. Ak je systém preurčený, teda voľne povedané, počet nezávislých rovníc je väčší ako počet neznámych premenných, potom systém nemá presné riešenie a metóda najmenších štvorcov nám umožňuje nájsť nejaký „optimálny“ vektor. x (\displaystyle x) v zmysle maximálnej blízkosti vektorov y (\displaystyle y) a f (x) (\displaystyle f(x)) alebo maximálna blízkosť vektora odchýlky e (\displaystyle e) na nulu (blízkosť sa chápe v zmysle euklidovskej vzdialenosti).

Príklad - sústava lineárnych rovníc

Najmä metóda najmenších štvorcov môže byť použitá na "riešenie" systému lineárnych rovníc

A x = b (\displaystyle Ax=b),

kde A (\displaystyle A) matica obdĺžnikovej veľkosti m × n , m > n (\displaystyle m\times n,m>n)(t.j. počet riadkov matice A je väčší ako počet požadovaných premenných).

Takáto sústava rovníc vo všeobecnosti nemá riešenie. Preto sa tento systém dá „riešiť“ len v zmysle výberu takéhoto vektora x (\displaystyle x) minimalizovať "vzdialenosť" medzi vektormi A x (\displaystyle Axe) a b (\displaystyle b). Na tento účel môžete použiť kritérium na minimalizáciu súčtu štvorcových rozdielov ľavej a pravej časti rovníc systému, tj. (A x − b) T (A x − b) → min (\displaystyle (Ax-b)^(T)(Ax-b)\rightarrow \min ). Je ľahké ukázať, že riešenie tohto minimalizačného problému vedie k riešeniu nasledujúcej sústavy rovníc

A T A x = A T b ⇒ x = (A T A) − 1 A T b (\displaystyle A^(T)Ax=A^(T)b\šípka doprava x=(A^(T)A)^(-1)A^ (T)b).

OLS v regresnej analýze (aproximácia údajov)

Nech je tam n (\displaystyle n) hodnoty nejakej premennej y (\displaystyle y)(môžu to byť výsledky pozorovaní, experimentov atď.) a zodpovedajúce premenné x (\displaystyle x). Výzvou je vytvoriť vzťah medzi y (\displaystyle y) a x (\displaystyle x) aproximovať nejakou funkciou známou až po niektoré neznáme parametre b (\displaystyle b), teda skutočne nájsť najlepšie hodnoty parametrov b (\displaystyle b), čo sa maximálne približuje k hodnotám f (x, b) (\displaystyle f(x,b)) na skutočné hodnoty y (\displaystyle y). V skutočnosti sa to redukuje na prípad „riešenia“ preurčeného systému rovníc vzhľadom na b (\displaystyle b):

F (x t , b) = y t , t = 1 , … , n (\displaystyle f(x_(t),b)=y_(t),t=1,\ldots ,n).

V regresnej analýze a najmä v ekonometrii sa používajú pravdepodobnostné modely vzťahu medzi premennými.

Yt = f (x t, b) + ε t (\displaystyle y_(t)=f(x_(t),b)+\varepsilon _(t)),

kde ε t (\displaystyle \varepsilon _(t))- tzv náhodné chyby modelov.

Podľa toho aj odchýlky pozorovaných hodnôt y (\displaystyle y) z modelu f (x, b) (\displaystyle f(x,b)) predpokladané už v samotnom modeli. Podstatou LSM (obyčajného, ​​klasického) je nájsť takéto parametre b (\displaystyle b), pri ktorej súčet štvorcových odchýlok (chyby, pre regresné modely sa často nazývajú regresné rezíduá) e t (\displaystyle e_(t)) bude minimálny:

b ^ O L S = arg ⁡ min b R S S (b) (\displaystyle (\klobúk (b))_(OLS)=\arg \min _(b)RSS(b)),

kde R S S (\displaystyle RSS)- Angličtina. Zvyšný súčet štvorcov je definovaný ako:

R S S (b) = e T e = ∑ t = 1 n e t 2 = ∑ t = 1 n (y t − f (x t, b)) 2 (\displaystyle RSS(b)=e^(T)e=\sum _ (t=1)^(n)e_(t)^(2)=\súčet _(t=1)^(n)(y_(t)-f(x_(t),b))^(2) ).

Vo všeobecnom prípade možno tento problém vyriešiť numerickými metódami optimalizácie (minimalizácie). V tomto prípade sa hovorí o nelineárne najmenšie štvorce(NLS alebo NLLS - angl. Non-Linear Least Squares). V mnohých prípadoch je možné získať analytické riešenie. Na vyriešenie problému minimalizácie je potrebné nájsť stacionárne body funkcie R S S (b) (\displaystyle RSS(b)), pričom sa rozlišuje vzhľadom na neznáme parametre b (\displaystyle b), prirovnanie derivácií k nule a riešenie výslednej sústavy rovníc:

∑ t = 1 n (y t − f (x t, b)) ∂ f (x t, b) ∂ b = 0 (\displaystyle \sum _(t=1)^(n)(y_(t)-f(x_ (t),b))(\frac (\čiastočné f(x_(t),b))(\čiastočné b))=0).

LSM v prípade lineárnej regresie

Nech je regresná závislosť lineárna:

y t = ∑ j = 1 k b j x t j + ε = x t T b + ε t (\displaystyle y_(t)=\sum _(j=1)^(k)b_(j)x_(tj)+\varepsilon =x_( t)^(T)b+\varepsilon _(t)).

Nechaj r je stĺpcový vektor pozorovaní vysvetľovanej premennej a X (\displaystyle X)- toto je (n × k) (\displaystyle ((n\krát k)))- matica pozorovaní faktorov (riadky matice - vektory hodnôt faktorov v danom pozorovaní, po stĺpcoch - vektor hodnôt daného faktora vo všetkých pozorovaniach). Maticové znázornenie lineárneho modelu má tvar:

y = Xb + ε (\displaystyle y=Xb+\varepsilon ).

Potom sa vektor odhadov vysvetľovanej premennej a vektor regresných zvyškov budú rovnať

y ^ = X b , e = y − y ^ = y − X b (\displaystyle (\klobúk (y))=Xb,\quad e=y-(\klobúk (y))=y-Xb).

podľa toho sa súčet druhých mocnín regresných zvyškov bude rovnať

R S S = e T e = (y − X b) T (y − X b) (\displaystyle RSS=e^(T)e=(y-Xb)^(T)(y-Xb)).

Rozlíšenie tejto funkcie vzhľadom na vektor parametra b (\displaystyle b) a prirovnaním derivátov k nule dostaneme systém rovníc (v maticovej forme):

(X T X) b = X T y (\displaystyle (X^(T)X)b=X^(T)y).

V dešifrovanej maticovej forme tento systém rovníc vyzerá takto:

(∑ x t 1 2 ∑ x t 1 x t 2 ∑ x t 1 x t 3 … ∑ x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t k 2 x t x 3 … 2 2 x t x t k 2 x t x 3 … 2 ∑ x t 3 x t k ⋮ ⋮ ⋮ ⋱ ∑ ∑ x t k x t 1 ∑ x t k x t 2 ∑ x t k x t 3… ∑ x t k 2) (b 1 b 2 b 3 ⋮ b k) (\začiatok(pmatica)\súčet x_(t1)^(2)&\súčet x_(t1)x_(t2)&\súčet x_(t1)x_(t3)&\ldots &\súčet x_(t1)x_( tk)\\\súčet x_(t2)x_(t1)&\súčet x_(t2)^(2)&\súčet x_(t2)x_(t3)&\ldots &\ súčet x_(t2)x_(tk) \\\súčet x_(t3)x_(t1)&\súčet x_(t3)x_(t2)&\súčet x_(t3)^(2)&\ldots &\súčet x_ (t3)x_(tk)\\ \vbodky &\vbodky &\vbodky &\dbodky &\vbodky \\\súčet x_(tk)x_(t1)&\súčet x_(tk)x_(t2)&\súčet x_ (tk)x_(t3)&\ ldots &\sum x_(tk)^(2)\\\end(pmatrix))(\začiatok(pmatrix)b_(1)\\b_(2)\\b_(3 )\\\vdots \\b_( k)\\\koniec(pmatica))=(\začiatok(pmatica)\súčet x_(t1)y_(t)\\\súčet x_(t2)y_(t)\\ \súčet x_(t3)y_(t )\\\vbodky \\\súčet x_(tk)y_(t)\\\koniec (pmatrix))) kde všetky sumy preberajú všetky prípustné hodnoty t (\displaystyle t).

Ak je v modeli zahrnutá konštanta (ako obvykle), potom x t 1 = 1 (\displaystyle x_(t1)=1) pre všetkých t (\displaystyle t), teda v ľavom hornom rohu matice sústavy rovníc je počet pozorovaní n (\displaystyle n) a vo zvyšných prvkoch prvého riadku a prvého stĺpca - iba súčet hodnôt premenných: ∑ x t j (\displaystyle \sum x_(tj)) a prvý prvok pravej strany systému - ∑ y t (\displaystyle \sum y_(t)).

Riešenie tohto systému rovníc dáva všeobecný vzorec pre odhady najmenších štvorcov pre lineárny model:

b ^ O L S = (X T X) − 1 X T y = (1 n X T X) − 1 1 n X T y = V x − 1 C x y (\displaystyle (\klobúk (b))_(OLS)=(X^(T )X)^(-1)X^(T)y=\vľavo((\frac (1)(n))X^(T)X\vpravo)^(-1)(\frac (1)(n) ))X^(T)y=V_(x)^(-1)C_(xy)).

Pre analytické účely sa ukazuje ako užitočné posledné znázornenie tohto vzorca (v sústave rovníc sa pri delení n namiesto súčtu objavia aritmetické priemery). Ak údaje v regresnom modeli vycentrované, potom v tomto znázornení má prvá matica význam výberovej kovariančnej matice faktorov a druhá je vektorom kovariancií faktorov so závislou premennou. Ak je navyše údaj aj normalizované na SKO (teda v konečnom dôsledku štandardizované), potom prvá matica má význam výberová korelačná matica faktorov, druhý vektor - vektor výberových korelácií faktorov so závislou premennou.

Dôležitá vlastnosť odhadov LLS pre modely s konštantou- priamka zostrojenej regresie prechádza ťažiskom vzorových údajov, to znamená, že rovnosť je splnená:

y ¯ = b 1 ^ + ∑ j = 2 k b ^ j x ¯ j (\displaystyle (\bar (y))=(\klobúk (b_(1)))+\sum _(j=2)^(k) (\klobúk (b))_(j)(\bar (x))_(j)).

Najmä v extrémnom prípade, keď jediným regresorom je konštanta, zistíme, že odhad OLS jedného parametra (samotnej konštanty) sa rovná strednej hodnote vysvetľovanej premennej. To znamená, že aritmetický priemer, známy svojimi dobrými vlastnosťami zo zákonov veľkých čísel, je tiež odhadom najmenších štvorcov - spĺňa kritérium pre minimálny súčet odchýlok na druhú od neho.

Najjednoduchšie špeciálne prípady

V prípade párovej lineárnej regresie y t = a + b x t + ε t (\displaystyle y_(t)=a+bx_(t)+\varepsilon _(t)), keď sa odhadne lineárna závislosť jednej premennej od druhej, výpočtové vzorce sa zjednodušia (vystačíte si s maticovou algebrou). Sústava rovníc má tvar:

(1 x ¯ x ¯ x 2 ¯) (a b) = (y ¯ x y ¯) (\displaystyle (\začiatok(pmatrix)1&(\bar (x))\\(\bar (x))&(\bar (x^(2)))\\\koniec(pmatica))(\začiatok(pmatica)a\\b\\\koniec(pmatica))=(\začiatok(pmatica)(\bar (y))\\ (\overline(xy))\\\end(pmatrix))).

Odtiaľ je ľahké nájsť odhady koeficientov:

( b ^ = Cov ⁡ (x, y) Var ⁡ (x) = x y ¯ − x ¯ y ¯ x 2 ¯ − x ¯ 2 , a ^ = y ¯ − b x ¯ . (\displaystyle (\begin(cases)) (\hat (b))=(\frac (\mathop (\textrm (Cov)) (x,y))(\mathop (\textrm (Var)) (x)))=(\frac ((\overline (xy))-(\bar (x))(\bar (y)))((\overline (x^(2)))-(\overline (x))^(2))),\\( \hat (a))=(\bar (y))-b(\bar (x)).\end(cases)))

Napriek tomu, že vo všeobecnosti sú preferované modely s konštantou, v niektorých prípadoch je z teoretických úvah známe, že konštanta a (\displaystyle a) by sa mala rovnať nule. Napríklad vo fyzike má vzťah medzi napätím a prúdom tvar U = I ⋅ R (\displaystyle U=I\cdot R); meranie napätia a prúdu je potrebné odhadnúť odpor. V tomto prípade hovoríme o modeli y = b x (\displaystyle y=bx). V tomto prípade máme namiesto sústavy rovníc jednu rovnicu

(∑ x t 2) b = ∑ x t y t (\displaystyle \left(\sum x_(t)^(2)\right)b=\sum x_(t)y_(t)).

Preto vzorec na odhad jediného koeficientu má tvar

B ^ = ∑ t = 1 n x t y t ∑ t = 1 n x t 2 = x y ¯ x 2 ¯ (\displaystyle (\hat (b))=(\frac (\sum _(t=1)^(n)x_(t )y_(t))(\súčet _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))).

Prípad polynomického modelu

Ak sú údaje preložené polynomickou regresnou funkciou jednej premennej f (x) = b 0 + ∑ i = 1 k b i x i (\displaystyle f(x)=b_(0)+\sum \limits _(i=1)^(k)b_(i)x^(i)), potom vnímanie stupňov x i (\displaystyle x^(i)) ako nezávislé faktory pre každého i (\displaystyle i) je možné odhadnúť parametre modelu na základe všeobecného vzorca pre odhad parametrov lineárneho modelu. K tomu stačí vo všeobecnom vzorci vziať do úvahy, že pri takomto výklade x t i x t j = x t i x t j = x t i + j (\displaystyle x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j)) a x t j y t = x t j y t (\displaystyle x_(tj)y_(t)=x_(t)^(j)y_(t)). Preto budú mať maticové rovnice v tomto prípade tvar:

(n ∑ n x t ... ∑ n x t k ∑ n x t ∑ n x i 2 ... ∑ m x i k + 1 ⋮ ⋱ ⋮ ∑ ∑ n x t k ∑ n k t k ∑ n k 2 k 2 k 2 b] ∑ 1 ... 1 = n y t ∑ n x t y t ⋮ n x t k y t k y t ] . (\displaystyle (\begin(pmatrix)n&\sum \limits _(n)x_(t)&\ldots &\sum \limits _(n)x_(t)^(k)\\\sum \limits _( n)x_(t)&\súčet \limity _(n)x_(i)^(2)&\ldots &\sum \limits _(m)x_(i)^(k+1)\\\vbodky & \vbodky &\dbodky &\vbodky \\\súčet \limity _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\ldots &\ súčet \limits _(n)x_(t)^(2k)\end(pmatrix))(\začiatok(bmatrix)b_(0)\\b_(1)\\\vbodky \\b_(k)\end( bmatrix))=(\začiatok(bmatica)\súčet \limity _(n)y_(t)\\\súčet \limity _(n)x_(t)y_(t)\\\vbodky \\\súčet \limity _(n)x_(t)^(k)y_(t)\end(bmatica)).)

Štatistické vlastnosti odhadov OLS

V prvom rade si všimneme, že pre lineárne modely sú odhady najmenších štvorcov lineárne odhady, ako vyplýva z vyššie uvedeného vzorca. Pre nezaujatosť odhadov najmenších štvorcov je potrebné a postačujúce splniť najdôležitejšiu podmienku regresnej analýzy: matematické očakávanie náhodnej chyby podmienenej faktormi sa musí rovnať nule. Táto podmienka je splnená najmä vtedy, ak

1. matematické očakávanie náhodných chýb je nulové a
2. faktory a náhodné chyby sú nezávislé náhodné hodnoty.

Druhá podmienka – podmienka exogénnych faktorov – je zásadná. Ak táto vlastnosť nie je splnená, potom môžeme predpokladať, že takmer všetky odhady budú extrémne neuspokojivé: dokonca nebudú konzistentné (to znamená, že ani veľmi veľké množstvo údajov v tomto prípade neumožňuje získať kvalitatívne odhady). V klasickom prípade sa silnejšie predpokladá determinizmus faktorov, na rozdiel od náhodnej chyby, ktorá automaticky znamená, že exogénna podmienka je splnená. Vo všeobecnom prípade pre konzistentnosť odhadov stačí splniť podmienku exogenity spolu s konvergenciou matice V x (\displaystyle V_(x)) do nejakej nedegenerovanej matrice, keď sa veľkosť vzorky zväčšuje do nekonečna.

Aby boli okrem konzistencie a nezaujatosti účinné aj (obyčajné) odhady najmenších štvorcov (najlepšie v triede lineárnych neskreslených odhadov), musia byť splnené ďalšie vlastnosti náhodnej chyby:

Tieto predpoklady možno formulovať pre kovariančnú maticu vektora náhodných chýb V (ε) = σ 2 I (\displaystyle V(\varepsilon)=\sigma ^(2)I).

Lineárny model, ktorý tieto podmienky spĺňa, sa nazýva tzv klasický. Odhady OLS pre klasickú lineárnu regresiu sú nezaujaté, konzistentné a najefektívnejšie odhady v triede všetkých lineárnych neskreslených odhadov (v anglickej literatúre sa niekedy používa skratka Modrá (Najlepší lineárny nezaujatý odhad) je najlepší lineárny nezaujatý odhad; v domácej literatúre sa častejšie uvádza Gauss - Markovova veta). Ako je ľahké ukázať, kovariančná matica vektora odhadov koeficientov sa bude rovnať:

V (b ^ O L S) = σ 2 (X T X) − 1 (\displaystyle V((\hat (b))_(OLS))=\sigma ^(2)(X^(T)X)^(-1 )).

Účinnosť znamená, že táto kovariančná matica je „minimálna“ (akákoľvek lineárna kombinácia koeficientov a najmä koeficienty samotné majú minimálny rozptyl), to znamená, že v triede lineárnych nezaujatých odhadov sú najlepšie odhady OLS. Diagonálne prvky tejto matice - rozptyly odhadov koeficientov - sú dôležitými parametrami kvality získaných odhadov. Nie je však možné vypočítať kovariančnú maticu, pretože rozptyl náhodnej chyby nie je známy. Dá sa dokázať, že nezaujatý a konzistentný (pre klasický lineárny model) odhad rozptylu náhodných chýb je hodnota:

S 2 = R S S / (n − k) (\displaystyle s^(2)=RSS/(n-k)).

Dosadením tejto hodnoty do vzorca pre kovariančnú maticu získame odhad kovariančnej matice. Výsledné odhady sú tiež nezaujaté a konzistentné. Je tiež dôležité, že odhad rozptylu chýb (a tým aj rozptylov koeficientov) a odhady parametrov modelu sú nezávislé náhodné premenné, čo umožňuje získať testovaciu štatistiku na testovanie hypotéz o modelových koeficientoch.

Treba poznamenať, že ak nie sú splnené klasické predpoklady, odhady parametrov najmenších štvorcov nie sú najefektívnejšie a kde W (\displaystyle W) je nejaká symetrická pozitívne definitná matica váh. Obyčajné najmenšie štvorce sú špeciálnym prípadom tohto prístupu, keď je matica váh úmerná matici identity. Ako je známe, pre symetrické matice (alebo operátory) dochádza k rozkladu W = P T P (\displaystyle W=P^(T)P). Preto môže byť táto funkcia reprezentovaná nasledovne e T P T P e = (P e) T P e = e ∗ T e ∗ (\displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *)), to znamená, že tento funkcionál môže byť reprezentovaný ako súčet druhých mocnín niektorých transformovaných "zvyškov". Môžeme teda rozlíšiť triedu metód najmenších štvorcov – LS-metód (Least Squares).

Je dokázané (Aitkenova veta), že pre zovšeobecnený lineárny regresný model (v ktorom nie sú kladené žiadne obmedzenia na kovariančnú maticu náhodných chýb) sú najefektívnejšie (v triede lineárnych neskreslených odhadov) odhady tzv. zovšeobecnené OLS (OMNK, GLS - Generalized Least Squares)- LS-metóda s váhovou maticou rovnajúcou sa inverznej kovariančnej matici náhodných chýb: W = V ε − 1 (\displaystyle W=V_(\varepsilon )^(-1)).

Dá sa ukázať, že vzorec pre GLS odhady parametrov lineárneho modelu má tvar

B ^ G L S = (X T V − 1 X) − 1 X T V − 1 y (\displaystyle (\klobúk (b))_(GLS)=(X^(T)V^(-1)X)^(-1) X^(T)V^(-1)y).

Kovariančná matica týchto odhadov sa bude rovnať

V (b ^ G L S) = (X T V − 1 X) − 1 (\displaystyle V((\hat (b))_(GLS))=(X^(T)V^(-1)X)^(- jeden)).

V skutočnosti podstata OLS spočíva v určitej (lineárnej) transformácii (P) pôvodných údajov a aplikácii obvyklých najmenších štvorcov na transformované údaje. Účelom tejto transformácie je, že pre transformované dáta náhodné chyby už spĺňajú klasické predpoklady.

Vážené najmenšie štvorce

V prípade diagonálnej váhovej matice (a teda kovariančnej matice náhodných chýb) máme takzvané vážené najmenšie štvorce (WLS - Weighted Least Squares). V tomto prípade je vážený súčet štvorcov rezíduí modelu minimalizovaný, to znamená, že každé pozorovanie dostane „váhu“, ktorá je nepriamo úmerná rozptylu náhodnej chyby v tomto pozorovaní: e T W e = ∑ t = 1 n e t 2 σ t 2 (\displaystyle e^(T)We=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ sigma _(t)^(2)))). V skutočnosti sa údaje transformujú vážením pozorovaní (vydelením množstvom úmerným predpokladanej štandardnej odchýlke náhodných chýb) a na vážené údaje sa použijú normálne najmenšie štvorce.

ISBN 978-5-7749-0473-0.

Ekonometria. Učebnica / Ed. Eliseeva I. I. - 2. vyd. - M. : Financie a štatistika, 2006. - 576 s. - ISBN 5-279-02786-3.

Alexandrova N.V. História matematických termínov, pojmov, označení: slovník-príručka. - 3. vydanie - M. : LKI, 2008. - 248 s. - ISBN 978-5-382-00839-4. I.V. Mitin, Rusakov V.S. Analýza a spracovanie experimentálnych údajov - 5. vydanie - 24s.

Funkciu aproximujeme polynómom 2. stupňa. Na tento účel vypočítame koeficienty normálneho systému rovníc:

, ,

Zostavme normálnu sústavu najmenších štvorcov, ktorá má tvar:

Riešenie systému je ľahké nájsť:, , .

Polynóm 2. stupňa sa teda nájde: .

Teoretické pozadie

Späť na stránku<Введение в вычислительную математику. Примеры>

Príklad 2. Nájdenie optimálneho stupňa polynómu.

Späť na stránku<Введение в вычислительную математику. Примеры>

Príklad 3. Odvodenie normálneho systému rovníc na nájdenie parametrov empirickej závislosti.

Odvoďme sústavu rovníc na určenie koeficientov a funkcií , ktorý vykonáva aproximáciu odmocniny danej funkcie vzhľadom na body. Zostavte funkciu a napíšte pre to nevyhnutnú extrémnu podmienku:

Potom bude mať normálny systém podobu:

Získali sme lineárny systém rovníc pre neznáme parametre a, ktorý sa dá ľahko vyriešiť.

Teoretické pozadie

Späť na stránku<Введение в вычислительную математику. Примеры>

Príklad.

Experimentálne údaje o hodnotách premenných X a pri sú uvedené v tabuľke.

Výsledkom ich zosúladenia je funkcia

Použitím metóda najmenších štvorcov, aproximovať tieto údaje s lineárnou závislosťou y=ax+b(nájdite parametre a a b). Zistite, ktorý z dvoch riadkov je lepší (v zmysle metódy najmenších štvorcov) zarovnáva experimentálne údaje. Urobte si kresbu.

Podstata metódy najmenších štvorcov (LSM).

Problémom je nájsť lineárne koeficienty závislosti, pre ktoré je funkcia dvoch premenných a a bmá najmenšiu hodnotu. Teda vzhľadom na dáta a a b súčet štvorcových odchýlok experimentálnych údajov od nájdenej priamky bude najmenší. Toto je celý zmysel metódy najmenších štvorcov.

Riešenie príkladu sa teda redukuje na nájdenie extrému funkcie dvoch premenných.

Odvodenie vzorcov na hľadanie koeficientov.

Zostaví sa a vyrieši systém dvoch rovníc s dvoma neznámymi. Hľadanie parciálnych derivácií funkcií podľa premenných a a b, prirovnávame tieto deriváty k nule.

Výslednú sústavu rovníc riešime ľubovoľnou metódou (napr substitučná metóda alebo Cramerova metóda) a získajte vzorce na hľadanie koeficientov pomocou metódy najmenších štvorcov (LSM).

S údajmi a a b funkciu má najmenšiu hodnotu. Dôkaz o tejto skutočnosti je uvedený nižšie v texte na konci strany.

To je celá metóda najmenších štvorcov. Vzorec na nájdenie parametra a obsahuje súčty , , a parameter n je množstvo experimentálnych údajov. Hodnoty týchto súm sa odporúča vypočítať samostatne.

Koeficient b zistené po výpočte a.

Je čas pripomenúť si pôvodný príklad.

Riešenie.

V našom príklade n=5. Tabuľku vypĺňame pre pohodlie výpočtu súm, ktoré sú zahrnuté vo vzorcoch požadovaných koeficientov.

Hodnoty vo štvrtom riadku tabuľky sa získajú vynásobením hodnôt v 2. riadku hodnotami v 3. riadku pre každé číslo i.

Hodnoty v piatom riadku tabuľky sa získajú umocnením hodnôt v 2. riadku pre každé číslo i.

Hodnoty posledného stĺpca tabuľky sú súčty hodnôt v riadkoch.

Na zistenie koeficientov používame vzorce metódy najmenších štvorcov a a b. Nahradíme v nich zodpovedajúce hodnoty z posledného stĺpca tabuľky:

v dôsledku toho y = 0,165 x + 2,184 je požadovaná približná priamka.

Zostáva zistiť, ktorý z riadkov y = 0,165 x + 2,184 alebo lepšie aproximuje pôvodné údaje, t. j. urobiť odhad pomocou metódy najmenších štvorcov.

Odhad chyby metódy najmenších štvorcov.

Aby ste to dosiahli, musíte vypočítať súčty štvorcových odchýlok pôvodných údajov z týchto riadkov a , menšia hodnota zodpovedá riadku, ktorý sa lepšie približuje pôvodným údajom z hľadiska metódy najmenších štvorcov.

Od , potom riadok y = 0,165 x + 2,184 sa lepšie približuje pôvodným údajom.

Grafické znázornenie metódy najmenších štvorcov (LSM).

Na grafoch vyzerá všetko skvele. Červená čiara je nájdená čiara y = 0,165 x + 2,184, modrá čiara je , ružové bodky sú pôvodné údaje.

Na čo to je, na čo sú všetky tieto aproximácie?

Osobne používam na riešenie problémov vyhladzovania údajov, interpolácie a extrapolácie (v pôvodnom príklade by ste mohli byť požiadaní, aby ste našli hodnotu pozorovanej hodnoty r pri x=3 alebo kedy x=6 podľa metódy MNC). Ale o tom si povieme viac neskôr v inej časti stránky.

Začiatok stránky

Dôkaz.

Takže keď sa nájde a a b funkcia nadobúda najmenšiu hodnotu, je potrebné, aby v tomto bode bola matica kvadratického tvaru diferenciálu druhého rádu pre funkciu bol pozitívny jednoznačný. Ukážme to.

Rozdiel druhého rádu má tvar:

Teda

Preto má matica kvadratickej formy tvar

a hodnoty prvkov nezávisia od a a b.

Ukážme, že matica je pozitívne definitívna. To si vyžaduje, aby uhol maloletých bol pozitívny.

Uhlová moll prvého rádu . Nerovnosť je prísna, pretože body sa nezhodujú. To bude naznačené v nasledujúcom.

Uhlová minor druhého rádu

Dokážme to metóda matematickej indukcie.

Záver: nájdené hodnoty a a b zodpovedajú najmenšej hodnote funkcie , preto sú požadované parametre pre metódu najmenších štvorcov.

Rozumel si niekedy?
Objednajte si riešenie

Začiatok stránky

Vypracovanie prognózy metódou najmenších štvorcov. Príklad riešenia problému

Extrapolácia - ide o metódu vedeckého výskumu, ktorá je založená na šírení minulých a súčasných trendov, zákonitostí, vzťahov k budúcemu vývoju objektu prognózovania. Extrapolačné metódy zahŕňajú metóda kĺzavého priemeru, metóda exponenciálneho vyhladzovania, metóda najmenších štvorcov.

Esencia metóda najmenších štvorcov spočíva v minimalizácii súčtu kvadratických odchýlok medzi pozorovanými a vypočítanými hodnotami. Vypočítané hodnoty sa nachádzajú podľa zvolenej rovnice - regresnej rovnice. Čím menšia je vzdialenosť medzi skutočnými hodnotami a vypočítanými, tým presnejšia je predpoveď na základe regresnej rovnice.

Ako základ pre výber krivky slúži teoretický rozbor podstaty skúmaného javu, ktorého zmenu zobrazuje časový rad. Niekedy sa berú do úvahy úvahy o povahe rastu úrovní série. Ak sa teda rast produkcie očakáva v aritmetickej progresii, potom sa vyhladenie vykoná v priamke. Ak sa ukáže, že rast je exponenciálny, vyhladenie by sa malo vykonať podľa exponenciálnej funkcie.

Pracovný vzorec metódy najmenších štvorcov : Yt+1 = a*X + b, kde t + 1 je prognózované obdobie; Уt+1 – predpokladaný ukazovateľ; a a b sú koeficienty; X je symbolom času.

Koeficienty a a b sa vypočítajú podľa nasledujúcich vzorcov:

kde Uf - skutočné hodnoty série dynamiky; n je počet úrovní v časovom rade;

Vyhladzovanie časových radov metódou najmenších štvorcov slúži na vyjadrenie zákonitostí vývoja skúmaného javu. V analytickom vyjadrení trendu sa čas považuje za nezávislú premennú a úrovne série pôsobia ako funkcia tejto nezávislej premennej.

Vývoj javu nezávisí od toho, koľko rokov uplynulo od východiskového bodu, ale od toho, aké faktory ovplyvnili jeho vývoj, akým smerom a s akou intenzitou. Z toho je zrejmé, že vývoj javu v čase sa javí ako výsledok pôsobenia týchto faktorov.

Správne nastavenie typu krivky, typu analytickej závislosti na čase je jednou z najťažších úloh prediktívnej analýzy. .

Voľba typu funkcie, ktorá popisuje trend, ktorého parametre sú určené metódou najmenších štvorcov, je vo väčšine prípadov empirická, a to zostrojením množstva funkcií a ich vzájomným porovnaním podľa hodnoty odmocnina. stredná štvorcová chyba vypočítaná podľa vzorca:

kde Uf - skutočné hodnoty série dynamiky; Ur – vypočítané (vyhladené) hodnoty časového radu; n je počet úrovní v časovom rade; p je počet parametrov definovaných vo vzorcoch popisujúcich trend (vývojový trend).

Nevýhody metódy najmenších štvorcov :

• pri pokuse o opísanie skúmaného ekonomického javu pomocou matematickej rovnice bude predpoveď presná na krátky čas a regresná rovnica by sa mala prepočítať, keď budú k dispozícii nové informácie;
• zložitosť výberu regresnej rovnice, ktorá je riešiteľná pomocou štandardných počítačových programov.

Príklad použitia metódy najmenších štvorcov na vytvorenie prognózy

Úloha . Existujú údaje charakterizujúce mieru nezamestnanosti v kraji, %

• Zostavte prognózu miery nezamestnanosti v regióne na mesiace november, december, január pomocou metód: kĺzavý priemer, exponenciálne vyhladzovanie, najmenšie štvorce.
• Vypočítajte chyby vo výsledných prognózach pomocou každej metódy.
• Porovnajte získané výsledky, urobte závery.

Riešenie najmenších štvorcov

Pre riešenie zostavíme tabuľku, v ktorej urobíme potrebné výpočty:

ε = 28,63/10 = 2,86 % presnosť predpovede vysoká.

Záver : Porovnanie výsledkov získaných vo výpočtoch metóda kĺzavého priemeru , exponenciálne vyhladzovanie a metódou najmenších štvorcov, môžeme povedať, že priemerná relatívna chyba vo výpočtoch metódou exponenciálneho vyhladzovania spadá do 20-50%. To znamená, že presnosť predpovede je v tomto prípade iba uspokojivá.

V prvom a treťom prípade je presnosť predpovede vysoká, pretože priemerná relatívna chyba je menšia ako 10 %. Metóda kĺzavého priemeru však umožnila získať spoľahlivejšie výsledky (predpoveď na november - 1,52%, predpoveď na december - 1,53%, predpoveď na január - 1,49%), pretože priemerná relatívna chyba pri použití tejto metódy je najmenšia - 1 ,13 %.

Metóda najmenších štvorcov

Ďalšie súvisiace články:

Zoznam použitých zdrojov

1. Vedecké a metodické odporúčania k problematike diagnostiky sociálnych rizík a predpovedania výziev, hrozieb a sociálnych dôsledkov. Ruská štátna sociálna univerzita. Moskva. 2010;
2. Vladimírová L.P. Prognózovanie a plánovanie v trhových podmienkach: Proc. príspevok. M.: Vydavateľstvo "Dashkov and Co", 2001;
3. Novikova N.V., Pozdeeva O.G. Prognózovanie národného hospodárstva: Vzdelávacia a metodická príručka. Jekaterinburg: Vydavateľstvo Ural. štát hospodárstva univerzita, 2007;
4. Slutskin L.N. Kurz MBA v oblasti obchodného prognózovania. Moskva: Alpina Business Books, 2006.

Program MNE

Zadajte údaje

Údaje a aproximácia y = a + b x

i- číslo experimentálneho bodu;
x i- hodnota pevného parametra v bode i;
y i- hodnota meraného parametra v bode i;
ω i- meranie hmotnosti v bode i;
y i, calc.- rozdiel medzi nameranou hodnotou a hodnotou vypočítanou z regresie r v bode i;
S x i (x i)- odhad chyby x i pri meraní r v bode i.

Údaje a aproximácia y = kx

i	x i	y i	ω i	y i, calc.	Δy i	S x i (x i)

Kliknite na graf

Používateľská príručka pre online program MNC.

Do dátového poľa zadajte do každého samostatného riadku hodnoty x a y v jednom experimentálnom bode. Hodnoty musia byť oddelené medzerou (medzerou alebo tabulátorom).

Tretia hodnota môže byť bodová váha „w“. Ak bodová váha nie je určená, potom sa rovná jednej. V drvivej väčšine prípadov sú váhy experimentálnych bodov neznáme alebo nie sú vypočítané; všetky experimentálne údaje sa považujú za ekvivalentné. Niekedy váhy v študovanom rozsahu hodnôt určite nie sú ekvivalentné a možno ich dokonca vypočítať teoreticky. Napríklad v spektrofotometrii sa hmotnosti dajú vypočítať pomocou jednoduchých vzorcov, hoci to v podstate každý zanedbáva, aby znížil náklady na prácu.

Údaje je možné vložiť cez schránku z tabuľky kancelárskeho balíka, ako je Excel z balíka Microsoft Office alebo Calc z Open Office. Ak to chcete urobiť, v tabuľke vyberte rozsah údajov, ktoré chcete skopírovať, skopírujte ich do schránky a vložte údaje do údajového poľa na tejto stránke.

Na výpočet metódou najmenších štvorcov sú potrebné aspoň dva body na určenie dvoch koeficientov „b“ – tangens uhla sklonu priamky a „a“ – hodnota odrezaná priamkou na „y“. ` os.

Pre odhad chyby vypočítaných regresných koeficientov je potrebné nastaviť počet experimentálnych bodov na viac ako dva.

Metóda najmenších štvorcov (LSM).

Čím väčší je počet experimentálnych bodov, tým je štatistický odhad koeficientov presnejší (v dôsledku poklesu Studentovho koeficientu) a čím je odhad bližšie k odhadu všeobecnej vzorky.

Získavanie hodnôt v každom experimentálnom bode je často spojené so značnými nákladmi na pracovnú silu, preto sa často vykonáva kompromisný počet experimentov, ktorý poskytuje stráviteľný odhad a nevedie k nadmerným nákladom na pracovnú silu. Počet experimentálnych bodov pre lineárnu závislosť najmenších štvorcov s dvoma koeficientmi sa spravidla volí v rozsahu 5-7 bodov.

Stručná teória najmenších štvorcov pre lineárnu závislosť

Predpokladajme, že máme súbor experimentálnych údajov vo forme párov hodnôt [`y_i`, `x_i`], kde `i` je číslo jedného experimentálneho merania od 1 do `n`; `y_i` – hodnota nameranej hodnoty v bode `i`; `x_i` – hodnota parametra, ktorý sme nastavili v bode `i`.

Príkladom je fungovanie Ohmovho zákona. Zmenou napätia (potenciálneho rozdielu) medzi úsekmi elektrického obvodu meriame množstvo prúdu prechádzajúceho týmto úsekom. Fyzika nám dáva experimentálne zistenú závislosť:

"I=U/R",
kde `I` - sila prúdu; `R` - odpor; "U" - napätie.

V tomto prípade je „y_i“ nameraná hodnota prúdu a „x_i“ je hodnota napätia.

Ako ďalší príklad uvažujme absorpciu svetla roztokom látky v roztoku. Chémia nám dáva vzorec:

"A = εl C",
kde "A" je optická hustota roztoku; "ε" - priepustnosť rozpustenej látky; `l` - dĺžka dráhy, keď svetlo prechádza kyvetou s roztokom; "C" je koncentrácia rozpustenej látky.

V tomto prípade je „y_i“ nameraná optická hustota „A“ a „x_i“ je koncentrácia látky, ktorú sme nastavili.

Budeme brať do úvahy prípad, keď je relatívna chyba v nastavení `x_i` oveľa menšia ako relatívna chyba v meraní `y_i`. Budeme tiež predpokladať, že všetky namerané hodnoty `y_i` sú náhodné a normálne rozdelené, t.j. dodržiavať zákon normálneho rozdelenia.

V prípade lineárnej závislosti `y` od `x` môžeme napísať teoretickú závislosť:
`y = a + bx`.

Z geometrického hľadiska koeficient „b“ označuje dotyčnicu uhla sklonu priamky k osi „x“ a koeficient „a“ - hodnotu „y“ v priesečníku čiara s osou y (pre x = 0).

Nájdenie parametrov regresnej priamky.

V experimente nemôžu namerané hodnoty `y_i` ležať presne na teoretickej línii kvôli chybám merania, ktoré sú v reálnom živote vždy vlastné. Preto musí byť lineárna rovnica reprezentovaná systémom rovníc:
`y_i = a + b x_i + ε_i` (1),
kde „ε_i“ je neznáma chyba merania „y“ v „i“ experimente.

Závislosť (1) sa tiež nazýva regresia, t.j. závislosť dvoch veličín na sebe so štatistickou významnosťou.

Úlohou obnovenia závislosti je nájsť koeficienty `a` a `b` z experimentálnych bodov [`y_i`, `x_i`].

Na nájdenie koeficientov sa zvyčajne používa „a“ a „b“. metóda najmenších štvorcov(MNK). Ide o špeciálny prípad princípu maximálnej pravdepodobnosti.

Prepíšme (1) ako `ε_i = y_i - a - b x_i`.

Potom bude súčet štvorcových chýb
`Φ = súčet_(i=1)^(n) ε_i^2 = súčet_(i=1)^(n) (y_i - a - b x_i)^2`. (2)

Princípom metódy najmenších štvorcov je minimalizovať súčet (2) vzhľadom na parametre "a" a "b"..

Minimum sa dosiahne, keď sa parciálne derivácie súčtu (2) vzhľadom na koeficienty „a“ ​​a „b“ rovnajú nule:
`frac(čiastočné Φ)(čiastočné a) = frac(čiastočný súčet_(i=1)^(n) (y_i - a - b x_i)^2)(čiastočné a) = 0`
`frac(čiastočné Φ)(čiastočné b) = frac(čiastočný súčet_(i=1)^(n) (y_i - a - b x_i)^2)(čiastočné b) = 0`

Rozšírením derivácií dostaneme systém dvoch rovníc s dvoma neznámymi:
`sum_(i=1)^(n) (2a + 2bx_i - 2y_i) = sum_(i=1)^(n) (a + bx_i - y_i) = 0`
`sum_(i=1)^(n) (2bx_i^2 + 2ax_i - 2x_iy_i) = sum_(i=1)^(n) (bx_i^2 + ax_i - x_iy_i) = 0`

Otvoríme zátvorky a prenesieme súčty nezávislé od požadovaných koeficientov do druhej polovice, dostaneme systém lineárnych rovníc:
`sum_(i=1)^(n) y_i = a n + b suma_(i=1)^(n) bx_i`
`sum_(i=1)^(n) x_iy_i = súčet_(i=1)^(n) x_i + b súčet_(i=1)^(n) x_i^2`

Pri riešení výsledného systému nájdeme vzorce pre koeficienty „a“ ​​a „b“:

`a = frac(sum_(i=1)^(n) y_i suma_(i=1)^(n) x_i^2 - suma_(i=1)^(n) x_i suma_(i=1)^(n ) x_iy_i) (n súčet_(i=1)^(n) x_i^2 — (súčet_(i=1)^(n) x_i)^2)“ (3.1)

`b = frac(n súčet_(i=1)^(n) x_iy_i - súčet_(i=1)^(n) x_i súčet_(i=1)^(n) y_i) (n súčet_(i=1)^ (n) x_i^2 - (sum_(i=1)^(n) x_i)^2)“ (3,2)

Tieto vzorce majú riešenia, keď `n > 1` (čiaru možno nakresliť pomocou najmenej 2 bodov) a keď determinant `D = n sum_(i=1)^(n) x_i^2 — (sum_(i= 1) )^(n) x_i)^2 != 0`, t.j. keď sú body x_i v experimente odlišné (t. j. keď čiara nie je vertikálna).

Odhad chýb v koeficientoch regresnej priamky

Pre presnejší odhad chyby pri výpočte koeficientov „a“ a „b“ je žiaduci veľký počet experimentálnych bodov. Keď `n = 2`, nie je možné odhadnúť chybu koeficientov, pretože aproximačná čiara bude jednoznačne prechádzať cez dva body.

Určí sa chyba náhodnej premennej `V` zákon akumulácie chýb
`S_V^2 = súčet_(i=1)^p (frac(čiastočné f)(čiastočné z_i))^2 S_(z_i)^2`,
kde `p` je počet parametrov `z_i` s chybou `S_(z_i)`, ktoré ovplyvňujú chybu `S_V`;
`f` je funkcia závislosti `V` na `z_i`.

Napíšme zákon akumulácie chýb pre chybu koeficientov `a` a `b`
`S_a^2 = súčet_(i=1)^(n)(frac(čiastočné a)(čiastočné y_i))^2 S_(y_i)^2 + súčet_(i=1)^(n)(frac(čiastočné a) )(čiastočné x_i))^2 S_(x_i)^2 = S_y^2 súčet_(i=1)^(n)(frac(čiastočné a)(čiastočné y_i))^2 `,
`S_b^2 = súčet_(i=1)^(n)(frac(čiastočné b)(čiastočné y_i))^2 S_(y_i)^2 + súčet_(i=1)^(n)(frac(čiastočné b) )(čiastočné x_i))^2 S_(x_i)^2 = S_y^2 súčet_(i=1)^(n)(frac(čiastočné b)(čiastočné y_i))^2 `,
pretože `S_(x_i)^2 = 0` (predtým sme urobili výhradu, že chyba `x` je zanedbateľná).

`S_y^2 = S_(y_i)^2` – chyba (rozptyl, druhá mocnina štandardnej odchýlky) v dimenzii y za predpokladu, že chyba je jednotná pre všetky hodnoty y.

Dosadením vzorcov na výpočet `a` a `b` do výsledných výrazov dostaneme

`S_a^2 = S_y^2 frac(sum_(i=1)^(n) (sum_(i=1)^(n) x_i^2 - x_i sum_(i=1)^(n) x_i)^2 ) (D^2) = S_y^2 frac((n súčet_(i=1)^(n) x_i^2 - (súčet_(i=1)^(n) x_i)^2) súčet_(i=1) ^(n) x_i^2) (D^2) = S_y^2 frac(sum_(i=1)^(n) x_i^2) (D)` (4,1)

`S_b^2 = S_y^2 frac(sum_(i=1)^(n) (n x_i - suma_(i=1)^(n) x_i)^2) (D^2) = S_y^2 frac( n (n súčet_(i=1)^(n) x_i^2 - (súčet_(i=1)^(n) x_i)^2)) (D^2) = S_y^2 frac(n) (D) (4.2)

Vo väčšine skutočných experimentov sa hodnota „Sy“ nemeria. Na to je potrebné vykonať niekoľko paralelných meraní (experimentov) v jednom alebo viacerých bodoch plánu, čo zvyšuje čas (a prípadne náklady) experimentu. Preto sa zvyčajne predpokladá, že odchýlku `y` od regresnej priamky možno považovať za náhodnú. Odhad rozptylu „y“ sa v tomto prípade vypočíta podľa vzorca.

`S_y^2 = S_(y, zvyšok)^2 = frac(sum_(i=1)^n (y_i - a - b x_i)^2) (n-2)`.

Deliteľ `n-2` sa objavuje, pretože sme znížili počet stupňov voľnosti v dôsledku výpočtu dvoch koeficientov pre rovnakú vzorku experimentálnych údajov.

Tento odhad sa tiež nazýva reziduálny rozptyl vo vzťahu k regresnej priamke `S_(y, zvyšok)^2`.

Hodnotenie významnosti koeficientov sa vykonáva podľa kritéria študenta

`t_a = frac(|a|) (S_a)`, `t_b = frac(|b|) (S_b)`

Ak sú vypočítané kritériá `t_a`, `t_b` menšie ako kritériá tabuľky `t(P, n-2)`, potom sa predpokladá, že zodpovedajúci koeficient sa pri danej pravdepodobnosti `P` významne nelíši od nuly.

Ak chcete posúdiť kvalitu popisu lineárneho vzťahu, môžete porovnať `S_(y, zvyšok)^2` a `S_(bar y)` relatívne k priemeru pomocou Fisherovho kritéria.

`S_(bar y) = frac(sum_(i=1)^n (y_i - bar y)^2) (n-1) = frac(sum_(i=1)^n (y_i - (sum_(i=) 1)^n y_i) /n)^2) (n-1)` - výberový odhad rozptylu `y` vo vzťahu k priemeru.

Na vyhodnotenie účinnosti regresnej rovnice na opis závislosti sa vypočíta Fisherov koeficient
`F = S_(pruh y) / S_(y, zvyšok)^2`,
ktorý sa porovnáva s tabuľkovým Fisherovým koeficientom "F(p, n-1, n-2)".

Ak `F > F(P, n-1, n-2)`, rozdiel medzi popisom závislosti `y = f(x)` pomocou regresnej rovnice a popisom pomocou priemeru sa považuje za štatisticky významný s pravdepodobnosťou "P". Tie. regresia popisuje závislosť lepšie ako rozptyl `y` okolo priemeru.

Kliknite na graf
pridať hodnoty do tabuľky

Metóda najmenších štvorcov. Metóda najmenších štvorcov znamená určenie neznámych parametrov a, b, c, akceptovanej funkčnej závislosti

Metóda najmenších štvorcov znamená určenie neznámych parametrov a, b, c,… akceptovaná funkčná závislosť

y = f(x,a,b,c,...),

ktorý by poskytol minimum strednej štvorce (rozptyl) chyby

, (24)

kde x i , y i - množina dvojíc čísel získaných z experimentu.

Keďže podmienkou pre extrém funkcie viacerých premenných je podmienka, že jej parciálne derivácie sú rovné nule, potom parametre a, b, c,… sú určené zo sústavy rovníc:

; ; ; … (25)

Je potrebné mať na pamäti, že metóda najmenších štvorcov sa používa na výber parametrov za tvarom funkcie y = f(x) definované.

Ak z teoretických úvah nie je možné vyvodiť závery o tom, aký by mal byť empirický vzorec, potom sa treba riadiť vizuálnymi reprezentáciami, predovšetkým grafickým znázornením pozorovaných údajov.

V praxi sa najčastejšie obmedzuje na tieto typy funkcií:

1) lineárne ;

2) kvadratický a .

Podstatou metódy najmenších štvorcov je pri hľadaní parametrov trendového modelu, ktorý najlepšie vystihuje trend vývoja akéhokoľvek náhodného javu v čase alebo priestore (trend je čiara, ktorá charakterizuje trend tohto vývoja). Úlohou metódy najmenších štvorcov (OLS) je nájsť nielen nejaký trendový model, ale nájsť najlepší alebo optimálny model. Tento model bude optimálny, ak súčet štvorcových odchýlok medzi pozorovanými skutočnými hodnotami a zodpovedajúcimi vypočítanými trendovými hodnotami je minimálny (najmenší):

kde je štandardná odchýlka medzi pozorovanou skutočnou hodnotou

a zodpovedajúcu vypočítanú trendovú hodnotu,

skutočná (pozorovaná) hodnota skúmaného javu,

Odhadovaná hodnota trendového modelu,

Počet pozorovaní skúmaného javu.

MNC sa zriedka používa samostatne. Spravidla sa najčastejšie používa len ako nevyhnutná technika v korelačných štúdiách. Malo by sa pamätať na to, že informačnou základňou LSM môže byť iba spoľahlivý štatistický rad a počet pozorovaní by nemal byť menší ako 4, inak môžu vyhladzovacie postupy LSM stratiť svoj zdravý rozum.

Sada nástrojov OLS je zredukovaná na nasledujúce postupy:

Prvý postup. Ukazuje sa, či vôbec existuje tendencia meniť výsledný atribút, keď sa mení vybraný faktor-argument, alebo inými slovami, či existuje súvislosť medzi „ pri " a " X ».

Druhý postup. Určuje sa, ktorá línia (trajektória) najlepšie dokáže opísať alebo charakterizovať tento trend.

Tretí postup.

Príklad. Predpokladajme, že máme informácie o priemernej úrode slnečnice pre skúmanú farmu (tabuľka 9.1).

Tabuľka 9.1

Číslo pozorovania
Produktivita, c/ha

Keďže úroveň technológie výroby slnečnice sa u nás za posledných 10 rokov príliš nezmenila, znamená to, že kolísanie úrody v analyzovanom období s najväčšou pravdepodobnosťou veľmi záviselo od výkyvov počasia a klimatických podmienok. Je to pravda?

Prvý postup MNC. Testuje sa hypotéza o existencii trendu zmeny úrody slnečnice v závislosti od zmien počasia a klimatických podmienok za analyzovaných 10 rokov.

V tomto príklade pre " r » je vhodné vziať úrodu slnečnice a pre « X » je číslo sledovaného roka v analyzovanom období. Testovanie hypotézy o existencii akéhokoľvek vzťahu medzi „ X " a " r » možno vykonať dvoma spôsobmi: ručne a pomocou počítačových programov. Samozrejme, s dostupnosťou výpočtovej techniky sa tento problém rieši sám. Aby sme však lepšie porozumeli súprave nástrojov OLS, odporúča sa otestovať hypotézu o existencii vzťahu medzi „ X " a " r » manuálne, keď máte po ruke iba pero a obyčajnú kalkulačku. V takýchto prípadoch je hypotéza o existencii trendu najlepšie overená vizuálne umiestnením grafického obrazu analyzovaného časového radu - korelačným poľom:

Korelačné pole v našom príklade sa nachádza okolo pomaly stúpajúcej čiary. To samo o sebe naznačuje existenciu určitého trendu v zmene úrody slnečnice. O prítomnosti akéhokoľvek trendu nemožno hovoriť len vtedy, keď korelačné pole vyzerá ako kruh, kruh, striktne vertikálny alebo striktne horizontálny oblak alebo pozostáva z náhodne rozptýlených bodov. Vo všetkých ostatných prípadoch je potrebné potvrdiť hypotézu o existencii vzťahu medzi „ X " a " r a pokračovať vo výskume.

Druhý postup MNC. Určuje sa, ktorá línia (trajektória) najlepšie popíše alebo charakterizuje trend zmien úrod slnečnice za analyzované obdobie.

S dostupnosťou výpočtovej techniky dochádza k výberu optimálneho trendu automaticky. Pri „ručnom“ spracovaní sa voľba optimálnej funkcie spravidla uskutočňuje vizuálnym spôsobom - umiestnením korelačného poľa. To znamená, že podľa typu grafu sa vyberie rovnica priamky, ktorá sa najlepšie hodí k empirickému trendu (k skutočnej trajektórii).

Ako viete, v prírode existuje veľké množstvo funkčných závislostí, takže je mimoriadne ťažké vizuálne analyzovať aj malú časť z nich. Našťastie v reálnej ekonomickej praxi možno väčšinu vzťahov presne opísať buď parabolou, alebo hyperbolou, alebo priamkou. V tomto smere sa pri „manuálnej“ možnosti výberu najlepšej funkcie môžete obmedziť len na tieto tri modely.

		Hyperbola:

Parabola druhého rádu: :

Je ľahké vidieť, že v našom príklade trend zmien úrody slnečnice za analyzovaných 10 rokov najlepšie charakterizuje priamka, takže regresná rovnica bude priamka.

Tretí postup. Vypočítajú sa parametre regresnej rovnice, ktorá charakterizuje túto čiaru, alebo inými slovami, určí sa analytický vzorec, ktorý popisuje najlepší trendový model.

Hľadanie hodnôt parametrov regresnej rovnice, v našom prípade parametrov a , je jadrom LSM. Tento proces sa redukuje na riešenie systému normálnych rovníc.

(9.2)

Tento systém rovníc je celkom jednoducho vyriešený Gaussovou metódou. Pripomeňme, že v dôsledku riešenia sa v našom príklade nájdu hodnoty parametrov a. Nájdená regresná rovnica teda bude mať nasledujúci tvar: