Adatelemzés a legkisebb négyzetek módszerével. A legkisebb négyzetek az Excelben

Legkisebb négyzet alakú módszer

A téma utolsó leckében a leghíresebb alkalmazással ismerkedünk meg FNP, amely a legszélesebb körben alkalmazható a tudomány és a gyakorlat különböző területein. Ez lehet fizika, kémia, biológia, közgazdaságtan, szociológia, pszichológia és így tovább és így tovább. A sors akaratából gyakran kell foglalkoznom a gazdasággal, ezért ma jegyet fogok neked szerezni egy csodálatos országba, az ún. Ökonometria=) … Hogy nem akarod?! Ott nagyon jó – csak döntened kell! …De valószínűleg biztosan szeretné megtanulni a problémák megoldását legkisebb négyzetek. A különösen szorgalmas olvasók pedig nem csak pontosan, hanem NAGYON GYORSAN is megtanulják megoldani őket ;-) De előbb a probléma általános megfogalmazása+ kapcsolódó példa:

Tanulmányozzuk azokat a mutatókat, amelyeknek van mennyiségi kifejeződésük. Ugyanakkor minden okunk megvan azt hinni, hogy a mutató a mutatótól függ. Ez a feltevés lehet egyrészt tudományos hipotézis, másrészt alapvető józan észen alapulhat. Hagyjuk azonban a tudományt, és fedezzünk fel ínycsiklandóbb területeket – nevezetesen az élelmiszerboltokat. Jelölje:

- élelmiszerbolt üzlethelyisége, nm,
- egy élelmiszerbolt éves forgalma, millió rubel.

Nyilvánvaló, hogy minél nagyobb az üzlet területe, a legtöbb esetben annál nagyobb a forgalma.

Tegyük fel, hogy megfigyelések / kísérletek / számítások / tamburával táncolás elvégzése után számszerű adatok állnak rendelkezésünkre:

Az élelmiszerboltokkal szerintem minden világos: - ez az 1. üzlet területe, - az éves forgalma, - a 2. üzlet területe, - az éves forgalma stb. Egyébként egyáltalán nem szükséges hozzáférni a minősített anyagokhoz - a forgalom meglehetősen pontos értékelése a matematikai statisztika. Azonban ne tereld el a figyelmedet, a kereskedelmi kémkedés már fizetett =)

A táblázatos adatok pontok formájában is felírhatók és a nálunk megszokott módon ábrázolhatók. Descartes-rendszer .

Válaszoljunk egy fontos kérdésre: hány pont kell a kvalitatív vizsgálathoz?

Minél nagyobb, annál jobb. A minimálisan elfogadható készlet 5-6 pontból áll. Ezen túlmenően, kis mennyiségű adat esetén a „rendellenes” eredményeket nem szabad bevenni a mintába. Így például egy kis elit bolt nagyságrendekkel többet tud segíteni, mint „kollégái”, ezzel torzítva a keresendő általános mintát!

Ha nagyon egyszerű, akkor ki kell választanunk egy függvényt, menetrend amely a lehető legközelebb halad el a pontokhoz . Az ilyen függvényt ún közelítő (közelítés - közelítés) vagy elméleti funkciója . Általánosságban elmondható, hogy itt azonnal megjelenik egy nyilvánvaló "színlelő" - egy magas fokú polinom, amelynek grafikonja MINDEN ponton áthalad. De ez a lehetőség bonyolult, és gyakran egyszerűen helytelen. (mert a diagram folyamatosan „szélelni fog”, és rosszul tükrözi a fő trendet).

Így a kívánt függvénynek kellően egyszerűnek kell lennie, és ugyanakkor megfelelően tükröznie kell a függőséget. Ahogy sejtheti, az ilyen függvények megtalálásának egyik módszere az ún legkisebb négyzetek. Először is elemezzük általánosan a lényegét. Legyen valamilyen függvény közelítve a kísérleti adatokhoz:


Hogyan lehet értékelni ennek a közelítésnek a pontosságát? Számítsuk ki a kísérleti és funkcionális értékek közötti különbségeket (eltéréseket) is! (tanulmányozzuk a rajzot). Az első gondolat, ami eszünkbe jut, az, hogy becsüljük meg, mekkora összegről van szó, de a probléma az, hogy a különbségek negatívak is lehetnek. (például, ) és az ilyen összegzésből adódó eltérések kioltják egymást. Ezért a közelítés pontosságának becsléseként azt javasolja magának, hogy vegye fel az összeget modulok eltérések:

vagy hajtogatott formában: (Aki nem ismeri: az összeg ikon, és - segédváltozó - "számláló", amely 1-től értéket vesz fel ) .

A kísérleti pontokat különböző függvényekkel közelítve különböző értékeket kapunk, és nyilvánvaló, hogy ahol ez az összeg kisebb - az a függvény pontosabb.

Létezik ilyen módszer és hívják legkisebb modulus módszere. A gyakorlatban azonban sokkal elterjedtebbé vált. legkisebb négyzetes módszer, amelyben az esetleges negatív értékeket nem a modulussal, hanem az eltérések négyzetre emelésével küszöböljük ki:

, amely után az erőfeszítések olyan függvény kiválasztására irányulnak, hogy az eltérések négyzetének összege a lehető legkisebb volt. Valójában innen ered a módszer neve.

És most visszatérünk egy másik fontos ponthoz: amint fentebb megjegyeztük, a kiválasztott függvénynek meglehetősen egyszerűnek kell lennie - de sok ilyen funkció is létezik: lineáris , hiperbolikus , exponenciális , logaritmikus , négyzetes stb. És persze itt azonnal szeretném "csökkenteni a tevékenységi kört". Milyen típusú funkciókat válasszunk a kutatáshoz? Primitív, de hatékony technika:

- A pontozás legegyszerűbb módja a rajzon, és elemezze a helyüket. Ha általában egyenes vonalban vannak, akkor keresni kell egyenes egyenlet optimális értékekkel és . Vagyis a feladat az ILYEN együtthatók megtalálása - úgy, hogy az eltérések négyzetes összege a legkisebb legyen.

Ha a pontok például mentén helyezkednek el túlzás, akkor egyértelmű, hogy a lineáris függvény rossz közelítést ad. Ebben az esetben a „legkedvezőbb” együtthatókat keressük a hiperbola egyenlethez - azokat, amelyek a minimális négyzetösszeget adják .

Most vegyük észre, hogy mindkét esetben arról beszélünk két változó függvényei, amelynek érvei függőségi lehetőségeket keresett:

És lényegében meg kell oldanunk egy standard problémát – megtalálni minimum két változó függvénye.

Emlékezzünk vissza a példánkra: tegyük fel, hogy a "bolt" pontok általában egyenes vonalban helyezkednek el, és minden okunk megvan a jelenlétben. lineáris függőség forgalmat a kereskedési területről. Keressünk OLYAN „a” és „legyen” együtthatókat, hogy az eltérések négyzetes összege volt a legkisebb. Minden a szokásos módon - először I. rendű parciális származékai. Alapján linearitási szabály közvetlenül az összeg ikon alatt tudod megkülönböztetni:

Ha ezt az információt egy esszéhez vagy tanfolyamhoz szeretné felhasználni, nagyon hálás leszek a hivatkozásért a forráslistában, ilyen részletes számításokat sehol nem talál:

Készítsünk egy szabványos rendszert:

Minden egyenletet "kettővel" csökkentünk, és emellett "szétszedjük" az összegeket:

jegyzet : önállóan elemzi, hogy az "a" és a "be" miért vehető ki az összeg ikonból. Egyébként formálisan ezt az összeggel meg lehet tenni

Írjuk át a rendszert "alkalmazott" formába:

ezután elkezdődik a probléma megoldásának algoritmusa:

Ismerjük a pontok koordinátáit? Tudjuk. Összegek találunk? Könnyen. Összeállítjuk a legegyszerűbbet két lineáris egyenletrendszer két ismeretlennel("a" és "beh"). Megoldjuk a rendszert pl. Cramer módszere, ami egy állópontot eredményez . Ellenőrzés elégséges feltétel az extrémumhoz, ellenőrizhetjük, hogy ezen a ponton a függvény pontosan eléri minimális. Az ellenőrzéshez további számítások is járnak, ezért azt a színfalak mögött hagyjuk. (szükség esetén a hiányzó keret megtekinthetőitt ) . Levonjuk a végső következtetést:

Funkció a legjobb mód (legalábbis bármely más lineáris függvényhez képest) közelebb hozza a kísérleti pontokat . Nagyjából a gráfja a lehető legközelebb halad ezekhez a pontokhoz. A hagyomány szerint ökonometria a kapott közelítő függvényt is nevezzük páros lineáris regressziós egyenlet .

A vizsgált probléma nagy gyakorlati jelentőséggel bír. Példánk helyzetében az egyenlet lehetővé teszi, hogy előre jelezze, milyen forgalom ("yig") lesz az üzletben az értékesítési terület egyik vagy másik értékével (az "x" egyik vagy másik jelentése). Igen, az így kapott előrejelzés csak előrejelzés lesz, de sok esetben egészen pontosnak bizonyul.

Csak egy problémát fogok elemezni a "valódi" számokkal, mivel ebben nincs nehézség - minden számítás az iskolai tanterv szintjén történik a 7-8. Az esetek 95 százalékában csak egy lineáris függvényt kell keresni, de a cikk legvégén megmutatom, hogy nem nehezebb megtalálni az optimális hiperbola, kitevő és néhány egyéb függvény egyenleteit.

Valójában hátra van az ígért finomságok szétosztása - hogy megtanulja, hogyan kell az ilyen példákat nemcsak pontosan, hanem gyorsan is megoldani. Gondosan tanulmányozzuk a szabványt:

Egy feladat

A két mutató közötti kapcsolat vizsgálata eredményeként a következő számpárokat kaptuk:

A legkisebb négyzetek módszerével keresse meg azt a lineáris függvényt, amely a legjobban közelíti az empirikust (tapasztalt) adat. Készítsen rajzot, amelyen derékszögű derékszögű koordinátarendszerben ábrázolja a kísérleti pontokat és a közelítő függvény grafikonját . Határozza meg az empirikus és az elméleti értékek közötti eltérések négyzetes összegét! Nézze meg, hogy a funkció jobb-e (a legkisebb négyzetek módszerét tekintve) közelítő kísérleti pontok.

Vegye figyelembe, hogy az "x" értékek természetes értékek, és ennek van egy jellegzetes értelmes jelentése, amelyről egy kicsit később fogok beszélni; de természetesen lehetnek töredékesek is. Ezenkívül egy adott feladat tartalmától függően mind az "X", mind a "G" érték teljesen vagy részben negatív lehet. Nos, kaptunk egy „arctalan” feladatot, és elkezdjük megoldás:

Megtaláljuk az optimális függvény együtthatóit a rendszer megoldásaként:

A tömörebb jelölés érdekében a „számláló” változó elhagyható, mivel már jól látható, hogy az összegzés 1-től -ig történik.

Kényelmesebb a szükséges összegeket táblázatos formában kiszámítani:


A számításokat mikroszámológépen is el lehet végezni, de sokkal jobb az Excel használata - gyorsabban és hiba nélkül; nézz meg egy rövid videót:

Így a következőket kapjuk rendszer:

Itt megszorozhatja a második egyenletet 3-mal és tagonként vonjuk ki az 1. egyenletből a 2.-t. De ez szerencse – a gyakorlatban a rendszerek gyakran nem tehetségesek, és ilyenkor spórolnak Cramer módszere:
, így a rendszer egyedi megoldást kínál.

Csináljunk egy ellenőrzést. Megértem, hogy nem akarom, de miért hagyjuk ki azokat a hibákat, ahol egyáltalán nem lehet kihagyni? Helyettesítsük be a talált megoldást a rendszer minden egyenletének bal oldalába:

A megfelelő egyenletek megfelelő részeit megkapjuk, ami azt jelenti, hogy a rendszer helyesen van megoldva.

Így a kívánt közelítő függvény: – tól minden lineáris függvény a kísérleti adatokat a legjobban az közelíti meg.

nem úgy mint egyenes az üzlet forgalmának a területétől való függése, a talált függőség az fordított ("minél több - annál kevesebb" elv), és ezt a tényt azonnal feltárja a negatív szögegyüttható. Funkció tájékoztat bennünket, hogy egy bizonyos mutató 1 egységnyi növekedésével a függő mutató értéke csökken átlagos 0,65 egységgel. Ahogy mondani szokták, minél magasabb a hajdina ára, annál kevesebbet adnak el.

A közelítő függvény ábrázolásához két értékét találjuk:

és hajtsd végre a rajzot:

A megszerkesztett vonalat ún trendvonal (nevezetesen egy lineáris trendvonal, azaz általános esetben a trend nem feltétlenül egyenes). Mindenki ismeri a "trendben lenni" kifejezést, és úgy gondolom, hogy ez a kifejezés nem igényel további megjegyzéseket.

Számítsa ki az eltérések négyzetes összegét! empirikus és elméleti értékek között. Geometriailag ez a "bíbor" szegmensek hosszának négyzeteinek összege (ebből kettő olyan kicsi, hogy nem is látod).

Foglaljuk össze a számításokat egy táblázatban:


Manuálisan is végrehajthatók, hátha mondok egy példát az 1. ponthoz:

de sokkal hatékonyabb a már ismert módszer:

Ismételjük meg: mi értelme az eredménynek? Tól től minden lineáris függvény funkció a kitevő a legkisebb, vagyis családjában a legjobb közelítés. És itt egyébként nem véletlen a probléma végső kérdése: mi van, ha a javasolt exponenciális függvény jobban közelíti a kísérleti pontokat?

Keressük meg az eltérések négyzetes összegét - megkülönböztetésükhöz "epsilon" betűvel jelölöm őket. A technika pontosan ugyanaz:

És még egyszer minden tűzszámításhoz az 1. ponthoz:

Az Excelben a standard függvényt használjuk EXP (A szintaxis az Excel súgójában található).

Következtetés: , tehát az exponenciális függvény rosszabbul közelíti a kísérleti pontokat, mint az egyenes .

De itt meg kell jegyezni, hogy a "rosszabb". még nem jelenti, Mi a baj. Most elkészítettem ennek az exponenciális függvénynek a grafikonját - és ez is közel megy a pontokhoz - olyannyira, hogy elemző vizsgálat nélkül nehéz megmondani, melyik függvény a pontosabb.

Ezzel teljes a megoldás, és visszatérek az érvelés természeti értékeinek kérdéséhez. Különböző tanulmányokban általában a gazdasági vagy szociológiai, hónapokat, éveket vagy más azonos időintervallumokat természetes "X"-szel jelölik. Vegyük például a következő problémát:

Az üzlet első félévi kiskereskedelmi forgalmáról az alábbi adatok állnak rendelkezésünkre:

Egyenes vonalú analitikai igazítással keresse meg a júliusi értékesítési mennyiséget.

Igen, nem probléma: a hónapokat 1, 2, 3, 4, 5, 6-ra számozzuk, és a szokásos algoritmust használjuk, aminek eredményeként egy egyenletet kapunk - az egyetlen dolog, amikor az időről van szó, általában a „te” betű. ” (bár ez nem kritikus). Az így kapott egyenlet azt mutatja, hogy az első félévben a forgalom átlagosan 27,74 CU-vel nőtt. havonta. Kérjen előrejelzést júliusra (7. hónap): e.u.

És hasonló feladatok - a sötétség sötét. Aki szeretne, az igénybe vehet egy további szolgáltatást, mégpedig az én Excel számológép (próba verzió), amely a szinte azonnal megoldja a problémát! A program működő verziója elérhető cserébe vagy azért szimbolikus fizetés.

A lecke végén egy rövid információ néhány más típusú függőség megtalálásáról. Tulajdonképpen nincs mit mondani, hiszen az alapvető megközelítés és a megoldási algoritmus ugyanaz marad.

Tegyük fel, hogy a kísérleti pontok elhelyezkedése hiperbolára emlékeztet. Ezután a legjobb hiperbola együtthatóinak megtalálásához meg kell találnia a függvény minimumát - aki akarja, részletes számításokat végezhet, és hasonló rendszerhez juthat:

Formális technikai szempontból a "lineáris" rendszerből nyerjük (jelöljük csillaggal) az "x" helyére . Nos, az összegek kiszámítja, ami után az optimális együtthatóhoz "a" és "be" kéznél.

Ha minden okunk megvan azt hinni, hogy a pontok logaritmikus görbe mentén vannak elrendezve, majd megkeresi az optimális értékeket és megtalálja a függvény minimumát . Formálisan a rendszerben (*) a következőre kell cserélni:

Amikor Excelben számol, használja a függvényt LN. Bevallom, nem lesz nehéz számológépet készítenem minden egyes vizsgált esethez, de még mindig jobb lesz, ha saját maga "programozza" a számításokat. Segítségül oktatóvideók.

Exponenciális függőség esetén a helyzet valamivel bonyolultabb. Hogy az ügyet lineáris esetre redukáljuk, vesszük a függvény és a használat logaritmusát a logaritmus tulajdonságai:

Összehasonlítva a kapott függvényt a lineáris függvénnyel, arra a következtetésre jutunk, hogy a rendszerben (*) helyére , és - -ra kell cserélni. A kényelem kedvéért a következőket jelöljük:

Kérjük, vegye figyelembe, hogy a rendszer feloldása és tekintetében van, ezért a gyökök megtalálása után ne felejtse el megtalálni magát az együtthatót sem.

A kísérleti pontok közelítése optimális parabola , meg kell találni minimum három változó függvénye. A szokásos műveletek végrehajtása után a következő "működő" állapotot kapjuk rendszer:

Igen, természetesen itt több összeg van, de egyáltalán nem okoz nehézséget kedvenc alkalmazásának használatakor. És végül elmondom, hogyan lehet gyorsan ellenőrizni az Excel segítségével, és felépíteni a kívánt trendvonalat: hozzon létre egy szóródiagramot, válassza ki bármelyik pontot az egérrel és jobb gombbal válassza ki az opciót "Trendvonal hozzáadása". Ezután válassza ki a diagram típusát és a lapon "Lehetőségek" aktiválja az opciót "Egyenlet megjelenítése a diagramon". rendben

Mint mindig, most is egy gyönyörű mondattal szeretném befejezni a cikket, és majdnem beírtam, hogy „Légy trendben!”. De idővel meggondolta magát. És nem azért, mert képletes. Nem tudom, hogy valaki hogyan, de én egyáltalán nem akarom követni a népszerűsített amerikai és főleg európai trendet =) Ezért kívánom, hogy mindenki tartsa magát a saját irányvonalához!

http://www.grandars.ru/student/vysshaya-matematika/metod-naimenshih-kvadratov.html

A legkisebb négyzetek módszere az egyik legelterjedtebb és legfejlettebb annak köszönhetően a lineáris ökonometriai modellek paramétereinek becslésére szolgáló módszerek egyszerűsége és hatékonysága. Használatakor ugyanakkor bizonyos óvatosságra is ügyelni kell, mivel az ezzel épített modellek nem biztos, hogy számos paraméterük minőségi követelményét teljesítik, és emiatt nem „jól” tükrözik a folyamatfejlesztés mintáit.

Tekintsük részletesebben egy lineáris ökonometriai modell paramétereinek becslését a legkisebb négyzetek módszerével. Egy ilyen modell általános formában az (1.2) egyenlettel ábrázolható:

y t = a 0 + a 1 x 1t +...+ a n x nt + ε t.

A kezdeti adat az a 0, a 1,..., a n paraméterek becslésénél a függő változó értékvektora y= (y 1 , y 2 , ... , y T)" és a független változók értékmátrixa

amelyben az egyesekből álló első oszlop a modell együtthatójának felel meg.

A legkisebb négyzetek módszere azon az alapelven kapta a nevét, hogy az alapján kapott paraméterbecsléseknek meg kell felelniük: a modellhiba négyzetösszege minimális legyen.

Példák feladatok megoldására a legkisebb négyzetek módszerével

2.1. példa. A kereskedelmi vállalkozás 12 üzletből álló hálózattal rendelkezik, amelyek tevékenységére vonatkozó információkat a táblázat tartalmazza. 2.1.

A cég vezetése arra kíváncsi, hogy az éves forgalom nagysága hogyan függ az üzlet üzlethelyiségétől.

2.1. táblázat

Boltszám	Éves forgalom, millió rubel	Kereskedelmi terület, ezer m 2
	19,76	0,24
	38,09	0,31
	40,95	0,55
	41,08	0,48
	56,29	0,78
	68,51	0,98
	75,01	0,94
	89,05	1,21
	91,13	1,29
	91,26	1,12
	99,84	1,29
	108,55	1,49

Legkisebb négyzetek megoldása. Jelöljük meg - az -edik üzlet éves forgalma, millió rubel; - az üzlet eladó területe, ezer m 2.

2.1. Szórásdiagram a 2.1. példához

A változók közötti funkcionális kapcsolat formájának meghatározása és egy szórásdiagram készítése (2.1. ábra).

A szórásdiagram alapján azt a következtetést vonhatjuk le, hogy az éves forgalom pozitívan függ az értékesítési területtől (azaz y növekedésével növekszik). A funkcionális kapcsolat legmegfelelőbb formája az lineáris.

A további számításokhoz szükséges információkat a táblázat tartalmazza. 2.2. A legkisebb négyzetek módszerével megbecsüljük a lineáris egytényezős ökonometriai modell paramétereit

2.2. táblázat

t	y t	x 1t	y t 2	x1t2	x 1t y t
	19,76	0,24	390,4576	0,0576	4,7424
	38,09	0,31	1450,8481	0,0961	11,8079
	40,95	0,55	1676,9025	0,3025	22,5225
	41,08	0,48	1687,5664	0,2304	19,7184
	56,29	0,78	3168,5641	0,6084	43,9062
	68,51	0,98	4693,6201	0,9604	67,1398
	75,01	0,94	5626,5001	0,8836	70,5094
	89,05	1,21	7929,9025	1,4641	107,7505
	91,13	1,29	8304,6769	1,6641	117,5577
	91,26	1,12	8328,3876	1,2544	102,2112
	99,84	1,29	9968,0256	1,6641	128,7936
	108,55	1,49	11783,1025	2,2201	161,7395
S	819,52	10,68	65008,554	11,4058	858,3991
Átlagos	68,29	0,89

Ily módon

Ezért a kereskedési terület 1 ezer m 2 -es növekedésével, egyéb tényezők változatlansága mellett, az átlagos éves forgalom 67,8871 millió rubelrel nő.

2.2. példa. A vállalkozás vezetése észrevette, hogy az éves forgalom nemcsak az üzlet eladóterétől (lásd a 2.1 példát), hanem az átlagos látogatószámtól is függ. A vonatkozó információkat a táblázat tartalmazza. 2.3.

2.3. táblázat

Megoldás. Jelölje - a -edik üzlet látogatóinak átlagos számát naponta, ezer főt.

A változók közötti funkcionális kapcsolat formájának meghatározása és egy szórásdiagram készítése (2.2. ábra).

A szórásdiagram alapján arra a következtetésre juthatunk, hogy az éves forgalom pozitívan kapcsolódik a napi átlagos látogatószámhoz (vagyis y növekedésével növekszik). A funkcionális függőség formája lineáris.

Rizs. 2.2. Szórásdiagram például 2.2

2.4. táblázat

t	x 2t	x 2t 2	yt x 2t	x 1t x 2t
	8,25	68,0625	163,02	1,98
	10,24	104,8575	390,0416	3,1744
	9,31	86,6761	381,2445	5,1205
	11,01	121,2201	452,2908	5,2848
	8,54	72,9316	480,7166	6,6612
	7,51	56,4001	514,5101	7,3598
	12,36	152,7696	927,1236	11,6184
	10,81	116,8561	962,6305	13,0801
	9,89	97,8121	901,2757	12,7581
	13,72	188,2384	1252,0872	15,3664
	12,27	150,5529	1225,0368	15,8283
	13,92	193,7664	1511,016	20,7408
S	127,83	1410,44	9160,9934	118,9728
Átlagos	10,65

Általában szükséges a kéttényezős ökonometriai modell paramétereinek meghatározása

y t \u003d a 0 + a 1 x 1t + a 2 x 2t + ε t

A további számításokhoz szükséges információkat a táblázat tartalmazza. 2.4.

Becsüljük meg egy lineáris kéttényezős ökonometriai modell paramétereit a legkisebb négyzetek módszerével.

Ily módon

Az együttható = 61,6583 értékelése azt mutatja, hogy minden más tényező változatlansága mellett az értékesítési terület 1 ezer m 2 -es növekedésével az éves forgalom átlagosan 61,6583 millió rubelrel nő.

Az együttható = 2,2748 becslése azt mutatja, hogy egyéb tényezők változatlansága mellett az 1 ezer főre jutó átlagos látogatószám növekedésével. naponta, az éves forgalom átlagosan 2,2748 millió rubel fog növekedni.

2.3. példa. A táblázatban szereplő információk felhasználásával. 2.2 és 2.4, becsülje meg egy egytényezős ökonometriai modell paraméterét

ahol az -edik üzlet éves forgalmának középpontos értéke, millió rubel; - a t-edik üzlet napi átlagos látogatószámának központosított értéke, ezer fő. (lásd a 2.1-2.2 példákat).

Megoldás. A számításokhoz szükséges további információkat a táblázat tartalmazza. 2.5.

2.5. táblázat

	-48,53	-2,40	5,7720	116,6013
	-30,20	-0,41	0,1702	12,4589
	-27,34	-1,34	1,8023	36,7084
	-27,21	0,36	0,1278	-9,7288
	-12,00	-2,11	4,4627	25,3570
	0,22	-3,14	9,8753	-0,6809
	6,72	1,71	2,9156	11,4687
	20,76	0,16	0,0348	3,2992
	22,84	-0,76	0,5814	-17,413
	22,97	3,07	9,4096	70,4503
	31,55	1,62	2,6163	51,0267
	40,26	3,27	10,6766	131,5387
Összeg			48,4344	431,0566

A (2.35) képlet segítségével megkapjuk

Ily módon

http://www.cleverstudents.ru/articles/mnk.html

Példa.

Kísérleti adatok a változók értékeiről xés nál nél táblázatban vannak megadva.

Igazításuk eredményeképpen a funkció

Használata legkisebb négyzetes módszer, közelítse ezeket az adatokat lineáris függéssel y=ax+b(keresse meg a lehetőségeket aés b). Nézze meg, hogy a két egyenes közül melyik a jobb (a legkisebb négyzetek módszere értelmében) igazítja a kísérleti adatokat. Készítsen rajzot.

Megoldás.

Példánkban n=5. A táblázatot a szükséges együtthatók képleteiben szereplő összegek kiszámításának megkönnyítése érdekében töltjük ki.

A táblázat negyedik sorában szereplő értékeket úgy kapjuk meg, hogy minden számhoz megszorozzuk a 2. sor értékét a 3. sor értékével én.

A táblázat ötödik sorában lévő értékeket úgy kapjuk meg, hogy a 2. sor értékét minden számhoz négyzetre emeljük én.

A táblázat utolsó oszlopának értékei a sorok közötti értékek összegei.

Az együtthatók meghatározásához a legkisebb négyzetek módszerének képleteit használjuk aés b. Helyettesítjük bennük a megfelelő értékeket a táblázat utolsó oszlopából:

Következésképpen, y=0,165x+2,184 a kívánt közelítő egyenes.

Azt kell kideríteni, hogy melyik sorból y=0,165x+2,184 vagy jobban közelíti az eredeti adatokat, azaz a legkisebb négyzetek módszerével becslést készít.

Bizonyíték.

Tehát amikor megtalálták aés b függvény a legkisebb értéket veszi fel, akkor szükséges, hogy ezen a ponton a függvény másodrendű differenciáljának másodfokú alakjának mátrixa határozott pozitív volt. Mutassuk meg.

A másodrendű differenciál alakja:

Azaz

Ezért a másodfokú forma mátrixának van formája

és az elemek értéke nem függ attól aés b.

Mutassuk meg, hogy a mátrix pozitív határozott. Ehhez az szükséges, hogy a szög-mollok pozitívak legyenek.

Angular moll elsőrendű . Az egyenlőtlenség szigorú, hiszen a pontok

• oktatóanyag

Bevezetés

Számítógép-programozó vagyok. Pályafutásom legnagyobb ugrását megtettem, amikor megtanultam mondani: "Nem értek semmit!" Most nem szégyellem elmondani a tudomány fényesének, hogy előadást tart nekem, és nem értem, miről beszél nekem ez, a világítótest. És nagyon nehéz. Igen, nehéz és kínos beismerni, hogy nem tudod. Aki szereti bevallani, hogy nem tudja valaminek az alapjait, ott. Hivatásomból adódóan rengeteg előadáson, előadáson kell részt vennem, ahol, bevallom, az esetek túlnyomó többségében álmosnak érzem magam, mert nem értek semmit. És nem értem, mert a tudomány jelenlegi helyzetének óriási problémája a matematikában rejlik. Feltételezi, hogy minden diák ismeri a matematika abszolút minden területét (ami abszurd). Szégyen beismerni, hogy nem tudod, mi az a származék (hogy ez egy kicsit később).

De megtanultam azt mondani, hogy nem tudom, mi az a szorzás. Igen, nem tudom, mi az algebra a Lie algebránál. Igen, nem tudom, miért van szükség másodfokú egyenletekre az életben. Egyébként, ha biztos benne, hogy tudja, akkor van miről beszélnünk! A matematika trükkök sorozata. A matematikusok megpróbálják megzavarni és megfélemlíteni a közvéleményt; ahol nincs zűrzavar, nincs hírnév, nincs tekintély. Igen, tekintélyes a lehető legelvontabb nyelven beszélni, ami már önmagában is teljes nonszensz.

Tudod, mi az a származék? Valószínűleg elmondod nekem a különbségi reláció határát. A Szentpétervári Állami Egyetem matematika első évében Viktor Petrovics Khavin engem meghatározott derivált, mint a függvény Taylor-sorozatának első tagjának együtthatója a pontban (külön torna volt a Taylor-sor derivált nélküli meghatározása). Sokáig röhögtem ezen a meghatározáson, míg végül megértettem, miről is van szó. A derivált nem más, mint annak mértéke, hogy az általunk differenciált függvény mennyire hasonlít az y=x, y=x^2, y=x^3 függvényhez.

Most abban a megtiszteltetésben vagyok, hogy olyan hallgatókat oktassak, akik félelem matematika. Ha fél a matematikától - úton vagyunk. Amint megpróbál elolvasni egy szöveget, és úgy tűnik, hogy túl bonyolult, akkor tudja, hogy rosszul van megírva. Azt állítom, hogy a matematikának nincs egyetlen olyan területe, amelyről ne lehetne „ujjakon” beszélni anélkül, hogy elveszítené a pontosságot.

A közeljövő kihívása: utasítottam a hallgatóimat, hogy értsék meg, mi az a lineáris-kvadratikus vezérlő. Ne légy szégyenlős, pazarolj három percet az életedből, kövesd a linket. Ha nem értesz semmit, akkor úton vagyunk. Én (hivatásos matematikus-programozó) szintén nem értettem semmit. És biztosíthatom önöket, hogy ez "ujjakon" megoldható. Jelenleg nem tudom, mi az, de biztosíthatom, hogy ki tudjuk találni.

Tehát az első előadás, amit a hallgatóimnak tartok, miután rémülten futnak hozzám azzal a szavakkal, hogy a lineáris-kvadratikus vezérlő egy szörnyű hiba, amelyet soha életedben nem fogsz elsajátítani. legkisebb négyzetek módszerei. Tudsz lineáris egyenleteket megoldani? Ha olvassa ezt a szöveget, akkor valószínűleg nem.

Tehát adott két pont (x0, y0), (x1, y1), például (1,1) és (3,2), a feladat az, hogy megtaláljuk egy ezen a két ponton átmenő egyenes egyenletét:

ábra

Ennek az egyenesnek a következő egyenletnek kell lennie:

Itt az alfa és a béta ismeretlen számunkra, de ennek az egyenesnek két pontja ismert:

Ezt az egyenletet felírhatod mátrix formában:

Itt egy lírai kitérőt kell tennünk: mi az a mátrix? A mátrix nem más, mint egy kétdimenziós tömb. Ez az adattárolás módja, nem szabad több értéket megadni neki. Rajtunk múlik, hogy egy bizonyos mátrixot pontosan hogyan értelmezünk. Időnként lineáris leképezésként, periodikusan másodfokú formaként, néha pedig egyszerűen vektorok halmazaként fogom értelmezni. Mindezt a kontextusban fogjuk tisztázni.

Cseréljük le az egyes mátrixokat szimbolikus ábrázolásukkal:

Ezután (alfa, béta) könnyen megtalálható:

Pontosabban korábbi adatainkhoz:

Ami az (1,1) és (3,2) pontokon áthaladó egyenes alábbi egyenletéhez vezet:

Oké, itt minden világos. És keressük meg az átmenő egyenes egyenletét három pontok: (x0,y0), (x1,y1) és (x2,y2):

Ó-ó-ó, de van három egyenletünk két ismeretlenre! A szokásos matematikus azt mondja, hogy nincs megoldás. Mit fog mondani a programozó? És először átírja az előző egyenletrendszert a következő formában:

Esetünkben az i, j, b vektorok háromdimenziósak, ezért (általános esetben) erre a rendszerre nincs megoldás. Bármely vektor (alpha\*i + béta\*j) az (i, j) vektorok által átívelt síkban található. Ha b nem tartozik ehhez a síkhoz, akkor nincs megoldás (az egyenletben az egyenlőség nem érhető el). Mit kell tenni? Keressünk egy kompromisszumot. Jelöljük azzal e (alfa, béta) pontosan hogy nem értük el az egyenlőséget:

És megpróbáljuk minimalizálni ezt a hibát:

Miért négyzet?

Nem csak a norma minimumát keressük, hanem a norma négyzetének minimumát. Miért? Maga a minimumpont egybeesik, és a négyzet sima függvényt ad (az argumentumok másodfokú függvénye (alfa,béta)), míg csak a hossz ad egy kúp formájú, a minimumpontban nem differenciálható függvényt. Brr. A négyzet kényelmesebb.

Nyilvánvaló, hogy a hiba minimálisra csökken, ha a vektor e merőleges a vektorok által átívelt síkra énés j.

Ábra

Más szóval: olyan egyenest keresünk, ahol az összes ponttól az ettől az egyenesig tartó távolságok négyzetes hosszának összege minimális:

FRISSÍTÉS: itt van egy karám, a vonal távolságát függőlegesen kell mérni, nem ortografikus vetítést. Ennek a kommentelőnek igaza van.

Ábra

Teljesen más szavakkal (gondosan, rosszul formalizált, de az ujjakon egyértelműnek kell lennie): minden lehetséges vonalat veszünk az összes pontpár között, és keressük az összes közötti átlagos vonalat:

Ábra

Egy másik magyarázat az ujjakra: az összes adatpont (itt három van) és a keresett vonal közé rugót rögzítünk, és az egyensúlyi állapot vonala pontosan az, amit keresünk.

Kvadratikus forma minimum

Tehát a vektort figyelembe véve bés a mátrix oszlopai-vektorai által átívelt sík A(ebben az esetben (x0,x1,x2) és (1,1,1)), vektort keresünk e minimális hosszúságú négyzettel. Nyilvánvalóan a minimum csak a vektornál érhető el e, merőleges a mátrix oszlopai-vektorai által átívelt síkra A:

Más szóval, olyan x=(alfa, béta) vektort keresünk, amely:

Emlékeztetlek arra, hogy ez az x=(alfa, béta) vektor az ||e(alfa, béta)||^2 másodfokú függvény minimuma:

Itt érdemes megjegyezni, hogy a mátrix ugyanúgy értelmezhető, mint a másodfokú forma, például az azonosságmátrix ((1,0),(0,1)) értelmezhető x^2 + y függvényeként. ^2:

másodfokú forma

Mindezt a gimnasztikát lineáris regressziónak nevezik.

Laplace-egyenlet Dirichlet peremfeltétellel

Most a legegyszerűbb valós probléma: van egy bizonyos háromszögletű felület, azt ki kell simítani. Például töltsük be az én arcmodellemet:

Az eredeti commit elérhető. A külső függőségek minimalizálása érdekében átvettem a szoftver renderelőm kódját, már Habré-n. A lineáris rendszer megoldásához az OpenNL -t használom, remek megoldó, de nagyon nehéz telepíteni: két fájlt (.h + .c) kell átmásolni a projekt mappájába. Minden simítás a következő kóddal történik:

For (int d=0; d<3; d++) { nlNewContext(); nlSolverParameteri(NL_NB_VARIABLES, verts.size()); nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE); nlBegin(NL_SYSTEM); nlBegin(NL_MATRIX); for (int i=0; i<(int)verts.size(); i++) { nlBegin(NL_ROW); nlCoefficient(i, 1); nlRightHandSide(verts[i][d]); nlEnd(NL_ROW); } for (unsigned int i=0; i&face = arcok[i]; for (int j=0; j<3; j++) { nlBegin(NL_ROW); nlCoefficient(face[ j ], 1); nlCoefficient(face[(j+1)%3], -1); nlEnd(NL_ROW); } } nlEnd(NL_MATRIX); nlEnd(NL_SYSTEM); nlSolve(); for (int i=0; i<(int)verts.size(); i++) { verts[i][d] = nlGetVariable(i); } }

Az X, Y és Z koordináták szétválaszthatók, külön simítom. Azaz három lineáris egyenletrendszert oldok meg, mindegyikben ugyanannyi változó van, mint ahány csúcs a modellemben. Az A mátrix első n sorában csak egy 1 van soronként, a b vektor első n sorában pedig eredeti modellkoordináták vannak. Vagyis rugózok az új csúcspozíció és a régi csúcspozíció között - az újak ne legyenek túl messze a régiektől.

Az A mátrix minden következő sorában (faces.size()*3 = a rács összes háromszögének éleinek száma) egyszer előfordul 1 és egy előfordulása -1, míg a b vektornak nulla ellentétes komponense van. Ez azt jelenti, hogy a háromszöghálónk minden élére rugót helyezek: minden él ugyanazt a csúcsot próbálja elérni, mint a kezdő és a végpontja.

Még egyszer: minden csúcs változó, és nem térhet el messzire eredeti helyzetétől, ugyanakkor megpróbál hasonlóvá válni.

Íme az eredmény:

Minden rendben lenne, a modell tényleg le van simítva, de elmozdult az eredeti szélétől. Változtassunk egy kicsit a kódon:

For (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }

Az A mátrixunkban az élen lévő csúcsokhoz nem egy sort adok hozzá a v_i = verts[i][d] kategóriából, hanem 1000*v_i = 1000*verts[i][d]. Mit változtat? Ez pedig megváltoztatja a hiba kvadratikus alakját. Most egyetlen eltérés a csúcstól a szélen nem egy egységbe kerül, mint korábban, hanem 1000 * 1000 egységbe. Vagyis a szélső csúcsokra erősebb rugót akasztottunk, a megoldás inkább másokat feszít erősebben. Íme az eredmény:

Duplázzuk meg a csúcsok közötti rugók erejét:
nlKoficiens(arc[ j ], 2); nlegyüttható(arc[(j+1)%3], -2);

Logikus, hogy a felület simább lett:

És most még százszor erősebben:

Mi ez? Képzelje el, hogy egy drótgyűrűt szappanos vízbe mártottunk. Ennek eredményeként a kapott szappanfólia megpróbálja a lehető legkisebb görbületet elérni, és ugyanazt a határt érinti - a drótgyűrűnket. Pontosan ezt kaptuk a szegély rögzítésével, és sima felületet kértünk belülről. Gratulálunk, most megoldottuk a Laplace-egyenletet Dirichlet peremfeltételekkel. Jól hangzik? De valójában csak egy lineáris egyenletrendszert kell megoldani.

Poisson egyenlet

Adjunk még egy klassz nevet.

Tegyük fel, hogy van egy ilyen képem:

Mindenki jó, de én nem szeretem a széket.

Félbevágtam a képet:

És kiválasztok egy széket a kezemmel:

Ezután mindent, ami a maszkban fehér, áthúzok a kép bal oldalára, és egyúttal az egész képen elmondom, hogy két szomszédos pixel különbsége egyenlő legyen a kép két szomszédos pixelének különbségével. jobb oldali kép:

For (int i=0; i

Íme az eredmény:

Kód és képek elérhetőek

A legkisebb négyzetek módszere (OLS, eng. Ordinary Least Squares, OLS)- különféle problémák megoldására használt matematikai módszer, amely egyes függvények kívánt változóktól való négyzetes eltéréseinek összegének minimalizálásán alapul. Használható túldefiniált egyenletrendszerek "megoldására" (amikor az egyenletek száma meghaladja az ismeretlenek számát), megoldást találni közönséges (nem túlhatározott) nemlineáris egyenletrendszerekre, közelíteni a pontértékeket. valamilyen funkcióból. Az OLS a regresszióanalízis egyik alapvető módszere a regressziós modellek ismeretlen paramétereinek mintaadatokból történő becslésére.

Enciklopédiai YouTube

1 / 5

✪ A legkisebb négyzetek módszere. Téma

✪ Mitin I. V. - Fizikai eredmények feldolgozása. kísérlet - Legkisebb négyzetek módszere (4. előadás)

✪ Legkisebb négyzetek, lecke 1/2. Lineáris függvény

✪ Ökonometria. 5. előadás. Legkisebb négyzetek módszere

✪ A legkisebb négyzetek módszere. Válaszok

Feliratok

Sztori

A XIX. század elejéig. a tudósoknak nem voltak bizonyos szabályai egy olyan egyenletrendszer megoldására, amelyben az ismeretlenek száma kevesebb, mint az egyenletek száma; Addig az egyenletek típusától és a számológépek találékonyságától függően sajátos módszereket alkalmaztak, ezért a különböző számológépek azonos megfigyelési adatokból kiindulva eltérő következtetésekre jutottak. Gauss (1795) nevéhez fűződik a módszer első alkalmazása, Legendre (1805) pedig önállóan fedezte fel és publikálta modern nevén (fr. Methode des moindres quarres) . Laplace a módszert a valószínűségelmélettel kötötte össze, Adrain amerikai matematikus (1808) pedig valószínűségi alkalmazásait vizsgálta. A módszer széles körben elterjedt, és Encke, Bessel, Hansen és mások további kutatásai révén továbbfejlesztették.

A legkisebb négyzetek módszerének lényege

Hadd x (\displaystyle x)- készlet n (\displaystyle n) ismeretlen változók (paraméterek), f i (x) (\displaystyle f_(i)(x)), , m > n (\displaystyle m>n)- függvénykészlet ebből a változókészletből. A probléma az ilyen értékek megválasztása x (\displaystyle x) hogy ezeknek a függvényeknek az értékei a lehető legközelebb legyenek bizonyos értékekhez y i (\displaystyle y_(i)). Lényegében a túldefiniált egyenletrendszer „megoldásáról” beszélünk f i (x) = y i (\displaystyle f_(i)(x)=y_(i)), i = 1 , … , m (\displaystyle i=1,\ldots ,m) a jelzett értelemben a rendszer bal és jobb oldali részének maximális közelsége. Az LSM lényege, hogy "közelségi mérőként" a bal és jobb oldali rész eltéréseinek négyzetes összegét választja. | f i (x) − y i | (\displaystyle |f_(i)(x)-y_(i)|). Így az LSM lényege a következőképpen fejezhető ki:

∑ i e i 2 = ∑ i (y i − f i (x)) 2 → min x (\megjelenítési stílus \sum _(i)e_(i)^(2)=\sum _(i)(y_(i)-f_( i)(x))^(2)\jobbra \min _(x)).

Ha az egyenletrendszernek van megoldása, akkor a négyzetösszeg minimuma nulla lesz, és az egyenletrendszer pontos megoldásai analitikusan vagy például különféle numerikus optimalizálási módszerekkel kereshetők. Ha a rendszer túldefiniált, vagyis lazán szólva a független egyenletek száma nagyobb, mint az ismeretlen változóké, akkor a rendszernek nincs pontos megoldása, és a legkisebb négyzetek módszere lehetővé teszi, hogy találjunk valamilyen "optimális" vektort. x (\displaystyle x) a vektorok maximális közelségének értelmében y (\displaystyle y)és f (x) (\displaystyle f(x)) vagy az eltérésvektor maximális közelsége e (\displaystyle e) nullára (a közelség az euklideszi távolság értelmében értendő).

Példa - lineáris egyenletrendszer

Különösen a legkisebb négyzetek módszere használható a lineáris egyenletrendszer "megoldására".

A x = b (\displaystyle Ax=b),

ahol A (\displaystyle A) téglalap méretű mátrix m × n , m > n (\displaystyle m\times n,m>n)(azaz az A mátrix sorainak száma nagyobb, mint a szükséges változók száma).

Egy ilyen egyenletrendszernek általában nincs megoldása. Ezért ez a rendszer csak abban az értelemben „megoldható”, hogy ilyen vektort választunk x (\displaystyle x) hogy minimalizáljuk a vektorok közötti „távolságot”. A x (\displaystyle Ax)és b (\displaystyle b). Ehhez alkalmazhatja a rendszer bal és jobb oldali egyenletrészei közötti különbségek négyzetösszegének minimalizálásának kritériumát, azaz (A x − b) T (A x − b) → min (\megjelenítési stílus (Ax-b)^(T)(Ax-b)\jobbra \min ). Könnyen kimutatható, hogy ennek a minimalizálási feladatnak a megoldása a következő egyenletrendszer megoldásához vezet

A T A x = A T b ⇒ x = (AT A) − 1 A T b (\displaystyle A^(T)Ax=A^(T)b\Jobbra nyíl x=(A^(T)A)^(-1)A^ (Tuberkulózis).

OLS a regressziós elemzésben (adatközelítés)

Legyen n (\displaystyle n) valamely változó értéke y (\displaystyle y)(ezek lehetnek megfigyelések, kísérletek stb. eredményei) és a megfelelő változók x (\displaystyle x). A kihívás az, hogy a kapcsolat y (\displaystyle y)és x (\displaystyle x) hozzávetőlegesen valamilyen ismert függvény segítségével néhány ismeretlen paraméterig b (\displaystyle b), azaz ténylegesen megtalálja a paraméterek legjobb értékét b (\displaystyle b), maximálisan közelítve az értékeket f (x, b) (\displaystyle f(x,b)) tényleges értékekre y (\displaystyle y). Valójában ez egy túldefiniált egyenletrendszer „megoldásának” esetére redukálódik. b (\displaystyle b):

F (x t , b) = y t , t = 1 , … , n (\displaystyle f(x_(t),b)=y_(t),t=1,\ldots ,n).

A regressziós elemzésben, és különösen az ökonometriában a változók közötti kapcsolat valószínűségi modelljeit alkalmazzák.

Y t = f (x t , b) + ε t (\megjelenítési stílus y_(t)=f(x_(t),b)+\varepszilon _(t)),

ahol ε t (\displaystyle \varepsilon _(t))- úgy hívják véletlenszerű hibák modellek.

Ennek megfelelően a megfigyelt értékek eltérései y (\displaystyle y) modelltől f (x, b) (\displaystyle f(x,b)) már magában a modellben is feltételezték. Az LSM (ordinary, classical) lényege az ilyen paraméterek megtalálása b (\displaystyle b), amelynél a négyzetes eltérések összege (hibák, regressziós modelleknél ezeket gyakran regressziós maradékoknak nevezik) e t (\displaystyle e_(t)) minimális lesz:

b ^ O L S = arg ⁡ min b R S S (b) (\displaystyle (\hat (b))_(OLS)=\arg \min _(b)RSS(b)),

ahol R S S (\displaystyle RSS)- Angol. A maradék négyzetösszeg meghatározása a következő:

R S S (b) = e T e = ∑ t = 1 n e t 2 = ∑ t = 1 n (y t − f (x t , b)) 2 (\displaystyle RSS(b)=e^(T)e=\sum_ (t=1)^(n)e_(t)^(2)=\összeg _(t=1)^(n)(y_(t)-f(x_(t),b))^(2) ).

Általában ez a probléma numerikus optimalizálási (minimalizálási) módszerekkel oldható meg. Ebben az esetben az ember arról beszél nemlineáris legkisebb négyzetek(NLS vagy NLLS - eng. Non-linear Least Squares). Sok esetben analitikus megoldást lehet kapni. A minimalizálási probléma megoldásához meg kell találni a függvény stacionárius pontjait R S S (b) (\displaystyle RSS(b)), megkülönböztetve azt az ismeretlen paraméterek alapján b (\displaystyle b), a deriváltokat nullával egyenlővé téve és a kapott egyenletrendszert megoldva:

∑ t = 1 n (y t − f (x t , b)) ∂ f (x t , b) ∂ b = 0 (\megjelenítési stílus \összeg _(t=1)^(n)(y_(t)-f(x_ (t),b))(\frac (\partial f(x_(t),b))(\partial b))=0).

LSM lineáris regresszió esetén

Legyen a regressziós függés lineáris:

y t = ∑ j = 1 k b j x t j + ε = x t T b + ε t (\megjelenítési stílus y_(t)=\sum _(j=1)^(k)b_(j)x_(tj)+\varepszilon =x_( t)^(T)b+\varepszilon _(t)).

Hadd y a magyarázott változó megfigyelésének oszlopvektora, és X (\displaystyle X)- ez (n × k) (\displaystyle ((n\x k)))- tényezők megfigyelésének mátrixa (a mátrix sorai - a faktorok értékének vektorai ebben a megfigyelésben, oszlopok szerint - e tényező értékeinek vektora minden megfigyelésben). A lineáris modell mátrixábrázolása a következő formájú:

y = Xb + ε (\displaystyle y=Xb+\varepsilon ).

Ekkor a magyarázott változó becslési vektora és a regressziós maradékok vektora egyenlő lesz

y ^ = X b , e = y − y ^ = y − X b (\displaystyle (\hat (y))=Xb,\quad e=y-(\hat (y))=y-Xb).

ennek megfelelően a regressziós maradékok négyzeteinek összege egyenlő lesz

R S S = e T e = (y − X b) T (y − X b) (\displaystyle RSS=e^(T)e=(y-Xb)^(T)(y-Xb)).

Ennek a függvénynek a megkülönböztetése a paramétervektorhoz képest b (\displaystyle b)és a deriváltokat nullával egyenlővé téve egy egyenletrendszert kapunk (mátrix formában):

(X T X) b = X T y (\megjelenítési stílus (X^(T)X)b=X^(T)y).

A megfejtett mátrix formában ez az egyenletrendszer így néz ki:

(∑ x t 1 2 ∑ x t 1 x t 2 ∑ x t 1 x t 3 … ∑ x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t 2 x t 2 ∑ x t 2 x t 3 x t 3 x t 3 t ∑ ∑ x t 3 x t k ⋮ ⋮ ⋮ ⋱ ∑ ∑ x t k x t 1 ∑ x t k x t 2 ∑ x t k x t 3… ∑ x t k 2) (b 1 b 2 b 3 ⋮ b k) = (∑ x t 1 y x t ∑ 3 y t ∑ ∑ x t k y t), (\ displaystyle -i displaystyle -t), (\ displaystyle -t. (\begin(pmátrix)\sum x_(t1)^(2)&\sum x_(t1)x_(t2)&\sum x_(t1)x_(t3)&\lpontok &\sum x_(t1)x_( tk)\\\összeg x_(t2)x_(t1)&\összeg x_(t2)^(2)&\összeg x_(t2)x_(t3)&\lpontok &\ összeg x_(t2)x_(tk) \\\összeg x_(t3)x_(t1)&\összeg x_(t3)x_(t2)&\összeg x_(t3)^(2)&\lpontok &\összeg x_ (t3)x_(tk)\\ \vdots &\vdots &\vdots &\ddots &\vdots \\\sum x_(tk)x_(t1)&\sum x_(tk)x_(t2)&\sum x_ (tk)x_(t3)&\ lpontok &\sum x_(tk)^(2)\\\end(pmátrix))(\begin(pmátrix)b_(1)\\b_(2)\\b_(3 )\\\vpontok \\b_( k)\\\end(pmátrix))=(\begin(pmátrix)\sum x_(t1)y_(t)\\\sum x_(t2)y_(t)\\ \sum x_(t3)y_(t )\\\vdots \\\sum x_(tk)y_(t)\\\end(pmátrix))) ahol minden összeget átvesznek minden megengedett értéket t (\displaystyle t).

Ha egy konstans szerepel a modellben (a szokásos módon), akkor x t 1 = 1 (\displaystyle x_(t1)=1) mindenkinek t (\displaystyle t), ezért az egyenletrendszer mátrixának bal felső sarkában a megfigyelések száma található n (\displaystyle n), az első sor és az első oszlop többi elemében pedig csak a változók értékeinek összege: ∑ x t j (\megjelenítési stílus \sum x_(tj))és a rendszer jobb oldalának első eleme - ∑ y t (\displaystyle \sum y_(t)).

Ennek az egyenletrendszernek a megoldása adja meg a lineáris modell legkisebb négyzetes becsléseinek általános képletét:

b ^ O L S = (X T X) − 1 X T y = (1 n X T X) − 1 1 n X T y = V x − 1 C x y (\displaystyle (\hat (b))_(OLS)=(X^(T) )X)^(-1)X^(T)y=\left((\frac (1)(n))X^(T)X\jobb)^(-1)(\frac (1)(n ))X^(T)y=V_(x)^(-1)C_(xy)).

Analitikai célokra ennek a képletnek az utolsó ábrázolása bizonyul hasznosnak (az egyenletrendszerben n-nel osztva az összegek helyett a számtani átlagok jelennek meg). Ha a regressziós modellben szereplő adatok központosított, akkor ebben az ábrázolásban az első mátrix a faktorok minta kovarianciamátrixát, a második pedig a függő változós faktorok kovarianciavektorát jelenti. Ha emellett az adatok is normalizálva az SKO-nál (vagyis végső soron szabványosított), akkor az első mátrix a faktorok mintakorrelációs mátrixát, a második vektor a faktorok mintakorrelációinak vektorát jelenti a függő változóval.

A modellek LLS-becsléseinek fontos tulajdonsága állandóval- a megszerkesztett regresszió egyenese átmegy a mintaadatok súlypontján, azaz teljesül az egyenlőség:

y ¯ = b 1 ^ + ∑ j = 2 k b ^ j x ¯ j (\displaystyle (\bar (y))=(\hat (b_(1)))+\sum _(j=2)^(k) (\kalap (b))_(j) (\bar (x))_(j)).

Különösen szélsőséges esetben, amikor az egyetlen regresszor egy konstans, azt találjuk, hogy egyetlen paraméter (maga az állandó) OLS-becslése megegyezik a magyarázott változó átlagértékével. Vagyis a nagy számok törvényeiből jó tulajdonságairól ismert számtani átlag is a legkisebb négyzetek becslése - teljesíti az ettől való eltérések minimális négyzetösszegére vonatkozó kritériumot.

A legegyszerűbb speciális esetek

Páronkénti lineáris regresszió esetén y t = a + b x t + ε t (\megjelenítési stílus y_(t)=a+bx_(t)+\varepszilon _(t)), amikor egy változó lineáris függését megbecsüljük a másiktól, a számítási képletek leegyszerűsödnek (mátrixalgebra nélkül is megoldható). Az egyenletrendszernek a következő formája van:

(1 x ¯ x ¯ x 2 ¯) (a b) = (y ¯ x y ¯) (\displaystyle (\begin(pmatrix)1&(\bar (x))\\(\bar (x))&(\bar (x^(2)))\\\end(pmátrix))(\begin(pmatrix)a\\b\\\end(pmátrix))=(\begin(pmatrix)(\bar (y))\\ (\overline(xy))\\\end(pmátrix))).

Innen könnyű megtalálni az együtthatók becsléseit:

( b ^ = Cov ⁡ (x , y) Var ⁡ (x) = x y ¯ − x ¯ y ¯ x 2 ¯ − x ¯ 2, a ^ = y ¯ − b x . (\displaystyle (\begin(esetek) (\hat (b))=(\frac (\mathop (\textrm (Cov)) (x,y))(\mathop (\textrm (Var)) (x)))=(\frac ((\overline (xy))-(\bar (x))(\bar (y)))((\overline (x^(2)))-(\overline (x))^(2))),\\( \hat (a))=(\bar (y))-b(\bar (x)).\end(esetek)))

Annak ellenére, hogy általában a konstans modellek előnyösebbek, bizonyos esetekben elméleti megfontolásokból ismert, hogy az állandó a (\displaystyle a) egyenlőnek kell lennie nullával. Például a fizikában a feszültség és az áram kapcsolatának van formája U = I ⋅ R (\displaystyle U=I\cdot R); feszültséget és áramerősséget mérve meg kell becsülni az ellenállást. Ebben az esetben modellről beszélünk y = b x (\displaystyle y=bx). Ebben az esetben egyenletrendszer helyett egyetlen egyenletünk van

(∑ x t 2) b = ∑ x t y t (\displaystyle \left(\sum x_(t)^(2)\right)b=\sum x_(t)y_(t)).

Ezért az egyetlen együttható becslésére szolgáló képlet alakja a következő

B ^ = ∑ t = 1 n x t y t ∑ t = 1 n x t 2 = x y ¯ x 2 ¯ (\ displaystyle (\hat (b)))=(\frac (\sum _(t=1)^(n)x_(t )y_(t))(\sum _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))).

A polinomiális modell esete

Ha az adatokat egy változó polinomiális regressziós függvénye illeszti f (x) = b 0 + ∑ i = 1 k b i x i (\displaystyle f(x)=b_(0)+\sum \limits _(i=1)^(k)b_(i)x^(i)), akkor a fokok érzékelése x i (\displaystyle x^(i)) mint független tényezők mindegyikre i (\displaystyle i) lehetőség van a modell paramétereinek becslésére a lineáris modell paramétereinek becslésére szolgáló általános képlet alapján. Ehhez elegendő az általános képletben figyelembe venni, hogy egy ilyen értelmezéssel x t i x t j = x t i x t j = x t i + j (\megjelenítési stílus x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j))és x t j y t = x t j y t (\megjelenítési stílus x_(tj)y_(t)=x_(t)^(j)y_(t)). Ezért a mátrixegyenletek ebben az esetben a következő formában lesznek:

(n ∑ n x t ... ∑ n x t k ∑ n x t ∑ n x i 2 ... ∑ m x i k + 1 ⋮ ⋱ ⋮ ∑ ∑ n x t k ∑ n x t k ∑ n x t k + 1 ] [ ⋑ bt k + 1 n ... ] n y t ∑ n x t y t ⋮ n x t k y t k y t ] . (\displaystyle (\begin(pmatrix)n&\sum \limits _(n)x_(t)&\ldots &\sum \limits _(n)x_(t)^(k)\\\sum \limits _( n)x_(t)&\sum \limits _(n)x_(i)^(2)&\lpontok &\sum \limits _(m)x_(i)^(k+1)\\\vpontok & \vdots &\ddots &\vdots \\\sum \limits _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\lpontok &\ összeg \limits _(n)x_(t)^(2k)\end(pmátrix))(\begin(bmatrix)b_(0)\\b_(1)\\\vdots \\b_(k)\end( bmatrix))=(\begin(bmatrix)\sum \limits _(n)y_(t)\\\sum \limits _(n)x_(t)y_(t)\\\vdots \\\sum \limits _(n)x_(t)^(k)y_(t)\end(bmátrix)).

Az OLS becslések statisztikai tulajdonságai

Először is megjegyezzük, hogy a lineáris modellek esetében a legkisebb négyzetek becslései lineáris becslések, amint az a fenti képletből következik. A legkisebb négyzetek becsléseinek torzítatlanságához szükséges és elégséges a regresszióanalízis legfontosabb feltételének teljesítése: a faktoroktól függő véletlen hiba matematikai elvárása nullával egyenlő. Ez a feltétel különösen akkor teljesül, ha

1. a véletlen hibák matematikai elvárása nulla, és
2. A tényezők és a véletlenszerű hibák független véletlenszerű értékek.

A második feltétel - az exogén tényezők feltétele - alapvető. Ha ez a tulajdonság nem teljesül, akkor feltételezhetjük, hogy szinte minden becslés rendkívül nem kielégítő: még konzisztens sem lesz (vagyis ebben az esetben még nagyon nagy adatmennyiség sem teszi lehetővé minőségi becslések készítését). Klasszikus esetben a faktorok determinizmusával kapcsolatban erősebb feltételezés történik, szemben a véletlenszerű hibával, ami automatikusan azt jelenti, hogy az exogén feltétel teljesül. Általános esetben a becslések konzisztenciájához elegendő az exogenitási feltételt a mátrix konvergenciájával együtt teljesíteni. V x (\displaystyle V_(x)) valamilyen nem degenerált mátrixra, ahogy a minta mérete a végtelenségig növekszik.

Ahhoz, hogy a konzisztencián és a torzítatlanságon túl a (közönséges) legkisebb négyzetek becslései is hatékonyak legyenek (a lineáris torzítatlan becslések osztályának legjobbjai), a véletlen hiba további tulajdonságainak teljesülniük kell:

Ezek a feltevések megfogalmazhatók a véletlen hibák vektorának kovariancia-mátrixára V (ε) = σ 2 I (\displaystyle V(\varepsilon)=\sigma ^(2)I).

Az ezeket a feltételeket kielégítő lineáris modellt ún klasszikus. A klasszikus lineáris regresszióra vonatkozó OLS-becslések torzítatlan, következetes és leghatékonyabb becslések az összes lineáris torzítatlan becslés osztályában (az angol szakirodalomban a rövidítést néha használják kék (A legjobb lineáris elfogulatlan becslő) a legjobb lineáris torzítatlan becslés; a hazai szakirodalomban gyakrabban hivatkoznak a Gauss - Markov-tételre). Amint az könnyen látható, az együtthatóbecslési vektor kovarianciamátrixa egyenlő lesz:

V (b ^ O L S) = σ 2 (X T X) − 1 (\displaystyle V((\hat (b))_(OLS))=\sigma ^(2)(X^(T)X)^(-1 )).

A hatékonyság azt jelenti, hogy ez a kovarianciamátrix "minimális" (az együtthatók bármely lineáris kombinációja, és különösen maguknak az együtthatóknak van minimális szórása), vagyis a lineáris, torzítatlan becslések osztályában az OLS becslések a legjobbak. Ennek a mátrixnak az átlós elemei - az együtthatók becsléseinek szórása - a kapott becslések minőségének fontos paraméterei. A kovarianciamátrix kiszámítása azonban nem lehetséges, mivel a véletlen hiba varianciája ismeretlen. Bizonyítható, hogy a véletlenszerű hibák szórásának torzítatlan és konzisztens (a klasszikus lineáris modell esetén) becslése a következő érték:

S 2 = R S S / (n − k) (\displaystyle s^(2)=RSS/(n-k)).

Ezt az értéket behelyettesítve a kovarianciamátrix képletébe, megkapjuk a kovarianciamátrix becslését. Az így kapott becslések is elfogulatlanok és következetesek. Fontos az is, hogy a hibavariancia (és így az együtthatók szórása) becslése és a modell paramétereinek becslései független valószínűségi változók legyenek, ami lehetővé teszi a modell együtthatókkal kapcsolatos hipotézisek teszteléséhez tesztstatisztikák készítését.

Meg kell jegyezni, hogy ha a klasszikus feltételezések nem teljesülnek, a legkisebb négyzetek paraméterbecslései nem a leghatékonyabbak, és ahol W (\displaystyle W) valami szimmetrikus pozitív határozott súlymátrix. A közönséges legkisebb négyzetek ennek a megközelítésnek egy speciális esete, amikor a súlymátrix arányos az identitásmátrixszal. Mint ismeretes, a szimmetrikus mátrixok (vagy operátorok) esetében dekompozíció van W = P T P (\displaystyle W=P^(T)P). Ezért ez a funkció a következőképpen ábrázolható e T P T P e = (P e) T P e = e ∗ T e ∗ (\displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *)), vagyis ez a funkcionális ábrázolható néhány transzformált „maradék” négyzetösszegeként. Így megkülönböztethetjük a legkisebb négyzetek módszereinek egy osztályát - LS-methods (Least Squares).

Bebizonyosodott (Aitken tétele), hogy egy általánosított lineáris regressziós modellnél (amelyben nincs korlátozás a véletlen hibák kovarianciamátrixára) a leghatékonyabbak (a lineáris torzítatlan becslések osztályában) az ún. általánosított OLS (OMNK, GLS – általánosított legkisebb négyzetek)- LS-módszer súlymátrixszal, amely megegyezik a véletlen hibák inverz kovarianciamátrixával: W = V ε − 1 (\displaystyle W=V_(\varepszilon )^(-1)).

Megmutatható, hogy a lineáris modell paramétereinek GLS-becsléseinek képlete a következő formában van

B ^ G L S = (X T V − 1 X) − 1 X T V − 1 y (\displaystyle (\hat (b))_(GLS)=(X^(T)V^(-1)X)^(-1) X^(T)V^(-1)y).

Ezeknek a becsléseknek a kovarianciamátrixa egyenlő lesz

V (b ^ G L S) = (X T V − 1 X) − 1 (\displaystyle V((\hat (b))_(GLS))=(X^(T)V^(-1)X)^(- egy)).

Valójában az OLS lényege az eredeti adatok bizonyos (lineáris) transzformációjában (P) és a szokásos legkisebb négyzetek alkalmazásában rejlik a transzformált adatokra. Ennek az átalakításnak az a célja, hogy a transzformált adatoknál a véletlenszerű hibák már kielégítsék a klasszikus feltételezéseket.

Súlyozott legkisebb négyzetek

Átlós súlymátrix (és innen a véletlen hibák kovarianciamátrixa) esetén az úgynevezett súlyozott legkisebb négyzetek (WLS - Weighted Least Squares) vannak. Ebben az esetben a modell maradékainak súlyozott négyzetösszege minimalizálva van, azaz minden megfigyelés kap egy „súlyt”, amely fordítottan arányos a véletlen hiba szórásával ebben a megfigyelésben: e T W e = ∑ t = 1 n e t 2 σ t 2 (\displaystyle e^(T)We=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ szigma _(t)^(2)))). Valójában az adatokat a megfigyelések súlyozásával transzformálják (osztva a véletlenszerű hibák feltételezett szórásával arányos mennyiséggel), és a súlyozott adatokra normál legkisebb négyzeteket alkalmaznak.

ISBN 978-5-7749-0473-0.

Ökonometria. Tankönyv / Szerk. Eliseeva I. I. – 2. kiadás. - M. : Pénzügy és statisztika, 2006. - 576 p. - ISBN 5-279-02786-3.

Alexandrova N.V. Matematikai szakkifejezések, fogalmak, megnevezések története: szótár-kézikönyv. - 3. kiadás - M. : LKI, 2008. - 248 p. - ISBN 978-5-382-00839-4. I.V. Mitin, Rusakov V.S. Kísérleti adatok elemzése és feldolgozása - 5. kiadás - 24p.

A függvényt egy 2. fokú polinommal közelítjük. Ehhez kiszámítjuk a normál egyenletrendszer együtthatóit:

, ,

Állítsunk össze egy normál legkisebb négyzetrendszert, amelynek alakja:

A rendszer megoldása könnyen megtalálható:, , .

Így a 2. fokú polinomot találjuk: .

Elméleti háttér

Vissza az oldalra<Введение в вычислительную математику. Примеры>

2. példa. Egy polinom optimális fokának megtalálása.

Vissza az oldalra<Введение в вычислительную математику. Примеры>

3. példa. Normál egyenletrendszer levezetése empirikus függőség paramétereinek megtalálására.

Vezessünk le egy egyenletrendszert az együtthatók és függvények meghatározására , amely elvégzi az adott függvény négyzetgyökér közelítését a pontokhoz képest. Függvény összeállítása és írja be a szükséges szélsőséges feltételt:

Ekkor a normál rendszer a következő formában jelenik meg:

Ismeretlen paraméterekre egy lineáris egyenletrendszert kaptunk, amely könnyen megoldható.

Elméleti háttér

Vissza az oldalra<Введение в вычислительную математику. Примеры>

Példa.

Kísérleti adatok a változók értékeiről xés nál nél táblázatban vannak megadva.

Igazításuk eredményeképpen a funkció

Használata legkisebb négyzetes módszer, közelítse ezeket az adatokat lineáris függéssel y=ax+b(keresse meg a lehetőségeket aés b). Nézze meg, hogy a két egyenes közül melyik a jobb (a legkisebb négyzetek módszere értelmében) igazítja a kísérleti adatokat. Készítsen rajzot.

A legkisebb négyzetek módszerének (LSM) lényege.

A feladat az, hogy megtaláljuk azokat a lineáris függőségi együtthatókat, amelyekre két változó függvénye aés ba legkisebb értéket veszi fel. Vagyis az adatok ismeretében aés b a kísérleti adatok négyzetes eltéréseinek összege a talált egyenestől lesz a legkisebb. Ez a legkisebb négyzetek módszerének lényege.

Így a példa megoldása két változó függvényének szélsőértékének megtalálására redukálódik.

Együttható-kereső képletek származtatása.

Összeállítunk és megoldunk egy két egyenletrendszert két ismeretlennel. Függvények parciális deriváltjainak keresése változók szerint aés b, ezeket a származékokat nullával egyenlővé tesszük.

A kapott egyenletrendszert bármilyen módszerrel megoldjuk (pl helyettesítési módszer vagy Cramer-módszer), és képleteket kapjunk együtthatók meghatározásához a legkisebb négyzetek módszerével (LSM).

Adatokkal aés b funkció a legkisebb értéket veszi fel. Ennek a ténynek a bizonyítékát alább az oldal végén található szöveg tartalmazza.

Ez a legkisebb négyzetek módszere. Képlet a paraméter megtalálásához a tartalmazza az összegeket , , , és a paramétert n a kísérleti adatok mennyisége. Ezen összegek értékét ajánlatos külön kiszámolni.

Együttható b számítás után találtuk meg a.

Ideje emlékezni az eredeti példára.

Megoldás.

Példánkban n=5. A táblázatot a szükséges együtthatók képleteiben szereplő összegek kiszámításának megkönnyítése érdekében töltjük ki.

A táblázat negyedik sorában szereplő értékeket úgy kapjuk meg, hogy minden számhoz megszorozzuk a 2. sor értékét a 3. sor értékével én.

A táblázat ötödik sorában lévő értékeket úgy kapjuk meg, hogy a 2. sor értékét minden számhoz négyzetre emeljük én.

A táblázat utolsó oszlopának értékei a sorok közötti értékek összegei.

Az együtthatók meghatározásához a legkisebb négyzetek módszerének képleteit használjuk aés b. Helyettesítjük bennük a megfelelő értékeket a táblázat utolsó oszlopából:

Következésképpen, y=0,165x+2,184 a kívánt közelítő egyenes.

Azt kell kideríteni, hogy melyik sorból y=0,165x+2,184 vagy jobban közelíti az eredeti adatokat, azaz a legkisebb négyzetek módszerével becslést készít.

A legkisebb négyzetek módszerének hibájának becslése.

Ehhez ki kell számítani az eredeti adatok négyzetes eltéréseinek összegét ezekből a sorokból és , egy kisebb érték egy olyan vonalnak felel meg, amely jobban közelíti az eredeti adatokat a legkisebb négyzetek módszere szempontjából.

Mivel , majd a vonal y=0,165x+2,184 jobban közelíti az eredeti adatokat.

A legkisebb négyzetek módszerének (LSM) grafikus illusztrációja.

Minden remekül néz ki a grafikonokon. A piros vonal a talált vonal y=0,165x+2,184, a kék vonal az , a rózsaszín pöttyök az eredeti adatok.

Mire való, mire szolgálnak ezek a közelítések?

Én személy szerint adatsimítási, interpolációs és extrapolációs problémák megoldására használom (az eredeti példában meg lehet kérni a megfigyelt érték értékét y nál nél x=3 vagy mikor x=6 MNC módszer szerint). Erről azonban később, az oldal egy másik részében fogunk még beszélni.

Lap teteje

Bizonyíték.

Tehát amikor megtalálták aés b függvény a legkisebb értéket veszi fel, akkor szükséges, hogy ezen a ponton a függvény másodrendű differenciáljának másodfokú alakjának mátrixa határozott pozitív volt. Mutassuk meg.

A másodrendű differenciál alakja:

Azaz

Ezért a másodfokú forma mátrixának van formája

és az elemek értéke nem függ attól aés b.

Mutassuk meg, hogy a mátrix pozitív határozott. Ehhez az szükséges, hogy a szög-mollok pozitívak legyenek.

Angular moll elsőrendű . Az egyenlőtlenség szigorú, mivel a pontok nem esnek egybe. A következőkben erre utalunk.

Másodrendű szögmoll

Bizonyítsuk be a matematikai indukció módszere.

Következtetés: talált értékek aés b megfelelnek a függvény legkisebb értékének , ezért a legkisebb négyzetek módszerének kívánt paraméterei.

Megértetted valaha?
Rendeljen megoldást

Lap teteje

Előrejelzés készítése a legkisebb négyzetek módszerével. Problémamegoldási példa

Extrapoláció — ez egy olyan tudományos kutatási módszer, amely a múltbeli és jelenbeli trendek, minták, az előrejelzés tárgyának jövőbeli fejlődéséhez fűződő kapcsolatok terjesztésén alapul. Az extrapolációs módszerek közé tartozik mozgóátlag módszer, exponenciális simítás módszer, legkisebb négyzetek módszere.

Lényeg legkisebb négyzetek módszere a megfigyelt és számított értékek közötti négyzetes eltérések összegének minimalizálásából áll. A számított értékeket a kiválasztott egyenlet - a regressziós egyenlet - szerint találjuk meg. Minél kisebb a távolság a tényleges és a számított értékek között, annál pontosabb az előrejelzés a regressziós egyenlet alapján.

A görbe kiválasztásának alapjául a vizsgált jelenség lényegének elméleti elemzése szolgál, melynek változását idősor mutatja. Néha figyelembe veszik a sorozatok szintjei növekedésének természetével kapcsolatos megfontolásokat. Tehát, ha a kibocsátás növekedését aritmetikai sorozatban várjuk, akkor a simítást egyenes vonalban hajtjuk végre. Ha kiderül, hogy a növekedés exponenciális, akkor a simítást az exponenciális függvény szerint kell elvégezni.

A legkisebb négyzetek módszerének munkaképlete : Y t+1 = a*X + b, ahol t + 1 az előrejelzési időszak; Уt+1 – előrejelzett mutató; a és b együtthatók; X az idő szimbóluma.

Az a és b együtthatók kiszámítása a következő képletekkel történik:

ahol Uf - a dinamika sorozat tényleges értékei; n az idősor szintjének száma;

Az idősorok legkisebb négyzetek módszerével történő simítása a vizsgált jelenség fejlődési mintázatainak tükrözését szolgálja. Egy trend analitikus kifejezésében az időt független változónak tekintjük, és a sorozatok szintjei ennek a független változónak a függvényében működnek.

Egy jelenség kialakulása nem attól függ, hogy hány év telt el a kiindulópont óta, hanem attól, hogy milyen tényezők, milyen irányban és milyen intenzitással befolyásolták a fejlődését. Ebből jól látható, hogy egy jelenség időbeni kialakulása e tényezők hatásának eredményeként jelenik meg.

A görbe típusának, az analitikus időfüggésnek a helyes beállítása a preprediktív elemzés egyik legnehezebb feladata. .

A trendet leíró függvény típusának megválasztása, amelynek paramétereit a legkisebb négyzetek módszerével határozzuk meg, a legtöbb esetben empirikusan történik, számos függvény összeállításával és egymással való összehasonlításával a gyök értékét tekintve. -átlag-négyzet hiba, a következő képlettel számítva:

ahol Uf - a dinamika sorozat tényleges értékei; Ur – az idősor számított (simított) értékei; n az idősor szintjének száma; p a trendet (fejlődési trend) leíró képletekben meghatározott paraméterek száma.

A legkisebb négyzetek módszerének hátrányai :

• amikor a vizsgált gazdasági jelenséget matematikai egyenlet segítségével próbáljuk leírni, az előrejelzés rövid ideig pontos lesz, és a regressziós egyenletet újra kell számolni, amint új információk állnak rendelkezésre;
• a regressziós egyenlet kiválasztásának bonyolultsága, amely szabványos számítógépes programokkal megoldható.

Példa a legkisebb négyzetek módszerének használatára előrejelzés elkészítéséhez

Egy feladat . Vannak a régió munkanélküliségi szintjét jellemző adatok, %

• Készítsen előrejelzést a régió munkanélküliségi rátájáról november, december, január hónapokra a mozgóátlag, exponenciális simítás, legkisebb négyzetek módszereivel.
• Számítsa ki az eredményül kapott előrejelzések hibáit az egyes módszerek használatával.
• Hasonlítsa össze a kapott eredményeket, vonjon le következtetéseket.

Legkisebb négyzetek megoldása

A megoldáshoz összeállítunk egy táblázatot, amelyben elvégezzük a szükséges számításokat:

ε = 28,63/10 = 2,86% előrejelzés pontossága magas.

Következtetés : A számítások során kapott eredmények összehasonlítása mozgóátlag módszer , exponenciális simítás és a legkisebb négyzetek módszere alapján elmondható, hogy az exponenciális simítási módszerrel végzett számítások átlagos relatív hibája 20-50% közé esik. Ez azt jelenti, hogy az előrejelzés pontossága ebben az esetben csak kielégítő.

Az első és a harmadik esetben az előrejelzési pontosság magas, mivel az átlagos relatív hiba kevesebb, mint 10%. A mozgóátlag módszer azonban megbízhatóbb eredmények elérését tette lehetővé (novemberi előrejelzés - 1,52%, decemberi előrejelzés - 1,53%, januárra előrejelzés - 1,49%), mivel az átlagos relatív hiba ennek a módszernek a használatakor a legkisebb - 1 ,13%.

Legkisebb négyzet alakú módszer

Egyéb kapcsolódó cikkek:

A felhasznált források listája

1. Tudományos és módszertani ajánlások a társadalmi kockázatok diagnosztizálásának és a kihívások, veszélyek és társadalmi következmények előrejelzésének kérdéskörében. Orosz Állami Szociális Egyetem. Moszkva. 2010;
2. Vladimirova L.P. Előrejelzés és tervezés piaci körülmények között: Proc. juttatás. M .: "Dashkov and Co" kiadó, 2001;
3. Novikova N.V., Pozdeeva O.G. A Nemzetgazdaság előrejelzése: Oktatási és Módszertani útmutató. Jekatyerinburg: Ural Kiadó. állapot gazdaság egyetem, 2007;
4. Slutskin L.N. MBA tanfolyam üzleti előrejelzésből. Moszkva: Alpina Business Books, 2006.

MNE Program

Adja meg az adatokat

Adatok és közelítés y = a + b x

én- a kísérleti pont száma;
x i- a pontban rögzített paraméter értéke én;
y i- a mért paraméter értéke a ponton én;
ω i- mérési súly a ponton én;
y i, kalc.- a mért érték és a regresszióból számított érték különbsége y azon a ponton én;
S x i (x i)- hibabecslés x i méréskor y azon a ponton én.

Adatok és közelítés y = k x

én	x i	y i	ω i	y i, kalc.	Δy i	S x i (x i)

Kattintson a diagramra

Az MNC online program felhasználói kézikönyve.

Az adatmezőben minden egyes sorba írja be az „x” és „y” értékeit egy kísérleti pontban. Az értékeket szóközzel (szóközzel vagy tabulátorral) kell elválasztani.

A harmadik érték a "w" pontsúlya lehet. Ha a pontsúly nincs megadva, akkor egyenlő eggyel. Az esetek túlnyomó többségében a kísérleti pontok súlya ismeretlen vagy nem számítható ki; minden kísérleti adat egyenértékűnek tekinthető. Néha a vizsgált értéktartományban lévő súlyok határozottan nem egyenértékűek, sőt elméletileg is kiszámíthatók. Például a spektrofotometriában a tömegek egyszerű képletekkel számíthatók ki, bár ezt alapvetően mindenki elhanyagolja a munkaerőköltségek csökkentése érdekében.

Az adatok beilleszthetők a vágólapra egy irodai táblázatból, például az Excelből a Microsoft Office-ból vagy a Calc-ból az Open Office-ból. Ehhez válassza ki a másolandó adatok tartományát a táblázatban, másolja a vágólapra, és illessze be az adatokat ezen az oldalon az adatmezőbe.

A legkisebb négyzetek módszerével történő kiszámításhoz legalább két pontra van szükség két együttható "b" - az egyenes dőlésszögének érintője és "a" - az "y" egyenes által levágott érték meghatározásához. `tengely.

A számított regressziós együtthatók hibájának becsléséhez a kísérleti pontok számát kettőnél többre kell állítani.

A legkisebb négyzetek módszere (LSM).

Minél nagyobb a kísérleti pontok száma, annál pontosabb az együtthatók statisztikai becslése (a Student-féle együttható csökkenése miatt), és annál közelebb áll a becslés az általános minta becsléséhez.

Az egyes kísérleti pontokon az értékek megszerzése gyakran jelentős munkaerőköltséggel jár, ezért gyakran kompromisszumos számú kísérletet végeznek, amely emészthető becslést ad, és nem vezet túlzott munkaerőköltségekhez. A két együtthatós lineáris legkisebb négyzetek függésének kísérleti pontjainak számát általában 5-7 pont tartományban választják meg.

A legkisebb négyzetek rövid elmélete a lineáris függőséghez

Tegyük fel, hogy van egy kísérleti adatkészletünk értékpárok formájában ["y_i", "x_i"], ahol az "i" egy kísérleti mérés száma 1-től "n"-ig; "y_i" - a mért érték értéke az "i" pontban; `x_i` - az 'i' pontban beállított paraméter értéke.

Példa erre az Ohm-törvény működése. Az elektromos áramkör szakaszai közötti feszültség (potenciálkülönbség) változtatásával mérjük az ezen a szakaszon áthaladó áram nagyságát. A fizika megadja nekünk a kísérletileg megállapított függőséget:

"I=U/R",
ahol "I" - áramerősség; "R" - ellenállás; "U" - feszültség.

Ebben az esetben az "y_i" a mért áramérték, az "x_i" pedig a feszültség értéke.

Egy másik példaként vegyük egy anyag oldatban lévő oldatának fényelnyelését. A kémia a következő képletet adja:

"A = εl C",
ahol "A" az oldat optikai sűrűsége; "ε" - oldott anyag áteresztőképessége; `l` - úthossz, amikor a fény áthalad az oldatot tartalmazó küvettán; "C" az oldott anyag koncentrációja.

Ebben az esetben az "y_i" a mért "A" optikai sűrűség, az "x_i" pedig az általunk beállított anyag koncentrációja.

Megvizsgáljuk azt az esetet, amikor az "x_i" beállításának relatív hibája sokkal kisebb, mint az "y_i" mérésének relatív hibája. Azt is feltételezzük, hogy az "y_i" minden mért értéke véletlenszerű és normális eloszlású, pl. tartsa be a normál eloszlási törvényt.

Abban az esetben, ha az "y" lineáris függése az "x"-től, felírhatjuk az elméleti függést:
"y = a + bx".

Geometriai szempontból a "b" együttható a vonal meredekségének érintőjét jelöli az "x" tengelyhez, az "a" együttható pedig az "y" értékét a vonal metszéspontjában a " y tengely ("x = 0"-val).

A regressziós egyenes paramétereinek megkeresése.

Egy kísérletben az "y_i" mért értékei nem fekszenek pontosan az elméleti vonalon a mérési hibák miatt, amelyek mindig a valós élet velejárói. Ezért egy lineáris egyenletet egyenletrendszerrel kell ábrázolni:
"y_i = a + b x_i + ε_i" (1),
ahol "ε_i" az "y" ismeretlen mérési hibája az "i" kísérletben.

A függőséget (1) is nevezik regresszió, azaz a két mennyiség egymástól való függése statisztikai szignifikánsan.

A függőség helyreállításának feladata az `a` és `b` együtthatók megtalálása az [`y_i`, `x_i`] kísérleti pontokból.

Az "a" és "b" együtthatók megtalálásához általában használják legkisebb négyzetes módszer(MNK). Ez a maximális valószínűség elvének speciális esete.

Írjuk át az (1)-et a következőképpen: "ε_i = y_i - a - b x_i".

Ekkor a hibák négyzetes összege lesz
"Φ = összeg_(i=1)^(n) ε_i^2 = összeg_(i=1)^(n) (y_i - a - b x_i)^2". (2)

A legkisebb négyzetek módszerének elve az, hogy minimalizálja a (2) összeget az "a" és "b" paraméterek tekintetében..

A minimumot akkor érjük el, ha a (2) összeg parciális deriváltjai az "a" és "b" együtthatók tekintetében nullával egyenlőek:
`töredék(részleges Φ)(részleges a) = tört(részösszeg_(i=1)^(n) (y_i - a - b x_i)^2)(részleges a) = 0
`töredék(részleges Φ)(részleges b) = tört(részösszeg_(i=1)^(n) (y_i - a - b x_i)^2)(részleges b) = 0

A deriváltokat kibővítve egy két egyenletrendszert kapunk két ismeretlennel:
`összeg_(i=1)^(n) (2a + 2bx_i - 2y_i) = összeg_(i=1)^(n) (a + bx_i - y_i) = 0
`összeg_(i=1)^(n) (2bx_i^2 + 2ax_i - 2x_iy_i) = összeg_(i=1)^(n) (bx_i^2 + ax_i - x_iy_i) = 0

Kinyitjuk a zárójeleket, és a kívánt együtthatóktól független összegeket átvisszük a másik felére, így lineáris egyenletrendszert kapunk:
`összeg_(i=1)^(n) y_i = a n + b összeg_(i=1)^(n) bx_i
`összeg_(i=1)^(n) x_iy_i = a sum_(i=1)^(n) x_i + b összeg_(i=1)^(n) x_i^2

A kapott rendszert megoldva képleteket találunk az "a" és "b" együtthatókhoz:

`a = frac(összeg_(i=1)^(n) y_i összeg_(i=1)^(n) x_i^2 - összeg_(i=1)^(n) x_i összeg_(i=1)^(n ) x_iy_i) (n sum_(i=1)^(n) x_i^2 — (sum_(i=1)^(n) x_i)^2)" (3.1)

`b = frac(n összeg_(i=1)^(n) x_iy_i - sum_(i=1)^(n) x_i összeg_(i=1)^(n) y_i) (n összeg_(i=1)^ (n) x_i^2 - (összeg_(i=1)^(n) x_i)^2)" (3.2)

Ezeknek a képleteknek vannak megoldásai, ha `n > 1` (a vonal legalább 2 ponttal húzható), és ha a determináns `D = n sum_(i=1)^(n) x_i^2 — (sum_(i= 1) )^(n) x_i)^2 != 0`, azaz. amikor a kísérlet „x_i” pontjai eltérőek (azaz ha a vonal nem függőleges).

A regressziós egyenes együtthatóinak hibáinak becslése

Az "a" és "b" együtthatók kiszámítása során fellépő hiba pontosabb becsléséhez nagyszámú kísérleti pontra van szükség. Ha `n = 2`, lehetetlen megbecsülni az együtthatók hibáját, mert a közelítő egyenes egyértelműen két ponton fog átmenni.

A "V" valószínűségi változó hibája meghatározásra kerül hibahalmozási törvény
`S_V^2 = összeg_(i=1)^p (töredék(részleges f)(részleges z_i))^2 S_(z_i)^2,
ahol "p" az "S_(z_i)" hibával rendelkező "z_i" paraméterek száma, amelyek befolyásolják az "S_V" hibát;
Az "f" a "V" függőségi függvénye a "z_i" függvényen.

Írjuk fel a hibák halmozódásának törvényét az "a" és "b" együtthatók hibájára
`S_a^2 = összeg_(i=1)^(n)(töredék(részleges a)(részleges y_i))^2 S_(y_i)^2 + összeg_(i=1)^(n)(töredék(részleges a) )(részleges x_i))^2 S_(x_i)^2 = S_y^2 összeg_(i=1)^(n)(töredék(részleges a)(részleges y_i))^2 `,
`S_b^2 = összeg_(i=1)^(n)(töredék(részleges b)(részleges y_i))^2 S_(y_i)^2 + összeg_(i=1)^(n)(töredék(részleges b) )(részleges x_i))^2 S_(x_i)^2 = S_y^2 összeg_(i=1)^(n)(töredék(részleges b)(részleges y_i))^2 `,
mert `S_(x_i)^2 = 0` (korábban fenntartással éltünk, hogy az `x` hibája elhanyagolható).

"S_y^2 = S_(y_i)^2" – a hiba (szórás, szórásnégyzet) az "y" dimenzióban, feltételezve, hogy a hiba minden "y" értéknél egységes.

Ha behelyettesítjük az „a” és „b” kiszámításához szükséges képleteket a kapott kifejezésekbe, azt kapjuk

`S_a^2 = S_y^2 frac(sum_(i=1)^(n) (sum_(i=1)^(n) x_i^2 - x_i sum_(i=1)^(n) x_i)^2 ) (D^2) = S_y^2 frac((n sum_(i=1)^(n) x_i^2 - (sum_(i=1)^(n) x_i)^2) sum_(i=1) ^(n) x_i^2) (D^2) = S_y^2 frac(összeg_(i=1)^(n) x_i^2) (D)" (4.1)

`S_b^2 = S_y^2 frac(összeg_(i=1)^(n) (n x_i - sum_(i=1)^(n) x_i)^2) (D^2) = S_y^2 frac( n (n sum_(i=1)^(n) x_i^2 - (sum_(i=1)^(n) x_i)^2)) (D^2) = S_y^2 frac(n) (D) (4.2)

A legtöbb valódi kísérletben az "Sy" értékét nem mérik. Ehhez a terv egy vagy több pontján több párhuzamos mérést (kísérletet) kell végezni, ami megnöveli a kísérlet idejét (esetleg költségét). Ezért általában azt feltételezik, hogy az "y" eltérése a regressziós egyenestől véletlenszerűnek tekinthető. Az "y" varianciabecslést ebben az esetben a képlet számítja ki.

`S_y^2 = S_(y, rest)^2 = frac(sum_(i=1)^n (y_i - a - b x_i)^2) (n-2)".

Az "n-2" osztó azért jelenik meg, mert csökkentettük a szabadsági fokok számát, mivel két együtthatót számítottunk ugyanazon kísérleti adatok mintájára.

Ezt a becslést az „S_(y, rest)^2” regressziós egyeneshez viszonyított maradék varianciának is nevezik.

Az együtthatók szignifikancia értékelése a Hallgató szempontja szerint történik

"t_a = frac(|a|) (S_a)", "t_b = frac(|b|) (S_b)"

Ha a számított `t_a`, `t_b` kritériumok kisebbek, mint a `t(P, n-2)` táblázatkritériumok, akkor a megfelelő együttható nem tér el jelentősen a nullától egy adott `P` valószínűség mellett.

A lineáris kapcsolat leírásának minőségének értékeléséhez a Fisher-kritérium használatával összehasonlíthatja az "S_(y, rest)^2" és az "S_(y bar)" értékeket az átlaggal.

`S_(y bar) = frac(sum_(i=1)^n (y_i - bar y)^2) (n-1) = frac(sum_(i=1)^n (y_i - (sum_(i=) 1)^n y_i) /n)^2) (n-1)" - az "y" átlaghoz viszonyított varianciájának mintabecslése.

A függőség leírására szolgáló regressziós egyenlet hatékonyságának értékeléséhez a Fisher-együtthatót számítjuk ki.
"F = S_(y bar) / S_(y, rest)^2",
amelyet a táblázatos Fisher-együtthatóval (F(p, n-1, n-2)) hasonlítanak össze.

Ha "F > F(P, n-1, n-2)", az "y = f(x)" függőség regressziós egyenletet használó leírása és az átlagot használó leírás közötti különbség statisztikailag szignifikánsnak tekinthető valószínűséggel. "P". Azok. a regresszió jobban leírja a függőséget, mint az "y" átlag körüli terjedése.

Kattintson a diagramra
értékek hozzáadásához a táblázathoz

Legkisebb négyzet alakú módszer. A legkisebb négyzetek módszere az a, b, c ismeretlen paraméterek, az elfogadott funkcionális függés meghatározását jelenti

A legkisebb négyzetek módszere ismeretlen paraméterek meghatározását jelenti a, b, c,… elfogadott funkcionális függőség

y = f(x,a,b,c,…),

amely megadná a hiba átlagos négyzetének (szórásának) minimumát

, (24)

ahol x i , y i - a kísérletből kapott számpárok halmaza.

Mivel egy több változóból álló függvény extrémumának feltétele az a feltétel, hogy parciális deriváltjai nullával egyenlőek, akkor a paraméterek a, b, c,… egyenletrendszerből határozzuk meg:

; ; ; … (25)

Emlékeztetni kell arra, hogy a legkisebb négyzetek módszere a függvény alakja utáni paraméterek kiválasztására szolgál y = f(x) meghatározott.

Ha elméleti megfontolásból nem lehet következtetéseket levonni arra vonatkozóan, hogy mi legyen az empirikus képlet, akkor vizuális ábrázolásokon kell vezérelni, elsősorban a megfigyelt adatok grafikus ábrázolásán.

A gyakorlatban leggyakrabban a következő típusú funkciókra korlátozódik:

1) lineáris ;

2) másodfokú a .

A legkisebb négyzetek módszerének lényege a trendmodell azon paramétereinek megtalálásában, amelyek a legjobban leírják bármely véletlenszerű jelenség időbeli vagy térbeli fejlődési trendjét (a trend egy vonal, amely ennek a fejlődésnek a trendjét jellemzi). A legkisebb négyzetek módszerének (OLS) feladata, hogy ne csak valamilyen trendmodellt találjon, hanem a legjobb vagy optimális modellt. Ez a modell akkor lesz optimális, ha a megfigyelt tényleges értékek és a megfelelő számított trendértékek közötti eltérések négyzetes összege minimális (legkisebb):

ahol a megfigyelt tényleges értékek szórása

és a megfelelő számított trendérték,

A vizsgált jelenség tényleges (megfigyelt) értéke,

a trendmodell becsült értéke,

A vizsgált jelenség megfigyelésének száma.

Az MNC-t ritkán használják önmagában. Általában a korrelációs vizsgálatok során leggyakrabban csak szükséges technikaként használják. Emlékeztetni kell arra, hogy az LSM információs bázisa csak megbízható statisztikai sorozat lehet, és a megfigyelések száma nem lehet kevesebb 4-nél, ellenkező esetben az LSM simító eljárásai elveszíthetik józan eszüket.

Az OLS eszközkészlet a következő eljárásokra redukálódik:

Első eljárás. Kiderül, hogy van-e egyáltalán tendencia az eredményül kapott attribútum megváltoztatására, amikor a kiválasztott faktor-argumentum megváltozik, vagy más szóval, hogy van-e kapcsolat a " nál nél "és" x ».

Második eljárás. Meghatározzák, hogy melyik vonal (pálya) képes legjobban leírni vagy jellemezni ezt a tendenciát.

Harmadik eljárás.

Példa. Tegyük fel, hogy van információnk a vizsgált gazdaság átlagos napraforgóterméséről (9.1. táblázat).

9.1. táblázat

Megfigyelési szám
Termőképesség, c/ha

Mivel hazánkban a napraforgó termesztésének technológiai színvonala nem sokat változott az elmúlt 10 évben, ez azt jelenti, hogy a vizsgált időszakban a terméshozam ingadozása nagy valószínűséggel nagymértékben függött az időjárási és éghajlati viszonyok ingadozásától. Ez igaz?

Az első MNC eljárás. Az a hipotézis, hogy a napraforgó termésmennyiségének változásában az időjárási és éghajlati viszonyok változásaitól függő tendencia fennáll a vizsgált 10 év során, tesztelés alatt áll.

Ebben a példában a " y » célszerű a napraforgó hozamát venni, és a « x » a megfigyelt év száma a vizsgált időszakban. Annak a hipotézisnek a tesztelése, hogy létezik-e bármilyen kapcsolat x "és" y » kétféleképpen valósítható meg: manuálisan és számítógépes programok segítségével. Természetesen a számítástechnika rendelkezésre állásával ez a probléma önmagában is megoldódik. Az OLS-eszközök jobb megértése érdekében azonban ajánlatos tesztelni azt a hipotézist, hogy létezik-e kapcsolat x "és" y » manuálisan, amikor csak egy toll és egy közönséges számológép van kéznél. Ilyen esetekben a trend létezésének hipotézisét vizuálisan leginkább az elemzett idősor grafikus képének helye - a korrelációs mező - ellenőrizheti:

Példánkban a korrelációs mező egy lassan növekvő vonal körül helyezkedik el. Ez önmagában is azt jelzi, hogy a napraforgótermés változásában van egy bizonyos tendencia. Csak akkor nem lehet trend jelenlétéről beszélni, ha a korrelációs mező körnek, körnek, szigorúan függőleges vagy szigorúan vízszintes felhőnek néz ki, vagy véletlenszerűen elszórt pontokból áll. Minden más esetben meg kell erősíteni azt a hipotézist, hogy kapcsolat van x "és" y és folytassa a kutatást.

Második MNC eljárás. Megállapításra kerül, hogy az elemzett időszak napraforgótermés-változásának alakulását melyik vonal (pálya) tudja a legjobban leírni vagy jellemezni.

A számítástechnika rendelkezésre állásával automatikusan megtörténik az optimális trend kiválasztása. A "kézi" feldolgozás során az optimális funkció kiválasztása általában vizuális módon történik - a korrelációs mező helye alapján. Azaz a diagram típusának megfelelően az empirikus trendnek (a tényleges pályának) leginkább megfelelő vonal egyenlete kerül kiválasztásra.

Mint tudják, a természetben nagyon sokféle funkcionális függőség létezik, ezért rendkívül nehéz vizuálisan elemezni még egy kis részét is. Szerencsére a valós gazdasági gyakorlatban a legtöbb összefüggés pontosan leírható akár parabolával, akár hiperbolával, vagy egyenessel. Ebben a tekintetben a legjobb funkció kiválasztására szolgáló "kézi" opcióval csak erre a három modellre korlátozhatja magát.

		Hiperbola:

Másodrendű parabola: :

Könnyen belátható, hogy példánkban az elemzett 10 év napraforgótermés-változásának trendjét az egyenes vonal jellemzi legjobban, így a regressziós egyenlet egyenes egyenlet lesz.

Harmadik eljárás. Kiszámolják az ezt az egyenest jellemző regressziós egyenlet paramétereit, vagyis meghatározzák a legjobb trendmodellt leíró analitikai képletet.

A regressziós egyenlet paramétereinek értékeinek megkeresése, esetünkben a és a paraméterek a legkisebb négyzetek magja. Ez a folyamat egy normál egyenletrendszer megoldására redukálódik.

(9.2)

Ez az egyenletrendszer meglehetősen könnyen megoldható a Gauss-módszerrel. Emlékezzünk vissza, hogy a megoldás eredményeként a példánkban megtaláljuk a és a paraméterek értékeit. Így a talált regressziós egyenlet a következő formában lesz: