Analiza danych metodą najmniejszych kwadratów. Najmniej kwadratów w Excelu

Metoda najmniejszych kwadratów

W końcowej lekcji tematu zapoznamy się z najsłynniejszą aplikacją FNP, który znajduje najszersze zastosowanie w różnych dziedzinach nauki i praktyki. Może to być fizyka, chemia, biologia, ekonomia, socjologia, psychologia i tak dalej i tak dalej. Z woli losu często mam do czynienia z gospodarką, dlatego dziś załatwię dla Ciebie bilet do niesamowitego kraju o nazwie Ekonometria=) … Jak tego nie chcesz?! Tam jest bardzo dobrze - musisz tylko zdecydować! …Ale na pewno chcesz się nauczyć, jak rozwiązywać problemy najmniejsze kwadraty. A szczególnie pilni czytelnicy nauczą się je rozwiązywać nie tylko dokładnie, ale i BARDZO SZYBKO ;-) Ale najpierw ogólne określenie problemu+ powiązany przykład:

Niech wskaźniki będą badane w jakimś obszarze tematycznym, które mają wyraz ilościowy. Jednocześnie istnieją wszelkie powody, by sądzić, że wskaźnik zależy od wskaźnika. Założenie to może być zarówno hipotezą naukową, jak i opierać się na elementarnym zdrowym rozsądku. Zostawmy jednak naukę na boku i zbadajmy bardziej apetyczne obszary - a mianowicie sklepy spożywcze. Oznacz przez:

– powierzchnia handlowa sklepu spożywczego, mkw.,
- roczny obrót sklepu spożywczego, mln rubli.

Oczywiste jest, że im większa powierzchnia sklepu, tym w większości przypadków jego obroty są większe.

Załóżmy, że po przeprowadzeniu obserwacji / eksperymentów / obliczeń / tańca z tamburynem mamy do dyspozycji dane liczbowe:

W przypadku sklepów spożywczych wszystko jest jasne: - to powierzchnia sklepu I, - jego roczny obrót, - powierzchnia sklepu II, - jego roczny obrót itp. Swoją drogą wcale nie jest konieczny dostęp do materiałów niejawnych – dość dokładną ocenę obrotów można uzyskać za pomocą statystyka matematyczna. Jednak nie rozpraszaj się, kurs szpiegostwa handlowego jest już opłacony =)

Dane tabelaryczne można również zapisać w postaci punktów i przedstawić w zwykły dla nas sposób. Układ kartezjański .

Odpowiedzmy na ważne pytanie: ile punktów potrzeba na badanie jakościowe?

Im większy tym lepszy. Minimalny dopuszczalny zestaw składa się z 5-6 punktów. Ponadto przy niewielkiej ilości danych „nieprawidłowe” wyniki nie powinny być uwzględniane w próbie. Na przykład mały sklep elitarny może pomóc o rząd wielkości bardziej niż „swoim kolegom”, zniekształcając w ten sposób ogólny wzór, który należy znaleźć!

Jeśli jest to dość proste, musimy wybrać funkcję , harmonogram który przechodzi jak najbliżej punktów . Taka funkcja nazywa się przybliżanie (przybliżenie - przybliżenie) lub funkcja teoretyczna . Ogólnie rzecz biorąc, od razu pojawia się tu oczywisty „udacznik” – wielomian wysokiego stopnia, którego wykres przechodzi przez WSZYSTKIE punkty. Ale ta opcja jest skomplikowana i często po prostu niepoprawna. (ponieważ wykres będzie cały czas „wijał” i słabo odzwierciedlał główny trend).

Pożądana funkcja musi więc być wystarczająco prosta i jednocześnie odpowiednio odzwierciedlać zależność. Jak można się domyślić, jedną z metod znajdowania takich funkcji jest najmniejsze kwadraty. Najpierw przeanalizujmy jego istotę w sposób ogólny. Niech jakaś funkcja przybliży dane eksperymentalne:


Jak ocenić dokładność tego przybliżenia? Obliczmy też różnice (odchylenia) między wartościami doświadczalnymi i funkcjonalnymi (studiujemy rysunek). Pierwsza myśl, jaka przychodzi mi do głowy, to oszacowanie, jak duża jest kwota, ale problem polega na tym, że różnice mogą być ujemne. (na przykład, ) a odchylenia w wyniku takiego podsumowania znoszą się nawzajem. Dlatego jako oszacowanie dokładności aproksymacji sugeruje się przyjęcie sumy moduły odchylenia:

lub w formie złożonej: (dla tych, którzy nie wiedzą: to ikona sumy, i - zmienna pomocnicza - "licznik", która przyjmuje wartości od 1 do ) .

Przybliżając punkty eksperymentalne różnymi funkcjami, otrzymamy różne wartości, a gdzie ta suma jest mniejsza jest oczywiste - ta funkcja jest dokładniejsza.

Taka metoda istnieje i nazywa się metoda najmniejszego modułu. Jednak w praktyce stał się znacznie bardziej rozpowszechniony. metoda najmniejszych kwadratów, w którym możliwe wartości ujemne są eliminowane nie przez moduł, ale przez podniesienie do kwadratu odchyleń:

, po czym kieruje się wysiłki na wybór takiej funkcji, aby suma kwadratów odchyleń był tak mały, jak to tylko możliwe. Właściwie stąd nazwa metody.

A teraz wracamy do kolejnego ważnego punktu: jak wspomniano powyżej, wybrana funkcja powinna być dość prosta - ale jest też wiele takich funkcji: liniowy , hiperboliczny , wykładniczy , logarytmiczny , kwadratowy itp. I oczywiście tutaj od razu chciałbym „zredukować pole działania”. Jaką klasę funkcji wybrać do badań? Prymitywna, ale skuteczna technika:

- Najłatwiejszy sposób na narysowanie punktów na rysunku i przeanalizuj ich lokalizację. Jeśli mają tendencję do układania się w linii prostej, powinieneś poszukać równanie linii prostej z optymalnymi wartościami i . Innymi słowy zadanie polega na znalezieniu TAKICH współczynników - aby suma kwadratów odchyleń była jak najmniejsza.

Jeśli punkty znajdują się na przykład wzdłuż hiperbola, to jasne jest, że funkcja liniowa da słabe przybliżenie. W tym przypadku szukamy najbardziej „korzystnych” współczynników dla równania hiperboli – takich, które dają minimalną sumę kwadratów .

Teraz zauważ, że w obu przypadkach mówimy o funkcje dwóch zmiennych, którego argumentami są przeszukane opcje zależności:

I w gruncie rzeczy musimy rozwiązać standardowy problem - znaleźć minimum funkcji dwóch zmiennych.

Przypomnijmy nasz przykład: załóżmy, że punkty „sklepowe” mają tendencję do układania się w linii prostej i są wszelkie powody, by sądzić, że ich obecność zależność liniowa obrót z obszaru handlowego. Znajdźmy TAKIE współczynniki „a” i „be”, aby suma kwadratów odchyleń był najmniejszy. Wszystko jak zwykle - najpierw pochodne cząstkowe I rzędu. Według zasada liniowości możesz rozróżnić tuż pod ikoną sumy:

Jeśli chcesz wykorzystać te informacje do eseju lub zajęć, będę bardzo wdzięczny za link na liście źródeł, nigdzie nie znajdziesz tak szczegółowych obliczeń:

Zróbmy standardowy system:

Każde równanie redukujemy o „dwa” i dodatkowo „rozbijamy” sumy:

Notatka : niezależnie przeanalizuj, dlaczego „a” i „be” mogą zostać usunięte z ikony sumy. Nawiasem mówiąc, formalnie można to zrobić za pomocą sumy

Przepiszmy system w formie „stosowanej”:

po czym zaczyna się rysować algorytm rozwiązania naszego problemu:

Czy znamy współrzędne punktów? Wiemy. Sumy możemy znaleźć? Łatwo. Komponujemy najprostsze układ dwóch równań liniowych z dwiema niewiadomymi(„a” i „beh”). Rozwiązujemy system, na przykład Metoda Cramera, w wyniku czego powstaje punkt stacjonarny . Kontrola warunek wystarczający dla ekstremum, możemy zweryfikować, że w tym momencie funkcja dociera dokładnie minimum. Weryfikacja wiąże się z dodatkowymi obliczeniami i dlatego zostawimy ją za kulisami. (w razie potrzeby można wyświetlić brakującą ramkę)tutaj ) . Wyciągamy ostateczny wniosek:

Funkcjonować Najlepszym sposobem (przynajmniej w porównaniu z jakąkolwiek inną funkcją liniową) przybliża punkty eksperymentalne . Z grubsza mówiąc, jego wykres zbliża się do tych punktów jak najbliżej. W tradycji ekonometria wynikowa funkcja aproksymująca jest również nazywana sparowane równanie regresji liniowej .

Rozważany problem ma duże znaczenie praktyczne. W sytuacji z naszym przykładem równanie pozwala przewidzieć jaki rodzaj obrotów ("yig") będzie w sklepie z taką lub inną wartością powierzchni sprzedaży (jedno lub inne znaczenie „x”). Tak, wynikowa prognoza będzie tylko prognozą, ale w wielu przypadkach okaże się całkiem dokładna.

Przeanalizuję tylko jeden problem z „prawdziwymi” liczbami, ponieważ nie ma w tym żadnych trudności - wszystkie obliczenia są na poziomie szkolnego programu nauczania w klasach 7-8. W 95 procentach przypadków zostaniesz poproszony o znalezienie funkcji liniowej, ale na samym końcu artykułu pokażę, że nie jest trudniej znaleźć równania dla optymalnej hiperboli, wykładnika i kilku innych funkcji.

W rzeczywistości pozostaje dystrybuować obiecane gadżety - abyś nauczył się rozwiązywać takie przykłady nie tylko dokładnie, ale także szybko. Dokładnie studiujemy standard:

Zadanie

W wyniku badania zależności między dwoma wskaźnikami uzyskano następujące pary liczb:

Korzystając z metody najmniejszych kwadratów, znajdź funkcję liniową, która najlepiej przybliża funkcję empiryczną (doświadczony) dane. Zrób rysunek, na którym w kartezjańskim prostokątnym układzie współrzędnych narysuj punkty doświadczalne i wykres funkcji aproksymującej . Znajdź sumę kwadratów odchyleń między wartościami empirycznymi i teoretycznymi. Dowiedz się, czy funkcja jest lepsza (pod względem metody najmniejszych kwadratów) przybliżone punkty doświadczalne.

Zauważ, że wartości „x” są wartościami naturalnymi, a to ma charakterystyczne znaczące znaczenie, o którym opowiem nieco później; ale oczywiście mogą być ułamkowe. Dodatkowo, w zależności od treści konkretnego zadania, zarówno wartości „X”, jak i „G” mogą być całkowicie lub częściowo ujemne. No cóż, dostaliśmy zadanie „bez twarzy” i zaczynamy je rozwiązanie:

Znajdujemy współczynniki funkcji optymalnej jako rozwiązanie układu:

Dla celów bardziej zwartej notacji można pominąć zmienną „licznik”, ponieważ jest już jasne, że sumowanie odbywa się od 1 do .

Wygodniej jest obliczyć wymagane kwoty w formie tabelarycznej:


Obliczenia można przeprowadzić na mikrokalkulatorze, ale znacznie lepiej jest korzystać z Excela – zarówno szybciej, jak i bez błędów; obejrzyj krótki film:

W ten sposób otrzymujemy następujące system:

Tutaj możesz pomnożyć drugie równanie przez 3 i odjąć drugi od pierwszego członu równania przez termin. Ale to szczęście – w praktyce systemy często nie są uzdolnione, a w takich przypadkach to oszczędza Metoda Cramera:
, dzięki czemu system posiada unikalne rozwiązanie.

Sprawdźmy. Rozumiem, że nie chcę, ale po co pomijać błędy, których absolutnie nie można przegapić? Podstaw znalezione rozwiązanie po lewej stronie każdego równania układu:

Otrzymane są właściwe części odpowiednich równań, co oznacza, że ​​układ jest rozwiązany poprawnie.

Zatem pożądana funkcja aproksymująca: – od wszystkie funkcje liniowe dane eksperymentalne są przez nią najlepiej przybliżone.

w odróżnieniu proste zależność obrotów sklepu od jego powierzchni, stwierdzona zależność to odwrócić (zasada „im więcej – tym mniej”), a fakt ten jest natychmiast ujawniany przez negatyw współczynnik kątowy. Funkcjonować informuje nas, że wraz ze wzrostem pewnego wskaźnika o 1 jednostkę, wartość wskaźnika zależnego maleje przeciętny o 0,65 jednostki. Jak mówią, im wyższa cena gryki, tym mniej sprzedawana.

Aby wykreślić funkcję aproksymującą, znajdujemy dwie jej wartości:

i wykonaj rysunek:

Zbudowana linia nazywa się linia trendu (mianowicie liniowa linia trendu, czyli w ogólnym przypadku trend niekoniecznie musi być linią prostą). Wszyscy znają wyrażenie „być w trendzie” i myślę, że ten termin nie wymaga dodatkowych komentarzy.

Oblicz sumę kwadratów odchyleń między wartościami empirycznymi i teoretycznymi. Geometrycznie jest to suma kwadratów długości „szkarłatnych” odcinków (dwa z nich są tak małe, że nawet ich nie widać).

Podsumujmy obliczenia w tabeli:


Można je ponownie przeprowadzić ręcznie, na wszelki wypadek podam przykład dla pierwszego punktu:

ale znacznie wydajniej jest zrobić znany już sposób:

Powtórzmy: jakie jest znaczenie wyniku? Z wszystkie funkcje liniowe funkcjonować wykładnik jest najmniejszy, to znaczy jest najlepszym przybliżeniem w swojej rodzinie. I tutaj, nawiasem mówiąc, ostatnie pytanie problemu nie jest przypadkowe: co jeśli proponowana funkcja wykładnicza będzie lepiej przybliżać punkty eksperymentalne?

Znajdźmy odpowiednią sumę kwadratów odchyleń - aby je rozróżnić, oznaczę je literą „epsilon”. Technika jest dokładnie taka sama:

I znowu dla każdego obliczenia pożaru za 1 punkt:

W Excelu używamy funkcji standardowej DO POTĘGI (Składnię można znaleźć w pomocy programu Excel).

Wniosek: , więc funkcja wykładnicza aproksymuje punkty eksperymentalne gorzej niż linia prosta .

Należy jednak zauważyć, że „gorsze” jest jeszcze nie znaczy, co jest nie tak. Teraz zbudowałem wykres tej funkcji wykładniczej - i ona również przechodzi blisko punktów - do tego stopnia, że ​​bez badania analitycznego trudno powiedzieć, która funkcja jest dokładniejsza.

To kończy rozwiązanie i wracam do pytania o naturalne wartości argumentu. W różnych opracowaniach, z reguły, miesiące, lata lub inne równe przedziały czasowe, ekonomiczne lub socjologiczne, numeruje się naturalnym „X”. Rozważmy na przykład następujący problem:

Posiadamy następujące dane o obrotach detalicznych sklepu za pierwsze półrocze:

Korzystając z wyrównania analitycznego w linii prostej, znajdź wielkość sprzedaży w lipcu.

Tak, nie ma problemu: liczymy miesiące 1, 2, 3, 4, 5, 6 i korzystamy ze zwykłego algorytmu, w wyniku którego otrzymujemy równanie - jedyne, co jeśli chodzi o czas to zwykle litera „te " (choć to nie jest krytyczne). Z otrzymanego równania wynika, że ​​w pierwszym półroczu obroty wzrosły średnio o 27,74 jp. na miesiąc. Uzyskaj prognozę na lipiec (miesiąc #7): j.m.

I podobne zadania - ciemność jest ciemna. Chętni mogą skorzystać z dodatkowej usługi, a mianowicie my Kalkulator Excela (wersja demo), który rozwiązuje problem niemal natychmiast! Dostępna jest działająca wersja programu w zamian albo za symboliczna płatność.

Na koniec lekcji krótka informacja o znajdowaniu zależności niektórych innych typów. Właściwie nie ma nic specjalnego do powiedzenia, ponieważ podstawowe podejście i algorytm rozwiązania pozostają takie same.

Załóżmy, że położenie punktów doświadczalnych przypomina hiperbolę. Następnie, aby znaleźć współczynniki najlepszej hiperboli, musisz znaleźć minimum funkcji - chętni mogą przeprowadzić szczegółowe obliczenia i przejść do podobnego układu:

Z formalnego technicznego punktu widzenia uzyskuje się go z systemu „liniowego” (oznaczmy to gwiazdką) zastępując „x” . Cóż, kwoty obliczyć, po czym do optymalnych współczynników „a” i „być” na dłoni.

Jeśli są wszelkie powody, by sądzić, że punkty są ułożone wzdłuż krzywej logarytmicznej, a następnie w celu wyszukania optymalnych wartości i znalezienia minimum funkcji . Formalnie w systemie (*) należy zastąpić:

Podczas obliczania w Excelu użyj funkcji LN. Przyznaję, że nie będzie mi trudno tworzyć kalkulatory dla każdego z rozważanych przypadków, ale i tak będzie lepiej, jeśli samemu "zaprogramujecie" obliczenia. Samouczki wideo, które pomogą.

W przypadku zależności wykładniczej sytuacja jest nieco bardziej skomplikowana. Aby sprowadzić sprawę do przypadku liniowego, bierzemy logarytm funkcji i używamy własności logarytmu:

Teraz porównując otrzymaną funkcję z funkcją liniową , dochodzimy do wniosku, że w układzie (*) należy zastąpić przez , oraz - przez . Dla wygody oznaczamy:

Należy pamiętać, że system jest rozwiązany w odniesieniu do i , dlatego po znalezieniu pierwiastków nie można zapomnieć o znalezieniu samego współczynnika.

Aby przybliżyć punkty eksperymentalne optymalna parabola , należy znaleźć minimum funkcji trzech zmiennych. Po wykonaniu standardowych czynności otrzymujemy następujące "działanie" system:

Tak, oczywiście, jest tu więcej kwot, ale nie ma żadnych trudności podczas korzystania z ulubionej aplikacji. Na koniec powiem Ci, jak szybko sprawdzić za pomocą Excela i zbudować pożądaną linię trendu: utwórz wykres punktowy, wybierz dowolny punkt za pomocą myszy i kliknij prawym przyciskiem myszy wybierz opcję "Dodaj linię trendu". Następnie wybierz typ wykresu i na zakładce „Opcje” aktywuj opcję "Pokaż równanie na wykresie". OK

Jak zawsze chcę zakończyć artykuł jakimś pięknym zwrotem i prawie wpisałem „Bądź w trendzie!”. Ale z czasem zmienił zdanie. I nie dlatego, że jest schematyczny. Nie wiem jak ktokolwiek, ale nie chcę w ogóle podążać za promowanym amerykańskim, a zwłaszcza europejskim trendem =) Dlatego życzę każdemu z Was, aby trzymał się swojej linii!

http://www.grandars.ru/student/vysshaya-matematika/metod-naimenshih-kvadratov.html

Metoda najmniejszych kwadratów jest jedną z najczęstszych i najbardziej rozwiniętych ze względu na jej prostota i efektywność metod szacowania parametrów liniowych modeli ekonometrycznych. Jednocześnie należy zachować pewną ostrożność przy jego stosowaniu, gdyż budowane z jego pomocą modele mogą nie spełniać szeregu wymagań co do jakości swoich parametrów i w efekcie nie „dobrze” odzwierciedlać wzorców rozwoju procesów.

Rozważmy bardziej szczegółowo procedurę szacowania parametrów liniowego modelu ekonometrycznego metodą najmniejszych kwadratów. Taki model w postaci ogólnej można przedstawić równaniem (1.2):

yt = a 0 + a 1 x 1t +...+ a n x nt + ε t .

Dane początkowe przy szacowaniu parametrów a 0 , a 1 ,..., a n to wektor wartości zmiennej zależnej tak= (y 1 , y 2 , ... , y T)" oraz macierz wartości zmiennych niezależnych

w której pierwsza kolumna składająca się z jedynek odpowiada współczynnikowi modelu .

Metoda najmniejszych kwadratów otrzymała swoją nazwę w oparciu o podstawową zasadę, że otrzymane na jej podstawie oszacowania parametrów muszą spełniać: suma kwadratów błędu modelu powinna być minimalna.

Przykłady rozwiązywania problemów metodą najmniejszych kwadratów

Przykład 2.1. Przedsiębiorstwo handlowe posiada sieć składającą się z 12 sklepów, których informacje o działalności przedstawia tabela. 2.1.

Kierownictwo firmy chciałoby wiedzieć, jak wielkość rocznych obrotów zależy od powierzchni handlowej sklepu.

Tabela 2.1

Numer sklepu	Roczny obrót, mln rubli	Powierzchnia handlowa, tys. m 2
	19,76	0,24
	38,09	0,31
	40,95	0,55
	41,08	0,48
	56,29	0,78
	68,51	0,98
	75,01	0,94
	89,05	1,21
	91,13	1,29
	91,26	1,12
	99,84	1,29
	108,55	1,49

Rozwiązanie najmniejszych kwadratów. Wyznaczmy - roczny obrót -tego sklepu, miliony rubli; - powierzchnia sprzedaży sklepu, tys. m2.

Rys.2.1. Wykres punktowy dla przykładu 2.1

Wyznaczenie postaci zależności funkcjonalnej między zmiennymi i skonstruowanie wykresu rozrzutu (rys. 2.1).

Na podstawie wykresu rozrzutu możemy stwierdzić, że roczny obrót jest dodatnio zależny od obszaru sprzedaży (tj. y będzie rosło wraz ze wzrostem ). Najbardziej odpowiednią formą połączenia funkcjonalnego jest: liniowy.

Informacje do dalszych obliczeń przedstawiono w tabeli. 2.2. Metodą najmniejszych kwadratów estymujemy parametry liniowego jednoczynnikowego modelu ekonometrycznego

Tabela 2.2

t	y t	x 1t	y t 2	x1t2	x 1t r t
	19,76	0,24	390,4576	0,0576	4,7424
	38,09	0,31	1450,8481	0,0961	11,8079
	40,95	0,55	1676,9025	0,3025	22,5225
	41,08	0,48	1687,5664	0,2304	19,7184
	56,29	0,78	3168,5641	0,6084	43,9062
	68,51	0,98	4693,6201	0,9604	67,1398
	75,01	0,94	5626,5001	0,8836	70,5094
	89,05	1,21	7929,9025	1,4641	107,7505
	91,13	1,29	8304,6769	1,6641	117,5577
	91,26	1,12	8328,3876	1,2544	102,2112
	99,84	1,29	9968,0256	1,6641	128,7936
	108,55	1,49	11783,1025	2,2201	161,7395
S	819,52	10,68	65008,554	11,4058	858,3991
Przeciętny	68,29	0,89

W ten sposób,

W związku z tym przy wzroście powierzchni handlowej o 1 tys. m 2, przy innych warunkach bez zmian, średni roczny obrót wzrasta o 67,8871 mln rubli.

Przykład 2.2. Kierownictwo przedsiębiorstwa zauważyło, że roczny obrót zależy nie tylko od powierzchni sprzedażowej sklepu (patrz przykład 2.1), ale także od średniej liczby odwiedzających. Odpowiednie informacje przedstawiono w tabeli. 2.3.

Tabela 2.3

Rozwiązanie. Oznacz - średnia liczba odwiedzających th sklep dziennie, tysiąc osób.

Wyznaczenie postaci zależności funkcjonalnej między zmiennymi i skonstruowanie wykresu rozrzutu (rys. 2.2).

Na podstawie wykresu rozrzutu możemy wywnioskować, że roczny obrót jest dodatnio powiązany ze średnią liczbą odwiedzających dziennie (tj. y będzie rosło wraz ze wzrostem ). Forma zależności funkcjonalnej jest liniowa.

Ryż. 2.2. Wykres punktowy na przykład 2.2

Tabela 2.4

t	x 2t	x 2t 2	yt x 2t	x 1t x 2t
	8,25	68,0625	163,02	1,98
	10,24	104,8575	390,0416	3,1744
	9,31	86,6761	381,2445	5,1205
	11,01	121,2201	452,2908	5,2848
	8,54	72,9316	480,7166	6,6612
	7,51	56,4001	514,5101	7,3598
	12,36	152,7696	927,1236	11,6184
	10,81	116,8561	962,6305	13,0801
	9,89	97,8121	901,2757	12,7581
	13,72	188,2384	1252,0872	15,3664
	12,27	150,5529	1225,0368	15,8283
	13,92	193,7664	1511,016	20,7408
S	127,83	1410,44	9160,9934	118,9728
Przeciętny	10,65

Generalnie konieczne jest wyznaczenie parametrów dwuczynnikowego modelu ekonometrycznego

y t \u003d a 0 + a 1 x 1t + a 2 x 2t + ε t

Informacje potrzebne do dalszych obliczeń przedstawia tabela. 2.4.

Oszacujmy parametry liniowego dwuczynnikowego modelu ekonometrycznego metodą najmniejszych kwadratów.

W ten sposób,

Ocena współczynnika = 61,6583 pokazuje, że przy innych warunkach bez zmian, przy wzroście powierzchni handlowej o 1 tys. m 2 roczny obrót wzrośnie średnio o 61,6583 mln rubli.

Szacunek współczynnika = 2,2748 pokazuje, że przy innych warunkach niezmienionych, przy wzroście średniej liczby odwiedzających na 1 tys. osób. dziennie roczny obrót wzrośnie średnio o 2,2748 mln rubli.

Przykład 2.3. Korzystając z informacji przedstawionych w tabeli. 2.2 i 2.4, oszacuj parametr jednoczynnikowego modelu ekonometrycznego

gdzie jest wyśrodkowana wartość rocznego obrotu -tego sklepu, miliony rubli; - wyśrodkowana wartość średniej dziennej liczby odwiedzających t-ty sklep, tys. osób. (patrz przykłady 2.1-2.2).

Rozwiązanie. Dodatkowe informacje wymagane do obliczeń przedstawiono w tabeli. 2.5.

Tabela 2.5

	-48,53	-2,40	5,7720	116,6013
	-30,20	-0,41	0,1702	12,4589
	-27,34	-1,34	1,8023	36,7084
	-27,21	0,36	0,1278	-9,7288
	-12,00	-2,11	4,4627	25,3570
	0,22	-3,14	9,8753	-0,6809
	6,72	1,71	2,9156	11,4687
	20,76	0,16	0,0348	3,2992
	22,84	-0,76	0,5814	-17,413
	22,97	3,07	9,4096	70,4503
	31,55	1,62	2,6163	51,0267
	40,26	3,27	10,6766	131,5387
Suma			48,4344	431,0566

Korzystając ze wzoru (2.35), otrzymujemy

W ten sposób,

http://www.cleverstudents.ru/articles/mnk.html

Przykład.

Dane eksperymentalne dotyczące wartości zmiennych X oraz w podano w tabeli.

W wyniku ich wyrównania funkcja

Za pomocą metoda najmniejszych kwadratów, przybliż te dane liniową zależnością y=ax+b(znajdź opcje a oraz b). Dowiedz się, która z dwóch linii jest lepsza (w sensie metody najmniejszych kwadratów) dopasowuje dane eksperymentalne. Narysuj coś.

Rozwiązanie.

W naszym przykładzie n=5. Wypełniamy tabelę dla wygody obliczania kwot zawartych we wzorach wymaganych współczynników.

Wartości w czwartym rzędzie tabeli uzyskuje się mnożąc wartości drugiego rzędu przez wartości trzeciego rzędu dla każdej liczby i.

Wartości w piątym rzędzie tabeli uzyskuje się podnosząc do kwadratu wartości drugiego rzędu dla każdej liczby i.

Wartości ostatniej kolumny tabeli to sumy wartości w wierszach.

Aby obliczyć współczynniki, korzystamy ze wzorów metody najmniejszych kwadratów a oraz b. Zastępujemy w nich odpowiednie wartości z ostatniej kolumny tabeli:

W konsekwencji, y=0,165x+2,184 jest pożądaną przybliżoną linią prostą.

Pozostaje dowiedzieć się, która z linii y=0,165x+2,184 lub lepiej przybliża oryginalne dane, tj. dokonuje oszacowania metodą najmniejszych kwadratów.

Dowód.

Więc kiedy zostanie znaleziony a oraz b funkcja przyjmuje najmniejszą wartość, konieczne jest, aby w tym miejscu macierz kwadratowej postaci różniczki drugiego rzędu dla funkcji był pozytywny. Pokażmy to.

Różnica drugiego rzędu ma postać:

To znaczy

Dlatego macierz postaci kwadratowej ma postać

a wartości elementów nie zależą od a oraz b.

Pokażmy, że matryca jest pozytywna. Wymaga to, aby małe kąty były dodatnie.

Moll kątowy pierwszego rzędu . Nierówność jest ścisła, ponieważ punkty

• instruktaż

Wstęp

Jestem programistą komputerowym. Zrobiłem największy skok w mojej karierze, kiedy nauczyłem się mówić: "Niczego nierozumiem!" Teraz nie wstydzę się powiedzieć luminarzowi nauki, że wygłasza mi wykład, że nie rozumiem, o czym ten luminarz do mnie mówi. A to bardzo trudne. Tak, trudno i wstyd przyznać, że nie wiesz. Kto lubi przyznać, że nie zna podstaw czegoś-tam. Z racji wykonywanego zawodu muszę chodzić na wiele prezentacji i wykładów, na których, przyznaję, w zdecydowanej większości czuję się senny, bo nic nie rozumiem. I nie rozumiem, bo ogromny problem obecnej sytuacji w nauce leży w matematyce. Zakłada, że ​​wszyscy uczniowie znają absolutnie wszystkie dziedziny matematyki (co jest absurdalne). Przyznać, że nie wiesz, co to jest pochodna (że to jest trochę później), to wstyd.

Ale nauczyłem się mówić, że nie wiem, czym jest mnożenie. Tak, nie wiem, czym jest podalgebra nad algebrą Liego. Tak, nie wiem, dlaczego równania kwadratowe są potrzebne w życiu. Przy okazji, jeśli jesteś pewien, że wiesz, to mamy o czym porozmawiać! Matematyka to seria sztuczek. Matematycy próbują zmylić i zastraszyć opinię publiczną; gdzie nie ma zamieszania, reputacji, autorytetu. Tak, mówienie w najbardziej abstrakcyjnym języku jest prestiżowe, co samo w sobie jest kompletnym nonsensem.

Czy wiesz, co to jest pochodna? Najprawdopodobniej powiesz mi o granicy relacji różnicy. Na pierwszym roku matematyki na Petersburskim Uniwersytecie Państwowym Wiktor Pietrowicz Chawin me zdefiniowany pochodną jako współczynnik pierwszego członu szeregu Taylora funkcji w punkcie (oddzielną gimnastyką było wyznaczenie szeregu Taylora bez pochodnych). Śmiałem się z tej definicji przez długi czas, aż w końcu zrozumiałem, o co chodzi. Pochodna jest niczym innym jak tylko miarą tego, jak bardzo różniczkowana funkcja jest podobna do funkcji y=x, y=x^2, y=x^3.

Mam teraz zaszczyt wykładać studentów, którzy: strach matematyka. Jeśli boisz się matematyki - jesteśmy w drodze. Jak tylko spróbujesz przeczytać jakiś tekst i wydaje ci się, że jest zbyt skomplikowany, to wiedz, że jest źle napisany. Twierdzę, że nie ma ani jednego obszaru matematyki, o którym nie można mówić „na palcach” bez utraty dokładności.

Wyzwanie na najbliższą przyszłość: poinstruowałem moich uczniów, aby zrozumieli, czym jest kontroler liniowo-kwadratowy. Nie wstydź się, zmarnuj trzy minuty swojego życia, skorzystaj z linku. Jeśli nic nie rozumiesz, to jesteśmy w drodze. Ja (zawodowy matematyk-programista) też nic nie rozumiałem. I zapewniam, że można to rozwiązać „na palcach”. W tej chwili nie wiem, co to jest, ale zapewniam, że uda nam się to rozgryźć.

Tak więc pierwszy wykład, który wygłoszę moim uczniom po tym, jak przybiegną do mnie z przerażeniem ze słowami, że kontroler liniowo-kwadratowy jest strasznym błędem, którego nigdy w życiu nie opanujesz, jest metody najmniejszych kwadratów. Czy potrafisz rozwiązywać równania liniowe? Jeśli czytasz ten tekst, to najprawdopodobniej nie.

Tak więc, biorąc pod uwagę dwa punkty (x0, y0), (x1, y1), na przykład (1,1) i (3,2), zadanie polega na znalezieniu równania prostej przechodzącej przez te dwa punkty:

ilustracja

Ta linia prosta powinna mieć równanie podobne do następującego:

Tutaj alfa i beta są nam nieznane, ale znane są dwa punkty tej linii:

Możesz zapisać to równanie w postaci macierzowej:

Tu należy zrobić liryczną dygresję: czym jest matryca? Matryca to nic innego jak dwuwymiarowa tablica. Jest to sposób przechowywania danych, nie należy im już podawać więcej wartości. Od nas zależy, jak dokładnie zinterpretować daną macierz. Okresowo będę interpretował to jako odwzorowanie liniowe, okresowo jako formę kwadratową, a czasem po prostu jako zbiór wektorów. To wszystko zostanie wyjaśnione w kontekście.

Zamieńmy konkretne macierze na ich symboliczną reprezentację:

Wtedy (alfa, beta) można łatwo znaleźć:

Dokładniej dla naszych poprzednich danych:

Co prowadzi do następującego równania prostej przechodzącej przez punkty (1,1) i (3,2):

Dobra, tutaj wszystko jest jasne. I znajdźmy równanie przechodzącej przez nią linii prostej trzy punkty: (x0,y0), (x1,y1) i (x2,y2):

Oh-oh-oh, ale mamy trzy równania dla dwóch niewiadomych! Standardowy matematyk powie, że nie ma rozwiązania. Co powie programista? I najpierw przepisze poprzedni układ równań w następującej postaci:

W naszym przypadku wektory i, j, b są trójwymiarowe, dlatego (w ogólnym przypadku) nie ma rozwiązania tego układu. Każdy wektor (alfa\*i + beta\*j) leży w płaszczyźnie rozpiętej przez wektory (i, j). Jeżeli b nie należy do tej płaszczyzny, to nie ma rozwiązania (równość w równaniu nie może być osiągnięta). Co robić? Poszukajmy kompromisu. Oznaczmy przez e(alfa, beta) jak dokładnie nie osiągnęliśmy równości:

I postaramy się zminimalizować ten błąd:

Dlaczego kwadrat?

Szukamy nie tylko minimum normy, ale minimum kwadratu normy. Czemu? Sam punkt minimum jest zbieżny, a kwadrat daje funkcję gładką (kwadratowa funkcja argumentów (alfa,beta)), podczas gdy tylko długość daje funkcję w postaci stożka, nieróżnicowalnej w punkcie minimum. Br. Kwadrat jest wygodniejszy.

Oczywiście błąd jest minimalizowany, gdy wektor mi prostopadły do ​​płaszczyzny rozpiętej przez wektory i oraz j.

Ilustracja

Innymi słowy: szukamy prostej takiej, aby suma kwadratów długości odległości od wszystkich punktów do tej linii była minimalna:

AKTUALIZACJA: tutaj mam ościeżnicę, odległość do linii powinna być mierzona w pionie, a nie w rzucie prostokątnym. Ten komentator ma rację.

Ilustracja

Zupełnie innymi słowami (ostrożnie, słabo sformalizowane, ale powinno to być jasne na palcach): bierzemy wszystkie możliwe linie między wszystkimi parami punktów i szukamy średniej linii między wszystkimi:

Ilustracja

Kolejne wyjaśnienie na palcach: między wszystkimi punktami danych (tu mamy trzy) a linią, której szukamy, przyczepiamy sprężynę, a linia stanu równowagi jest dokładnie tym, czego szukamy.

Minimalna forma kwadratowa

Tak więc, biorąc pod uwagę wektor b i płaszczyzna rozpięta przez kolumny-wektory macierzy A(w tym przypadku (x0,x1,x2) i (1,1,1)) szukamy wektora mi o minimalnej długości kwadratu. Oczywiście minimum jest osiągalne tylko dla wektora mi, ortogonalna do płaszczyzny rozpiętej przez kolumny-wektory macierzy A:

Innymi słowy szukamy wektora x=(alfa, beta) takiego, że:

Przypominam, że ten wektor x=(alfa, beta) jest minimum funkcji kwadratowej ||e(alfa, beta)||^2:

W tym miejscu warto pamiętać, że macierz może być interpretowana tak samo jak forma kwadratowa, na przykład macierz jednostkowa ((1,0),(0,1)) może być interpretowana jako funkcja x^2 + y ^2:

forma kwadratowa

Cała ta gimnastyka jest znana jako regresja liniowa.

Równanie Laplace'a z warunkiem brzegowym Dirichleta

Teraz najprostszy prawdziwy problem: istnieje pewna trójkątna powierzchnia, konieczne jest jej wygładzenie. Na przykład załadujmy mój model twarzy:

Dostępne jest oryginalne zatwierdzenie. Aby zminimalizować zewnętrzne zależności, wziąłem kod mojego oprogramowania do renderowania, już na Habré. Aby rozwiązać system liniowy, używam OpenNL , to świetny solver, ale bardzo trudny do zainstalowania: musisz skopiować dwa pliki (.h + .c) do folderu projektu. Całe wygładzanie odbywa się za pomocą następującego kodu:

Dla (int d=0; d<3; d++) { nlNewContext(); nlSolverParameteri(NL_NB_VARIABLES, verts.size()); nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE); nlBegin(NL_SYSTEM); nlBegin(NL_MATRIX); for (int i=0; i<(int)verts.size(); i++) { nlBegin(NL_ROW); nlCoefficient(i, 1); nlRightHandSide(verts[i][d]); nlEnd(NL_ROW); } for (unsigned int i=0; i&twarz = twarze[i]; dla (int j=0; j<3; j++) { nlBegin(NL_ROW); nlCoefficient(face[ j ], 1); nlCoefficient(face[(j+1)%3], -1); nlEnd(NL_ROW); } } nlEnd(NL_MATRIX); nlEnd(NL_SYSTEM); nlSolve(); for (int i=0; i<(int)verts.size(); i++) { verts[i][d] = nlGetVariable(i); } }

Współrzędne X, Y i Z są rozdzielne, wygładzam je osobno. Oznacza to, że rozwiązuję trzy układy równań liniowych, z których każdy ma taką samą liczbę zmiennych, jak liczba wierzchołków w moim modelu. Pierwsze n wierszy macierzy A ma tylko 1 na wiersz, a pierwsze n wierszy wektora b ma oryginalne współrzędne modelu. Oznacza to, że wiązuję sprężynę między nową pozycją wierzchołka a starą pozycją wierzchołka - nowe nie powinny znajdować się zbyt daleko od starych.

Wszystkie kolejne wiersze macierzy A (faces.size()*3 = liczba krawędzi wszystkich trójkątów w siatce) mają jedno wystąpienie 1 i jedno wystąpienie -1, podczas gdy wektor b ma zero składowych przeciwnych. Oznacza to, że umieszczam sprężynę na każdej krawędzi naszej trójkątnej siatki: wszystkie krawędzie starają się uzyskać ten sam wierzchołek, co ich punkty początkowe i końcowe.

Jeszcze raz: wszystkie wierzchołki są zmiennymi i nie mogą odbiegać daleko od swojej pierwotnej pozycji, ale jednocześnie starają się upodobnić do siebie.

Oto wynik:

Wszystko byłoby w porządku, model jest naprawdę wygładzony, ale odsunął się od pierwotnej krawędzi. Zmieńmy trochę kod:

Dla (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }

W naszej macierzy A dla wierzchołków znajdujących się na krawędzi nie dodaję wiersza z kategorii v_i = verts[i][d], ale 1000*v_i = 1000*verts[i][d]. Co to zmienia? A to zmienia naszą kwadratową formę błędu. Teraz pojedyncze odchylenie od góry na krawędzi będzie kosztować nie jedną jednostkę, jak poprzednio, ale 1000 * 1000 jednostek. Oznacza to, że na skrajnych wierzchołkach zawiesiliśmy mocniejszą sprężynę, rozwiązanie woli mocniej rozciągać inne. Oto wynik:

Podwójmy siłę sprężyn między wierzchołkami:
nlCoefficient(twarz[ j ], 2); nlCoficiency(face[(j+1)%3], -2);

Logiczne jest, że powierzchnia stała się gładsza:

A teraz nawet sto razy silniejszy:

Co to jest? Wyobraź sobie, że zanurzyliśmy druciany pierścień w wodzie z mydłem. W rezultacie powstały film mydlany będzie starał się mieć jak najmniej krzywiznę, dotykając tej samej granicy - naszego pierścienia z drutu. To właśnie dostaliśmy, naprawiając obramowanie i prosząc o gładką powierzchnię wewnątrz. Gratulacje, właśnie rozwiązaliśmy równanie Laplace'a z warunkami brzegowymi Dirichleta. Brzmi nieźle? Ale tak naprawdę do rozwiązania jest tylko jeden układ równań liniowych.

Równanie Poissona

Miejmy inną fajną nazwę.

Powiedzmy, że mam taki obraz:

Wszyscy są dobrzy, ale nie lubię krzesła.

Obraz przeciąłem na pół:

I wybiorę krzesło własnymi rękami:

Następnie przeciągnę wszystko co jest białe w masce na lewą stronę obrazu i jednocześnie na całym obrazku będę mówił, że różnica między dwoma sąsiednimi pikselami powinna być równa różnicy między dwoma sąsiednimi pikselami prawy obraz:

Dla (int i=0; i

Oto wynik:

Kod i zdjęcia są dostępne

Metoda najmniejszych kwadratów (OLS, ang. Ordinary najmniejszych kwadratów, OLS)- metoda matematyczna stosowana do rozwiązywania różnych problemów, polegająca na minimalizowaniu sumy kwadratów odchyleń niektórych funkcji od pożądanych zmiennych. Może służyć do „rozwiązywania” naddeterminowanych układów równań (gdy liczba równań przekracza liczbę niewiadomych), znalezienia rozwiązania w przypadku zwykłych (nie nadmiernie określonych) nieliniowych układów równań, przybliżenia wartości punktowych określonej funkcji. OLS jest jedną z podstawowych metod analizy regresji do szacowania nieznanych parametrów modeli regresji na podstawie danych próbnych.

Encyklopedyczny YouTube

1 / 5

✪ Metoda najmniejszych kwadratów. Temat

✪ Mitin I. V. - Przetwarzanie wyników fizycznych. eksperyment - metoda najmniejszych kwadratów (Wykład 4)

✪ Najmniej kwadratów, lekcja 1/2. Funkcja liniowa

✪ Ekonometria. Wykład 5. Metoda najmniejszych kwadratów

✪ Metoda najmniejszych kwadratów. Odpowiedzi

Napisy na filmie obcojęzycznym

Fabuła

Do początku XIX wieku. naukowcy nie mieli pewnych reguł rozwiązywania układu równań, w którym liczba niewiadomych jest mniejsza niż liczba równań; Do tego czasu stosowano poszczególne metody, w zależności od rodzaju równań i pomysłowości kalkulatorów, w związku z czym różne kalkulatory, wychodząc z tych samych danych obserwacyjnych, dochodziły do ​​różnych wniosków. Gaussowi (1795) przypisuje się pierwsze zastosowanie tej metody, a Legendre (1805) niezależnie odkrył ją i opublikował pod jej współczesną nazwą (fr. Methode des moindres quarres) . Laplace połączył tę metodę z teorią prawdopodobieństw, a amerykański matematyk Adrain (1808) rozważał jej probabilistyczne zastosowania. Metoda jest szeroko rozpowszechniona i udoskonalana dzięki dalszym badaniom Enckego, Bessela, Hansena i innych.

Istota metody najmniejszych kwadratów

Wynajmować x (\styl wyświetlania x)- zestaw n (\styl wyświetlania n) nieznane zmienne (parametry), fa ja (x) (\displaystyle f_(i)(x)), , m > n (\displaystyle m>n)- zestaw funkcji z tego zestawu zmiennych. Problem w doborze takich wartości x (\styl wyświetlania x) aby wartości tych funkcji były jak najbardziej zbliżone do niektórych wartości r ja (\displaystyle y_(i)). W istocie mówimy o „rozwiązaniu” naddeterminowanego układu równań fa ja (x) = r ja (\displaystyle f_(i)(x)=y_(i)), i = 1 , … , m (\displaystyle i=1,\ldots,m) we wskazanym sensie maksymalna bliskość lewej i prawej części systemu. Istotą LSM jest wybranie jako „miar bliskości” sumy kwadratów odchyleń lewej i prawej części | f ja (x) − y ja | (\displaystyle |f_(i)(x)-y_(i)|). Tak więc istotę LSM można wyrazić w następujący sposób:

∑ ja e ja 2 = ∑ ja (y ja - f ja (x)) 2 → min x (\displaystyle \suma _(i)e_(i)^(2)=\suma_(i)(y_(i)-f_( i)(x))^(2)\rightarrow \min _(x)).

Jeżeli układ równań ma rozwiązanie, to minimalna suma kwadratów będzie równa zeru i dokładne rozwiązania układu równań można znaleźć analitycznie lub np. różnymi metodami optymalizacji numerycznej. Jeżeli układ jest nadokreślony, to znaczy, mówiąc luźno, liczba równań niezależnych jest większa niż liczba zmiennych nieznanych, to układ nie ma dokładnego rozwiązania i metoda najmniejszych kwadratów pozwala znaleźć jakiś „optymalny” wektor x (\styl wyświetlania x) w sensie maksymalnej bliskości wektorów r (\ Displaystyle y) oraz f (x) (\displaystyle f(x)) lub maksymalna bliskość wektora odchylenia e (\displaystyle e) do zera (bliskość jest rozumiana jako odległość euklidesowa).

Przykład - układ równań liniowych

W szczególności do „rozwiązywania” układu równań liniowych można zastosować metodę najmniejszych kwadratów

A x = b (\displaystyle Ax=b),

gdzie A (\styl wyświetlania A) prostokątna macierz wielkości m × n , m > n (\displaystyle m\razy n,m>n)(tzn. liczba wierszy macierzy A jest większa niż liczba wymaganych zmiennych).

Taki układ równań generalnie nie ma rozwiązania. Dlatego ten system można „rozwiązać” tylko w sensie wyboru takiego wektora x (\styl wyświetlania x) aby zminimalizować „odległość” między wektorami A x (\ Displaystyle Ax) oraz b (\styl wyświetlania b). W tym celu można zastosować kryterium minimalizacji sumy kwadratów różnic lewej i prawej części równań układu, czyli (A x - b) T (A x - b) → min (\displaystyle (Ax-b)^(T)(Ax-b)\rightarrow \min). Łatwo wykazać, że rozwiązanie tego problemu minimalizacji prowadzi do rozwiązania następującego układu równań:

A T A x = A T b ⇒ x = (A T A) − 1 A T b (\displaystyle A^(T)Ax=A^(T)b\rightarrow x=(A^(T)A)^(-1)A^ (T)b).

OLS w analizie regresji (aproksymacja danych)

Niech będzie n (\styl wyświetlania n) wartości jakiejś zmiennej r (\ Displaystyle y)(mogą to być wyniki obserwacji, eksperymentów itp.) i odpowiadające im zmienne x (\styl wyświetlania x). Wyzwaniem jest stworzenie relacji między r (\ Displaystyle y) oraz x (\styl wyświetlania x) przybliżone przez pewną funkcję znaną do pewnych nieznanych parametrów b (\styl wyświetlania b) czyli faktycznie znaleźć najlepsze wartości parametrów b (\styl wyświetlania b), maksymalnie przybliżając wartości f (x , b) (\displaystyle f(x,b)) do rzeczywistych wartości r (\ Displaystyle y). W rzeczywistości sprowadza się to do przypadku „rozwiązania” naddeterminowanego układu równań ze względu na b (\styl wyświetlania b):

F (x t , b) = y t , t = 1 , … , n (\displaystyle f(x_(t),b)=y_(t),t=1,\ldots,n).

W analizie regresji, aw szczególności w ekonometrii, wykorzystuje się probabilistyczne modele zależności między zmiennymi.

Y t = f (x t , b) + ε t (\displaystyle y_(t)=f(x_(t),b)+\varepsilon _(t)),

gdzie ε t (\ Displaystyle \ varepsilon _ (t))- tak zwana przypadkowe błędy modele.

W związku z tym odchylenia obserwowanych wartości r (\ Displaystyle y) od modelki f (x , b) (\displaystyle f(x,b)) już założony w samym modelu. Istotą LSM (zwykłego, klasycznego) jest znalezienie takich parametrów b (\styl wyświetlania b), przy której suma kwadratów odchyleń (błędów, dla modeli regresji często nazywa się je resztami regresji) mi t (\displaystyle e_(t)) będzie minimalny:

b ^ O L S = arg ⁡ min b R S S (b) (\ Displaystyle (\ kapelusz (b)) _ (OLS) = \ arg \ min _ (b) RSS (b)),

gdzie R S S (\displaystyle RSS)- Język angielski. Pozostała suma kwadratów jest zdefiniowana jako:

R S S (b) = e T e = ∑ t = 1 n e t 2 = ∑ t = 1 n (y t − f (x t , b)) 2 (\displaystyle RSS(b)=e^(T)e=\suma _ (t=1)^(n)e_(t)^(2)=\suma _(t=1)^(n)(y_(t)-f(x_(t),b))^(2) ).

W ogólnym przypadku problem ten można rozwiązać za pomocą numerycznych metod optymalizacji (minimalizacji). W tym przypadku mówi się o nieliniowe najmniejszych kwadratów(NLS lub NLLS - ang. Nieliniowe najmniejsze kwadraty). W wielu przypadkach można uzyskać rozwiązanie analityczne. Aby rozwiązać problem minimalizacji, konieczne jest znalezienie stacjonarnych punktów funkcji R S S (b) (\ Displaystyle RSS (b)), różnicując go ze względu na nieznane parametry b (\styl wyświetlania b), przyrównując pochodne do zera i rozwiązując otrzymany układ równań:

∑ t = 1 n (y t − f (x t , b)) ∂ f (x t , b) ∂ b = 0 (\displaystyle \suma _(t=1)^(n)(y_(t)-f(x_ (t),b))(\frac (\partial f(x_(t),b))(\partial b))=0).

LSM w przypadku regresji liniowej

Niech zależność regresji będzie liniowa:

r t = ∑ j = 1 k b j x t j + ε = x t T b + ε t (\displaystyle y_(t)=\suma _(j=1)^(k)b_(j)x_(tj)+\varepsilon =x_( t)^(T)b+\varepsilon _(t)).

Wynajmować tak jest wektorem kolumnowym obserwacji wyjaśnianej zmiennej, a X (\ styl wyświetlania X)- to jest (n × k) (\displaystyle ((n\razy k)))- macierz obserwacji czynników (wiersze macierzy - wektory wartości czynników w danej obserwacji, po kolumnach - wektor wartości danego czynnika we wszystkich obserwacjach). Macierzowa reprezentacja modelu liniowego ma postać:

r = Xb + ε (\ Displaystyle y = Xb + \ varepsilon ).

Wtedy wektor oszacowań zmiennej objaśnianej oraz wektor reszt regresji będą równe

r ^ = X b , e = r - r ^ = y - X b (\displaystyle (\kapelusz (y))=Xb,\quad e=y-(\kapelusz (y))=y-Xb).

odpowiednio, suma kwadratów reszt regresji będzie równa

R S S = e T e = (y - X b) T (y - X b) (\displaystyle RSS=e^(T)e=(y-Xb)^(T)(y-Xb)).

Różniczkowanie tej funkcji względem wektora parametrów b (\styl wyświetlania b) i przyrównując pochodne do zera, otrzymujemy układ równań (w postaci macierzowej):

(X T X) b = X T y (\displaystyle (X^(T)X)b=X^(T)y).

W rozszyfrowanej postaci macierzowej ten układ równań wygląda tak:

(∑ x t 1 2 x t 1 x t 2 x t 1 x t 3 … x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 x t 2 x t 3 … x t 2 x t k ∑ x t 3 x t 1 ∑ x t x t 3 2 … ∑ x t 3 x t k ⋮ ⋮ ⋮ ⋱ ⋮ ∑ x t k x t 1 ∑ x t k x t 2 ∑ x t k x t 3 … ∑ x t k 2) (b 1 b 2 b 3 ⋮ b k) = (∑ x t 1 y x t ∑ 3 y t , ( y t styl) k t (\begin(pmatrix)\sum x_(t1)^(2)&\sum x_(t1)x_(t2)&\sum x_(t1)x_(t3)&\ldots &\sum x_(t1)x_( tk)\\\sum x_(t2)x_(t1)&\sum x_(t2)^(2)&\sum x_(t2)x_(t3)&\ldots &\ sum x_(t2)x_(tk) \\\sum x_(t3)x_(t1)&\sum x_(t3)x_(t2)&\sum x_(t3)^(2)&\ldots &\sum x_ (t3)x_(tk)\\ \vdots &\vdots &\vdots &\ddots &\vdots \\\sum x_(tk)x_(t1)&\sum x_(tk)x_(t2)&\sum x_ (tk)x_(t3)&\ ldots &\sum x_(tk)^(2)\\\end(pmatrix))(\begin(pmatrix)b_(1)\\b_(2)\\b_(3 )\\\vdots \\b_( k)\\\end(pmatrix))=(\begin(pmatrix)\sum x_(t1)y_(t)\\\sum x_(t2)y_(t)\\ \sum x_(t3)y_(t )\\\vkropki \\\suma x_(tk)y_(t)\\\end(pmatrix))) gdzie wszystkie sumy są przejmowane nad wszystkimi dopuszczalnymi wartościami t (\displaystyle t).

Jeśli w modelu uwzględniona jest stała (jak zwykle), to x t 1 = 1 (\displaystyle x_(t1)=1) dla wszystkich t (\displaystyle t), zatem w lewym górnym rogu macierzy układu równań znajduje się liczba obserwacji n (\styl wyświetlania n), a w pozostałych elementach pierwszego wiersza i pierwszej kolumny tylko suma wartości zmiennych: ∑ x t j (\displaystyle \suma x_(tj)) oraz pierwszy element prawej strony systemu - ∑ r t (\ Displaystyle \ suma y_ (t)).

Rozwiązanie tego układu równań daje ogólny wzór na oszacowanie metodą najmniejszych kwadratów dla modelu liniowego:

b ^ O L S = (X T X) − 1 X T y = (1 n X T X) − 1 1 n X T y = V x − 1 C x y (\displaystyle (\hat (b))_(OLS)=(X^(T) )X)^(-1)X^(T)y=\left((\frac (1)(n))X^(T)X\right)^(-1)(\frac (1)(n ))X^(T)y=V_(x)^(-1)C_(xy)).

Do celów analitycznych przydatna okazuje się ostatnia reprezentacja tego wzoru (w układzie równań przy podzieleniu przez n zamiast sum pojawiają się średnie arytmetyczne). Jeśli dane w modelu regresji wyśrodkowany, to w tej reprezentacji pierwsza macierz ma znaczenie próbnej macierzy kowariancji czynników, a druga jest wektorem kowariancji czynników ze zmienną zależną. Jeśli dodatkowo dane są również znormalizowany w SKO (czyli ostatecznie standaryzowany), to pierwsza macierz ma znaczenie macierzy korelacji próby czynników, drugi wektor - wektor korelacji próby czynników ze zmienną zależną.

Ważna właściwość oszacowań LLS dla modeli ze stałą- linia skonstruowanej regresji przechodzi przez środek ciężkości danych próbki, czyli równość jest spełniona:

r ¯ = b 1 ^ + ∑ j = 2 k b ^ j x ¯ j (\displaystyle (\bar (y))=(\kapelusz (b_(1)))+\suma _(j=2)^(k) (\hat (b))_(j)(\bar (x))_(j)).

W szczególności w skrajnym przypadku, gdy jedynym regresorem jest stała, okazuje się, że oszacowanie MNK pojedynczego parametru (samej stałej) jest równe średniej wartości wyjaśnianej zmiennej. Oznacza to, że średnia arytmetyczna, znana ze swoich dobrych własności z praw wielkich liczb, jest również oszacowaniem metodą najmniejszych kwadratów - spełnia kryterium minimalnej sumy kwadratów odchyleń od niej.

Najprostsze przypadki specjalne

W przypadku parami regresji liniowej r t = a + b x t + ε t (\ Displaystyle y_ (t) = a + bx_ (t) + \ varepsilon _ (t)), gdy szacowana jest liniowa zależność jednej zmiennej od drugiej, formuły obliczeniowe są uproszczone (można obejść się bez algebry macierzy). Układ równań ma postać:

(1 x ¯ x ¯ x 2 ¯) (a b) = (y ¯ x r ¯) (\displaystyle (\begin(pmatrix)1&(\bar (x))\\(\bar (x))&(\bar (x^(2)))\\\end(pmatrix))(\begin(pmatrix)a\\b\\\end(pmatrix))=(\begin(pmatrix)(\bar (y))\\ (\overline(xy))\\\end(pmatrix))).

Stąd łatwo znaleźć szacunki dla współczynników:

( b ^ = Cov ⁡ (x , y) Var ⁡ (x) = x y ¯ − x ¯ y ¯ x 2 ¯ − x ¯ 2 , a ^ = y ¯ − b x ¯ . (\displaystyle (\begin(case) (\hat (b))=(\frac (\mathop (\textrm (Cov)) (x,y))(\mathop (\textrm (Var)) (x)))=(\frac ((\overline (xy))-(\bar (x))(\bar (y)))((\overline (x^(2)))-(\overline (x))^(2))),\\( \hat (a))=(\bar (y))-b(\bar (x)).\end(cases)))

Pomimo tego, że generalnie preferowane są modele ze stałą, w niektórych przypadkach z rozważań teoretycznych wiadomo, że stała a (\styl wyświetlania a) powinna być równa zero. Na przykład w fizyce związek między napięciem a prądem ma postać U = I ⋅ R (\displaystyle U=I\cdot R); mierząc napięcie i prąd, konieczne jest oszacowanie rezystancji. W tym przypadku mówimy o modelu y = b x (\displaystyle y=bx). W tym przypadku zamiast układu równań mamy jedno równanie

(∑ x t 2) b = ∑ x t r t (\displaystyle \left(\suma x_(t)^(2)\right)b=\suma x_(t)y_(t)).

Dlatego wzór na oszacowanie pojedynczego współczynnika ma postać

B ^ = ∑ t = 1 n x t r t ∑ t = 1 n x t 2 = x y ¯ x 2 ¯ (\displaystyle (\kapelusz (b))=(\frac (\sum _(t=1)^(n)x_(t )y_(t))(\sum _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))).

Przypadek modelu wielomianowego

Jeśli dane są dopasowane przez funkcję regresji wielomianowej jednej zmiennej f (x) = b 0 + ∑ i = 1 k b ja x i (\displaystyle f(x)=b_(0)+\suma \limity _(i=1)^(k)b_(i)x^(i)), to postrzeganie stopni x ja (\displaystyle x^(i)) jako niezależne czynniki dla każdego ja (\displaystyle ja) możliwe jest oszacowanie parametrów modelu na podstawie ogólnego wzoru na estymację parametrów modelu liniowego. Aby to zrobić, wystarczy wziąć pod uwagę w ogólnej formule, że przy takiej interpretacji x t ja x t j = x t ja x t j = x t ja + j (\displaystyle x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j)) oraz x t j t = x t j y t (\displaystyle x_(tj)y_(t)=x_(t)^(j)y_(t)). Dlatego równania macierzowe w tym przypadku przyjmą postać:

(n ∑ n x t ... ∑ n x t k ∑ n x t ∑ n x i 2 ... ∑ m x i k + 1 ⋮ ⋱ ⋮ ∑ ∑ n x t k ∑ n x t k + 1 ... ∑ n x t 2 k) [b 0 b 1 ⋮ b k] = [∑ n y t n x t y t ⋮ n x t k y t ] . (\ Displaystyle (\ zacząć (pmatrix) n & \ suma \ limity _ (n) x_ (t) i \ ldots & \ suma \ limity _ (n) x_ (t) ^ (k) \ \ \ suma \ limity _ ( n)x_(t)&\sum \limits _(n)x_(i)^(2)&\ldots &\sum \limits _(m)x_(i)^(k+1)\\\vdots & \vdots &\ddots &\vdots \\\sum \limits _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\ldots &\ suma \limits _(n)x_(t)^(2k)\end(pmatrix))(\begin(bmatrix)b_(0)\\b_(1)\\\vdots \\b_(k)\end( bmatrix))=(\begin(bmatrix)\sum \limits _(n)y_(t)\\\sum \limits _(n)x_(t)y_(t)\\\vdots \\\sum \limits _(n)x_(t)^(k)y_(t)\end(bmacierz)).)

Własności statystyczne szacunków MNK

Przede wszystkim zauważamy, że dla modeli liniowych oszacowania metodą najmniejszych kwadratów są oszacowaniami liniowymi, co wynika z powyższego wzoru. Dla nieobciążoności oszacowań metodą najmniejszych kwadratów konieczne i wystarczające jest spełnienie najważniejszego warunku analizy regresji: matematyczne oczekiwanie błędu losowego zależnego od czynników musi być równe zero. Warunek ten jest spełniony w szczególności, jeśli:

1. matematyczne oczekiwanie błędów losowych wynosi zero, a
2. czynniki i błędy losowe są niezależnymi (losowymi) wartościami.

Drugi warunek – stan czynników egzogenicznych – jest fundamentalny. Jeśli ta właściwość nie jest spełniona, możemy założyć, że prawie wszystkie szacunki będą skrajnie niezadowalające: nie będą nawet spójne (czyli nawet bardzo duża ilość danych nie pozwala w tym przypadku na uzyskanie szacunków jakościowych). W przypadku klasycznym przyjmuje się silniejsze założenie o determinizmie czynników, w przeciwieństwie do błędu losowego, co automatycznie oznacza spełnienie warunku egzogenicznego. W ogólnym przypadku dla spójności oszacowań wystarczy spełnienie warunku egzogeniczności wraz ze zbieżnością macierzy V x (\displaystyle V_(x)) do jakiejś niezdegenerowanej macierzy wraz ze wzrostem wielkości próbki do nieskończoności.

Aby oprócz spójności i nieobciążoności oszacowania (zwykłych) najmniejszych kwadratów były również efektywne (najlepsze w klasie liniowych nieobciążonych oszacowań), konieczne jest spełnienie dodatkowych własności błędu losowego:

Założenia te można sformułować dla kowariancji (macierz wektora błędów losowych) V (ε) = σ 2 ja (\ Displaystyle V (\ varepsilon) = \ sigma ^ (2) ja).

Model liniowy spełniający te warunki nazywa się klasyczny. Oszacowania OLS dla klasycznej regresji liniowej są nieobciążonymi, spójnymi i najbardziej wydajnymi oszacowaniami w klasie wszystkich liniowych nieobciążonych oszacowań (w literaturze angielskiej czasami używa się skrótu niebieski (Najlepszy liniowy bezstronny estymator) jest najlepszym liniowym, bezstronnym oszacowaniem; w literaturze krajowej częściej cytowane jest twierdzenie Gaussa- Markowa). Jak łatwo wykazać, macierz kowariancji wektora oszacowań współczynników będzie równa:

V (b ^ O L S) = σ 2 (X T X) − 1 (\displaystyle V((\kapelusz (b))_(OLS))=\sigma ^(2)(X^(T)X)^(-1 )).

Wydajność oznacza, że ​​ta macierz kowariancji jest „minimalna” (każda liniowa kombinacja współczynników, a w szczególności same współczynniki, mają minimalną wariancję), czyli w klasie liniowych nieobciążonych oszacowań najlepsze są oszacowania MNK. Elementy diagonalne tej macierzy – wariancje oszacowań współczynników – są ważnymi parametrami jakości uzyskiwanych oszacowań. Nie jest jednak możliwe obliczenie macierzy kowariancji, ponieważ wariancja błędu losowego jest nieznana. Można wykazać, że nieobciążone i spójne (dla klasycznego modelu liniowego) oszacowanie wariancji błędów losowych to wartość:

S 2 = R S S / (n − k) (\displaystyle s^(2)=RSS/(n-k)).

Podstawiając tę ​​wartość do wzoru na macierz kowariancji, otrzymujemy oszacowanie macierzy kowariancji. Otrzymane szacunki są również bezstronne i spójne. Istotne jest również to, że oszacowanie wariancji błędu (a co za tym idzie wariancje współczynników) oraz oszacowanie parametrów modelu są niezależnymi zmiennymi losowymi, co umożliwia uzyskanie statystyk testowych do testowania hipotez dotyczących współczynników modelu.

Należy zauważyć, że jeśli klasyczne założenia nie są spełnione, oszacowania parametrów metodą najmniejszych kwadratów nie są najbardziej efektywne, a gdzie W (\displaystyle W) jest jakąś symetryczną dodatnią macierzą o określonej wadze. Zwykłe najmniejsze kwadraty to szczególny przypadek tego podejścia, gdy macierz wag jest proporcjonalna do macierzy jednostkowej. Jak wiadomo, dla macierzy symetrycznych (lub operatorów) istnieje dekompozycja W = P T P (\displaystyle W=P^(T)P). Dlatego tę funkcję można przedstawić w następujący sposób: e T P T P e = (P e) T P e = e ∗ T e ∗ (\displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *)), to znaczy funkcjonał ten można przedstawić jako sumę kwadratów niektórych przekształconych „reszt”. W ten sposób możemy wyróżnić klasę metod najmniejszych kwadratów - metody LS (Least Squares).

Udowodniono (twierdzenie Aitkena), że dla uogólnionego modelu regresji liniowej (w którym nie ma ograniczeń na macierz kowariancji błędów losowych) najskuteczniejsze (w klasie liniowych nieobciążonych oszacowań) są oszacowania tzw. uogólnione OLS (OMNK, GLS - uogólnione najmniejsze kwadraty)- metoda LS z macierzą wag równą macierzy kowariancji odwrotnej błędów losowych: W = V ε − 1 (\displaystyle W=V_(\varepsilon)^(-1)).

Można wykazać, że wzór na oszacowania GLS parametrów modelu liniowego ma postać

B ^ G L S = (X T V − 1 X) − 1 X T V − 1 r (\displaystyle (\hat (b))_(GLS)=(X^(T)V^(-1)X)^(-1) X^(T)V^(-1)y).

Macierz kowariancji tych oszacowań, odpowiednio, będzie równa

V (b ^ G L S) = (X T V − 1 X) − 1 (\displaystyle V((\hat (b))_(GLS))=(X^(T)V^(-1)X)^(- jeden)).

W rzeczywistości istota MNK polega na pewnej (liniowej) transformacji (P) oryginalnych danych i zastosowaniu do przekształconych danych zwykłych najmniejszych kwadratów. Celem tej transformacji jest to, że dla przekształconych danych błędy losowe spełniają już klasyczne założenia.

Ważone najmniejsze kwadraty

W przypadku diagonalnej macierzy wag (a więc macierzy kowariancji błędów losowych) mamy do czynienia z tzw. ważonymi najmniejszymi kwadratami (WLS - Weighted Least Squares). W tym przypadku ważona suma kwadratów reszt modelu jest minimalizowana, to znaczy każda obserwacja otrzymuje „wagę”, która jest odwrotnie proporcjonalna do wariancji błędu losowego w tej obserwacji: e T W e = ∑ t = 1 n mi t 2 σ t 2 (\displaystyle e^(T)we=\suma _(t=1)^(n)(\frac (e_(t)^(2))(\ sigma _(t)^(2)))). W rzeczywistości dane są przekształcane przez ważenie obserwacji (podzielenie przez kwotę proporcjonalną do założonego odchylenia standardowego błędów losowych), a do ważonych danych stosuje się zwykłą metodę najmniejszych kwadratów.

ISBN 978-5-7749-0473-0.

Ekonometria. Podręcznik / Wyd. Eliseeva I. I. - wyd. - M. : Finanse i statystyka, 2006. - 576 s. - ISBN 5-279-02786-3.

Alexandrova N.V. Historia terminów matematycznych, pojęć, oznaczeń: słownik-podręcznik. - wyd. 3 - M. : LKI, 2008. - 248 s. - ISBN 978-5-382-00839-4. I.V. Mitin, Rusakov V.S. Analiza i przetwarzanie danych eksperymentalnych - wydanie 5 - 24p.

Aproksymujemy funkcję wielomianem drugiego stopnia. Aby to zrobić, obliczamy współczynniki normalnego układu równań:

, ,

Skomponujmy normalny układ najmniejszych kwadratów, który ma postać:

Rozwiązanie systemu jest łatwe do znalezienia: , , .

W ten sposób znajduje się wielomian II stopnia: .

Podłoże teoretyczne

Powrót do strony<Введение в вычислительную математику. Примеры>

Przykład 2. Znalezienie optymalnego stopnia wielomianu.

Powrót do strony<Введение в вычислительную математику. Примеры>

Przykład 3. Wyprowadzenie normalnego układu równań do wyznaczania parametrów zależności empirycznej.

Wyprowadźmy układ równań do wyznaczania współczynników i funkcji , który wykonuje aproksymację średniokwadratową danej funkcji względem punktów. Skomponuj funkcję i napisz dla niego niezbędny warunek ekstremalny:

Wtedy normalny system przyjmie postać:

Otrzymaliśmy liniowy układ równań dla nieznanych parametrów i łatwy do rozwiązania.

Podłoże teoretyczne

Powrót do strony<Введение в вычислительную математику. Примеры>

Przykład.

Dane eksperymentalne dotyczące wartości zmiennych X oraz w podano w tabeli.

W wyniku ich wyrównania funkcja

Za pomocą metoda najmniejszych kwadratów, przybliż te dane liniową zależnością y=ax+b(znajdź opcje a oraz b). Dowiedz się, która z dwóch linii jest lepsza (w sensie metody najmniejszych kwadratów) dopasowuje dane eksperymentalne. Narysuj coś.

Istota metody najmniejszych kwadratów (LSM).

Problem polega na znalezieniu współczynników zależności liniowej, dla których funkcja dwóch zmiennych a oraz bprzyjmuje najmniejszą wartość. To znaczy, biorąc pod uwagę dane a oraz b suma kwadratów odchyleń danych eksperymentalnych od znalezionej linii prostej będzie najmniejsza. To jest cały punkt metody najmniejszych kwadratów.

Zatem rozwiązanie przykładu sprowadza się do znalezienia ekstremum funkcji dwóch zmiennych.

Wyprowadzanie wzorów do znajdowania współczynników.

Zostaje opracowany i rozwiązany układ dwóch równań z dwiema niewiadomymi. Znajdowanie pochodnych cząstkowych funkcji według zmiennych a oraz b, przyrównujemy te pochodne do zera.

Powstały układ równań rozwiązujemy dowolną metodą (na przykład metoda substytucji Cramera) i uzyskaj wzory do znajdowania współczynników metodą najmniejszych kwadratów (LSM).

Z danymi a oraz b funkcjonować przyjmuje najmniejszą wartość. Dowód tego faktu znajduje się poniżej w tekście na końcu strony.

To cała metoda najmniejszych kwadratów. Wzór na znalezienie parametru a zawiera sumy , , i parametr n to ilość danych eksperymentalnych. Zaleca się, aby wartości tych sum były obliczane osobno.

Współczynnik b znalezione po obliczeniach a.

Czas przypomnieć sobie oryginalny przykład.

Rozwiązanie.

W naszym przykładzie n=5. Wypełniamy tabelę dla wygody obliczania kwot zawartych we wzorach wymaganych współczynników.

Wartości w czwartym rzędzie tabeli uzyskuje się mnożąc wartości drugiego rzędu przez wartości trzeciego rzędu dla każdej liczby i.

Wartości w piątym rzędzie tabeli uzyskuje się podnosząc do kwadratu wartości drugiego rzędu dla każdej liczby i.

Wartości ostatniej kolumny tabeli to sumy wartości w wierszach.

Aby obliczyć współczynniki, korzystamy ze wzorów metody najmniejszych kwadratów a oraz b. Zastępujemy w nich odpowiednie wartości z ostatniej kolumny tabeli:

W konsekwencji, y=0,165x+2,184 jest pożądaną przybliżoną linią prostą.

Pozostaje dowiedzieć się, która z linii y=0,165x+2,184 lub lepiej przybliża oryginalne dane, tj. dokonuje oszacowania metodą najmniejszych kwadratów.

Estymacja błędu metody najmniejszych kwadratów.

Aby to zrobić, musisz obliczyć sumy kwadratów odchyleń oryginalnych danych z tych linii oraz , mniejsza wartość odpowiada linii, która lepiej przybliża oryginalne dane za pomocą metody najmniejszych kwadratów.

Od , to linia y=0,165x+2,184 lepiej przybliża oryginalne dane.

Graficzna ilustracja metody najmniejszych kwadratów (LSM).

Wszystko świetnie prezentuje się na listach przebojów. Czerwona linia to znaleziona linia y=0,165x+2,184, niebieska linia to , różowe kropki to oryginalne dane.

Po co to jest, po co te wszystkie przybliżenia?

Osobiście używam do rozwiązywania problemów z wygładzaniem danych, interpolacją i ekstrapolacją (w oryginalnym przykładzie możesz zostać poproszony o znalezienie wartości obserwowanej wartości tak w x=3 albo kiedy x=6 zgodnie z metodą MNC). Ale porozmawiamy o tym później w innej sekcji strony.

Na górze strony

Dowód.

Więc kiedy zostanie znaleziony a oraz b funkcja przyjmuje najmniejszą wartość, konieczne jest, aby w tym miejscu macierz kwadratowej postaci różniczki drugiego rzędu dla funkcji był pozytywny. Pokażmy to.

Różnica drugiego rzędu ma postać:

To znaczy

Dlatego macierz postaci kwadratowej ma postać

a wartości elementów nie zależą od a oraz b.

Pokażmy, że matryca jest pozytywna. Wymaga to, aby małe kąty były dodatnie.

Moll kątowy pierwszego rzędu . Nierówność jest ścisła, ponieważ punkty się nie pokrywają. Będzie to implikowane w dalszej części.

Moll kątowy drugiego rzędu

Udowodnijmy, że metoda indukcji matematycznej.

Wniosek: znalezione wartości a oraz b odpowiadają najmniejszej wartości funkcji , są zatem pożądanymi parametrami dla metody najmniejszych kwadratów.

Czy kiedykolwiek zrozumiałeś?
Zamów rozwiązanie

Na górze strony

Opracowanie prognozy metodą najmniejszych kwadratów. Przykład rozwiązania problemu

Ekstrapolacja - jest to metoda badań naukowych, która opiera się na rozpowszechnianiu przeszłych i obecnych trendów, wzorców, relacji do przyszłego rozwoju przedmiotu prognozowania. Metody ekstrapolacji obejmują metoda średniej ruchomej, metoda wygładzania wykładniczego, metoda najmniejszych kwadratów.

Istota metoda najmniejszych kwadratów polega na minimalizacji sumy odchyleń kwadratowych pomiędzy wartościami obserwowanymi i obliczonymi. Obliczone wartości znajdują się zgodnie z wybranym równaniem - równaniem regresji. Im mniejsza odległość między wartościami rzeczywistymi a wyliczonymi, tym dokładniejsza jest prognoza oparta na równaniu regresji.

Podstawą wyboru krzywej jest teoretyczna analiza istoty badanego zjawiska, którego zmianę obrazuje szereg czasowy. Czasami brane są pod uwagę rozważania dotyczące charakteru wzrostu poziomów serii. Tak więc, jeśli wzrost produkcji jest oczekiwany w postępie arytmetycznym, to wygładzanie odbywa się w linii prostej. Jeśli okaże się, że wzrost jest wykładniczy, to wygładzanie należy wykonać zgodnie z funkcją wykładniczą.

Wzór roboczy metody najmniejszych kwadratów : Y t+1 = a*X + b, gdzie t + 1 jest okresem prognozy; Уt+1 – przewidywany wskaźnik; a i b są współczynnikami; X to symbol czasu.

Współczynniki a i b obliczane są według następujących wzorów:

gdzie, Uf - rzeczywiste wartości serii dynamiki; n to liczba poziomów w szeregu czasowym;

Wygładzanie szeregów czasowych metodą najmniejszych kwadratów służy odzwierciedleniu schematów rozwoju badanego zjawiska. W analitycznym wyrażeniu trendu czas jest traktowany jako zmienna niezależna, a poziomy szeregu działają jako funkcja tej zmiennej niezależnej.

Rozwój zjawiska nie zależy od tego, ile lat minęło od punktu wyjścia, ale od tego, jakie czynniki wpłynęły na jego rozwój, w jakim kierunku iz jaką intensywnością. Z tego jasno wynika, że ​​rozwój zjawiska w czasie pojawia się w wyniku działania tych czynników.

Prawidłowe ustalenie rodzaju krzywej, rodzaju analitycznej zależności od czasu to jedno z najtrudniejszych zadań analizy predykcyjnej. .

Wybór rodzaju funkcji opisującej trend, której parametry wyznaczane są metodą najmniejszych kwadratów, ma w większości przypadków charakter empiryczny, polegający na zbudowaniu szeregu funkcji i porównaniu ich ze sobą wartością średniej pierwiastka -błąd kwadratowy wyliczony według wzoru:

gdzie Uf - rzeczywiste wartości serii dynamiki; Ur – obliczone (wygładzone) wartości szeregu czasowego; n to liczba poziomów w szeregu czasowym; p to liczba parametrów zdefiniowanych we wzorach opisujących trend (trend rozwojowy).

Wady metody najmniejszych kwadratów :

• próbując opisać badane zjawisko gospodarcze za pomocą równania matematycznego, prognoza będzie dokładna przez krótki czas, a równanie regresji powinno być przeliczone w miarę pojawiania się nowych informacji;
• złożoność doboru równania regresji, które można rozwiązać za pomocą standardowych programów komputerowych.

Przykład wykorzystania metody najmniejszych kwadratów do opracowania prognozy

Zadanie . Istnieją dane charakteryzujące poziom bezrobocia w regionie, %

• Zbuduj prognozę stopy bezrobocia w regionie na miesiące listopad, grudzień, styczeń, stosując metody: średnia krocząca, wygładzanie wykładnicze, najmniejszych kwadratów.
• Oblicz błędy w uzyskanych prognozach przy użyciu każdej metody.
• Porównaj uzyskane wyniki, wyciągnij wnioski.

Rozwiązanie najmniejszych kwadratów

Dla rozwiązania skompilujemy tabelę, w której dokonamy niezbędnych obliczeń:

ε = 28,63/10 = 2,86% dokładność prognozy wysoki.

Wniosek : Porównanie wyników uzyskanych w obliczeniach metoda średniej ruchomej , wygładzanie wykładnicze a metodą najmniejszych kwadratów możemy powiedzieć, że średni błąd względny w obliczeniach metodą wygładzania wykładniczego mieści się w granicach 20-50%. Oznacza to, że dokładność przewidywania w tym przypadku jest zadowalająca.

W pierwszym i trzecim przypadku dokładność prognozy jest wysoka, ponieważ średni błąd względny jest mniejszy niż 10%. Ale metoda średniej ruchomej umożliwiła uzyskanie bardziej wiarygodnych wyników (prognoza na listopad - 1,52%, prognoza na grudzień - 1,53%, prognoza na styczeń - 1,49%), ponieważ średni błąd względny przy użyciu tej metody jest najmniejszy - 1 ,13%.

Metoda najmniejszych kwadratów

Inne powiązane artykuły:

Lista wykorzystanych źródeł

1. Rekomendacje naukowo-metodologiczne dotyczące zagadnień diagnozowania ryzyk społecznych oraz prognozowania wyzwań, zagrożeń i konsekwencji społecznych. Rosyjski Państwowy Uniwersytet Społeczny. Moskwa. 2010;
2. Vladimirova L.P. Prognozowanie i planowanie w warunkach rynkowych: Proc. dodatek. M .: Wydawnictwo „Dashkov and Co”, 2001;
3. Novikova N.V., Pozdeeva O.G. Prognozowanie gospodarki narodowej: przewodnik edukacyjno-metodologiczny. Jekaterynburg: Wydawnictwo Ural. państwo gospodarka uniwersytet, 2007;
4. Slutskin L.N. Kurs MBA z zakresu prognozowania biznesowego. Moskwa: Alpina Business Books, 2006.

Program MNE

Wprowadzanie danych

Dane i aproksymacja y = a + b x

i- numer punktu doświadczalnego;
x ja- wartość ustalonego parametru w punkcie i;
ja ja- wartość mierzonego parametru w punkcie i;
ja- waga pomiarowa w punkcie i;
y, oblicz.- różnica między wartością zmierzoną a wartością obliczoną z regresji tak w punkcie i;
S x ja (x ja)- oszacowanie błędu x ja podczas pomiaru tak w punkcie i.

Dane i aproksymacja y = kx

i	x ja	ja ja	ja	y, oblicz.	y ja	S x ja (x ja)

Kliknij na wykres

Instrukcja obsługi programu online MNC.

W polu danych wprowadź w każdym oddzielnym wierszu wartości „x” i „y” w jednym punkcie eksperymentalnym. Wartości muszą być oddzielone spacją (spacją lub tabulatorem).

Trzecią wartością może być waga punktowa „w”. Jeśli waga punktowa nie jest określona, ​​jest równa jeden. W przeważającej większości przypadków wagi punktów doświadczalnych są nieznane lub nie są obliczone; wszystkie dane eksperymentalne są uważane za równoważne. Czasami wagi w badanym zakresie wartości zdecydowanie nie są równoważne i można je nawet obliczyć teoretycznie. Na przykład w spektrofotometrii wagi można obliczyć za pomocą prostych wzorów, choć w zasadzie wszyscy zaniedbują to, aby obniżyć koszty pracy.

Dane można wkleić za pomocą schowka z arkusza kalkulacyjnego pakietu biurowego, takiego jak Excel z Microsoft Office lub Calc z Open Office. W tym celu w arkuszu kalkulacyjnym wybierz zakres danych do skopiowania, skopiuj do schowka i wklej dane do pola danych na tej stronie.

Do obliczenia metodą najmniejszych kwadratów wymagane są co najmniej dwa punkty do wyznaczenia dwóch współczynników „b” – stycznej kąta nachylenia prostej oraz „a” – wartości odciętej przez prostą na „y”. ` oś.

Aby oszacować błąd obliczonych współczynników regresji, konieczne jest ustawienie liczby punktów eksperymentalnych na więcej niż dwa.

Metoda najmniejszych kwadratów (LSM).

Im większa liczba punktów doświadczalnych, tym dokładniejsze oszacowanie statystyczne współczynników (ze względu na spadek współczynnika Studenta) i tym bliższe oszacowanie do oszacowania próby ogólnej.

Uzyskanie wartości w każdym punkcie eksperymentalnym często wiąże się ze znacznymi kosztami pracy, dlatego często przeprowadza się kompromisową liczbę eksperymentów, co daje strawny szacunek i nie prowadzi do nadmiernych kosztów pracy. Z reguły liczbę punktów doświadczalnych dla liniowej zależności najmniejszych kwadratów z dwoma współczynnikami wybiera się w zakresie 5-7 punktów.

Krótka teoria najmniejszych kwadratów dla zależności liniowej

Załóżmy, że mamy zestaw danych eksperymentalnych w postaci par wartości [`y_i`, `x_i`], gdzie `i` jest liczbą jednego pomiaru eksperymentalnego od 1 do `n`; `y_i` - wartość mierzonej wartości w punkcie `i`; `x_i` - wartość parametru ustawiamy w punkcie `i`.

Przykładem jest działanie prawa Ohma. Zmieniając napięcie (różnicę potencjałów) między odcinkami obwodu elektrycznego, mierzymy ilość prądu przepływającego przez tę sekcję. Fizyka daje nam zależność znalezioną eksperymentalnie:

`I=U/R`,
gdzie `ja` - aktualna siła; `R` - opór; `U` - napięcie.

W tym przypadku „y_i” to zmierzona wartość prądu, a „x_i” to wartość napięcia.

Jako inny przykład rozważmy absorpcję światła przez roztwór substancji w roztworze. Chemia daje nam formułę:

„A = εl C”,
gdzie „A” jest gęstością optyczną roztworu; `ε` - przepuszczalność substancji rozpuszczonej; `l` - długość ścieżki, gdy światło przechodzi przez kuwetę z roztworem; „C” to stężenie substancji rozpuszczonej.

W tym przypadku „y_i” to zmierzona gęstość optyczna „A”, a „x_i” to stężenie substancji, które ustawiamy.

Rozważymy przypadek, w którym błąd względny w ustawieniu `x_i` jest znacznie mniejszy niż błąd względny w pomiarze `y_i`. Przyjmiemy również, że wszystkie zmierzone wartości `y_i` są losowe i mają rozkład normalny, tj. przestrzegać normalnego prawa dystrybucji.

W przypadku liniowej zależności `y` od `x` możemy zapisać zależność teoretyczną:
„y = a + bx”.

Z geometrycznego punktu widzenia współczynnik „b” oznacza styczną kąta nachylenia prostej do osi „x”, a współczynnik „a” - wartość „y” w punkcie przecięcia linia z osią „y” (dla „x = 0”).

Znajdowanie parametrów linii regresji.

W eksperymencie zmierzone wartości „y_i” nie mogą leżeć dokładnie na linii teoretycznej z powodu błędów pomiarowych, które zawsze są nieodłączne w prawdziwym życiu. Dlatego równanie liniowe musi być reprezentowane przez układ równań:
`y_i = a + b x_i + ε_i` (1),
gdzie „ε_i” to nieznany błąd pomiaru „y” w „i” eksperymencie.

Zależność (1) jest również nazywana regresja, tj. zależność tych dwóch wielkości od siebie z istotnością statystyczną.

Zadaniem przywrócenia zależności jest znalezienie współczynników `a` i `b` z punktów eksperymentalnych [`y_i`, `x_i`].

Aby znaleźć współczynniki, zwykle używa się `a` i `b` metoda najmniejszych kwadratów(MNK). Jest to szczególny przypadek zasady największej wiarygodności.

Zapiszmy (1) jako `ε_i = y_i - a - b x_i`.

Wtedy suma kwadratów błędów będzie
`Φ = suma_(i=1)^(n) ε_i^2 = suma_(i=1)^(n) (y_i - a - b x_i)^2`. (2)

Zasadą metody najmniejszych kwadratów jest minimalizacja sumy (2) w odniesieniu do parametrów „a” i „b”.

Minimum zostaje osiągnięte, gdy pochodne cząstkowe sumy (2) względem współczynników „a” i „b” są równe zeru:
`frac(częściowe Φ)(częściowe a) = frac(częściowa suma_(i=1)^(n) (y_i - a - b x_i)^2)(częściowe a) = 0`
`frac(częściowe Φ)(częściowe b) = frac(częściowa suma_(i=1)^(n) (y_i - a - b x_i)^2)(częściowe b) = 0`

Rozwijając pochodne otrzymujemy układ dwóch równań z dwiema niewiadomymi:
`suma_(i=1)^(n) (2a + 2bx_i - 2y_i) = suma_(i=1)^(n) (a + bx_i - y_i) = 0`
`suma_(i=1)^(n) (2bx_i^2 + 2ax_i - 2x_iy_i) = suma_(i=1)^(n) (bx_i^2 + ax_i - x_iy_i) = 0`

Otwieramy nawiasy i przenosimy sumy niezależne od pożądanych współczynników na drugą połowę, otrzymujemy układ równań liniowych:
`suma_(i=1)^(n) y_i = a n + b suma_(i=1)^(n) bx_i`
`suma_(i=1)^(n) x_iy_i = a suma_(i=1)^(n) x_i + b suma_(i=1)^(n) x_i^2`

Rozwiązując otrzymany system, znajdujemy wzory na współczynniki „a” i „b”:

`a = frac(suma_(i=1)^(n) y_i sum_(i=1)^(n) x_i^2 - sum_(i=1)^(n) x_i sum_(i=1)^(n ) x_iy_i) (n suma_(i=1)^(n) x_i^2 — (suma_(i=1)^(n) x_i)^2)` (3.1)

`b = frac(n suma_(i=1)^(n) x_iy_i - suma_(i=1)^(n) x_i suma_(i=1)^(n) y_i) (n suma_(i=1)^ (n) x_i^2 - (suma_(i=1)^(n) x_i)^2)` (3.2)

Wzory te mają rozwiązania, gdy `n > 1` (linia może być narysowana przy użyciu co najmniej 2 punktów) i gdy wyznacznik `D = n sum_(i=1)^(n) x_i^2 — (suma_(i= 1 )^(n) x_i)^2 != 0`, czyli gdy punkty `x_i` w eksperymencie są różne (tj. gdy linia nie jest pionowa).

Estymacja błędów współczynników linii regresji

W celu dokładniejszego oszacowania błędu przy obliczaniu współczynników „a” i „b” pożądana jest duża liczba punktów doświadczalnych. Gdy `n = 2` nie można oszacować błędu współczynników, ponieważ linia przybliżająca jednoznacznie przejdzie przez dwa punkty.

Wyznaczono błąd zmiennej losowej `V` prawo akumulacji błędów
`S_V^2 = suma_(i=1)^p (frac(częściowe f)(częściowe z_i))^2 S_(z_i)^2`,
gdzie `p` to liczba parametrów `z_i` z błędem `S_(z_i)`, które wpływają na błąd `S_V`;
`f` jest funkcją zależności `V` od `z_i`.

Napiszmy prawo akumulacji błędów dla błędu współczynników „a” i „b”
`S_a^2 = suma_(i=1)^(n)(frac(częściowe a)(częściowe y_i))^2 S_(y_i)^2 + suma_(i=1)^(n)(frac(częściowe a )(częściowe x_i))^2 S_(x_i)^2 = S_y^2 suma_(i=1)^(n)(frac(częściowe a)(częściowe y_i))^2 `,
`S_b^2 = suma_(i=1)^(n)(frac(częściowy b)(częściowy y_i))^2 S_(y_i)^2 + suma_(i=1)^(n)(frac(częściowy b )(częściowy x_i))^2 S_(x_i)^2 = S_y^2 suma_(i=1)^(n)(frac(częściowy b)(częściowy y_i))^2 `,
dlatego `S_(x_i)^2 = 0` (wcześniej zrobiliśmy zastrzeżenie, że błąd `x` jest znikomy).

`S_y^2 = S_(y_i)^2` — błąd (wariancja, odchylenie standardowe do kwadratu) w wymiarze `y`, przy założeniu, że błąd jest jednakowy dla wszystkich wartości `y`.

Podstawiając formuły do ​​obliczania `a` i `b` do wynikowych wyrażeń, otrzymujemy

`S_a^2 = S_y^2 frac(suma_(i=1)^(n) (suma_(i=1)^(n) x_i^2 - x_i sum_(i=1)^(n) x_i)^2 ) (D^2) = S_y^2 ułamek((n suma_(i=1)^(n) x_i^2 - (suma_(i=1)^(n) x_i)^2) suma_(i=1) ^(n) x_i^2) (D^2) = S_y^2 frac(suma_(i=1)^(n) x_i^2) (D)` (4.1)

`S_b^2 = S_y^2 frac(suma_(i=1)^(n) (n x_i - sum_(i=1)^(n) x_i)^2) (D^2) = S_y^2 frac( n (n sum_(i=1)^(n) x_i^2 - (suma_(i=1)^(n) x_i)^2)) (D^2) = S_y^2 frac(n) (D) (4.2)

W większości prawdziwych eksperymentów wartość „Sy” nie jest mierzona. W tym celu konieczne jest wykonanie kilku równoległych pomiarów (eksperymentów) w jednym lub kilku punktach planu, co wydłuża czas (i ewentualnie koszt) eksperymentu. Dlatego zwykle przyjmuje się, że odchylenie „y” od linii regresji można uznać za losowe. Oszacowanie wariancji „y” w tym przypadku jest obliczane na podstawie wzoru.

`S_y^2 = S_(y, reszta)^2 = frac(suma_(i=1)^n (y_i - a - b x_i)^2) (n-2)`.

Dzielnik „n-2” pojawia się, ponieważ zmniejszyliśmy liczbę stopni swobody w wyniku obliczenia dwóch współczynników dla tej samej próbki danych eksperymentalnych.

To oszacowanie jest również nazywane wariancją resztową względem linii regresji `S_(y, reszta)^2`.

Ocena istotności współczynników dokonywana jest według kryterium Studenta

`t_a = frac(|a|) (S_a)`, `t_b = frac(|b|) (S_b)`

Jeżeli obliczone kryteria „t_a”, „t_b” są mniejsze niż kryteria tabeli „t(P, n-2)”, uważa się, że odpowiedni współczynnik nie różni się znacząco od zera przy danym prawdopodobieństwie „P”.

Aby ocenić jakość opisu zależności liniowej, możesz porównać `S_(y, reszta)^2` i `S_(słupek y)` względem średniej przy użyciu kryterium Fishera.

`S_(słup y) = frac(suma_(i=1)^n (y_i - słupek y)^2) (n-1) = frac(suma_(i=1)^n (y_i - (suma_(i= 1)^n y_i) /n)^2) (n-1)` - oszacowanie próbki wariancji `y` względem średniej.

Aby ocenić skuteczność równania regresji do opisu zależności, obliczany jest współczynnik Fishera
`F = S_(słup y) / S_(y, reszta)^2`,
który jest porównywany z tabelarycznym współczynnikiem Fishera „F(p, n-1, n-2)”.

Jeżeli „F > F(P, n-1, n-2)”, różnicę między opisem zależności „y = f(x)” za pomocą równania regresji a opisem za pomocą średniej uważa się za statystycznie istotną z prawdopodobieństwem „P”. Tych. regresja lepiej opisuje zależność niż rozrzut „y” wokół średniej.

Kliknij na wykres
dodać wartości do tabeli

Metoda najmniejszych kwadratów. Metoda najmniejszych kwadratów oznacza wyznaczenie nieznanych parametrów a, b, c, przyjętą zależność funkcjonalną

Metoda najmniejszych kwadratów oznacza określenie nieznanych parametrów a, b, c,… akceptowana zależność funkcjonalna

y = f(x,a,b,c,…),

co dałoby minimum średniego kwadratu (wariancji) błędu

, (24)

gdzie x i , y i - zbiór par liczb uzyskanych z eksperymentu.

Skoro warunkiem ekstremum funkcji wielu zmiennych jest warunek, że jej pochodne cząstkowe są równe zero, to parametry a, b, c,… są wyznaczane z układu równań:

; ; ; … (25)

Należy pamiętać, że do doboru parametrów stosuje się metodę najmniejszych kwadratów po postaci funkcji y = f(x) zdefiniowane.

Jeżeli z rozważań teoretycznych nie da się wyciągnąć żadnych wniosków na temat tego, czym powinna być formuła empiryczna, to należy kierować się reprezentacjami wizualnymi, przede wszystkim graficzną reprezentacją obserwowanych danych.

W praktyce najczęściej ogranicza się do następujących typów funkcji:

1) liniowy ;

2) kwadratowe a .

Istotą metody najmniejszych kwadratów jest w znalezieniu parametrów modelu trendu, który najlepiej opisuje trend rozwoju jakiegoś losowego zjawiska w czasie lub przestrzeni (trend to linia charakteryzująca trend tego rozwoju). Zadaniem metody najmniejszych kwadratów (OLS) jest znalezienie nie tylko jakiegoś modelu trendu, ale znalezienie najlepszego lub optymalnego modelu. Model ten będzie optymalny, jeśli suma kwadratów odchyleń między obserwowanymi wartościami rzeczywistymi a odpowiadającymi im obliczonymi wartościami trendu jest minimalna (najmniejsza):

gdzie jest odchylenie standardowe między obserwowaną wartością rzeczywistą

i odpowiednią obliczoną wartość trendu,

rzeczywistą (obserwowaną) wartość badanego zjawiska,

Szacowana wartość modelu trendu,

Liczba obserwacji badanego zjawiska.

MNC jest rzadko używany samodzielnie. Z reguły najczęściej stosuje się ją tylko jako niezbędną technikę w badaniach korelacyjnych. Należy pamiętać, że podstawą informacyjną LSM mogą być tylko wiarygodne szeregi statystyczne, a liczba obserwacji nie powinna być mniejsza niż 4, w przeciwnym razie procedury wygładzające LSM mogą stracić zdrowy rozsądek.

Zestaw narzędzi OLS ogranicza się do następujących procedur:

Pierwsza procedura. Okazuje się, czy w ogóle istnieje tendencja do zmiany atrybutu wynikowego, gdy zmienia się wybrany czynnik-argument, czyli innymi słowy, czy istnieje związek między „ w " oraz " X ».

Druga procedura. Określa się, która linia (trajektoria) najlepiej jest w stanie opisać lub scharakteryzować ten trend.

Trzecia procedura.

Przykład. Załóżmy, że dysponujemy informacjami o średnim plonie słonecznika dla badanego gospodarstwa (tab. 9.1).

Tabela 9.1

Numer obserwacji
Wydajność, c/ha

Ponieważ poziom technologii produkcji słonecznika w naszym kraju nie zmienił się znacząco w ciągu ostatnich 10 lat, oznacza to, że najprawdopodobniej wahania plonów w analizowanym okresie były bardzo uzależnione od wahań warunków pogodowych i klimatycznych. Czy to prawda?

Pierwsza procedura MNC. Testowana jest hipoteza o istnieniu trendu zmiany plonu słonecznika w zależności od zmian warunków pogodowych i klimatycznych na przestrzeni analizowanych 10 lat.

W tym przykładzie dla „ tak » wskazane jest zbieranie plonów słonecznika, a dla « x » to numer obserwowanego roku w analizowanym okresie. Testowanie hipotezy o istnieniu jakiegokolwiek związku między „ x " oraz " tak » można to zrobić na dwa sposoby: ręcznie oraz przy pomocy programów komputerowych. Oczywiście wraz z dostępnością technologii komputerowej problem ten rozwiązuje się sam. Aby jednak lepiej zrozumieć zestaw narzędzi OLS, wskazane jest przetestowanie hipotezy o istnieniu związku między „ x " oraz " tak » ręcznie, gdy masz pod ręką tylko długopis i zwykły kalkulator. W takich przypadkach hipotezę o istnieniu trendu najlepiej sprawdzić wizualnie poprzez położenie obrazu graficznego analizowanych szeregów czasowych – pole korelacji:

Pole korelacji w naszym przykładzie znajduje się wokół powoli rosnącej linii. To samo w sobie wskazuje na istnienie pewnego trendu zmiany plonu słonecznika. Nie można mówić o obecności jakiegokolwiek trendu tylko wtedy, gdy pole korelacji wygląda jak okrąg, okrąg, chmura ściśle pionowa lub ściśle pozioma lub składa się z losowo rozrzuconych punktów. We wszystkich innych przypadkach konieczne jest potwierdzenie hipotezy o istnieniu związku między „ x " oraz " tak i kontynuować badania.

Druga procedura MNC. Określa się, która linia (trajektoria) najlepiej opisuje lub scharakteryzuje trend zmian plonu słonecznika w analizowanym okresie.

Dzięki dostępności technologii komputerowej wybór optymalnego trendu następuje automatycznie. Przy przetwarzaniu „ręcznym” wybór optymalnej funkcji odbywa się z reguły w sposób wizualny - poprzez lokalizację pola korelacji. Oznacza to, że zgodnie z typem wykresu dobierane jest równanie linii, które najlepiej odpowiada trendowi empirycznemu (do rzeczywistej trajektorii).

Jak wiadomo, w przyrodzie istnieje ogromna różnorodność zależności funkcjonalnych, więc niezwykle trudno jest wizualnie przeanalizować nawet niewielką ich część. Na szczęście w rzeczywistej praktyce ekonomicznej większość relacji można dokładnie opisać za pomocą paraboli, hiperboli lub linii prostej. W związku z tym dzięki opcji „ręcznej” wyboru najlepszej funkcji możesz ograniczyć się tylko do tych trzech modeli.

		Hiperbola:

Parabola drugiego rzędu: :

Łatwo zauważyć, że w naszym przykładzie trend zmian plonu słonecznika na przestrzeni analizowanych 10 lat najlepiej charakteryzuje linia prosta, więc równanie regresji będzie równaniem linii prostej.

Trzecia procedura. Obliczane są parametry równania regresji charakteryzujące tę linię, czyli wyznaczany jest wzór analityczny opisujący najlepszy model trendu.

Znalezienie wartości parametrów równania regresji, w naszym przypadku parametrów i , jest rdzeniem LSM. Proces ten sprowadza się do rozwiązania układu równań normalnych.

(9.2)

Ten układ równań można dość łatwo rozwiązać metodą Gaussa. Przypomnijmy, że w wyniku rozwiązania, w naszym przykładzie zostaną znalezione wartości parametrów i. Zatem znalezione równanie regresji będzie miało postać: