Analiza danych metodą najmniejszych kwadratów. Metoda najmniejszych kwadratów w Excelu

Metoda najmniejszych kwadratów

Na ostatniej lekcji tego tematu zapoznamy się z najsłynniejszą aplikacją FNP, która znajduje najszersze zastosowanie w różnych dziedzinach nauki i praktyki. Może to być fizyka, chemia, biologia, ekonomia, socjologia, psychologia i tak dalej, i tak dalej. Z woli losu często mam do czynienia z ekonomią, dlatego dzisiaj załatwię Ci bilet do niesamowitego kraju zwanego Ekonometria=) … Jak możesz tego nie chcieć?! Tam jest bardzo dobrze - trzeba się tylko zdecydować! …Ale to, czego prawdopodobnie na pewno chcesz, to nauczyć się rozwiązywać problemy najmniejszych kwadratów. A szczególnie pilni czytelnicy nauczą się je rozwiązywać nie tylko dokładnie, ale i BARDZO SZYBKO ;-) Ale najpierw ogólne określenie problemu+ powiązany przykład:

Niech zbadane zostaną wskaźniki w jakimś obszarze tematycznym, które mają wyraz ilościowy. Jednocześnie istnieją wszelkie powody, by sądzić, że wskaźnik zależy od wskaźnika. Założenie to może być zarówno hipotezą naukową, jak i opierać się na elementarnym zdrowym rozsądku. Zostawmy jednak naukę na boku i zajmijmy się bardziej apetycznymi obszarami, czyli sklepami spożywczymi. Oznacz przez:

– powierzchnia handlowa sklepu spożywczego, mkw.,
- roczny obrót sklepu spożywczego, milion rubli.

Nie da się ukryć, że im większa powierzchnia sklepu, tym w większości przypadków większe są jego obroty.

Załóżmy, że po przeprowadzeniu obserwacji / eksperymentów / obliczeń / tańca z tamburynem mamy do dyspozycji dane liczbowe:

W przypadku sklepów spożywczych myślę, że wszystko jest jasne: - jest to powierzchnia 1. sklepu, - jego roczny obrót, - powierzchnia 2. sklepu, - jego roczny obrót itp. Nawiasem mówiąc, wcale nie jest konieczny dostęp do materiałów niejawnych - dość dokładną ocenę obrotów można uzyskać za pomocą statystyka matematyczna. Jednak nie rozpraszaj się, kurs szpiegostwa handlowego jest już opłacony =)

Dane tabelaryczne można również zapisać w postaci punktów i przedstawić w zwykły dla nas sposób. system kartezjański .

Odpowiedzmy sobie na ważne pytanie: ile punktów potrzeba do badania jakościowego?

Im większy tym lepszy. Minimalny dopuszczalny zestaw składa się z 5-6 punktów. Ponadto przy niewielkiej ilości danych wyniki „odbiegające od normy” nie powinny być uwzględniane w próbie. Na przykład mały elitarny sklep może pomóc o rząd wielkości bardziej niż „ich koledzy”, tym samym zniekształcając ogólny wzorzec, który należy znaleźć!

Jeśli to dość proste, musimy wybrać funkcję, harmonogram który przechodzi jak najbliżej punktów . Taka funkcja nazywa się przybliżony (przybliżenie - przybliżenie) Lub funkcja teoretyczna . Ogólnie rzecz biorąc, tutaj natychmiast pojawia się oczywisty „pretendent” - wielomian wysokiego stopnia, którego wykres przechodzi przez WSZYSTKIE punkty. Ale ta opcja jest skomplikowana i często po prostu niepoprawna. (bo wykres cały czas będzie się „wiał” i słabo odzwierciedla główny trend).

Zatem pożądana funkcja musi być wystarczająco prosta i jednocześnie odpowiednio odzwierciedlać zależność. Jak można się domyślić, jedną z metod znajdowania takich funkcji jest tzw najmniejszych kwadratów. Najpierw przeanalizujmy jego istotę w sposób ogólny. Niech jakaś funkcja przybliży dane eksperymentalne:


Jak ocenić dokładność tego przybliżenia? Obliczmy również różnice (odchylenia) między wartościami eksperymentalnymi i funkcjonalnymi (studiujemy rysunek). Pierwszą myślą, która przychodzi do głowy, jest oszacowanie, jak duża jest to suma, ale problem polega na tym, że różnice mogą być ujemne. (Na przykład, ) a odchylenia wynikające z takiego sumowania będą się wzajemnie znosić. Dlatego jako oszacowanie dokładności przybliżenia sugeruje się przyjęcie sumy moduły odchylenia:

lub w formie złożonej: (dla tych, którzy nie wiedzą: jest ikoną sumy i - zmienna pomocnicza - "licznik", która przyjmuje wartości od 1 do ) .

Aproksymując punkty doświadczalne różnymi funkcjami, otrzymamy różne wartości i oczywiste jest, gdzie ta suma jest mniejsza - ta funkcja jest dokładniejsza.

Taka metoda istnieje i nazywa się metoda najmniejszego modułu. Jednak w praktyce stało się to znacznie bardziej powszechne. metoda najmniejszych kwadratów, w którym możliwe wartości ujemne są eliminowane nie przez moduł, ale przez podniesienie odchyleń do kwadratu:

, po czym wysiłki skierowane są na dobór takiej funkcji, aby suma kwadratów odchyleń był jak najmniejszy. Właściwie stąd nazwa metody.

A teraz wracamy do innego ważnego punktu: jak wspomniano powyżej, wybrana funkcja powinna być dość prosta - ale takich funkcji jest również wiele: liniowy , hiperboliczny , wykładniczy , logarytmiczny , kwadratowy itp. I oczywiście tutaj chciałbym od razu „zmniejszyć pole działania”. Jaką klasę funkcji wybrać do badań? Prymitywna, ale skuteczna technika:

- Najprostszy sposób na rysowanie punktów na rysunku i przeanalizuj ich położenie. Jeśli mają tendencję do bycia w linii prostej, powinieneś poszukać równanie linii prostej z optymalnymi wartościami i . Innymi słowy, zadanie polega na znalezieniu TAKICH współczynników – aby suma kwadratów odchyleń była jak najmniejsza.

Jeśli punkty znajdują się na przykład wzdłuż hiperbola, to jasne jest, że funkcja liniowa da słabe przybliżenie. W tym przypadku szukamy najbardziej „korzystnych” współczynników dla równania hiperboli – takich, które dają minimalną sumę kwadratów .

Teraz zauważ, że w obu przypadkach mówimy funkcje dwóch zmiennych, którego argumenty są przeszukiwane opcje zależności:

Zasadniczo musimy rozwiązać standardowy problem - znaleźć minimum funkcji dwóch zmiennych.

Przypomnijmy sobie nasz przykład: załóżmy, że punkty „sklepowe” znajdują się zwykle w linii prostej i istnieją wszelkie powody, by sądzić, że zależność liniowa obrotów z obszaru handlowego. Znajdźmy TAKIE współczynniki „a” i „być”, aby suma kwadratów odchyleń był najmniejszy. Wszystko jak zwykle - po pierwsze pochodne cząstkowe I rzędu. Według reguła liniowości możesz rozróżnić bezpośrednio pod ikoną sumy:

Jeśli chcesz wykorzystać te informacje do eseju lub pracy semestralnej, będę bardzo wdzięczny za link w spisie źródeł, nigdzie nie znajdziesz tak szczegółowych wyliczeń:

Stwórzmy standardowy system:

Każde równanie redukujemy o „dwójkę” i dodatkowo „rozbijamy” sumy:

Notatka : niezależnie przeanalizuj, dlaczego „a” i „być” można wyjąć z ikony sumy. Nawiasem mówiąc, formalnie można to zrobić za pomocą sumy

Przepiszmy system w formie „stosowanej”:

po czym zaczyna się rysować algorytm rozwiązania naszego problemu:

Czy znamy współrzędne punktów? Wiemy. sumy możemy znaleźć? Łatwo. Komponujemy najprostsze układ dwóch równań liniowych z dwiema niewiadomymi(„a” i „beh”). Rozwiązujemy układ np. Metoda Cramera, w wyniku czego powstaje punkt stacjonarny. Kontrola warunek wystarczający dla ekstremum, możemy sprawdzić, że w tym momencie funkcja dociera dokładnie minimum. Weryfikacja wiąże się z dodatkowymi obliczeniami i dlatego zostawimy ją za kulisami. (w razie potrzeby można obejrzeć brakującą ramkęTutaj ) . Wyciągamy ostateczny wniosek:

Funkcjonować Najlepszym sposobem (przynajmniej w porównaniu z jakąkolwiek inną funkcją liniową) przybliża punkty doświadczalne . Z grubsza mówiąc, jego wykres przechodzi jak najbliżej tych punktów. w tradycji ekonometria wynikowa funkcja aproksymująca jest również wywoływana sparowane równanie regresji liniowej .

Rozważany problem ma duże znaczenie praktyczne. W sytuacji z naszym przykładem równanie pozwala przewidzieć, jakie obroty („jig”) będzie w sklepie z taką czy inną wartością powierzchni sprzedaży (takie lub inne znaczenie „x”). Tak, wynikowa prognoza będzie tylko prognozą, ale w wielu przypadkach okaże się całkiem trafna.

Przeanalizuję tylko jeden problem z „rzeczywistymi” liczbami, ponieważ nie ma w nim żadnych trudności - wszystkie obliczenia są na poziomie szkolnego programu nauczania w klasach 7-8. W 95 procentach przypadków zostaniesz poproszony o znalezienie samej funkcji liniowej, ale na samym końcu artykułu pokażę, że nie jest trudniej znaleźć równania dla optymalnej hiperboli, wykładnika i kilku innych funkcji.

W rzeczywistości pozostaje rozdawać obiecane gadżety - abyś nauczył się rozwiązywać takie przykłady nie tylko dokładnie, ale także szybko. Uważnie studiujemy standard:

Zadanie

W wyniku badania zależności między dwoma wskaźnikami uzyskano następujące pary liczb:

Korzystając z metody najmniejszych kwadratów, znajdź funkcję liniową, która najlepiej przybliża empiryczną (doświadczony) dane. Wykonaj rysunek, na którym w prostokątnym układzie współrzędnych kartezjańskich narysuj punkty doświadczalne i wykres funkcji aproksymującej . Znajdź sumę kwadratów odchyleń między wartościami empirycznymi i teoretycznymi. Dowiedz się, czy funkcja jest lepsza (pod względem metody najmniejszych kwadratów) przybliżone punkty doświadczalne.

Zauważ, że wartości „x” są wartościami naturalnymi, a to ma charakterystyczne znaczące znaczenie, o którym opowiem nieco później; ale oczywiście mogą być ułamkowe. Dodatkowo, w zależności od treści konkretnego zadania, zarówno wartości „X”, jak i „G” mogą być całkowicie lub częściowo ujemne. Cóż, otrzymaliśmy zadanie „bez twarzy” i zaczynamy je rozwiązanie:

Znajdujemy współczynniki optymalnej funkcji jako rozwiązania systemu:

Dla celów bardziej zwartej notacji zmienną „licznik” można pominąć, ponieważ jest już jasne, że sumowanie odbywa się od 1 do .

Wygodniej jest obliczyć wymagane kwoty w formie tabelarycznej:


Obliczenia można przeprowadzić na mikrokalkulatorze, ale znacznie lepiej jest użyć Excela - zarówno szybszego, jak i bezbłędnego; obejrzyj krótki film:

W ten sposób otrzymujemy następujące system:

Tutaj możesz pomnożyć drugie równanie przez 3 i odjąć drugie od pierwszego równania wyraz po wyrazie. Ale to szczęście - w praktyce systemy często nie są obdarzone, aw takich przypadkach oszczędza Metoda Cramera:
, więc system ma unikalne rozwiązanie.

Zróbmy kontrolę. Rozumiem, że nie chcę, ale po co pomijać błędy, skoro absolutnie nie można ich przegapić? Podstaw znalezione rozwiązanie po lewej stronie każdego równania układu:

Otrzymuje się odpowiednie części odpowiednich równań, co oznacza, że ​​układ został rozwiązany poprawnie.

Zatem pożądana funkcja aproksymująca: – od wszystkie funkcje liniowe dane eksperymentalne są przez to najlepiej przybliżone.

w odróżnieniu prosty zależności obrotów sklepu od jego powierzchni, stwierdzono zależność odwracać (zasada „im więcej – tym mniej”), a fakt ten jest natychmiast ujawniany przez negatyw współczynnik kątowy. Funkcjonować informuje nas, że wraz ze wzrostem pewnego wskaźnika o 1 jednostkę wartość wskaźnika zależnego maleje przeciętny o 0,65 jednostki. Jak mówią, im wyższa cena gryki, tym mniej się sprzedaje.

Aby wykreślić funkcję aproksymującą, znajdujemy dwie jej wartości:

i wykonać rysunek:

Skonstruowana linia nazywa się linia trendu (mianowicie liniowa linia trendu, tj. w ogólnym przypadku trend niekoniecznie jest linią prostą). Wszyscy znają wyrażenie „być w trendzie” i myślę, że to określenie nie wymaga dodatkowych komentarzy.

Oblicz sumę kwadratów odchyleń między wartościami empirycznymi i teoretycznymi. Geometrycznie jest to suma kwadratów długości „szkarłatnych” segmentów (dwa z nich są tak małe, że nawet ich nie widać).

Podsumujmy obliczenia w tabeli:


Można je ponownie przeprowadzić ręcznie, na wszelki wypadek podam przykład dla pierwszego punktu:

ale o wiele wydajniej jest zrobić już znany sposób:

powtórzmy: jaki jest sens wyniku? Z wszystkie funkcje liniowe funkcjonować wykładnik jest najmniejszy, to znaczy jest najlepszym przybliżeniem w swojej rodzinie. I tutaj, nawiasem mówiąc, ostatnie pytanie problemu nie jest przypadkowe: co jeśli zaproponowana funkcja wykładnicza będzie lepiej przybliżać punkty doświadczalne?

Znajdźmy odpowiednią sumę kwadratów odchyleń – dla ich rozróżnienia oznaczę je literą „epsilon”. Technika jest dokładnie taka sama:

I znowu dla każdego obliczenia pożaru dla pierwszego punktu:

W Excelu używamy funkcji standard DO POTĘGI (Składnię można znaleźć w pomocy programu Excel).

Wniosek: , więc funkcja wykładnicza przybliża punkty doświadczalne gorzej niż linia prosta .

Ale trzeba tu zaznaczyć, że „gorszy” jest nie znaczy jeszcze, co jest nie tak. Teraz zbudowałem wykres tej funkcji wykładniczej - i ona również przechodzi blisko punktów - do tego stopnia, że ​​bez badań analitycznych trudno stwierdzić, która funkcja jest dokładniejsza.

To kończy rozwiązanie i wracam do kwestii naturalnych wartości argumentu. W różnych opracowaniach, z reguły, ekonomicznych lub socjologicznych, miesiące, lata lub inne równe przedziały czasowe są numerowane naturalnym „X”. Rozważmy na przykład następujący problem:

Posiadamy następujące dane dotyczące obrotów detalicznych sklepu za pierwsze półrocze:

Korzystając z liniowego wyrównania analitycznego, znajdź wielkość sprzedaży w lipcu.

Tak, nie ma problemu: numerujemy miesiące 1, 2, 3, 4, 5, 6 i stosujemy zwykły algorytm, w wyniku którego otrzymujemy równanie - jedyną rzeczą, jeśli chodzi o czas, jest zwykle litera „te " (chociaż nie jest to krytyczne). Z otrzymanego równania wynika, że ​​w pierwszej połowie roku obroty wzrosły średnio o 27,74 JP. na miesiąc. Sprawdź prognozę na lipiec (miesiąc #7): e.u.

I podobne zadania - ciemność jest ciemna. Ci, którzy chcą, mogą skorzystać z dodatkowej usługi, a mianowicie my Kalkulator Excela (wersja demo), Który rozwiązuje problem niemal natychmiast! Dostępna jest działająca wersja programu w zamian albo za symboliczna płatność.

Na koniec lekcji krótka informacja o znajdowaniu zależności innych typów. Właściwie nie ma nic specjalnego do powiedzenia, ponieważ podstawowe podejście i algorytm rozwiązania pozostają takie same.

Załóżmy, że położenie punktów doświadczalnych przypomina hiperbolę. Następnie, aby znaleźć współczynniki najlepszej hiperboli, musisz znaleźć minimum funkcji - ci, którzy chcą, mogą przeprowadzić szczegółowe obliczenia i dojść do podobnego układu:

Z formalno-technicznego punktu widzenia otrzymuje się go z układu „liniowego”. (zaznaczmy to gwiazdką) zamiana „x” na . No właśnie kwoty obliczyć, po czym do optymalnych współczynników „a” i „być” na dłoni.

Jeśli istnieją wszelkie powody, by sądzić, że punkty są ułożone wzdłuż krzywej logarytmicznej, a następnie szukać optymalnych wartości i znaleźć minimum funkcji . Formalnie w układzie (*) należy zastąpić:

Podczas obliczania w programie Excel użyj funkcji LN. Wyznaję, że nie będzie mi trudno stworzyć kalkulatory dla każdego z rozważanych przypadków, ale nadal będzie lepiej, jeśli sam „zaprogramujesz” obliczenia. Samouczki wideo, które pomogą.

W przypadku zależności wykładniczej sytuacja jest nieco bardziej skomplikowana. Aby zredukować sprawę do przypadku liniowego, bierzemy logarytm funkcji i używamy właściwości logarytmu:

Teraz porównując otrzymaną funkcję z funkcją liniową , dochodzimy do wniosku, że w układzie (*) należy zastąpić przez , oraz – przez . Dla wygody oznaczamy:

Proszę zauważyć, że system jest rozwiązany względem i , dlatego po znalezieniu pierwiastków nie wolno zapomnieć o znalezieniu samego współczynnika.

Aby przybliżyć punkty eksperymentalne optymalna parabola , powinno się znaleźć minimum funkcji trzech zmiennych. Po wykonaniu standardowych czynności otrzymujemy następujące „działające” system:

Tak, oczywiście, jest tu więcej kwot, ale nie ma żadnych trudności podczas korzystania z ulubionej aplikacji. Na koniec powiem ci, jak szybko sprawdzić za pomocą Excela i zbudować pożądaną linię trendu: utwórz wykres punktowy, wybierz dowolny punkt myszką i kliknij prawym przyciskiem myszy wybierz opcję „Dodaj linię trendu”. Następnie wybierz typ wykresu i na zakładce „Opcje” aktywować opcję „Pokaż równanie na wykresie”. OK

Jak zawsze, chcę zakończyć artykuł jakimś pięknym stwierdzeniem i prawie wpisałam „Bądź w trendzie!”. Ale z czasem zmienił zdanie. I nie dlatego, że jest schematyczny. Nie wiem jak komukolwiek, ale wcale nie chce mi się podążać za lansowanym amerykańskim, a zwłaszcza europejskim trendem =) Dlatego życzę każdemu z Was, aby trzymał się swojej linii!

http://www.grandars.ru/student/vysshaya-matematika/metod-naimenshih-kvadratov.html

Metoda najmniejszych kwadratów jest jedną z najpowszechniejszych i najbardziej rozwiniętych ze względu na swoją prostota i efektywność metod estymacji parametrów liniowych modeli ekonometrycznych. Jednocześnie należy zachować pewną ostrożność przy jej stosowaniu, gdyż modele zbudowane przy jej użyciu mogą nie spełniać szeregu wymagań co do jakości swoich parametrów, a co za tym idzie, nie „dobrze” odzwierciedlać wzorce rozwoju procesów.

Rozważmy bardziej szczegółowo procedurę estymacji parametrów liniowego modelu ekonometrycznego metodą najmniejszych kwadratów. Taki model w ogólnej postaci można przedstawić równaniem (1.2):

y t = za 0 + za 1 x 1t +...+ za n x nt + ε t .

Dane początkowe przy szacowaniu parametrów a 0 , a 1 ,..., an to wektor wartości zmiennej zależnej y= (y 1 , y 2 , ... , y T)" oraz macierz wartości zmiennych niezależnych

w którym pierwsza kolumna, składająca się z jedynek, odpowiada współczynnikowi modelu .

Metoda najmniejszych kwadratów otrzymała swoją nazwę w oparciu o podstawową zasadę, że uzyskane na jej podstawie oszacowania parametrów powinny spełniać: suma kwadratów błędu modelu powinna być minimalna.

Przykłady rozwiązywania problemów metodą najmniejszych kwadratów

Przykład 2.1. Przedsiębiorstwo handlowe posiada sieć składającą się z 12 sklepów, których działalność przedstawiono w tabeli. 2.1.

Kierownictwo firmy chciałoby wiedzieć, jak wielkość rocznego obrotu zależy od powierzchni handlowej sklepu.

Tabela 2.1

Numer sklepu	Roczny obrót, milion rubli	Powierzchnia handlowa, tys m 2
	19,76	0,24
	38,09	0,31
	40,95	0,55
	41,08	0,48
	56,29	0,78
	68,51	0,98
	75,01	0,94
	89,05	1,21
	91,13	1,29
	91,26	1,12
	99,84	1,29
	108,55	1,49

Rozwiązanie metodą najmniejszych kwadratów. Wyznaczmy - roczny obrót -tego sklepu, milion rubli; - powierzchnia sprzedaży sklepu X tys m 2.

Ryc.2.1. Wykres rozrzutu dla przykładu 2.1

Wyznaczyć postać związku funkcyjnego między zmiennymi i skonstruować wykres rozrzutu (rys. 2.1).

Na podstawie wykresu rozrzutu możemy stwierdzić, że roczny obrót jest dodatnio zależny od obszaru sprzedaży (tzn. y będzie rosło wraz ze wzrostem ). Najbardziej odpowiednią formą połączenia funkcjonalnego jest liniowy.

Informacje do dalszych obliczeń przedstawiono w tabeli. 2.2. Metodą najmniejszych kwadratów estymujemy parametry liniowego jednoczynnikowego modelu ekonometrycznego

Tabela 2.2

T	y t	x 1t	t 2	x1t2	x 1t y t
	19,76	0,24	390,4576	0,0576	4,7424
	38,09	0,31	1450,8481	0,0961	11,8079
	40,95	0,55	1676,9025	0,3025	22,5225
	41,08	0,48	1687,5664	0,2304	19,7184
	56,29	0,78	3168,5641	0,6084	43,9062
	68,51	0,98	4693,6201	0,9604	67,1398
	75,01	0,94	5626,5001	0,8836	70,5094
	89,05	1,21	7929,9025	1,4641	107,7505
	91,13	1,29	8304,6769	1,6641	117,5577
	91,26	1,12	8328,3876	1,2544	102,2112
	99,84	1,29	9968,0256	1,6641	128,7936
	108,55	1,49	11783,1025	2,2201	161,7395
S	819,52	10,68	65008,554	11,4058	858,3991
Przeciętny	68,29	0,89

Zatem,

Dlatego przy wzroście powierzchni handlowej o 1 tys. m 2 , przy niezmienionych innych parametrach, średni roczny obrót wzrasta o 67,8871 mln rubli.

Przykład 2.2. Kierownictwo przedsiębiorstwa zauważyło, że roczny obrót zależy nie tylko od powierzchni sprzedaży sklepu (patrz przykład 2.1), ale także od średniej liczby odwiedzających. Odpowiednie informacje przedstawiono w tabeli. 2.3.

Tabela 2.3

Rozwiązanie. Oznacz - średnią liczbę odwiedzających -ty sklep dziennie, tysiące osób.

Wyznaczyć postać związku funkcyjnego między zmiennymi i skonstruować wykres rozrzutu (rys. 2.2).

Na podstawie wykresu rozrzutu możemy stwierdzić, że roczny obrót jest dodatnio skorelowany ze średnią liczbą odwiedzających dziennie (tzn. y będzie rosło wraz ze wzrostem ). Forma zależności funkcjonalnej jest liniowa.

Ryż. 2.2. Wykres rozrzutu na przykład 2.2

Tabela 2.4

T	x 2t	x 2t 2	yt x 2t	x 1t x 2t
	8,25	68,0625	163,02	1,98
	10,24	104,8575	390,0416	3,1744
	9,31	86,6761	381,2445	5,1205
	11,01	121,2201	452,2908	5,2848
	8,54	72,9316	480,7166	6,6612
	7,51	56,4001	514,5101	7,3598
	12,36	152,7696	927,1236	11,6184
	10,81	116,8561	962,6305	13,0801
	9,89	97,8121	901,2757	12,7581
	13,72	188,2384	1252,0872	15,3664
	12,27	150,5529	1225,0368	15,8283
	13,92	193,7664	1511,016	20,7408
S	127,83	1410,44	9160,9934	118,9728
Przeciętny	10,65

Generalnie konieczne jest wyznaczenie parametrów dwuczynnikowego modelu ekonometrycznego

y t \u003d za 0 + za 1 x 1t + za 2 x 2t + ε t

Informacje potrzebne do dalszych obliczeń przedstawiono w tabeli. 2.4.

Oszacujmy parametry liniowego dwuczynnikowego modelu ekonometrycznego metodą najmniejszych kwadratów.

Zatem,

Obliczenie współczynnika = 61,6583 pokazuje, że przy niezmienionych innych parametrach wraz ze wzrostem powierzchni handlowej o 1 tys. m 2 roczny obrót wzrośnie średnio o 61,6583 mln rubli.

Oszacowanie współczynnika = 2,2748 pokazuje, że przy niezmienionych pozostałych parametrach, wraz ze wzrostem średniej liczby odwiedzających na 1 tys. osób. dziennie roczny obrót wzrośnie średnio o 2,2748 mln rubli.

Przykład 2.3. Korzystając z informacji przedstawionych w tabeli. 2.2 i 2.4 oszacuj parametr jednoczynnikowego modelu ekonometrycznego

gdzie jest wyśrodkowana wartość rocznego obrotu -tego sklepu, milion rubli; - wyśrodkowana wartość średniej dziennej liczby odwiedzających t-ty sklep, tys. osób. (patrz przykłady 2.1-2.2).

Rozwiązanie. Dodatkowe informacje wymagane do obliczeń przedstawiono w tabeli. 2.5.

Tabela 2.5

	-48,53	-2,40	5,7720	116,6013
	-30,20	-0,41	0,1702	12,4589
	-27,34	-1,34	1,8023	36,7084
	-27,21	0,36	0,1278	-9,7288
	-12,00	-2,11	4,4627	25,3570
	0,22	-3,14	9,8753	-0,6809
	6,72	1,71	2,9156	11,4687
	20,76	0,16	0,0348	3,2992
	22,84	-0,76	0,5814	-17,413
	22,97	3,07	9,4096	70,4503
	31,55	1,62	2,6163	51,0267
	40,26	3,27	10,6766	131,5387
Suma			48,4344	431,0566

Korzystając ze wzoru (2.35), otrzymujemy

Zatem,

http://www.cleverstudents.ru/articles/mnk.html

Przykład.

Dane eksperymentalne dotyczące wartości zmiennych X I Na podane są w tabeli.

W wyniku ich wyrównania funkcja

Za pomocą metoda najmniejszych kwadratów, aproksymuj te dane zależnością liniową y=topór+b(znajdź parametry A I B). Dowiedz się, która z dwóch linii jest lepsza (w sensie metody najmniejszych kwadratów) wyrównuje dane eksperymentalne. Narysuj coś.

Rozwiązanie.

W naszym przykładzie n=5. Wypełniamy tabelę dla wygody obliczania kwot, które są zawarte we wzorach wymaganych współczynników.

Wartości w czwartym wierszu tabeli uzyskuje się przez pomnożenie wartości drugiego wiersza przez wartości trzeciego wiersza dla każdej liczby I.

Wartości w piątym rzędzie tabeli uzyskuje się przez podniesienie do kwadratu wartości drugiego rzędu dla każdej liczby I.

Wartości ostatniej kolumny tabeli są sumami wartości w wierszach.

Do znalezienia współczynników używamy wzorów metody najmniejszych kwadratów A I B. Podstawiamy w nich odpowiednie wartości z ostatniej kolumny tabeli:

Stąd, y=0,165x+2,184 jest pożądaną przybliżoną linią prostą.

Pozostaje dowiedzieć się, która z linii y=0,165x+2,184 Lub lepiej przybliża oryginalne dane, tj. dokonać oszacowania metodą najmniejszych kwadratów.

Dowód.

Tak, że po znalezieniu A I B funkcja przyjmuje najmniejszą wartość, konieczne jest, aby w tym momencie macierz postaci kwadratowej różniczki drugiego rzędu dla funkcji był dodatnio określony. pokażmy to.

Różniczka drugiego rzędu ma postać:

To jest

Dlatego macierz formy kwadratowej ma postać

a wartości elementów nie zależą od A I B.

Pokażmy, że macierz jest dodatnio określona. Wymaga to, aby kąty mniejsze były dodatnie.

Kątowy minor pierwszego rzędu . Nierówność jest ścisła, ponieważ punkty

• instruktaż

Wstęp

Jestem programistą komputerowym. Zrobiłem największy skok w mojej karierze, kiedy nauczyłem się mówić: "Niczego nierozumiem!" Teraz nie wstydzę się powiedzieć luminarzowi nauki, że daje mi wykład, że nie rozumiem, o czym on, luminarz, do mnie mówi. I to jest bardzo trudne. Tak, przyznanie się, że się nie wie, jest trudne i krępujące. Kto lubi przyznawać się, że nie zna podstaw czegoś - nie. Z racji wykonywanego zawodu muszę uczestniczyć w bardzo wielu prezentacjach i wykładach, na których, przyznaję, w zdecydowanej większości czuję się senny, bo nic nie rozumiem. A ja tego nie rozumiem, bo ogromny problem obecnej sytuacji w nauce tkwi w matematyce. Zakłada ona, że ​​wszyscy studenci znają absolutnie wszystkie dziedziny matematyki (co jest absurdem). Przyznanie się, że nie wiesz, co to jest pochodna (że to trochę później) jest wstydem.

Ale nauczyłem się mówić, że nie wiem, co to mnożenie. Tak, nie wiem, czym jest podalgebra nad algebrą Liego. Tak, nie wiem po co w życiu potrzebne są równania kwadratowe. Nawiasem mówiąc, jeśli jesteś pewien, że wiesz, mamy o czym rozmawiać! Matematyka to seria sztuczek. Matematycy próbują zmylić i zastraszyć opinię publiczną; gdzie nie ma zamieszania, reputacji, autorytetu. Tak, prestiżowe jest mówienie w najbardziej abstrakcyjnym języku, co samo w sobie jest kompletnym nonsensem.

Czy wiesz, co to jest pochodna? Najprawdopodobniej powiesz mi o granicy relacji różnicowej. Na pierwszym roku matematyki na Uniwersytecie Państwowym w Petersburgu Wiktor Pietrowicz Khavin mnie zdefiniowane pochodna jako współczynnik pierwszego wyrazu szeregu Taylora funkcji w punkcie (osobną gimnastyką było wyznaczenie szeregu Taylora bez pochodnych). Długo śmiałem się z tej definicji, aż w końcu zrozumiałem, o co w niej chodzi. Pochodna to nic innego jak miara tego, jak bardzo różniczkowana funkcja jest podobna do funkcji y=x, y=x^2, y=x^3.

Mam teraz zaszczyt prowadzić wykłady dla studentów, którzy przestraszony matematyka. Jeśli boisz się matematyki - jesteśmy w drodze. Gdy tylko spróbujesz przeczytać jakiś tekst i wydaje ci się, że jest zbyt skomplikowany, to wiedz, że jest źle napisany. Twierdzę, że nie ma ani jednej dziedziny matematyki, o której nie można mówić „na palcach” bez utraty dokładności.

Wyzwanie na najbliższą przyszłość: Poinstruowałem moich uczniów, aby zrozumieli, czym jest regulator liniowo-kwadratowy. Nie wstydź się, zmarnuj trzy minuty swojego życia, skorzystaj z linku. Jeśli czegoś nie rozumiesz, jesteśmy w drodze. Ja (zawodowy matematyk-programista) też nic nie rozumiałem. I zapewniam cię, że można to załatwić „na palcach”. W tej chwili nie wiem, co to jest, ale zapewniam, że będziemy w stanie to rozgryźć.

Tak więc pierwszym wykładem, jaki zamierzam wygłosić moim studentom po tym, jak przybiegną do mnie przerażeni słowami, że regulator liniowo-kwadratowy to straszny bug, którego nigdy w życiu nie opanujecie, jest metody najmniejszych kwadratów. Czy potrafisz rozwiązywać równania liniowe? Jeśli czytasz ten tekst, to najprawdopodobniej nie.

Tak więc, biorąc pod uwagę dwa punkty (x0, y0), (x1, y1), na przykład (1,1) i (3,2), zadaniem jest znalezienie równania prostej przechodzącej przez te dwa punkty:

ilustracja

Ta prosta powinna mieć następujące równanie:

Tutaj alfa i beta są nam nieznane, ale znane są dwa punkty tej prostej:

Możesz zapisać to równanie w postaci macierzowej:

W tym miejscu należy zrobić liryczną dygresję: czym jest matrix? Macierz to nic innego jak tablica dwuwymiarowa. Jest to sposób przechowywania danych, nie należy do niego dołączać żadnych dodatkowych wartości. To od nas zależy, jak dokładnie zinterpretujemy daną matrycę. Okresowo będę to interpretować jako odwzorowanie liniowe, okresowo jako formę kwadratową, a czasem po prostu jako zbiór wektorów. To wszystko zostanie wyjaśnione w kontekście.

Zastąpmy określone macierze ich symboliczną reprezentacją:

Następnie (alfa, beta) można łatwo znaleźć:

Dokładniej dla naszych poprzednich danych:

Co prowadzi do następującego równania prostej przechodzącej przez punkty (1,1) i (3,2):

Ok, tutaj wszystko jest jasne. I znajdźmy równanie prostej przechodzącej przez nią trzy punkty: (x0,y0), (x1,y1) i (x2,y2):

Oh-oh-oh, ale mamy trzy równania dla dwóch niewiadomych! Zwykły matematyk powie, że nie ma rozwiązania. Co powie programista? I najpierw przepisze poprzedni układ równań w następującej postaci:

W naszym przypadku wektory i, j, b są trójwymiarowe, dlatego (w ogólnym przypadku) nie ma rozwiązania tego układu. Dowolny wektor (alpha\*i + beta\*j) leży na płaszczyźnie rozpiętej przez wektory (i, j). Jeśli b nie należy do tej płaszczyzny, to nie ma rozwiązania (nie można osiągnąć równości w równaniu). Co robić? Szukajmy kompromisu. Oznaczmy przez e(alfa, beta) jak dokładnie nie osiągnęliśmy równości:

A my postaramy się zminimalizować ten błąd:

Dlaczego kwadrat?

Szukamy nie tylko minimum normy, ale także minimum kwadratu normy. Dlaczego? Sam punkt minimalny pokrywa się, a kwadrat daje funkcję gładką (funkcję kwadratową argumentów (alfa, beta)), natomiast sama długość daje funkcję w postaci stożka, nieróżniczkowalną w punkcie minimalnym. brr. Kwadrat jest wygodniejszy.

Oczywiście błąd jest zminimalizowany, gdy wektor mi prostopadła do płaszczyzny rozpiętej przez wektory I I J.

Ilustracja

Innymi słowy: szukamy takiej prostej, aby suma kwadratów długości odległości od wszystkich punktów do tej prostej była minimalna:

AKTUALIZACJA: tutaj mam ościeżnicę, odległość do linii powinna być mierzona w pionie, a nie w rzucie ortograficznym. Ten komentator ma rację.

Ilustracja

Zupełnie innymi słowami (ostrożnie, słabo sformalizowane, ale powinno być jasne na palcach): bierzemy wszystkie możliwe linie między wszystkimi parami punktów i szukamy linii średniej między wszystkimi:

Ilustracja

Kolejne wyjaśnienie na palcach: przyczepiamy sprężynę między wszystkimi punktami danych (tutaj mamy trzy) a linią, której szukamy, a linia stanu równowagi jest dokładnie tym, czego szukamy.

Minimum formy kwadratowej

Więc biorąc pod uwagę wektor B oraz płaszczyzna rozpięta przez kolumny-wektory macierzy A(w tym przypadku (x0,x1,x2) i (1,1,1)), szukamy wektora mi o minimalnej długości kwadratu. Oczywiście minimum jest osiągalne tylko dla wektora mi, ortogonalna do płaszczyzny rozpiętej przez kolumny-wektory macierzy A:

Innymi słowy, szukamy wektora x=(alfa, beta) takiego, że:

Przypominam, że ten wektor x=(alfa, beta) jest minimum funkcji kwadratowej ||e(alfa, beta)||^2:

Tutaj warto pamiętać, że macierz może być interpretowana tak samo jak postać kwadratowa, na przykład macierz tożsamości ((1,0),(0,1)) może być interpretowana jako funkcja x^2 + y ^ 2:

forma kwadratowa

Cała ta gimnastyka jest znana jako regresja liniowa.

Równanie Laplace'a z warunkiem brzegowym Dirichleta

Teraz najprostszy prawdziwy problem: jest pewna trójkątna powierzchnia, trzeba ją wygładzić. Na przykład załadujmy mój model twarzy:

Oryginalne zatwierdzenie jest dostępne. Aby zminimalizować zależności zewnętrzne, wziąłem kod renderera mojego oprogramowania, już na Habré. Aby rozwiązać system liniowy, używam OpenNL , to świetny solver, ale bardzo trudny w instalacji: musisz skopiować dwa pliki (.h + .c) do folderu projektu. Całe wygładzanie odbywa się za pomocą następującego kodu:

Dla (int d=0; d<3; d++) { nlNewContext(); nlSolverParameteri(NL_NB_VARIABLES, verts.size()); nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE); nlBegin(NL_SYSTEM); nlBegin(NL_MATRIX); for (int i=0; i<(int)verts.size(); i++) { nlBegin(NL_ROW); nlCoefficient(i, 1); nlRightHandSide(verts[i][d]); nlEnd(NL_ROW); } for (unsigned int i=0; i&twarz = twarze[i]; dla (int j=0; j<3; j++) { nlBegin(NL_ROW); nlCoefficient(face[ j ], 1); nlCoefficient(face[(j+1)%3], -1); nlEnd(NL_ROW); } } nlEnd(NL_MATRIX); nlEnd(NL_SYSTEM); nlSolve(); for (int i=0; i<(int)verts.size(); i++) { verts[i][d] = nlGetVariable(i); } }

Współrzędne X, Y i Z są rozdzielne, wygładzam je osobno. Oznacza to, że rozwiązuję trzy układy równań liniowych, każdy z taką samą liczbą zmiennych, jak liczba wierzchołków w moim modelu. Pierwsze n wierszy macierzy A ma tylko jedną 1 na wiersz, a pierwszych n wierszy wektora b ma oryginalne współrzędne modelu. Oznacza to, że wiążę sprężynę między nową pozycją wierzchołka a starą pozycją wierzchołka - nowe nie powinny być zbyt daleko od starych.

Wszystkie kolejne wiersze macierzy A (faces.size()*3 = liczba krawędzi wszystkich trójkątów w siatce) mają jedno wystąpienie 1 i jedno wystąpienie -1, podczas gdy wektor b ma zerowe składowe przeciwne. Oznacza to, że umieściłem sprężynę na każdej krawędzi naszej trójkątnej siatki: wszystkie krawędzie starają się uzyskać ten sam wierzchołek, co ich punkt początkowy i końcowy.

Jeszcze raz: wszystkie wierzchołki są zmiennymi i nie mogą odbiegać daleko od swojego pierwotnego położenia, ale jednocześnie starają się upodobnić do siebie.

Oto wynik:

Wszystko byłoby dobrze, model jest naprawdę wygładzony, ale odsunął się od swojej pierwotnej krawędzi. Zmieńmy trochę kod:

Dla (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }

W naszej macierzy A dla wierzchołków leżących na krawędzi dodaję nie wiersz z kategorii v_i = verts[i][d], ale 1000*v_i = 1000*verts[i][d]. Co to zmienia? A to zmienia naszą kwadratową postać błędu. Teraz pojedyncze odchylenie od góry na krawędzi będzie kosztować nie jedną jednostkę, jak poprzednio, ale 1000 * 1000 jednostek. Oznacza to, że zawiesiliśmy mocniejszą sprężynę na skrajnych wierzchołkach, rozwiązanie woli mocniej rozciągnąć inne. Oto wynik:

Podwojmy siłę sprężyn między wierzchołkami:
nlWspółczynnik(twarz[ j ], 2); nlWspółczynnik(twarz[(j+1)%3], -2);

Logiczne jest, że powierzchnia stała się gładsza:

A teraz nawet sto razy mocniejszy:

Co to jest? Wyobraź sobie, że zanurzyliśmy druciany pierścień w wodzie z mydłem. W rezultacie powstały film mydlany będzie starał się mieć jak najmniejszą krzywiznę, dotykając tej samej granicy - naszego drucianego pierścienia. Dokładnie to uzyskaliśmy, ustalając granicę i prosząc o gładką powierzchnię wewnątrz. Gratulacje, właśnie rozwiązaliśmy równanie Laplace'a z warunkami brzegowymi Dirichleta. Brzmi nieźle? Ale w rzeczywistości tylko jeden układ równań liniowych do rozwiązania.

Równanie Poissona

Miejmy kolejną fajną nazwę.

Powiedzmy, że mam taki obraz:

Wszyscy są dobrzy, ale krzesło mi się nie podoba.

Przeciąłem zdjęcie na pół:

I wybiorę krzesło własnymi rękami:

Następnie przeciągnę wszystko, co jest białe w masce, na lewą stronę obrazu i jednocześnie powiem na całym obrazie, że różnica między dwoma sąsiednimi pikselami powinna być równa różnicy między dwoma sąsiednimi pikselami prawy obraz:

Dla (int i=0; i

Oto wynik:

Kod i zdjęcia są dostępne

Metoda najmniejszych kwadratów (OLS, ang. Ordinary Least Squares, OLS)- metoda matematyczna służąca do rozwiązywania różnych problemów, polegająca na minimalizowaniu sumy kwadratów odchyleń niektórych funkcji od pożądanych zmiennych. Może służyć do „rozwiązywania” nadokreślonych układów równań (gdy liczba równań przekracza liczbę niewiadomych), znajdowania rozwiązań w przypadku zwyczajnych (nienaddeterminowanych) nieliniowych układów równań, aproksymacji wartości punktowych o określonej funkcji. OLS jest jedną z podstawowych metod analizy regresji do estymacji nieznanych parametrów modeli regresji z danych próbnych.

Encyklopedyczny YouTube

1 / 5

✪ Metoda najmniejszych kwadratów. Temat

✪ Mitin IV - Przetwarzanie wyników fizycznych. eksperyment - Metoda najmniejszych kwadratów (Wykład 4)

✪ Metoda najmniejszych kwadratów, lekcja 1/2. Funkcja liniowa

✪ Ekonometria. Wykład 5. Metoda najmniejszych kwadratów

✪ Metoda najmniejszych kwadratów. Odpowiedzi

Napisy na filmie obcojęzycznym

Fabuła

Do początku XIX wieku. naukowcy nie mieli pewnych zasad rozwiązywania układu równań, w którym liczba niewiadomych jest mniejsza niż liczba równań; Do tego czasu stosowano określone metody, w zależności od rodzaju równań i pomysłowości kalkulatorów, dlatego różne kalkulatory, wychodząc z tych samych danych obserwacyjnych, dochodziły do ​​różnych wniosków. Gaussowi (1795) przypisuje się pierwsze zastosowanie metody, a Legendre (1805) niezależnie ją odkrył i opublikował pod jej współczesną nazwą (fr. Methode des moindres quarres) . Laplace połączył tę metodę z teorią prawdopodobieństwa, a amerykański matematyk Adrain (1808) rozważał jej probabilistyczne zastosowania. Metoda jest szeroko rozpowszechniona i udoskonalona dzięki dalszym badaniom prowadzonym przez Encke, Bessela, Hansena i innych.

Istota metody najmniejszych kwadratów

Pozwalać x (\ displaystyle x)- zestaw n (\ displaystyle n) nieznane zmienne (parametry), fa ja (x) (\ displaystyle f_ (i) (x)), , m > n (\ Displaystyle m> n)- zbiór funkcji z tego zbioru zmiennych. Problem polega na doborze takich wartości x (\ displaystyle x) tak, aby wartości tych funkcji były jak najbardziej zbliżone do pewnych wartości y ja (\ displaystyle y_ (i)). W istocie mówimy o „rozwiązaniu” nadokreślonego układu równań fa ja (x) = y ja (\ displaystyle f_ (i) (x) = y_ (i)), ja = 1 , … , m (\ Displaystyle i=1, \ ldots, m) we wskazanym sensie maksymalna bliskość lewej i prawej części układu. Istotą LSM jest wybranie jako „miarę bliskości” sumy kwadratów odchyleń lewej i prawej części | fa ja (x) - y ja | (\ Displaystyle | f_ (i) (x) -y_ (i) |). Tak więc istotę LSM można wyrazić następująco:

∑ ja mi ja 2 = ∑ ja (y ja - fa ja (x)) 2 → min x (\ Displaystyle \ suma _ (i) e_ (i) ^ (2) = \ suma _ (i) (y_ (i) -f_ ( i)(x))^(2)\rightarrow \min _(x)).

Jeżeli układ równań ma rozwiązanie, to minimum sumy kwadratów będzie równe zeru, a dokładne rozwiązania układu równań można znaleźć analitycznie lub np. różnymi numerycznymi metodami optymalizacji. Jeżeli układ jest nadokreślony, czyli mówiąc luźno, liczba równań niezależnych jest większa niż liczba nieznanych zmiennych, to układ nie ma rozwiązania dokładnego i metoda najmniejszych kwadratów pozwala znaleźć jakiś „optymalny” wektor x (\ displaystyle x) w sensie maksymalnej bliskości wektorów y (\ displaystyle y) I fa (x) (\ displaystyle f (x)) lub maksymalna bliskość wektora odchylenia mi (\ displaystyle e) do zera (bliskość rozumiana jest w sensie odległości euklidesowej).

Przykład - układ równań liniowych

W szczególności metoda najmniejszych kwadratów może być wykorzystana do „rozwiązania” układu równań liniowych

ZA x = b (\ Displaystyle Ax = b),

Gdzie ZA (\ Displaystyle A) prostokątna macierz rozmiarów m × n , m > n (\ Displaystyle m \ razy n, m> n)(tj. liczba wierszy macierzy A jest większa niż liczba wymaganych zmiennych).

Taki układ równań na ogół nie ma rozwiązania. Dlatego układ ten można „rozwiązać” tylko w sensie wyboru takiego wektora x (\ displaystyle x) aby zminimalizować „odległość” między wektorami ZA x (\ Displaystyle Ax) I b (\ displaystyle b). Aby to zrobić, możesz zastosować kryterium minimalizacji sumy kwadratów różnic lewej i prawej części równań układu, to znaczy (A x - b) T (A x - b) → min (\ Displaystyle (Ax-b) ^ (T) (Ax-b) \ rightarrow \ min ). Łatwo pokazać, że rozwiązanie tego problemu minimalizacji prowadzi do rozwiązania następującego układu równań

ZA T ZA x = ZA T b ⇒ x = (A T ZA) - 1 ZA T b (\ Displaystyle A ^ (T) Ax = A ^ (T) b \ Strzałka w prawo x = (A ^ (T) A) ^ (-1) A ^ (T)b).

OLS w analizie regresji (aproksymacja danych)

Niech będzie n (\ displaystyle n) wartości jakiejś zmiennej y (\ displaystyle y)(mogą to być wyniki obserwacji, eksperymentów itp.) i odpowiadające im zmienne x (\ displaystyle x). Wyzwaniem jest stworzenie relacji między y (\ displaystyle y) I x (\ displaystyle x) przybliżony przez jakąś funkcję znaną do pewnych nieznanych parametrów b (\ displaystyle b), czyli faktycznie znaleźć najlepsze wartości parametrów b (\ displaystyle b), maksymalnie przybliżając wartości fa (x, b) (\ displaystyle f (x, b)) do rzeczywistych wartości y (\ displaystyle y). W rzeczywistości sprowadza się to do przypadku „rozwiązania” nadokreślonego układu równań względem b (\ displaystyle b):

fa (x t , b) = y t , t = 1 , … , n (\ Displaystyle f (x_ (t), b) = y_ (t), t = 1, \ ldots, n).

W analizie regresji, aw szczególności w ekonometrii, wykorzystuje się probabilistyczne modele relacji między zmiennymi.

Y t = fa (x t , b) + ε t (\ Displaystyle y_ (t) = f (x_ (t), b) + \ varepsilon _ (t)),

Gdzie ε t (\ Displaystyle \ varepsilon _ (t))- tak zwana przypadkowe błędy modele.

W związku z tym odchylenia obserwowanych wartości y (\ displaystyle y) od modelu fa (x, b) (\ displaystyle f (x, b)) już przyjęte w samym modelu. Istotą LSM (zwykłego, klasycznego) jest znalezienie takich parametrów b (\ displaystyle b), przy którym suma kwadratów odchyleń (błędów, dla modeli regresyjnych często nazywa się je resztami regresji) mi t (\ displaystyle e_ (t)) będzie minimalny:

b ^ O L S = arg ⁡ min b R S S (b) (\ Displaystyle (\ kapelusz (b)) _ (OLS) = \ arg \ min _ (b) RSS (b)),

Gdzie R S S (\ displaystyle RSS)- Język angielski. Pozostała suma kwadratów jest zdefiniowana jako:

R S S (b) = mi T mi = ∑ t = 1 n mi t 2 = ∑ t = 1 n (y t - fa (x t , b)) 2 (\ Displaystyle RSS (b) = e ^ (T) e = \ suma _ (t=1)^(n)e_(t)^(2)=\suma _(t=1)^(n)(y_(t)-f(x_(t),b))^(2) ).

W ogólnym przypadku problem ten można rozwiązać numerycznymi metodami optymalizacji (minimalizacji). W tym przypadku mówi się o nieliniowe metody najmniejszych kwadratów(NLS lub NLLS - ang. Non-Linear Least Squares). W wielu przypadkach można uzyskać rozwiązanie analityczne. Aby rozwiązać problem minimalizacji, konieczne jest znalezienie punktów stacjonarnych funkcji R S S (b) (\ displaystyle RSS (b)), różniczkując go względem nieznanych parametrów b (\ displaystyle b), przyrównując pochodne do zera i rozwiązując powstały układ równań:

∑ t = 1 n (y t - fa (x t , b)) ∂ fa (x t , b) ∂ b = 0 (\ Displaystyle \ suma _ (t = 1) ^ (n) (y_ (t) -f (x_ (t),b))(\frac (\częściowe f(x_(t),b))(\częściowe b))=0).

LSM w przypadku regresji liniowej

Niech zależność regresji będzie liniowa:

y t = ∑ jot = 1 k b jot x t jot + ε = x t T b + ε t (\ Displaystyle y_ (t) = \ suma _ (j = 1) ^ (k) b_ (j) x_ (tj) + \ varepsilon = x_ ( t)^(T)b+\varepsilon _(t)).

Pozwalać y jest wektorem kolumnowym obserwacji wyjaśnianej zmiennej, oraz X (\ Displaystyle X)- Ten (n × k) (\ Displaystyle ((n \ razy k)))- macierz obserwacji czynnikowych (wiersze macierzy - wektory wartości czynnika w danej obserwacji, przy kolumnach - wektor wartości danego czynnika we wszystkich obserwacjach). Macierzowa reprezentacja modelu liniowego ma postać:

y = Xb + ε (\ Displaystyle y = Xb + \ varepsilon).

Wtedy wektor oszacowań zmiennej objaśnianej i wektor reszt regresji będą równe

y ^ = X b , mi = y - y ^ = y - X b (\ Displaystyle (\ kapelusz (y)) = Xb, \ quad e = y - (\ kapelusz (y)) = y-Xb).

w związku z tym suma kwadratów reszt regresji będzie równa

R S S = mi T mi = (y - X b) T (y - X b) (\ Displaystyle RSS = e ^ (T) e = (y-Xb) ^ (T) (y-Xb)).

Różniczkując tę ​​funkcję względem wektora parametrów b (\ displaystyle b) i przyrównując pochodne do zera, otrzymujemy układ równań (w postaci macierzowej):

(X T X) b = X T y (\ Displaystyle (X ^ (T) X) b = X ^ (T) y).

W rozszyfrowanej postaci macierzy ten układ równań wygląda następująco:

(∑ x t 1 2 ∑ x t 1 x t 2 ∑ x t 1 x t 3 … ∑ x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t 2 x t 3 … ∑ x t 2 x t k ∑ x t 3 x t 1 ∑ x t 3 x t 2 ∑ x t 3 2 … ∑ x t 3 x t k ⋮ ⋮ ⋮ ⋱ ⋮ ∑ x t k x t 1 ∑ x t k x t 2 ∑ x t k x t 3 … ∑ x t k 2) (b 1 b 2 b 3 ⋮ b k) = (∑ x t 1 y t ∑ x t 2 y t ∑ x t 3 y t ⋮ ∑ x t k y t) , (\ Displaystyle (\ rozpocząć (pmatrix) \ suma x_ (t1) ^ (2) i \ suma x_ (t1) x_ (t2) i \ suma x_ (t1) x_ (t3) i \ ldots &\suma x_(t1)x_(tk)\\\suma x_(t2)x_(t1)&\suma x_(t2)^(2)&\suma x_(t2)x_(t3)&\ldots &\ suma x_(t2)x_(tk)\\\suma x_(t3)x_(t1)&\suma x_(t3)x_(t2)&\suma x_(t3)^(2)&\ldots &\suma x_ (t3)x_(tk)\\\vdots &\vdots &\vdots &\ddots &\vdots \\\sum x_(tk)x_(t1)&\sum x_(tk)x_(t2)&\sum x_ (tk)x_(t3)&\ldots &\sum x_(tk)^(2)\\\end(pmatrix))(\begin(pmatrix)b_(1)\\b_(2)\\b_(3 )\\\vdots \\b_(k)\\\end(pmatrix))=(\begin(pmatrix)\suma x_(t1)y_(t)\\\suma x_(t2)y_(t)\\ \sum x_(t3)y_(t)\\\vdots \\\sum x_(tk)y_(t)\\\end(pmatrix))) gdzie wszystkie sumy są przejmowane przez wszystkie dopuszczalne wartości t (\ displaystyle t).

Jeśli w modelu jest zawarta stała (jak zwykle), to x t 1 = 1 (\ Displaystyle x_ (t1) = 1) dla wszystkich t (\ displaystyle t), zatem w lewym górnym rogu macierzy układu równań jest liczba obserwacji n (\ displaystyle n), a w pozostałych elementach pierwszego wiersza i pierwszej kolumny tylko suma wartości zmiennych: ∑ x t j (\ Displaystyle \ suma x_ (tj)) i pierwszy element prawej strony układu - ∑ y t (\ Displaystyle \ suma y_ (t)).

Rozwiązanie tego układu równań daje ogólny wzór na oszacowania metodą najmniejszych kwadratów dla modelu liniowego:

b ^ O L S = (X T X) - 1 X T y = (1 n X T X) - 1 1 n X T y = V x - 1 do x y (\ Displaystyle (\ kapelusz (b)) _ (OLS) = (X ^ (T )X)^(-1)X^(T)y=\left((\frac (1)(n))X^(T)X\right)^(-1)(\frac (1)(n ))X^(T)y=V_(x)^(-1)C_(xy)).

Dla celów analitycznych przydatna okazuje się ostatnia reprezentacja tego wzoru (w układzie równań przy dzieleniu przez n zamiast sum występują średnie arytmetyczne). Jeśli dane w modelu regresji wyśrodkowany, to w tej reprezentacji pierwsza macierz ma znaczenie przykładowej macierzy kowariancji czynników, a druga jest wektorem kowariancji czynników ze zmienną zależną. Jeśli dodatkowo dane są również znormalizowane w SKO (czyli docelowo znormalizowane), to pierwsza macierz ma znaczenie próbnej macierzy korelacji czynników, drugi wektor - wektor próbnych korelacji czynników ze zmienną zależną.

Ważna właściwość oszacowań LLS dla modeli ze stałą- linia konstruowanej regresji przechodzi przez środek ciężkości danych z próby, czyli równość jest spełniona:

y ¯ = b 1 ^ + ∑ jot = 2 k b ^ jot x ¯ jot (\ Displaystyle (\ bar (y)) = (\ kapelusz (b_ (1))) + \ suma _ (j = 2) ^ (k) (\kapelusz (b))_(j)(\bar (x))_(j)).

W szczególności w skrajnym przypadku, gdy jedynym regresorem jest stała, stwierdzamy, że estymata OLS pojedynczego parametru (samej stałej) jest równa średniej wartości wyjaśnianej zmiennej. Czyli średnia arytmetyczna, znana ze swoich dobrych właściwości z praw wielkich liczb, jest również estymatorem najmniejszych kwadratów – spełnia kryterium minimalnej sumy kwadratów odchyleń od niej.

Najprostsze przypadki specjalne

W przypadku regresji liniowej parami y t = za + b x t + ε t (\ Displaystyle y_ (t) = a + bx_ (t) + \ varepsilon _ (t)), gdy szacowana jest liniowa zależność jednej zmiennej od drugiej, formuły obliczeniowe są uproszczone (można obejść się bez algebry macierzowej). Układ równań ma postać:

(1 x ¯ x ¯ x 2 ¯) (a b) = (y ¯ x y ¯) (\ Displaystyle (\ rozpocząć (pmatrix) 1 & (\ bar (x)) \\ (\ bar (x)) & (\ bar (x^(2)))\\\end(pmatrix))(\begin(pmatrix)a\\b\\\end(pmatrix))=(\begin(pmatrix)(\bar (y))\\ (\overline(xy))\\\end(pmatrix))).

Stąd łatwo jest znaleźć szacunki współczynników:

( b ^ = Cov ⁡ (x , y) Var ⁡ (x) = x y ¯ - x ¯ y ¯ x 2 ¯ - x ¯ 2 , za ^ = y ¯ - b x ¯ , (\ Displaystyle (\ rozpocząć (przypadki) (\hat (b))=(\frac (\mathop (\textrm (Cov)) (x,y))(\mathop (\textrm (Var)) (x)))=(\frac ((\overline (xy))-(\bar (x))(\bar (y)))((\overline (x^(2)))-(\overline (x))^(2))),\\( \hat (a))=(\bar (y))-b(\bar (x)).\end(cases)))

Pomimo tego, że w ogólnym przypadku preferowane są modele ze stałą, to w niektórych przypadkach wiadomo z rozważań teoretycznych, że stała za (\ displaystyle a) powinna być równa zeru. Na przykład w fizyce związek między napięciem a prądem ma postać U = ja ⋅ R (\ Displaystyle U = I \ cdot R); mierząc napięcie i prąd, konieczne jest oszacowanie rezystancji. W tym przypadku mówimy o modelu y = b x (\ displaystyle y = bx). W tym przypadku zamiast układu równań mamy jedno równanie

(∑ x t 2) b = ∑ x t y t (\ Displaystyle \ lewo (\ suma x_ (t) ^ (2) \ prawo) b = \ suma x_ (t) y_ (t)).

Dlatego wzór na oszacowanie pojedynczego współczynnika ma postać

b ^ = ∑ t = 1 n x t y t ∑ t = 1 n x t 2 = x y ¯ x 2 ¯ (\ Displaystyle (\ kapelusz (b)) = (\ Frac (\ suma _ (t = 1) ^ (n) x_ (t )y_(t))(\sum _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))).

Przypadek modelu wielomianowego

Jeśli dane są dopasowane przez funkcję regresji wielomianowej jednej zmiennej fa (x) = b 0 + ∑ ja = 1 k b ja x ja (\ Displaystyle f (x) = b_ (0) + \ suma \ limity _ (i = 1) ^ (k) b_ (i) x ^ (i)), a następnie postrzeganie stopni x ja (\ displaystyle x ^ (i)) jako czynniki niezależne dla każdego ja (\ styl wyświetlania i) możliwa jest estymacja parametrów modelu na podstawie ogólnego wzoru na estymację parametrów modelu liniowego. Aby to zrobić, wystarczy wziąć pod uwagę w ogólnej formule, że przy takiej interpretacji x t ja x t jot = x t ja x t jot = x t ja + jot (\ Displaystyle x_ (ti) x_ (tj) = x_ (t) ^ (i) x_ (t) ^ (j) = x_ (t) ^ (i + j)) I x t jot y t = x t jot y t (\ Displaystyle x_ (tj) y_ (t) = x_ (t) ^ (j) y_ (t)). Dlatego równania macierzowe w tym przypadku przyjmą postać:

(n ∑ n x t … ∑ n x t k ∑ n x t ∑ n x ja 2 … ∑ m x ja k + 1 ⋮ ⋮ ⋱ ⋮ ∑ n x t k ∑ n x t k + 1 … ∑ n x t 2 k) [ b 0 b 1 ⋮ b k ] = [ ∑ n y t ∑ n x t y t ⋮ ∑ n x t k y t ] . (\displaystyle (\begin(pmatrix)n&\sum \limits _(n)x_(t)&\ldots &\sum \limits _(n)x_(t)^(k)\\\sum \limits _( n)x_(t)&\sum \limits _(n)x_(i)^(2)&\ldots &\sum \limits _(m)x_(i)^(k+1)\\\vdots & \vdots &\ddots &\vdots \\\sum \limits _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\ldots &\ sum \limits _(n)x_(t)^(2k)\end(pmatrix))(\begin(bmatrix)b_(0)\\b_(1)\\\vdots \\b_(k)\end( bmatrix))=(\begin(bmatrix)\sum \limits _(n)y_(t)\\\sum \limits _(n)x_(t)y_(t)\\\vdots \\\sum \limits _(n)x_(t)^(k)y_(t)\koniec(bmacierz)).)

Właściwości statystyczne oszacowań OLS

Przede wszystkim zauważamy, że dla modeli liniowych estymatory metodą najmniejszych kwadratów są estymatorami liniowymi, co wynika z powyższego wzoru. Dla nieobciążoności estymatorów metodą najmniejszych kwadratów konieczne i wystarczające jest spełnienie najważniejszego warunku analizy regresji: matematyczne oczekiwanie błędu losowego zależnego od czynników musi być równe zeru. Warunek ten jest spełniony w szczególności, jeżeli

1. matematyczne oczekiwanie błędów losowych wynosi zero, oraz
2. czynniki i błędy losowe są niezależnymi „losowymi” wartościami.

Drugi warunek – warunek czynników egzogenicznych – jest fundamentalny. Jeśli ta właściwość nie jest spełniona, możemy założyć, że prawie wszystkie oszacowania będą skrajnie niezadowalające: nie będą nawet spójne (to znaczy nawet bardzo duża ilość danych nie pozwala w tym przypadku na uzyskanie szacunków jakościowych). W przypadku klasycznym przyjmuje się silniejsze założenie o determinizmie czynników, w przeciwieństwie do błędu losowego, co automatycznie oznacza, że ​​warunek egzogeniczny jest spełniony. W ogólnym przypadku dla spójności oszacowań wystarczy spełnić warunek egzogeniczności wraz ze zbieżnością macierzy V x (\ Displaystyle V_ (x)) do pewnej niezdegenerowanej macierzy, gdy wielkość próbki wzrasta do nieskończoności.

Aby oprócz spójności i bezstronności oszacowania (zwykłego) LSM były również efektywne (najlepsze w klasie liniowych oszacowań nieobciążonych), konieczne jest spełnienie dodatkowych własności błędu losowego:

Założenia te można sformułować dla macierzy kowariancji wektora błędów losowych V (ε) = σ 2 ja (\ Displaystyle V (\ varepsilon) = \ sigma ^ (2) I).

Nazywa się model liniowy spełniający te warunki klasyczny. Oszacowania OLS dla klasycznej regresji liniowej są nieobciążonymi, spójnymi i najbardziej wydajnymi estymatorami w klasie wszystkich nieobciążonych estymatorów liniowych (w literaturze angielskiej czasami używany jest skrót niebieski (Najlepszy liniowy nieobciążony estymator) jest najlepszym liniowym nieobciążonym oszacowaniem; w literaturze krajowej częściej cytowane jest twierdzenie Gaussa - Markowa). Jak łatwo pokazać, macierz kowariancji wektora oszacowań współczynników będzie równa:

V (b ^ O L S) = σ 2 (X T X) - 1 (\ Displaystyle V ((\ kapelusz (b)) _ (OLS)) = \ sigma ^ (2) (X ^ (T) X) ^ (-1 )).

Efektywność oznacza, że ​​ta macierz kowariancji jest „minimalna” (każda kombinacja liniowa współczynników, a w szczególności same współczynniki, mają minimalną wariancję), czyli w klasie liniowych oszacowań nieobciążonych najlepsze są oszacowania OLS. Elementy diagonalne tej macierzy – wariancje oszacowań współczynników – są ważnymi parametrami jakości uzyskanych oszacowań. Jednak nie jest możliwe obliczenie macierzy kowariancji, ponieważ wariancja błędu losowego jest nieznana. Można udowodnić, że nieobciążoną i spójną (dla klasycznego modelu liniowego) estymatą wariancji błędów losowych jest wartość:

S 2 = R S S / (n - k) (\ Displaystyle s ^ (2) = RSS / (nk)).

Podstawiając tę ​​wartość do wzoru na macierz kowariancji, otrzymujemy oszacowanie macierzy kowariancji. Uzyskane szacunki są również bezstronne i spójne. Istotne jest również to, że oszacowanie wariancji błędu (a co za tym idzie wariancje współczynników) oraz oszacowania parametrów modelu są niezależnymi zmiennymi losowymi, co umożliwia uzyskanie statystyk testowych do testowania hipotez dotyczących współczynników modelu.

Należy zauważyć, że jeśli nie są spełnione klasyczne założenia, oszacowania parametrów metodą najmniejszych kwadratów nie są najbardziej wydajne i tam, gdzie W. (\ Displaystyle W) jest pewną symetryczną dodatnio określoną macierzą wag. Szczególnym przypadkiem tego podejścia jest metoda najmniejszych kwadratów zwyczajnych, gdy macierz wag jest proporcjonalna do macierzy tożsamości. Jak wiadomo, dla macierzy (lub operatorów) symetrycznych zachodzi dekompozycja W = P T P. (\ Displaystyle W = P ^ (T) P). Dlatego ten funkcjonał można przedstawić w następujący sposób mi T P T P mi = (P mi) T P mi = mi ∗ T mi ∗ (\ Displaystyle e ^ (T) P ^ (T) Pe = (Pe) ^ (T) Pe = e_ (*) ​​^ (T) e_ ( *)), to znaczy ten funkcjonał można przedstawić jako sumę kwadratów niektórych przekształconych „reszt”. W ten sposób możemy wyróżnić klasę metod najmniejszych kwadratów - metody LS (najmniejszych kwadratów).

Udowodniono (twierdzenie Aitkena), że dla uogólnionego modelu regresji liniowej (w którym nie nakłada się żadnych ograniczeń na macierz kowariancji błędów losowych) najbardziej efektywne (w klasie liniowych oszacowań nieobciążonych) są oszacowania tzw. uogólnione OLS (OMNK, GLS - uogólnione metody najmniejszych kwadratów)- Metoda LS z macierzą wag równą odwrotnej macierzy kowariancji błędów losowych: W = V ε - 1 (\ Displaystyle W = V _ (\ varepsilon) ^ (-1)).

Można wykazać, że wzór na oszacowania GLS parametrów modelu liniowego ma postać

b ^ G L S = (X T V - 1 X) - 1 X T V - 1 y (\ Displaystyle (\ kapelusz (b)) _ (GLS) = (X ^ (T) V ^ (-1) X) ^ (-1) X^(T)V^(-1)y).

Macierz kowariancji odpowiednio tych oszacowań będzie równa

V (b ^ G L S) = (X T V - 1 X) - 1 (\ Displaystyle V ((\ kapelusz (b)) _ (GLS)) = (X ^ (T) V ^ (-1) X) ^ (- 1)).

W rzeczywistości istota OLS polega na pewnym (liniowym) przekształceniu (P) oryginalnych danych i zastosowaniu zwykłych najmniejszych kwadratów do przekształconych danych. Celem tej transformacji jest to, aby dla przekształconych danych błędy losowe spełniały już klasyczne założenia.

Ważone metody najmniejszych kwadratów

W przypadku diagonalnej macierzy wag (a więc macierzy kowariancji błędów losowych) mamy do czynienia z tzw. ważonymi najmniejszymi kwadratami (WLS – Weighted Least Squares). W tym przypadku ważona suma kwadratów reszt modelu jest minimalizowana, to znaczy każda obserwacja otrzymuje „wagę”, która jest odwrotnie proporcjonalna do wariancji błędu losowego w tej obserwacji: mi T W mi = ∑ t = 1 n mi t 2 σ t 2 (\ Displaystyle e ^ (T) We = \ suma _ (t = 1) ^ (n) (\ Frac (e_ (t) ^ (2)) (\ sigma _(t)^(2)))). W rzeczywistości dane są przekształcane przez ważenie obserwacji (dzielenie przez wielkość proporcjonalną do przyjętego odchylenia standardowego błędów losowych), a do danych ważonych stosowana jest normalna metoda najmniejszych kwadratów.

ISBN 978-5-7749-0473-0 .

Ekonometria. Podręcznik / wyd. Eliseeva I. I. - wyd. 2. - M.: Finanse i statystyka, 2006. - 576 s. - ISBN 5-279-02786-3.

Aleksandrowa N.V. Historia terminów matematycznych, pojęć, oznaczeń: słownik-podręcznik . - wyd. 3 - M. : LKI, 2008. - 248 s. - ISBN 978-5-382-00839-4. IV Mitin, Rusakow V.S. Analiza i przetwarzanie danych eksperymentalnych - V wydanie - 24p.

Funkcję przybliżamy wielomianem 2 stopnia. Aby to zrobić, obliczamy współczynniki normalnego układu równań:

, ,

Skomponujmy normalny system najmniejszych kwadratów, który ma postać:

Rozwiązanie systemu jest łatwe do znalezienia:, , .

W ten sposób wielomian drugiego stopnia zostaje znaleziony: .

Odniesienie teoretyczne

Powrót do strony<Введение в вычислительную математику. Примеры>

Przykład 2. Znajdowanie optymalnego stopnia wielomianu.

Powrót do strony<Введение в вычислительную математику. Примеры>

Przykład 3. Wyprowadzenie normalnego układu równań do znajdowania parametrów zależności empirycznej.

Wyprowadźmy układ równań do wyznaczania współczynników i funkcji , który wykonuje przybliżenie pierwiastkowe danej funkcji w odniesieniu do punktów. Skomponuj funkcję i napisz dla niego konieczny warunek ekstremalny:

Wtedy normalny układ przyjmie postać:

Otrzymaliśmy liniowy układ równań dla nieznanych parametrów, który jest łatwy do rozwiązania.

Odniesienie teoretyczne

Powrót do strony<Введение в вычислительную математику. Примеры>

Przykład.

Dane eksperymentalne dotyczące wartości zmiennych X I Na podane są w tabeli.

W wyniku ich wyrównania funkcja

Za pomocą metoda najmniejszych kwadratów, aproksymuj te dane zależnością liniową y=topór+b(znajdź parametry A I B). Dowiedz się, która z dwóch linii jest lepsza (w sensie metody najmniejszych kwadratów) wyrównuje dane eksperymentalne. Narysuj coś.

Istota metody najmniejszych kwadratów (LSM).

Problem polega na znalezieniu współczynników zależności liniowej, dla których funkcja dwóch zmiennych A I Bprzyjmuje najmniejszą wartość. To znaczy biorąc pod uwagę dane A I B suma kwadratów odchyleń danych eksperymentalnych od znalezionej linii prostej będzie najmniejsza. To jest cały sens metody najmniejszych kwadratów.

Zatem rozwiązanie przykładu sprowadza się do znalezienia ekstremum funkcji dwóch zmiennych.

Wyprowadzanie wzorów na znajdowanie współczynników.

Układ dwóch równań z dwiema niewiadomymi jest kompilowany i rozwiązywany. Znajdowanie pochodnych cząstkowych funkcji przez zmienne A I B, przyrównujemy te pochodne do zera.

Otrzymany układ równań rozwiązujemy dowolną metodą (np metoda zastępcza lub metoda Cramera) i otrzymać wzory na znalezienie współczynników metodą najmniejszych kwadratów (LSM).

Z danymi A I B funkcjonować przyjmuje najmniejszą wartość. Dowód tego faktu podany jest poniżej w tekście na końcu strony.

To cała metoda najmniejszych kwadratów. Wzór na znalezienie parametru A zawiera sumy , , , i parametr N to ilość danych eksperymentalnych. Wartości tych sum zaleca się obliczać osobno.

Współczynnik B znalezione po obliczeniu A.

Czas przypomnieć sobie oryginalny przykład.

Rozwiązanie.

W naszym przykładzie n=5. Wypełniamy tabelę dla wygody obliczania kwot, które są zawarte we wzorach wymaganych współczynników.

Wartości w czwartym wierszu tabeli uzyskuje się przez pomnożenie wartości drugiego wiersza przez wartości trzeciego wiersza dla każdej liczby I.

Wartości w piątym rzędzie tabeli uzyskuje się przez podniesienie do kwadratu wartości drugiego rzędu dla każdej liczby I.

Wartości ostatniej kolumny tabeli są sumami wartości w wierszach.

Do znalezienia współczynników używamy wzorów metody najmniejszych kwadratów A I B. Podstawiamy w nich odpowiednie wartości z ostatniej kolumny tabeli:

Stąd, y=0,165x+2,184 jest pożądaną przybliżoną linią prostą.

Pozostaje dowiedzieć się, która z linii y=0,165x+2,184 Lub lepiej przybliża oryginalne dane, tj. dokonać oszacowania metodą najmniejszych kwadratów.

Estymacja błędu metody najmniejszych kwadratów.

Aby to zrobić, musisz obliczyć sumy kwadratów odchyleń oryginalnych danych od tych linii I , mniejsza wartość odpowiada linii, która lepiej przybliża oryginalne dane metodą najmniejszych kwadratów.

Ponieważ , to linia y=0,165x+2,184 lepiej przybliża oryginalne dane.

Graficzna ilustracja metody najmniejszych kwadratów (LSM).

Na wykresach wszystko wygląda świetnie. Czerwona linia to znaleziona linia y=0,165x+2,184, niebieska linia jest , różowe kropki to oryginalne dane.

Po co to jest, po co te wszystkie przybliżenia?

Osobiście używam do rozwiązywania problemów z wygładzaniem danych, problemów z interpolacją i ekstrapolacją (w oryginalnym przykładzie możesz zostać poproszony o znalezienie wartości obserwowanej wartości y Na x=3 albo kiedy x=6 metodą MNC). Ale porozmawiamy o tym więcej później w innej sekcji witryny.

Na górze strony

Dowód.

Tak, że po znalezieniu A I B funkcja przyjmuje najmniejszą wartość, konieczne jest, aby w tym momencie macierz postaci kwadratowej różniczki drugiego rzędu dla funkcji był dodatnio określony. pokażmy to.

Różniczka drugiego rzędu ma postać:

To jest

Dlatego macierz formy kwadratowej ma postać

a wartości elementów nie zależą od A I B.

Pokażmy, że macierz jest dodatnio określona. Wymaga to, aby kąty mniejsze były dodatnie.

Kątowy minor pierwszego rzędu . Nierówność jest ścisła, ponieważ punkty nie pokrywają się. Będzie to sugerowane w dalszej części.

Moll kątowy drugiego rzędu

Udowodnijmy to metoda indukcji matematycznej.

Wniosek: znalezione wartości A I B odpowiada najmniejszej wartości funkcji zatem są pożądanymi parametrami metody najmniejszych kwadratów.

Czy kiedykolwiek zrozumiałeś?
Zamów rozwiązanie

Na górze strony

Opracowanie prognozy metodą najmniejszych kwadratów. Przykład rozwiązania problemu

Ekstrapolacja - jest to metoda badań naukowych, która opiera się na rozpowszechnianiu przeszłych i obecnych trendów, wzorców, relacji do przyszłego rozwoju przedmiotu prognozy. Metody ekstrapolacji obejmują metoda średniej ruchomej, metoda wygładzania wykładniczego, metoda najmniejszych kwadratów.

Istota metoda najmniejszych kwadratów polega na minimalizacji sumy odchyleń kwadratowych między wartościami obserwowanymi i obliczonymi. Obliczone wartości znajdują się zgodnie z wybranym równaniem - równaniem regresji. Im mniejsza odległość między wartościami rzeczywistymi a obliczonymi, tym dokładniejsza jest prognoza oparta na równaniu regresji.

Podstawą doboru krzywej jest teoretyczna analiza istoty badanego zjawiska, którego zmianę przedstawia szereg czasowy. Czasami bierze się pod uwagę rozważania na temat charakteru wzrostu poziomów szeregu. Jeśli więc oczekuje się wzrostu produkcji w postępie arytmetycznym, to wygładzanie przeprowadza się w linii prostej. Jeśli okaże się, że wzrost jest wykładniczy, to wygładzanie należy wykonać zgodnie z funkcją wykładniczą.

Wzór roboczy metody najmniejszych kwadratów : Y t+1 = a*X + b, gdzie t + 1 to okres prognozy; Уt+1 – przewidywany wskaźnik; aib to współczynniki; X jest symbolem czasu.

Współczynniki aib są obliczane według następujących wzorów:

gdzie Uf - rzeczywiste wartości szeregu dynamiki; n to liczba poziomów w szeregu czasowym;

Wygładzanie szeregów czasowych metodą najmniejszych kwadratów służy oddaniu wzorców rozwoju badanego zjawiska. W analitycznym wyrażeniu trendu czas jest uważany za zmienną niezależną, a poziomy szeregu działają jako funkcja tej zmiennej niezależnej.

Rozwój zjawiska nie zależy od tego, ile lat upłynęło od punktu wyjścia, ale od tego, jakie czynniki wpłynęły na jego rozwój, w jakim kierunku i z jaką intensywnością. Z tego jasno wynika, że ​​​​rozwój zjawiska w czasie pojawia się w wyniku działania tych czynników.

Prawidłowe ustawienie typu krzywej, typu analitycznej zależności od czasu, jest jednym z najtrudniejszych zadań analizy prepredykcyjnej. .

Wybór typu funkcji opisującej trend, której parametry wyznaczane są metodą najmniejszych kwadratów, odbywa się w większości przypadków empirycznie, poprzez konstruowanie szeregu funkcji i porównywanie ich ze sobą wartością pierwiastka błąd -kwadratowy obliczony według wzoru:

gdzie Uf - rzeczywiste wartości szeregu dynamiki; Ur – obliczone (wygładzone) wartości szeregu czasowego; n to liczba poziomów w szeregu czasowym; p to liczba parametrów zdefiniowanych we wzorach opisujących trend (trend rozwoju).

Wady metody najmniejszych kwadratów :

• próbując opisać badane zjawisko gospodarcze za pomocą równania matematycznego, prognoza będzie trafna przez krótki okres czasu, a równanie regresji powinno być przeliczane w miarę pojawiania się nowych informacji;
• złożoność wyboru równania regresji, które można rozwiązać za pomocą standardowych programów komputerowych.

Przykład wykorzystania metody najmniejszych kwadratów do opracowania prognozy

Zadanie . Istnieją dane charakteryzujące poziom bezrobocia w regionie, %

• Zbuduj prognozę stopy bezrobocia w regionie na miesiące listopad, grudzień, styczeń, korzystając z metod: średniej ruchomej, wygładzania wykładniczego, najmniejszych kwadratów.
• Oblicz błędy w otrzymanych prognozach za pomocą każdej metody.
• Porównaj uzyskane wyniki, wyciągnij wnioski.

Rozwiązanie metodą najmniejszych kwadratów

W celu rozwiązania sporządzimy tabelę, w której dokonamy niezbędnych obliczeń:

ε = 28,63/10 = 2,86% dokładność prognozy wysoki.

Wniosek : Porównanie wyników uzyskanych w obliczeniach metoda średniej ruchomej , wygładzanie wykładnicze i metodą najmniejszych kwadratów można powiedzieć, że średni błąd względny w obliczeniach metodą wygładzania wykładniczego mieści się w granicach 20-50%. Oznacza to, że dokładność predykcji w tym przypadku jest tylko zadowalająca.

W pierwszym i trzecim przypadku dokładność prognozy jest wysoka, ponieważ średni błąd względny jest mniejszy niż 10%. Ale metoda średniej ruchomej pozwoliła uzyskać bardziej wiarygodne wyniki (prognoza na listopad - 1,52%, prognoza na grudzień - 1,53%, prognoza na styczeń - 1,49%), ponieważ średni błąd względny przy zastosowaniu tej metody jest najmniejszy - 1 ,13%.

Metoda najmniejszych kwadratów

Inne powiązane artykuły:

Lista wykorzystanych źródeł

1. Rekomendacje naukowe i metodyczne dotyczące problematyki diagnozowania ryzyk społecznych oraz prognozowania wyzwań, zagrożeń i konsekwencji społecznych. Rosyjski Państwowy Uniwersytet Społeczny. Moskwa. 2010;
2. Władimirowa L.P. Prognozowanie i planowanie w warunkach rynkowych: Proc. dodatek. M .: Wydawnictwo „Dashkov and Co”, 2001;
3. Novikova N.V., Pozdeeva O.G. Prognozowanie gospodarki narodowej: przewodnik edukacyjno-metodyczny . Jekaterynburg: Wydawnictwo Ural. państwo gospodarka uniwersytet, 2007;
4. Slutskin L.N. Kurs MBA z prognozowania biznesowego. Moskwa: Alpina Business Books, 2006.

Program MEN

Wprowadzanie danych

Dane i przybliżenie y = za + b x

I- numer punktu doświadczalnego;
x ja- wartość ustalonego parametru w punkcie I;
y ja- wartość mierzonego parametru w punkcie I;
ω i- pomiar masy w punkcie I;
y i, oblicz.- różnica między wartością zmierzoną a wartością obliczoną z regresji y w punkcie I;
S x ja (x ja)- oszacowanie błędu x ja podczas pomiaru y w punkcie I.

Dane i przybliżenie y = kx

I	x ja	y ja	ω i	y i, oblicz.	Δy i	S x ja (x ja)

Kliknij wykres

Instrukcja obsługi programu online MNC.

W polu danych wpisz w każdym osobnym wierszu wartości `x` i `y` w jednym punkcie doświadczalnym. Wartości muszą być oddzielone spacją (spacją lub tabulatorem).

Trzecią wartością może być waga punktowa `w`. Jeśli waga punktowa nie jest określona, ​​to jest równa jeden. W zdecydowanej większości przypadków wagi punktów doświadczalnych są nieznane lub nie zostały obliczone; wszystkie dane eksperymentalne uważa się za równoważne. Czasami wagi w badanym zakresie wartości zdecydowanie nie są równoważne, a nawet można je obliczyć teoretycznie. Na przykład w spektrofotometrii wagi można obliczyć za pomocą prostych wzorów, chociaż w zasadzie wszyscy to zaniedbują, aby obniżyć koszty pracy.

Dane można wklejać do schowka z arkusza kalkulacyjnego pakietu biurowego, takiego jak Excel z Microsoft Office lub Calc z Open Office. W tym celu w arkuszu kalkulacyjnym zaznacz zakres danych do skopiowania, skopiuj do schowka i wklej dane do pola danych na tej stronie.

Do obliczenia metodą najmniejszych kwadratów potrzebne są co najmniej dwa punkty do wyznaczenia dwóch współczynników `b` - tangens kąta nachylenia prostej oraz `a` - wartość odcięta przez prostą na `y ` oś.

Aby oszacować błąd obliczonych współczynników regresji, konieczne jest ustawienie liczby punktów eksperymentalnych na więcej niż dwa.

Metoda najmniejszych kwadratów (LSM).

Im większa liczba punktów eksperymentalnych, tym dokładniejsze oszacowanie statystyczne współczynników (ze względu na spadek współczynnika Studenta) i przybliżenie oszacowania do oszacowania próby ogólnej.

Uzyskanie wartości w każdym punkcie doświadczalnym często wiąże się ze znacznymi kosztami pracy, dlatego często przeprowadza się kompromisową liczbę eksperymentów, która daje strawny szacunek i nie prowadzi do nadmiernych kosztów pracy. Z reguły liczbę punktów doświadczalnych dla liniowej zależności najmniejszych kwadratów z dwoma współczynnikami wybiera się w przedziale 5-7 punktów.

Krótka teoria najmniejszych kwadratów dla zależności liniowej

Załóżmy, że mamy zbiór danych eksperymentalnych w postaci par wartości [`y_i`, `x_i`], gdzie `i` to numer jednego pomiaru eksperymentalnego od 1 do `n`; `y_i` - wartość mierzonej wartości w punkcie `i`; `x_i` - wartość parametru, który ustawiamy w punkcie `i`.

Przykładem jest działanie prawa Ohma. Zmieniając napięcie (różnicę potencjałów) między odcinkami obwodu elektrycznego, mierzymy ilość prądu przepływającego przez ten odcinek. Fizyka podaje nam zależność znalezioną eksperymentalnie:

`I=U/R`,
gdzie `I` - aktualna siła; `R` - opór; `U` - napięcie.

W tym przypadku `y_i` to zmierzona wartość prądu, a `x_i` to wartość napięcia.

Jako inny przykład rozważ absorpcję światła przez roztwór substancji w roztworze. Chemia daje nam wzór:

`A = εl C`,
gdzie „A” jest gęstością optyczną roztworu; `ε` - transmitancja substancji rozpuszczonej; `l` - długość drogi, przy której światło przechodzi przez kuwetę z roztworem; „C” to stężenie substancji rozpuszczonej.

W tym przypadku `y_i` to zmierzona gęstość optyczna `A`, a `x_i` to ustawione przez nas stężenie substancji.

Rozważymy przypadek, gdy błąd względny w wyznaczeniu `x_i` jest dużo mniejszy niż względny błąd w pomiarze `y_i`. Przyjmiemy również, że wszystkie zmierzone wartości `y_i` są losowe i mają rozkład normalny, tj. przestrzegać prawa rozkładu normalnego.

W przypadku liniowej zależności `y` od `x` możemy zapisać zależność teoretyczną:
`y = a + bx`.

Z geometrycznego punktu widzenia współczynnik „b” oznacza tangens kąta nachylenia prostej do osi „x”, a współczynnik „a” wartość „y” w punkcie przecięcia linia z osią `y` (dla `x = 0`).

Znajdowanie parametrów linii regresji.

W eksperymencie zmierzone wartości `y_i` nie mogą leżeć dokładnie na linii teoretycznej ze względu na błędy pomiaru, które zawsze są nieodłączne w prawdziwym życiu. Dlatego równanie liniowe musi być reprezentowane przez układ równań:
`y_i = a + b x_i + ε_i` (1),
gdzie „ε_i” jest nieznanym błędem pomiaru „y” w „i” eksperymencie.

Zależność (1) jest również nazywana regresja, tj. zależność tych dwóch wielkości od siebie z istotnością statystyczną.

Zadaniem odtworzenia zależności jest znalezienie współczynników `a` i `b` z punktów doświadczalnych [`y_i`, `x_i`].

Aby znaleźć współczynniki, zwykle stosuje się `a` i `b` metoda najmniejszych kwadratów(MNK). Jest to szczególny przypadek zasady największego prawdopodobieństwa.

Przepiszmy (1) jako `ε_i = y_i - a - b x_i`.

Wtedy suma kwadratów błędów będzie wynosić
`Φ = suma_(i=1)^(n) ε_i^2 = suma_(i=1)^(n) (y_i - a - b x_i)^2`. (2)

Zasada metody najmniejszych kwadratów polega na minimalizowaniu sumy (2) względem parametrów `a` i `b`.

Minimum zostaje osiągnięte, gdy pochodne cząstkowe sumy (2) po współczynnikach `a` i `b` są równe zeru:
`frac(częściowa Φ)(częściowa a) = frac(częściowa suma_(i=1)^(n) (y_i - a - b x_i)^2)(częściowa a) = 0`
`frac(częściowa Φ)(częściowa b) = frac(częściowa suma_(i=1)^(n) (y_i - a - b x_i)^2)(częściowa b) = 0`

Rozwijając pochodne, otrzymujemy układ dwóch równań z dwiema niewiadomymi:
`suma_(i=1)^(n) (2a + 2bx_i - 2y_i) = suma_(i=1)^(n) (a + bx_i - y_i) = 0`
`suma_(i=1)^(n) (2bx_i^2 + 2ax_i - 2x_iy_i) = suma_(i=1)^(n) (bx_i^2 + ax_i - x_iy_i) = 0`

Otwieramy nawiasy i przenosimy sumy niezależne od pożądanych współczynników na drugą połowę, otrzymujemy układ równań liniowych:
`suma_(i=1)^(n) y_i = a n + b suma_(i=1)^(n) bx_i`
`suma_(i=1)^(n) x_iy_i = a suma_(i=1)^(n) x_i + b suma_(i=1)^(n) x_i^2`

Rozwiązując powstały układ, znajdujemy wzory na współczynniki `a` i `b`:

`a = ułamek(suma_(i=1)^(n) y_i suma_(i=1)^(n) x_i^2 - suma_(i=1)^(n) x_i suma_(i=1)^(n) ) x_iy_i) (n sum_(i=1)^(n) x_i^2 — (suma_(i=1)^(n) x_i)^2)` (3.1)

`b = frac(n suma_(i=1)^(n) x_iy_i - suma_(i=1)^(n) x_i suma_(i=1)^(n) y_i) (n suma_(i=1)^ (n) x_i^2 - (suma_(i=1)^(n) x_i)^2)` (3.2)

Wzory te mają rozwiązania, gdy `n > 1` (prostą można poprowadzić z co najmniej 2 punktów) oraz gdy wyznacznik `D = n sum_(i=1)^(n) x_i^2 — (suma_(i= 1 )^(n) x_i)^2 != 0`, tj. gdy punkty `x_i` w eksperymencie są różne (tj. gdy linia nie jest pionowa).

Estymacja błędów współczynników linii regresji

Dla dokładniejszego oszacowania błędu przy obliczaniu współczynników „a” i „b” pożądana jest duża liczba punktów doświadczalnych. Gdy `n = 2` nie jest możliwe oszacowanie błędu współczynników, ponieważ linia przybliżająca jednoznacznie przejdzie przez dwa punkty.

Określany jest błąd zmiennej losowej `V` prawo gromadzenia błędów
`S_V^2 = suma_(i=1)^p (frac(częściowa f)(częściowa z_i))^2 S_(z_i)^2`,
gdzie `p` to liczba parametrów `z_i` z błędem `S_(z_i)`, które wpływają na błąd `S_V`;
`f` jest funkcją zależności `V` od `z_i`.

Napiszmy prawo sumowania błędów dla błędu współczynników `a` i `b`
`S_a^2 = suma_(i=1)^(n)(ułamek(część a)(część y_i))^2 S_(y_i)^2 + suma_(i=1)^(n)(ułamek(część a) )(częściowe x_i))^2 S_(x_i)^2 = S_y^2 sum_(i=1)^(n)(frac(częściowe a)(częściowe y_i))^2 `,
`S_b^2 = suma_(i=1)^(n)(ułamek(część b)(część y_i))^2 S_(y_i)^2 + suma_(i=1)^(n)(ułamek(część b )(częściowe x_i))^2 S_(x_i)^2 = S_y^2 sum_(i=1)^(n)(frac(częściowe b)(częściowe y_i))^2 `,
ponieważ `S_(x_i)^2 = 0` (wcześniej zrobiliśmy zastrzeżenie, że błąd `x` jest pomijalny).

`S_y^2 = S_(y_i)^2` - błąd (wariancja, kwadratowe odchylenie standardowe) w wymiarze `y`, przy założeniu, że błąd jest jednakowy dla wszystkich wartości `y`.

Zastępując formuły do ​​obliczania `a` i `b` w wynikowych wyrażeniach, otrzymujemy

`S_a^2 = S_y^2 frac(suma_(i=1)^(n) (suma_(i=1)^(n) x_i^2 - x_i suma_(i=1)^(n) x_i)^2 ) (D^2) = S_y^2 frac((n sum_(i=1)^(n) x_i^2 - (suma_(i=1)^(n) x_i)^2) suma_(i=1) ^(n) x_i^2) (D^2) = S_y^2 frac(suma_(i=1)^(n) x_i^2) (D)` (4.1)

`S_b^2 = S_y^2 ułamek(suma_(i=1)^(n) (n x_i - suma_(i=1)^(n) x_i)^2) (D^2) = S_y^2 ułamek( n (n suma_(i=1)^(n) x_i^2 - (suma_(i=1)^(n) x_i)^2)) (D^2) = S_y^2 ułamek(n) (D) ` (4.2)

W większości rzeczywistych eksperymentów wartość „Sy” nie jest mierzona. W tym celu konieczne jest wykonanie kilku równoległych pomiarów (eksperymentów) w jednym lub kilku punktach planu, co zwiększa czas (i ewentualnie koszt) eksperymentu. Dlatego zwykle przyjmuje się, że odchylenie `y` od linii regresji można uznać za przypadkowe. Oszacowanie wariancji „y” w tym przypadku jest obliczane za pomocą wzoru.

`S_y^2 = S_(y, reszta)^2 = ułamek(suma_(i=1)^n (y_i - a - b x_i)^2) (n-2)`.

Dzielnik `n-2` pojawia się, ponieważ zmniejszyliśmy liczbę stopni swobody w wyniku obliczenia dwóch współczynników dla tej samej próbki danych eksperymentalnych.

To oszacowanie jest również nazywane wariancją resztkową względem linii regresji `S_(y, reszta)^2`.

Ocena istotności współczynników dokonywana jest według kryterium Studenta

`t_a = ułamek(|a|) (S_a)`, `t_b = ułamek(|b|) (S_b)`

Jeżeli obliczone kryteria `t_a`, `t_b` są mniejsze niż kryteria tabeli `t(P, n-2)`, wówczas uważa się, że odpowiadający im współczynnik nie różni się istotnie od zera przy danym prawdopodobieństwie `P`.

Aby ocenić jakość opisu zależności liniowej, można porównać `S_(y, reszta)^2` i `S_(słupek y)` względem średniej za pomocą kryterium Fishera.

`S_(słupek y) = frac(suma_(i=1)^n (y_i - słupek y)^2) (n-1) = frac(suma_(i=1)^n (y_i - (suma_(i= 1)^n y_i) /n)^2) (n-1)` - przykładowe oszacowanie wariancji `y` względem średniej.

Aby ocenić skuteczność równania regresji do opisu zależności, oblicza się współczynnik Fishera
`F = S_(pręt y) / S_(y, reszta)^2`,
który jest porównywany z tabelarycznym współczynnikiem Fishera `F(p, n-1, n-2)`.

Jeżeli `F > F(P, n-1, n-2)`, różnica między opisem zależności `y = f(x)` za pomocą równania regresji a opisem za pomocą średniej jest uznawana za istotną statystycznie z prawdopodobieństwem `P`. Te. regresja lepiej opisuje zależność niż rozrzut `y` wokół średniej.

Kliknij wykres
aby dodać wartości do tabeli

Metoda najmniejszych kwadratów. Metoda najmniejszych kwadratów oznacza wyznaczenie nieznanych parametrów a, b, c, przyjętej zależności funkcjonalnej

Metoda najmniejszych kwadratów oznacza wyznaczanie nieznanych parametrów a, b, c,… akceptowana zależność funkcjonalna

y = f(x,a,b,c,…),

co zapewniłoby minimum średniego kwadratu (wariancji) błędu

, (24)

gdzie x i , y i - zbiór par liczb otrzymanych z eksperymentu.

Ponieważ warunkiem ekstremum funkcji wielu zmiennych jest warunek, że jej pochodne cząstkowe są równe zeru, to parametry a, b, c,… wyznacza się z układu równań:

; ; ; … (25)

Należy pamiętać, że metoda najmniejszych kwadratów służy do doboru parametrów po postaci funkcji y = f(x) zdefiniowane.

Jeśli z rozważań teoretycznych nie da się wyciągnąć żadnych wniosków, jaki powinien być wzór empiryczny, to trzeba kierować się reprezentacjami wizualnymi, przede wszystkim graficzną reprezentacją obserwowanych danych.

W praktyce najczęściej ogranicza się do następujących rodzajów funkcji:

1) liniowy ;

2) kwadratowy a .

Istotą metody najmniejszych kwadratów jest w znalezieniu parametrów modelu trendu, który najlepiej opisuje trend rozwoju jakiegoś losowego zjawiska w czasie lub przestrzeni (trend to linia charakteryzująca trend tego rozwoju). Zadaniem metody najmniejszych kwadratów (OLS) jest znalezienie nie tylko jakiegoś modelu trendu, ale znalezienie najlepszego lub optymalnego modelu. Model ten będzie optymalny, jeśli suma kwadratów odchyleń między obserwowanymi wartościami rzeczywistymi a odpowiadającymi im obliczonymi wartościami trendu jest minimalna (najmniejsza):

gdzie jest odchylenie standardowe między obserwowaną wartością rzeczywistą

i odpowiednią obliczoną wartość trendu,

Rzeczywista (obserwowana) wartość badanego zjawiska,

Szacunkowa wartość modelu trendu,

Liczba obserwacji badanego zjawiska.

MNC jest rzadko używany samodzielnie. Z reguły najczęściej stosowana jest jedynie jako niezbędna technika w badaniach korelacyjnych. Należy pamiętać, że podstawą informacyjną LSM może być tylko rzetelny szereg statystyczny, a liczba obserwacji nie powinna być mniejsza niż 4, w przeciwnym razie procedury wygładzania LSM mogą stracić zdrowy rozsądek.

Zestaw narzędzi OLS ogranicza się do następujących procedur:

Pierwsza procedura. Okazuje się, czy w ogóle istnieje tendencja do zmiany atrybutu wypadkowego, gdy zmienia się wybrany czynnik-argument, czyli innymi słowy, czy istnieje związek między „ Na " I " X ».

Druga procedura. Określa się, która linia (trajektoria) najlepiej opisuje lub charakteryzuje ten trend.

Trzecia procedura.

Przykład. Załóżmy, że mamy informację o przeciętnym plonie słonecznika w badanym gospodarstwie (tab. 9.1).

Tabela 9.1

Numer obserwacji
Produktywność, c/ha

Ponieważ poziom technologii produkcji słonecznika w naszym kraju nie zmienił się znacząco w ciągu ostatnich 10 lat, oznacza to, że najprawdopodobniej wahania plonów w analizowanym okresie w dużym stopniu zależały od wahań warunków pogodowych i klimatycznych. Czy to prawda?

Pierwsza procedura MNC. Testowana jest hipoteza o istnieniu trendu zmiany plonu słonecznika w zależności od zmian warunków pogodowych i klimatycznych na przestrzeni analizowanych 10 lat.

W tym przykładzie dla „ y » wskazane jest, aby wziąć plon słonecznika, a dla « X » to numer obserwowanego roku w analizowanym okresie. Testowanie hipotezy o istnieniu jakiegokolwiek związku między „ X " I " y » można to zrobić na dwa sposoby: ręcznie oraz przy pomocy programów komputerowych. Oczywiście przy dostępności technologii komputerowej problem ten rozwiązuje się sam. Aby jednak lepiej zrozumieć zestaw narzędzi OLS, wskazane jest przetestowanie hipotezy o istnieniu związku między „ X " I " y » ręcznie, gdy pod ręką jest tylko długopis i zwykły kalkulator. W takich przypadkach hipotezę o istnieniu trendu najlepiej sprawdzić wizualnie poprzez położenie obrazu graficznego analizowanych szeregów czasowych – pole korelacji:

Pole korelacji w naszym przykładzie znajduje się wokół wolno rosnącej linii. Już to samo w sobie wskazuje na istnienie pewnego trendu zmiany plonów słonecznika. Nie można mówić o obecności jakiegokolwiek trendu tylko wtedy, gdy pole korelacji ma postać koła, koła, ściśle pionowej lub ściśle poziomej chmury lub składa się z losowo rozrzuconych punktów. We wszystkich innych przypadkach konieczne jest potwierdzenie hipotezy o istnieniu związku między „ X " I " y i kontynuować badania.

Druga procedura MNC. Określa się, która linia (trajektoria) najlepiej opisuje lub charakteryzuje trend zmian plonów słonecznika w analizowanym okresie.

Wraz z dostępnością technologii komputerowej wybór optymalnego trendu następuje automatycznie. Przy przetwarzaniu „ręcznym” wybór optymalnej funkcji odbywa się z reguły w sposób wizualny - poprzez położenie pola korelacji. Oznacza to, że zgodnie z typem wykresu wybiera się równanie linii, które najlepiej pasuje do trendu empirycznego (do rzeczywistej trajektorii).

Jak wiadomo, w przyrodzie istnieje ogromna różnorodność zależności funkcjonalnych, dlatego niezwykle trudno jest wizualnie przeanalizować nawet niewielką ich część. Na szczęście w rzeczywistej praktyce gospodarczej większość relacji można dokładnie opisać za pomocą paraboli, hiperboli lub linii prostej. W związku z tym, mając opcję „ręcznego” wyboru najlepszej funkcji, można ograniczyć się tylko do tych trzech modeli.

		Hiperbola:

Parabola drugiego rzędu: :

Łatwo zauważyć, że w naszym przykładzie trend zmian plonów słonecznika na przestrzeni analizowanych 10 lat najlepiej charakteryzuje linia prosta, więc równanie regresji będzie równaniem liniowym.

Trzecia procedura. Obliczane są parametry równania regresji charakteryzujące tę linię, czyli innymi słowy wyznaczana jest formuła analityczna opisująca najlepszy model trendu.

Znalezienie wartości parametrów równania regresji, w naszym przypadku parametrów i , jest rdzeniem LSM. Proces ten sprowadza się do rozwiązania układu równań normalnych.

(9.2)

Ten układ równań można dość łatwo rozwiązać metodą Gaussa. Przypomnijmy, że w wyniku rozwiązania w naszym przykładzie wartości parametrów i zostały znalezione. Zatem znalezione równanie regresji będzie miało następującą postać: