Анализ на данни с помощта на метода на най-малките квадрати. Метод на най-малките квадрати в Excel

Метод на най-малките квадрати

В последния урок по темата ще се запознаем с най-известното приложение FNP, който намира най-широко приложение в различни области на науката и практическата дейност. Това може да бъде физика, химия, биология, икономика, социология, психология и така нататък и така нататък. По волята на съдбата често ми се налага да се справям с икономиката и затова днес ще организирам за вас пътуване до една невероятна страна, наречена Иконометрия=) ...Как да не искаш?! Там е много добре - просто трябва да вземете решение! ...Но това, което вероятно определено искате, е да се научите как да решавате проблеми метод на най-малките квадрати. И особено прилежните читатели ще се научат да ги решават не само точно, но и МНОГО БЪРЗО ;-) Но първо общо изложение на проблема+ придружаващ пример:

Нека да изследваме показатели в определена предметна област, които имат количествено изражение. В същото време има всички основания да се смята, че индикаторът зависи от индикатора. Това предположение може да бъде или научна хипотеза, или да се основава на основен здрав разум. Да оставим науката настрана обаче и да разгледаме по-апетитните области – а именно хранителните магазини. Да означим с:

– търговска площ на магазин за хранителни стоки, кв.м.,
– годишен оборот на магазин за хранителни стоки, милиона рубли.

Абсолютно ясно е, че колкото по-голяма е площта на магазина, толкова по-голям в повечето случаи ще бъде неговият оборот.

Да предположим, че след извършване на наблюдения/експерименти/изчисления/танци с тамбура имаме на разположение числени данни:

С магазините за хранителни стоки мисля, че всичко е ясно: - това е площта на 1-ви магазин, - годишният му оборот, - площта на 2-ри магазин, - годишният му оборот и т.н. Между другото, изобщо не е необходимо да имате достъп до класифицирани материали - доста точна оценка на търговския оборот може да се получи с помощта на математическа статистика. Но нека не се разсейваме, курсът по търговски шпионаж вече е платен =)

Табличните данни също могат да бъдат записани под формата на точки и изобразени в познатата форма Декартова система .

Да отговорим на един важен въпрос: Колко точки са необходими за качествено изследване?

Колкото по-голям, толкова по-добре. Минималният приемлив набор се състои от 5-6 точки. Освен това, когато количеството данни е малко, „аномалните“ резултати не могат да бъдат включени в извадката. Така например малък елитен магазин може да спечели порядъци повече от „колегите си“, като по този начин изкриви общия модел, който трябва да намерите!

Казано много просто, трябва да изберем функция, графиккойто минава възможно най-близо до точките . Тази функция се нарича приближаващ (приближение - приближение)или теоретична функция . Най-общо казано, тук веднага се появява очевиден „претендент“ - полином с висока степен, чиято графика минава през ВСИЧКИ точки. Но тази опция е сложна и често просто неправилна. (тъй като графиката ще се „върти“ през цялото време и ще отразява слабо основната тенденция).

По този начин търсената функция трябва да бъде доста проста и в същото време адекватно да отразява зависимостта. Както може би се досещате, един от методите за намиране на такива функции се нарича метод на най-малките квадрати. Първо, нека да разгледаме неговата същност в общи линии. Нека някаква функция апроксимира експериментални данни:


Как да оценим точността на това приближение? Нека изчислим и разликите (отклоненията) между експерименталните и функционалните стойности (изучаваме чертежа). Първата мисъл, която идва на ум, е да преценим колко голяма е сумата, но проблемът е, че разликите могат да бъдат отрицателни (Например, ) и отклоненията в резултат на такова сумиране ще се компенсират взаимно. Следователно, като оценка на точността на приближението, е необходимо да се вземе сумата модулиотклонения:

или свито: (ако някой не знае: е иконата за сума и – спомагателна променлива „брояч“, която приема стойности от 1 до ) .

Чрез приближаване на експериментални точки с различни функции, ще получим различни стойности и очевидно, когато тази сума е по-малка, тази функция е по-точна.

Такъв метод съществува и се нарича метод на най-малък модул. На практика обаче той стана много по-разпространен метод на най-малките квадрати, при които възможните отрицателни стойности се елиминират не от модула, а чрез квадратиране на отклоненията:

, след което усилията са насочени към избор на функция, така че сумата на квадратите на отклоненията беше възможно най-малък. Всъщност от тук идва и името на метода.

И сега се връщаме към друг важен момент: както беше отбелязано по-горе, избраната функция трябва да е доста проста - но има и много такива функции: линеен , хиперболичен , експоненциален , логаритмичен , квадратна и т.н. И, разбира се, тук веднага бих искал да „намаля сферата на дейност“. Кой клас функции да избера за изследване? Примитивна, но ефективна техника:

– Най-лесният начин е да изобразите точки върху чертежа и анализирайте местоположението им. Ако те са склонни да се движат по права линия, тогава трябва да потърсите уравнение на права с оптимални стойности и . С други думи, задачата е да се намерят ТАКИВА коефициенти, така че сумата на квадратите на отклоненията да е най-малка.

Ако точките са разположени, например, по хипербола, тогава очевидно е ясно, че линейната функция ще даде лошо приближение. В този случай ние търсим най-благоприятните коефициенти за уравнението на хиперболата - тези, които дават минималната сума на квадратите .

Сега имайте предвид, че и в двата случая говорим за функции на две променливи, чиито аргументи са търсени параметри на зависимост:

И по същество трябва да решим стандартен проблем - намери минимална функция на две променливи.

Нека си спомним нашия пример: да предположим, че точките на „магазин“ обикновено са разположени в права линия и има всички основания да се смята, че линейна зависимостоборот от търговски площи. Нека намерим ТАКИВА коефициенти “a” и “be”, така че сумата от квадратите на отклоненията беше най-малкият. Всичко е както обикновено - първо Частични производни от 1-ви ред. Според правило за линейностМожете да разграничите точно под иконата за сума:

Ако искате да използвате тази информация за есе или курсова работа, ще бъда много благодарен за връзката в списъка с източници; такива подробни изчисления ще намерите на няколко места:

Нека създадем стандартна система:

Ние намаляваме всяко уравнение с „две“ и в допълнение „разбиваме“ сумите:

Забележка : независимо анализирайте защо „a“ и „be“ могат да бъдат извадени отвъд иконата за сума. Между другото, формално това може да стане със сумата

Нека пренапишем системата в „приложна“ форма:

след което алгоритъмът за решаване на нашия проблем започва да се появява:

Знаем ли координатите на точките? Ние знаем. суми можем ли да го намерим? Лесно. Нека направим най-простото система от две линейни уравнения с две неизвестни(„а“ и „бъди“). Решаваме системата, напр. Методът на Крамер, в резултат на което получаваме неподвижна точка. Проверка достатъчно условие за екстремум, можем да проверим, че в този момент функцията достига точно минимум. Проверката включва допълнителни изчисления и затова ще я оставим зад кулисите (при необходимост може да се види липсващата рамкаТук ) . Правим окончателното заключение:

функция по най-добрия начин (поне в сравнение с всяка друга линейна функция)сближава експерименталните точки . Грубо казано, неговата графика минава възможно най-близо до тези точки. В традицията иконометрияполучената апроксимираща функция също се нарича сдвоено уравнение на линейна регресия .

Разглежданият проблем е от голямо практическо значение. В нашата примерна ситуация, ур. ви позволява да предвидите какъв търговски оборот ("Игрек")магазинът ще има при една или друга стойност на търговската площ (едно или друго значение на "х"). Да, получената прогноза ще бъде само прогноза, но в много случаи ще се окаже доста точна.

Ще анализирам само един проблем с „реални“ числа, тъй като в него няма трудности - всички изчисления са на нивото на училищната програма за 7-8 клас. В 95 процента от случаите ще бъдете помолени да намерите само линейна функция, но в самия край на статията ще покажа, че не е по-трудно да намерите уравненията на оптималната хипербола, експоненциалната и някои други функции.

Всъщност остава само да раздадете обещаните лакомства - за да се научите да решавате подобни примери не само точно, но и бързо. Ние внимателно изучаваме стандарта:

Задача

В резултат на изследване на връзката между два показателя бяха получени следните двойки числа:

Използвайки метода на най-малките квадрати, намерете линейната функция, която най-добре приближава емпиричната (опитен)данни. Направете чертеж, върху който да построите експериментални точки и графика на апроксимиращата функция в декартова правоъгълна координатна система . Намерете сумата от квадратите на отклоненията между емпиричните и теоретичните стойности. Разберете дали функцията би била по-добра (от гледна точка на метода на най-малките квадрати)доближете експерименталните точки.

Моля, обърнете внимание, че значенията на „x“ са естествени и това има характерно смислово значение, за което ще говоря малко по-късно; но те, разбира се, могат да бъдат и дробни. Освен това, в зависимост от съдържанието на конкретна задача, стойностите на „X“ и „игра“ могат да бъдат напълно или частично отрицателни. Е, дадена ни е „безлична“ задача и започваме решение:

Намираме коефициентите на оптималната функция като решение на системата:

С цел по-компактен запис, променливата „брояч“ може да бъде пропусната, тъй като вече е ясно, че сумирането се извършва от 1 до .

По-удобно е да се изчислят необходимите количества в таблична форма:


Изчисленията могат да се извършват на микрокалкулатор, но е много по-добре да използвате Excel - както по-бързо, така и без грешки; вижте кратко видео:

Така получаваме следното система:

Тук можете да умножите второто уравнение по 3 и извадете 2-то от 1-вото уравнение член по член. Но това е късмет - на практика системите често не са подарък и в такива случаи спестява Методът на Крамер:
, което означава, че системата има уникално решение.

Да проверим. Разбирам, че не искате, но защо да пропускате грешки, когато те абсолютно не могат да бъдат пропуснати? Нека заместим намереното решение в лявата част на всяко уравнение на системата:

Получават се десните части на съответните уравнения, което означава, че системата е решена правилно.

Така желаната апроксимираща функция: – от всички линейни функцииТя е тази, която най-добре приближава експерименталните данни.

За разлика от прав зависимост на оборота на магазина от неговата площ, установената зависимост е обратен (принцип "колкото повече, толкова по-малко"), и този факт веднага се разкрива от негатива наклон. функция ни казва, че с увеличаване на определен показател с 1 единица, стойността на зависимия показател намалява средно аритметичнос 0,65 единици. Както се казва, колкото по-висока е цената на елдата, толкова по-малко се продава.

За да начертаем графиката на апроксимиращата функция, намираме нейните две стойности:

и изпълнете чертежа:

Построената права се нарича тренд линия (а именно линейна линия на тенденция, т.е. в общия случай тенденцията не е непременно права линия). Всеки е запознат с израза „да бъдеш в тенденция“ и смятам, че този термин не се нуждае от допълнителни коментари.

Нека изчислим сумата на квадратите на отклоненията между емпирични и теоретични стойности. Геометрично това е сумата от квадратите на дължините на сегментите „малина“. (две от които са толкова малки, че дори не се виждат).

Нека обобщим изчисленията в таблица:


Отново могат да се направят ръчно, за всеки случай ще дам пример за 1-ва точка:

но е много по-ефективно да го направите по вече познатия начин:

Повтаряме още веднъж: Какъв е смисълът на получения резултат?от всички линейни функции y функция индикаторът е най-малкият, тоест в своето семейство той е най-доброто приближение. И тук, между другото, последният въпрос на проблема не е случаен: какво ще стане, ако предложената експоненциална функция ще апроксимира по-добре експерименталните точки?

Нека намерим съответната сума от квадратни отклонения - за да ги различим, ще ги обознача с буквата "епсилон". Техниката е абсолютно същата:

И отново, за всеки случай, изчисленията за 1-ва точка:

В Excel използваме стандартната функция EXP (синтаксисът може да бъде намерен в помощта на Excel).

Заключение: , което означава, че експоненциалната функция приближава експерименталните точки по-лошо от права линия .

Но тук трябва да се отбележи, че "по-лошо" е още не означава, Какво не е наред. Сега построих графика на тази експоненциална функция - и тя също минава близо до точките - толкова много, че без аналитични изследвания е трудно да се каже коя функция е по-точна.

Това завършва решението и се връщам към въпроса за естествените стойности на аргумента. В различни изследвания, обикновено икономически или социологически, естествените „X“ се използват за номериране на месеци, години или други равни интервали от време. Помислете например за следния проблем:

За оборота на дребно на магазина за първото полугодие има следните данни:

Използвайки аналитично подреждане по права линия, определете обема на оборота за юли.

Да, няма проблем: номерираме месеците 1, 2, 3, 4, 5, 6 и използваме обичайния алгоритъм, в резултат на което получаваме уравнение - единственото нещо е, че когато става въпрос за време, те обикновено използват буквата "те" (въпреки че това не е критично). Полученото уравнение показва, че през първото полугодие търговският оборот се е увеличил средно с 27,74 единици. на месец. Да вземем прогнозата за юли (месец № 7): д.е.

И има безброй задачи като тази. Желаещите могат да ползват допълнителна услуга, а именно моята Ексел калкулатор (демо версия), който решава анализирания проблем почти моментално!Налична е работеща версия на програмата в замянаили за символична такса.

В края на урока, кратка информация за намирането на зависимости от някои други типове. Всъщност няма много какво да се каже, тъй като основният подход и алгоритъмът за решение остават същите.

Да приемем, че разположението на експерименталните точки прилича на хипербола. След това, за да намерите коефициентите на най-добрата хипербола, трябва да намерите минимума на функцията - всеки може да извърши подробни изчисления и да стигне до подобна система:

От формална техническа гледна точка се получава от „линейна“ система (нека го обозначим със звездичка)замяна на "x" с . Е, какво ще кажете за сумите? изчисляване, след което до оптималните коефициенти „а“ и „бе“ на една ръка разстояние.

Ако има всички основания да се смята, че точките са разположени по логаритмична крива, след което, за да намерим оптималните стойности, намираме минимума на функцията . Формално, в системата (*) трябва да се замени с:

Когато извършвате изчисления в Excel, използвайте функцията LN. Признавам, че не би ми било особено трудно да създам калкулатори за всеки от разглежданите случаи, но все пак би било по-добре, ако сами „програмирате“ изчисленията. Видео уроци в помощ.

С експоненциалната зависимост ситуацията е малко по-сложна. За да намалим материята до линейния случай, ние вземаме функцията логаритъм и използваме свойства на логаритъма:

Сега, сравнявайки получената функция с линейната функция, стигаме до извода, че в системата (*) трябва да се замени с , а – с . За удобство нека обозначим:

Моля, имайте предвид, че системата е разрешена по отношение на и, и следователно, след като намерите корените, не трябва да забравяте да намерите самия коефициент.

За да доближим експерименталните точки оптимална парабола , трябва да се намери минимална функция на три променливи. След извършване на стандартни действия получаваме следното „работещо“ система:

Да, разбира се, тук има повече суми, но няма никакви затруднения, когато използвате любимото си приложение. И накрая, ще ви кажа как бързо да извършите проверка с помощта на Excel и да изградите желаната линия на тренда: създайте точкова диаграма, изберете някоя от точките с мишката и щракнете с десния бутон изберете опцията „Добавяне на тренд линия“. След това изберете типа диаграма и в раздела "Настроики"активирайте опцията „Покажи уравнението на диаграмата“. Добре

Както винаги, искам да завърша статията с красива фраза и почти написах „Бъдете в тенденция!“ Но навреме промени решението си. И не защото е стереотипно. Не знам как е за никого, но аз не искам да следвам прокламираната американска и особено европейска тенденция =) Затова пожелавам на всеки от вас да се придържа към собствената си линия!

http://www.grandars.ru/student/vysshaya-matematika/metod-naimenshih-kvadratov.html

Методът на най-малките квадрати е един от най-разпространените и най-разработените поради своята простота и ефективност на методите за оценка на параметрите на линейни иконометрични модели. В същото време, когато го използвате, трябва да се внимава, тъй като моделите, конструирани с него, може да не отговарят на редица изисквания за качеството на техните параметри и в резултат на това да не отразяват моделите на развитие на процеса „добре“ достатъчно.

Нека разгледаме по-подробно процедурата за оценка на параметрите на линеен иконометричен модел с помощта на метода на най-малките квадрати. Такъв модел най-общо може да бъде представен чрез уравнение (1.2):

y t = a 0 + a 1 x 1t +...+ a n x nt + ε t.

Първоначалните данни при оценяване на параметрите a 0 , a 1 ,..., a n е вектор от стойности на зависимата променлива г= (y 1, y 2, ..., y T)" и матрицата от стойности на независими променливи

в която първата колона, състояща се от единици, съответства на коефициента на модела.

Методът на най-малките квадрати получи името си въз основа на основния принцип, че оценките на параметрите, получени на негова основа, трябва да удовлетворяват: сумата от квадратите на грешката на модела трябва да бъде минимална.

Примери за решаване на задачи по метода на най-малките квадрати

Пример 2.1.Търговското предприятие разполага с мрежа от 12 магазина, информация за дейността на които е представена в табл. 2.1.

Ръководството на предприятието би искало да знае как размерът на годишния оборот зависи от търговската площ на магазина.

Таблица 2.1

Номер на магазина	Годишен оборот, милиони рубли.	Търговска площ, хил. м2
	19,76	0,24
	38,09	0,31
	40,95	0,55
	41,08	0,48
	56,29	0,78
	68,51	0,98
	75,01	0,94
	89,05	1,21
	91,13	1,29
	91,26	1,12
	99,84	1,29
	108,55	1,49

Решение на най-малките квадрати.Нека обозначим годишния оборот на магазина, милиони рубли; - търговска площ на магазина, хиляди m2.

Фиг.2.1. Точкова диаграма за пример 2.1

За да определим формата на функционалната връзка между променливите и ще изградим точкова диаграма (фиг. 2.1).

Въз основа на диаграмата на разсейване можем да заключим, че годишният оборот зависи положително от търговската площ (т.е. y ще нараства с увеличаване на ). Най-подходящата форма на функционална връзка е линеен.

Информация за допълнителни изчисления е представена в табл. 2.2. Използвайки метода на най-малките квадрати, ние оценяваме параметрите на линеен еднофакторен иконометричен модел

Таблица 2.2

T	y t	х 1т	y t 2	х 1т 2	x 1t y t
	19,76	0,24	390,4576	0,0576	4,7424
	38,09	0,31	1450,8481	0,0961	11,8079
	40,95	0,55	1676,9025	0,3025	22,5225
	41,08	0,48	1687,5664	0,2304	19,7184
	56,29	0,78	3168,5641	0,6084	43,9062
	68,51	0,98	4693,6201	0,9604	67,1398
	75,01	0,94	5626,5001	0,8836	70,5094
	89,05	1,21	7929,9025	1,4641	107,7505
	91,13	1,29	8304,6769	1,6641	117,5577
	91,26	1,12	8328,3876	1,2544	102,2112
	99,84	1,29	9968,0256	1,6641	128,7936
	108,55	1,49	11783,1025	2,2201	161,7395
С	819,52	10,68	65008,554	11,4058	858,3991
Средно аритметично	68,29	0,89

По този начин,

Следователно, с увеличаване на търговските площи с 1 хил. м2, при равни други условия, средният годишен оборот се увеличава с 67,8871 милиона рубли.

Пример 2.2.Ръководството на компанията забеляза, че годишният оборот зависи не само от търговската площ на магазина (вижте пример 2.1), но и от средния брой посетители. Съответната информация е представена в табл. 2.3.

Таблица 2.3

Решение.Нека обозначим - средният брой посетители на ти магазин на ден, хиляди души.

За да определим формата на функционалната връзка между променливите и ще изградим точкова диаграма (фиг. 2.2).

Въз основа на диаграмата на разсейване можем да заключим, че годишният оборот зависи положително от средния брой посетители на ден (т.е. y ще нараства с нарастване). Формата на функционалната зависимост е линейна.

Ориз. 2.2. Точкова диаграма за пример 2.2

Таблица 2.4

T	х 2т	x 2t 2	y t x 2t	x 1t x 2t
	8,25	68,0625	163,02	1,98
	10,24	104,8575	390,0416	3,1744
	9,31	86,6761	381,2445	5,1205
	11,01	121,2201	452,2908	5,2848
	8,54	72,9316	480,7166	6,6612
	7,51	56,4001	514,5101	7,3598
	12,36	152,7696	927,1236	11,6184
	10,81	116,8561	962,6305	13,0801
	9,89	97,8121	901,2757	12,7581
	13,72	188,2384	1252,0872	15,3664
	12,27	150,5529	1225,0368	15,8283
	13,92	193,7664	1511,016	20,7408
С	127,83	1410,44	9160,9934	118,9728
Средно аритметично	10,65

Като цяло е необходимо да се определят параметрите на двуфакторен иконометричен модел

y t = a 0 + a 1 x 1t + a 2 x 2t + ε t

Информацията, необходима за по-нататъшни изчисления, е представена в табл. 2.4.

Нека оценим параметрите на линеен двуфакторен иконометричен модел, използвайки метода на най-малките квадрати.

По този начин,

Оценката на коефициента =61,6583 показва, че при равни други условия, с увеличаване на търговската площ с 1 хил. м 2, годишният оборот ще се увеличи средно с 61,6583 милиона рубли.

Оценката на коефициента = 2,2748 показва, че при равни други условия нараства средният брой посетители на 1 хил. души. на ден, годишният оборот ще се увеличи средно с 2,2748 милиона рубли.

Пример 2.3.Използвайки информацията, представена в табл. 2.2 и 2.4, оценяват параметъра на еднофакторния иконометричен модел

където е центрираната стойност на годишния оборот на магазина, милиони рубли; - центрирана стойност на средния дневен брой посетители на t-тия магазин, хиляди души. (вижте примери 2.1-2.2).

Решение.Допълнителна информация, необходима за изчисленията, е представена в табл. 2.5.

Таблица 2.5

	-48,53	-2,40	5,7720	116,6013
	-30,20	-0,41	0,1702	12,4589
	-27,34	-1,34	1,8023	36,7084
	-27,21	0,36	0,1278	-9,7288
	-12,00	-2,11	4,4627	25,3570
	0,22	-3,14	9,8753	-0,6809
	6,72	1,71	2,9156	11,4687
	20,76	0,16	0,0348	3,2992
	22,84	-0,76	0,5814	-17,413
	22,97	3,07	9,4096	70,4503
	31,55	1,62	2,6163	51,0267
	40,26	3,27	10,6766	131,5387
Количество			48,4344	431,0566

Използвайки формула (2.35), получаваме

По този начин,

http://www.cleverstudents.ru/articles/mnk.html

Пример.

Експериментални данни за стойностите на променливите хИ приса дадени в таблицата.

В резултат на подравняването им се получава функцията

Използвайки метод на най-малките квадрати, апроксимирайте тези данни чрез линейна зависимост y=ax+b(намерете параметри АИ b). Открийте коя от двете линии по-добре (в смисъла на метода на най-малките квадрати) подравнява експерименталните данни. Направете рисунка.

Решение.

В нашия пример n=5. Попълваме таблицата за удобство при изчисляване на сумите, които са включени във формулите на необходимите коефициенти.

Стойностите в четвъртия ред на таблицата се получават чрез умножаване на стойностите на 2-ри ред по стойностите на 3-ти ред за всяко число аз.

Стойностите в петия ред на таблицата се получават чрез повдигане на квадрат на стойностите във 2-ри ред за всяко число аз.

Стойностите в последната колона на таблицата са сумите от стойностите в редовете.

Използваме формулите на метода на най-малките квадрати, за да намерим коефициентите АИ b. Заменяме съответните стойности от последната колона на таблицата в тях:

следователно y = 0,165x+2,184- желаната апроксимираща права линия.

Остава да разберем коя от линиите y = 0,165x+2,184или приближава по-добре оригиналните данни, тоест прави оценка, използвайки метода на най-малките квадрати.

Доказателство.

Така че, когато се намери АИ bфункция приема най-малката стойност, необходимо е в тази точка матрицата на квадратната форма на диференциала от втори ред за функцията беше положително категоричен. Нека го покажем.

Диференциалът от втори ред има формата:

Това е

Следователно матрицата на квадратна форма има формата

и стойностите на елементите не зависят от АИ b.

Нека покажем, че матрицата е положително определена. За да направите това, ъгловите минори трябва да са положителни.

Ъглов минор от първи ред . Неравенството е строго, тъй като точките

• Урок

Въведение

Аз съм математик и програмист. Направих най-големия скок в кариерата си, когато се научих да казвам: "Не разбирам нищо!"Сега не ме е срам да кажа на светилото на науката, че ми чете лекция, че не разбирам какво ми говори той, светилото. И е много трудно. Да, трудно и неудобно е да признаеш, че не знаеш. Който обича да признава, че не знае основите на нещо. Поради професията ми се налага да присъствам на голям брой презентации и лекции, където, признавам си, в по-голямата част от случаите искам да спя, защото нищо не разбирам. Но не разбирам, защото огромният проблем на настоящата ситуация в науката се крие в математиката. Предполага се, че всички слушатели са запознати с абсолютно всички области на математиката (което е абсурдно). Признаването, че не знаете какво е производно (ще говорим за това какво е малко по-късно), е срамно.

Но се научих да казвам, че не знам какво е умножение. Да, не знам какво е подалгебра върху алгебра на Лъжа. Да, не знам защо са необходими квадратни уравнения в живота. Между другото, ако сте сигурни, че знаете, тогава имаме за какво да говорим! Математиката е поредица от трикове. Математиците се опитват да объркат и сплашат обществеността; където няма объркване, няма репутация, няма авторитет. Да, престижно е да се говори на възможно най-абстрактен език, което е пълна глупост.

Знаете ли какво е производно? Най-вероятно ще ми кажете за границата на съотношението на разликата. В първата година по математика и механика в Санкт Петербургския държавен университет Виктор Петрович Хавин ми каза определенпроизводна като коефициент на първия член от реда на Тейлър на функцията в точка (това беше отделна гимнастика за определяне на реда на Тейлър без производни). Дълго време се смях на това определение, докато накрая разбрах за какво става дума. Производната не е нищо повече от проста мярка за това колко подобна е функцията, която диференцираме, с функцията y=x, y=x^2, y=x^3.

Сега имам честта да изнасям лекции на студенти, които страхувам сематематика. Ако те е страх от математиката, ние сме на същия път. Щом се опитате да прочетете някакъв текст и ви се струва, че е прекалено сложен, знайте, че е лошо написан. Твърдя, че няма нито една област на математиката, която да не може да се обсъжда „на пръсти“, без да се губи точност.

Задача за близкото бъдеще: Възложих на моите ученици да разберат какво е линеен квадратичен регулатор. Не се срамувайте, отделете три минути от живота си и последвайте връзката. Ако не разбирате нещо, значи сме на същия път. И аз (професионален математик-програмист) нищо не разбрах. И ви уверявам, че можете да разберете това „на пръстите си“. В момента не знам какво е, но ви уверявам, че ще успеем да го разберем.

И така, първата лекция, която ще изнеса на моите студенти, след като дотичат при мен ужасени и кажат, че линейно-квадратичният регулатор е ужасно нещо, което никога няма да овладеете в живота си, е методи на най-малките квадрати. Можете ли да решавате линейни уравнения? Ако четете този текст, най-вероятно не.

И така, при дадени две точки (x0, y0), (x1, y1), например (1,1) и (3,2), задачата е да се намери уравнението на правата, минаваща през тези две точки:

илюстрация

Този ред трябва да има уравнение като следното:

Тук алфа и бета са неизвестни за нас, но две точки от тази линия са известни:

Можем да напишем това уравнение в матрична форма:

Тук трябва да направим едно лирично отклонение: какво е матрица? Матрицата не е нищо повече от двуизмерен масив. Това е начин за съхраняване на данни; не трябва да му се придават други значения. От нас зависи как точно да интерпретираме дадена матрица. Периодично ще го тълкувам като линейно картографиране, периодично като квадратна форма, а понякога просто като набор от вектори. Всичко това ще бъде изяснено в контекста.

Нека заменим конкретните матрици с тяхното символно представяне:

Тогава (алфа, бета) могат лесно да бъдат намерени:

По-конкретно за нашите предишни данни:

Което води до следното уравнение на правата, минаваща през точките (1,1) и (3,2):

Добре, тук всичко е ясно. Нека намерим уравнението на правата, минаваща през нея триточки: (x0,y0), (x1,y1) и (x2,y2):

О-о-о, но имаме три уравнения за две неизвестни! Един стандартен математик ще каже, че няма решение. Какво ще каже програмистът? И той първо ще пренапише предишната система от уравнения в следната форма:

В нашия случай векторите i, j, b са триизмерни, следователно (в общия случай) няма решение на тази система. Всеки вектор (алфа\*i + бета\*j) лежи в равнината, обхваната от векторите (i, j). Ако b не принадлежи на тази равнина, тогава няма решение (не може да се постигне равенство в уравнението). Какво да правя? Да потърсим компромис. Нека означим с e(алфа, бета)колко точно не сме постигнали равенство:

И ние ще се опитаме да минимизираме тази грешка:

Защо квадрат?

Ние търсим не просто минимума на нормата, а минимума на квадрата на нормата. Защо? Самата минимална точка съвпада, а квадратът дава гладка функция (квадратична функция на аргументите (алфа,бета)), докато само дължината дава функция под формата на конус, недиференцируема в минималната точка. брр. Квадратът е по-удобен.

Очевидно грешката е сведена до минимум, когато векторът дортогонална на равнината, обхваната от векторите азИ й.

Илюстрация

С други думи: търсим линия, така че сумата от квадратите на дължините на разстоянията от всички точки до тази права да е минимална:

АКТУАЛИЗАЦИЯ: тук имам проблем, разстоянието до линията трябва да се измерва вертикално, а не ортографска проекция. Този коментатор е прав.

Илюстрация

С напълно различни думи (внимателно, зле формализирани, но трябва да е ясно на пръстите): вземаме всички възможни линии между всички двойки точки и търсим средната линия между всички:

Илюстрация

Друго обяснение на пръстите: прикрепяме пружина между всички точки от данни (тук имаме три) и линията, която търсим, и линията на равновесното състояние е точно това, което търсим.

Минимална квадратна форма

И така, даден е този вектор bи равнина, обхваната от колонните вектори на матрицата А(в този случай (x0,x1,x2) и (1,1,1)), ние търсим вектора дс минимална квадратна дължина. Очевидно минимумът е постижим само за вектора д, ортогонална на равнината, обхваната от колонните вектори на матрицата А:

С други думи, ние търсим вектор x=(алфа, бета), така че:

Нека ви напомня, че този вектор x=(алфа, бета) е минимумът на квадратичната функция ||e(алфа, бета)||^2:

Тук би било полезно да запомните, че матрицата може да се интерпретира и като квадратна форма, например матрицата на идентичност ((1,0),(0,1)) може да се интерпретира като функция x^2 + y^ 2:

квадратна форма

Цялата тази гимнастика е известна под името линейна регресия.

Уравнение на Лаплас с гранично условие на Дирихле

Сега най-простата истинска задача: има определена триъгълна повърхност, необходимо е да я изгладите. Например, нека заредим модел на моето лице:

Оригиналният ангажимент е наличен. За да минимизирам външните зависимости, взех кода на моя софтуерен рендер, който вече е на Habré. За решаване на линейна система използвам OpenNL, това е отличен солвър, който обаче е много труден за инсталиране: трябва да копирате два файла (.h+.c) в папката с вашия проект. Цялото изглаждане се извършва със следния код:

За (int d=0; d<3; d++) { nlNewContext(); nlSolverParameteri(NL_NB_VARIABLES, verts.size()); nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE); nlBegin(NL_SYSTEM); nlBegin(NL_MATRIX); for (int i=0; i<(int)verts.size(); i++) { nlBegin(NL_ROW); nlCoefficient(i, 1); nlRightHandSide(verts[i][d]); nlEnd(NL_ROW); } for (unsigned int i=0; i&лице = лица[i]; за (int j=0; j<3; j++) { nlBegin(NL_ROW); nlCoefficient(face[ j ], 1); nlCoefficient(face[(j+1)%3], -1); nlEnd(NL_ROW); } } nlEnd(NL_MATRIX); nlEnd(NL_SYSTEM); nlSolve(); for (int i=0; i<(int)verts.size(); i++) { verts[i][d] = nlGetVariable(i); } }

Координатите X, Y и Z са разделими, изглаждам ги отделно. Тоест решавам три системи от линейни уравнения, всяка с брой променливи, равен на броя на върховете в моя модел. Първите n реда на матрица A имат само едно 1 на ред, а първите n реда на вектор b имат координатите на оригиналния модел. Тоест връзвам пружина между новата позиция на върха и старата позиция на върха - новите не трябва да се отдалечават много от старите.

Всички следващи редове на матрица A (faces.size()*3 = брой ръбове на всички триъгълници в мрежата) имат едно появяване на 1 и едно появяване на -1, като векторът b има нулеви противоположни компоненти. Това означава, че поставям пружина на всеки ръб на нашата триъгълна мрежа: всички ръбове се опитват да получат същия връх като тяхната начална и крайна точка.

Още веднъж: всички върхове са променливи и не могат да се движат далеч от първоначалната си позиция, но в същото време се опитват да станат подобни един на друг.

Ето резултата:

Всичко би било наред, моделът наистина е изгладен, но се е отдалечил от първоначалния си ръб. Нека променим малко кода:

За (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }

В нашата матрица A, за върховете, които са на ръба, добавям не ред от категорията v_i = verts[i][d], а 1000*v_i = 1000*verts[i][d]. Какво променя? И това променя нашата квадратична форма на грешката. Сега едно отклонение от върха на ръба ще струва не една единица, както преди, а 1000*1000 единици. Тоест, окачихме по-силна пружина на крайните върхове, решението ще предпочете да опъне останалите по-силно. Ето резултата:

Нека удвоим силата на пружините между върховете:
nlКоефициент(лице[j], 2); nlКоефициент(лице[(j+1)%3], -2);

Логично е, че повърхността е станала по-гладка:

И сега дори сто пъти по-силен:

Какво е това? Представете си, че сме потопили телеен пръстен в сапунена вода. В резултат на това полученият сапунен филм ще се опита да има възможно най-малко кривина, докосвайки границата - нашия телеен пръстен. Точно това получихме, като фиксирахме границата и поискахме гладка повърхност отвътре. Поздравления, току-що решихме уравнението на Лаплас с гранични условия на Дирихле. Звучи яко? Но в действителност просто трябва да решите една система от линейни уравнения.

Уравнение на Поасон

Нека си спомним още едно готино име.

Да приемем, че имам изображение като това:

Изглежда добре на всички, но столът не ми харесва.

Ще разполовя снимката:

И ще избера стол с ръцете си:

След това ще дръпна всичко, което е бяло в маската в лявата част на картината, и в същото време в цялата картина ще кажа, че разликата между два съседни пиксела трябва да е равна на разликата между два съседни пиксела отдясно снимка:

За (int i=0; i

Ето резултата:

Налични код и снимки

Обикновен метод на най-малките квадрати (OLS).- математически метод, използван за решаване на различни проблеми, базиран на минимизиране на сумата от квадратните отклонения на определени функции от желаните променливи. Може да се използва за „решаване“ на свръхопределени системи от уравнения (когато броят на уравненията надвишава броя на неизвестните), за намиране на решения в случай на обикновени (не свръхопределени) нелинейни системи от уравнения, за приближаване на точкови стойности на някои функция. OLS е един от основните методи за регресионен анализ за оценка на неизвестни параметри на регресионни модели от извадкови данни.

Енциклопедичен YouTube

1 / 5

✪ Метод на най-малките квадрати. Предмет

✪ Митин И.В. - Обработка на физически резултати. експеримент - Метод на най-малките квадрати (лекция 4)

✪ Метод на най-малките квадрати, урок 1/2. Линейна функция

✪ Иконометрия. Лекция 5. Метод на най-малките квадрати

✪ Метод на най-малките квадрати. Отговори

субтитри

История

До началото на XIX век. учените не са имали определени правила за решаване на система от уравнения, в която броят на неизвестните е по-малък от броя на уравненията; Дотогава се използваха частни техники, които зависеха от вида на уравненията и от остроумието на калкулаторите и следователно различните калкулатори, базирани на едни и същи данни от наблюдения, стигаха до различни заключения. Гаус (1795) е първият, който използва метода, а Лежандр (1805) независимо го открива и публикува под съвременното му име (фр. Méthode des moindres quarrés) . Лаплас свързва метода с теорията на вероятностите, а американският математик Адрейн (1808) разглежда неговите теоретични приложения на вероятностите. Методът е широко разпространен и подобрен чрез по-нататъшни изследвания от Encke, Bessel, Hansen и други.

Същността на метода на най-малките квадрати

Позволявам x (\displaystyle x)- комплект n (\displaystyle n)неизвестни променливи (параметри), f i (x) (\displaystyle f_(i)(x)), , m > n (\displaystyle m>n)- набор от функции от този набор от променливи. Задачата е да изберете такива стойности x (\displaystyle x), така че стойностите на тези функции да са възможно най-близо до определени стойности y i (\displaystyle y_(i)). По същество говорим за „решение“ на свръхопределена система от уравнения f i (x) = y i (\displaystyle f_(i)(x)=y_(i)), i = 1 , … , m (\displaystyle i=1,\ldots ,m)в посочения смисъл максималната близост на лявата и дясната част на системата. Същността на метода на най-малките квадрати е да се избере като „мярка за близост“ сумата от квадратните отклонения на лявата и дясната страна | f i (x) − y i | (\displaystyle |f_(i)(x)-y_(i)|). По този начин същността на LSM може да се изрази по следния начин:

∑ i e i 2 = ∑ i (y i − f i (x)) 2 → min x (\displaystyle \sum _(i)e_(i)^(2)=\sum _(i)(y_(i)-f_( i)(x))^(2)\rightarrow \min _(x)).

Ако системата от уравнения има решение, тогава минимумът на сумата от квадрати ще бъде равен на нула и точните решения на системата от уравнения могат да бъдат намерени аналитично или, например, чрез различни числени методи за оптимизация. Ако системата е свръхопределена, т.е., свободно казано, броят на независимите уравнения е по-голям от броя на неизвестните променливи, тогава системата няма точно решение и методът на най-малките квадрати ни позволява да намерим някакъв „оптимален“ вектор x (\displaystyle x)в смисъл на максимална близост на векторите y (\displaystyle y)И f (x) (\displaystyle f(x))или максимална близост на вектора на отклонение e (\displaystyle e)до нула (близостта се разбира в смисъл на евклидово разстояние).

Пример - система от линейни уравнения

По-специално, методът на най-малките квадрати може да се използва за "решаване" на система от линейни уравнения

A x = b (\displaystyle Ax=b),

Където A (\displaystyle A)матрица с правоъгълен размер m × n, m > n (\displaystyle m\times n,m>n)(т.е. броят на редовете на матрица A е по-голям от броя на търсените променливи).

В общия случай такава система от уравнения няма решение. Следователно тази система може да бъде „решена“ само в смисъл на избор на такъв вектор x (\displaystyle x)за минимизиране на "разстоянието" между векторите A x (\displaystyle Ax)И b (\displaystyle b). За да направите това, можете да приложите критерия за минимизиране на сумата от квадратите на разликите между лявата и дясната страна на уравненията на системата, т.е. (A x − b) T (A x − b) → min (\displaystyle (Ax-b)^(T)(Ax-b)\rightarrow \min ). Лесно е да се покаже, че решаването на този проблем за минимизиране води до решаването на следната система от уравнения

A T A x = A T b ⇒ x = (A T A) − 1 A T b (\displaystyle A^(T)Ax=A^(T)b\Rightarrow x=(A^(T)A)^(-1)A^ (T)b).

OLS в регресионен анализ (апроксимация на данни)

Нека има n (\displaystyle n)стойности на някаква променлива y (\displaystyle y)(това може да са резултатите от наблюдения, експерименти и т.н.) и свързани променливи x (\displaystyle x). Предизвикателството е да се направи връзката между y (\displaystyle y)И x (\displaystyle x)приближено чрез някаква известна функция до някои неизвестни параметри b (\displaystyle b), тоест всъщност намира най-добрите стойности на параметрите b (\displaystyle b), максимално приближаващи стойностите f (x, b) (\displaystyle f(x, b))към действителните стойности y (\displaystyle y). Всъщност това се свежда до случая на "решение" на свръхопределена система от уравнения по отношение на b (\displaystyle b):

F (x t , b) = y t , t = 1 , … , n (\displaystyle f(x_(t),b)=y_(t),t=1,\ldots ,n).

В регресионния анализ и по-специално в иконометрията се използват вероятностни модели на връзката между променливите.

Y t = f (x t, b) + ε t (\displaystyle y_(t)=f(x_(t),b)+\varepsilon _(t)),

Където ε t (\displaystyle \varepsilon _(t))- т.нар случайни грешкимодели.

Съответно отклонения на наблюдаваните стойности y (\displaystyle y)от модела f (x, b) (\displaystyle f(x, b))вече се приема в самия модел. Същността на метода на най-малките квадрати (обикновен, класически) е да се намерят такива параметри b (\displaystyle b), при което сумата от квадратните отклонения (грешки, за регресионните модели те често се наричат ​​регресионни остатъци) e t (\displaystyle e_(t))ще бъде минимален:

b ^ O L S = arg ⁡ min b R S S (b) (\displaystyle (\hat (b))_(OLS)=\arg \min _(b)RSS(b)),

Където R S S (\displaystyle RSS)- Английски Остатъчната сума на квадратите се определя като:

R S S (b) = e T e = ∑ t = 1 n e t 2 = ∑ t = 1 n (y t − f (x t , b)) 2 (\displaystyle RSS(b)=e^(T)e=\sum _ (t=1)^(n)e_(t)^(2)=\сума _(t=1)^(n)(y_(t)-f(x_(t),b))^(2) ).

В общия случай този проблем може да бъде решен чрез методи на числена оптимизация (минимизация). В този случай те говорят за нелинейни най-малки квадрати(NLS или NLLS - английски нелинейни най-малки квадрати). В много случаи е възможно да се получи аналитично решение. За да се реши задачата за минимизиране, е необходимо да се намерят стационарни точки на функцията R S S (b) (\displaystyle RSS(b)), диференцирайки го по неизвестни параметри b (\displaystyle b), приравняване на производните на нула и решаване на получената система от уравнения:

∑ t = 1 n (y t − f (x t , b)) ∂ f (x t , b) ∂ b = 0 (\displaystyle \sum _(t=1)^(n)(y_(t)-f(x_ (t),b))(\frac (\partial f(x_(t),b))(\partial b))=0).

OLS в случай на линейна регресия

Нека регресионната зависимост е линейна:

y t = ∑ j = 1 k b j x t j + ε = x t T b + ε t (\displaystyle y_(t)=\sum _(j=1)^(k)b_(j)x_(tj)+\varepsilon =x_( t)^(T)b+\varepsilon _(t)).

Позволявам ге колонният вектор на наблюденията на променливата, която се обяснява, и X (\displaystyle X)- Това (n × k) (\displaystyle ((n\пъти k)))-матрица на факторните наблюдения (редовете на матрицата са вектори на стойностите на факторите в дадено наблюдение, колоните са вектор на стойностите на даден фактор във всички наблюдения). Матричното представяне на линейния модел има формата:

y = X b + ε (\displaystyle y=Xb+\varepsilon ).

Тогава векторът на оценките на обяснената променлива и векторът на регресионните остатъци ще бъдат равни

y ^ = X b , e = y − y ^ = y − X b (\displaystyle (\hat (y))=Xb,\quad e=y-(\hat (y))=y-Xb).

Съответно сумата от квадратите на регресионните остатъци ще бъде равна на

R S S = e T e = (y − X b) T (y − X b) (\displaystyle RSS=e^(T)e=(y-Xb)^(T)(y-Xb)).

Диференциране на тази функция по отношение на вектора на параметрите b (\displaystyle b)и приравнявайки производните на нула, получаваме система от уравнения (в матрична форма):

(X T X) b = X T y (\displaystyle (X^(T)X)b=X^(T)y).

В дешифрирана матрична форма тази система от уравнения изглежда така:

(∑ x t 1 2 ∑ x t 1 x t 2 ∑ x t 1 x t 3 … ∑ x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t 2 x t 3 … ∑ x t 2 x t k ∑ x t 3 x t 1 ∑ x t 3 x t 2 ∑ x t 3 2 … ∑ x t 3 x t k ⋮ ⋮ ⋮ ⋱ ⋮ ∑ x t k x t 1 ∑ x t k x t 2 ∑ x t k x t 3 … ∑ x t k 2) (b 1 b 2 b 3 ⋮ b k) = (∑ x t 1 y t ∑ x t 2 y t ∑ x t 3 y t ⋮ ∑ x t k y t) , (\displaystyle (\begin(pmatrix)\sum x_(t1)^(2)&\sum x_(t1)x_(t2)&\sum x_(t1)x_(t3)&\ldots &\sum x_(t1)x_(tk)\\\sum x_(t2)x_(t1)&\sum x_(t2)^(2)&\sum x_(t2)x_(t3)&\ldots &\ сума x_(t2)x_(tk)\\\сума x_(t3)x_(t1)&\сума x_(t3)x_(t2)&\сума x_(t3)^(2)&\ldots &\сума x_ (t3)x_(tk)\\\vdots &\vdots &\vdots &\ddots &\vdots \\\sum x_(tk)x_(t1)&\sum x_(tk)x_(t2)&\sum x_ (tk)x_(t3)&\ldots &\sum x_(tk)^(2)\\\end(pmatrix))(\begin(pmatrix)b_(1)\\b_(2)\\b_(3 )\\\vdots \\b_(k)\\\end(pmatrix))=(\begin(pmatrix)\sum x_(t1)y_(t)\\\sum x_(t2)y_(t)\\ \sum x_(t3)y_(t)\\\vdots \\\sum x_(tk)y_(t)\\\end(pmatrix)),)където всички суми се вземат върху всички валидни стойности t (\displaystyle t).

Ако в модела е включена константа (както обикновено), тогава x t 1 = 1 (\displaystyle x_(t1)=1)пред всички t (\displaystyle t), следователно в горния ляв ъгъл на матрицата на системата от уравнения има броя на наблюденията n (\displaystyle n), а в останалите елементи на първия ред и първата колона - просто сумите на стойностите на променливите: ∑ x t j (\displaystyle \sum x_(tj))и първият елемент от дясната страна на системата е ∑ y t (\displaystyle \sum y_(t)).

Решението на тази система от уравнения дава общата формула за оценки на най-малките квадрати за линеен модел:

b ^ O L S = (X T X) − 1 X T y = (1 n X T X) − 1 1 n X T y = V x − 1 C x y (\displaystyle (\hat (b))_(OLS)=(X^(T )X)^(-1)X^(T)y=\left((\frac (1)(n))X^(T)X\right)^(-1)(\frac (1)(n ))X^(T)y=V_(x)^(-1)C_(xy)).

За аналитични цели последното представяне на тази формула се оказва полезно (в системата от уравнения при деление на n вместо суми се появяват средни аритметични). Ако в регресионен модел данните центриран, тогава в това представяне първата матрица има значението на примерна ковариационна матрица от фактори, а втората е вектор от ковариации на фактори със зависимата променлива. Ако в допълнение данните също са нормализиранкъм MSE (тоест в крайна сметка стандартизиран), тогава първата матрица има значението на примерна корелационна матрица на фактори, вторият вектор - вектор на примерни корелации на фактори със зависимата променлива.

Важно свойство на оценките на OLS за модели с постоянна- линията на конструираната регресия минава през центъра на тежестта на извадковите данни, т.е. равенството е изпълнено:

y ¯ = b 1 ^ + ∑ j = 2 k b ^ j x ¯ j (\displaystyle (\bar (y))=(\hat (b_(1)))+\sum _(j=2)^(k) (\hat (b))_(j)(\bar (x))_(j)).

По-специално, в краен случай, когато единственият регресор е константа, откриваме, че OLS оценката на единствения параметър (самата константа) е равна на средната стойност на обяснената променлива. Тоест, средната аритметична стойност, известна с добрите си свойства от законите на големите числа, също е оценка на най-малките квадрати - тя удовлетворява критерия за минималната сума на квадратите на отклоненията от нея.

Най-простите специални случаи

В случай на двойна линейна регресия y t = a + b x t + ε t (\displaystyle y_(t)=a+bx_(t)+\varepsilon _(t)), когато се оценява линейната зависимост на една променлива от друга, формулите за изчисление се опростяват (можете да правите без матрична алгебра). Системата от уравнения има формата:

(1 x ¯ x ¯ x 2 ¯) (a b) = (y ¯ x y ¯) (\displaystyle (\begin(pmatrix)1&(\bar (x))\\(\bar (x))&(\bar (x^(2)))\\\end(pmatrix))(\begin(pmatrix)a\\b\\\end(pmatrix))=(\begin(pmatrix)(\bar (y))\\ (\overline (xy))\\\end(pmatrix))).

От тук е лесно да намерите оценки на коефициента:

( b ^ = Cov ⁡ (x , y) Var ⁡ (x) = x y ¯ − x ¯ y ¯ x 2 ¯ − x ¯ 2 , a ^ = y ¯ − b x ¯ . (\displaystyle (\begin(cases) (\hat (b))=(\frac (\mathop (\textrm (Cov)) (x,y))(\mathop (\textrm (Var)) (x)))=(\frac ((\overline (xy))-(\bar (x))(\bar (y)))((\overline (x^(2)))-(\overline (x))^(2))),\\( \hat (a))=(\bar (y))-b(\bar (x)).\end(cases)))

Въпреки факта, че в общия случай моделите с константа са за предпочитане, в някои случаи от теоретични съображения е известно, че константата a (\displaystyle a)трябва да е равно на нула. Например във физиката връзката между напрежение и ток е U = I ⋅ R (\displaystyle U=I\cdot R); При измерване на напрежение и ток е необходимо да се оцени съпротивлението. В случая говорим за модела y = b x (\displaystyle y=bx). В този случай вместо система от уравнения имаме едно уравнение

(∑ x t 2) b = ∑ x t y t (\displaystyle \left(\sum x_(t)^(2)\right)b=\sum x_(t)y_(t)).

Следователно формулата за оценка на единичния коефициент има формата

B ^ = ∑ t = 1 n x t y t ∑ t = 1 n x t 2 = x y ¯ x 2 ¯ (\displaystyle (\hat (b))=(\frac (\sum _(t=1)^(n)x_(t )y_(t))(\sum _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))).

Случаят на полиномен модел

Ако данните са подходящи от полиномна регресионна функция на една променлива f (x) = b 0 + ∑ i = 1 k b i x i (\displaystyle f(x)=b_(0)+\sum \limits _(i=1)^(k)b_(i)x^(i)), след това, възприемане на степени x i (\displaystyle x^(i))като независими фактори за всеки i (\displaystyle i)възможно е да се оценят параметрите на модела въз основа на общата формула за оценка на параметрите на линеен модел. За да направите това, достатъчно е да вземете предвид в общата формула, че с такова тълкуване x t i x t j = x t i x t j = x t i + j (\displaystyle x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j))И x t j y t = x t j y t (\displaystyle x_(tj)y_(t)=x_(t)^(j)y_(t)). Следователно матричните уравнения в този случай ще приемат формата:

(n ∑ n x t … ∑ n x t k ∑ n x t ∑ n x i 2 … ∑ m x i k + 1 ⋮ ⋮ ⋱ ⋮ ∑ n x t k ∑ n x t k + 1 … ∑ n x t 2 k) [ b 0 b 1 ⋮ b k ] = [ ∑ n y t ∑ n x t y t ⋮ ∑ n x t k y t ] . (\displaystyle (\begin(pmatrix)n&\sum \limits _(n)x_(t)&\ldots &\sum \limits _(n)x_(t)^(k)\\\sum \limits _( n)x_(t)&\sum \limits _(n)x_(i)^(2)&\ldots &\sum \limits _(m)x_(i)^(k+1)\\\vdots & \vdots &\ddots &\vdots \\\sum \limits _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\ldots &\ сума \лимити _(n)x_(t)^(2k)\end(pmatrix))(\begin(bmatrix)b_(0)\\b_(1)\\\vdots \\b_(k)\end( bmatrix))=(\begin(bmatrix)\sum \limits _(n)y_(t)\\\sum \limits _(n)x_(t)y_(t)\\\vdots \\\sum \limits _(n)x_(t)^(k)y_(t)\end(bmatrix)).)

Статистически свойства на OLS оценителите

На първо място, отбелязваме, че за линейните модели оценките на OLS са линейни оценки, както следва от горната формула. За безпристрастни оценки на OLS е необходимо и достатъчно да се изпълни най-важното условие на регресионния анализ: математическото очакване на случайна грешка, зависимо от факторите, трябва да бъде равно на нула. Това условие по-специално е изпълнено, ако

1. математическото очакване на случайни грешки е нула и
2. факторите и случайните грешки са независими случайни променливи.

Второто условие - условието за екзогенност на факторите - е основно. Ако това свойство не е изпълнено, тогава можем да предположим, че почти всички оценки ще бъдат изключително незадоволителни: те дори няма да бъдат последователни (тоест дори много голямо количество данни не ни позволява да получим висококачествени оценки в този случай ). В класическия случай се прави по-силно предположение за детерминизма на факторите, за разлика от случайна грешка, което автоматично означава, че условието за екзогенност е изпълнено. В общия случай за съгласуваност на оценките е достатъчно да се удовлетвори условието за екзогенност заедно с конвергенцията на матрицата V x (\displaystyle V_(x))към някаква неособена матрица, тъй като размерът на извадката нараства до безкрайност.

За да бъдат, в допълнение към последователността и безпристрастността, оценките на (обикновените) най-малки квадрати също ефективни (най-добрите в класа на линейните безпристрастни оценки), трябва да бъдат изпълнени допълнителни свойства на случайната грешка:

Тези предположения могат да бъдат формулирани за ковариационната матрица на вектора на случайната грешка V (ε) = σ 2 I (\displaystyle V(\varepsilon)=\sigma ^(2)I).

Линеен модел, който отговаря на тези условия, се нарича класически. OLS оценките за класическа линейна регресия са безпристрастни, последователни и най-ефективните оценки в класа на всички линейни безпристрастни оценки (в английската литература понякога се използва съкращението СИН (Най-добрият линеен безпристрастен оценител) - най-добрата линейна безпристрастна оценка; В руската литература по-често се цитира теоремата на Гаус-Марков). Както е лесно да се покаже, ковариационната матрица на вектора на оценките на коефициента ще бъде равна на:

V (b ^ O L S) = σ 2 (X T X) − 1 (\displaystyle V((\hat (b))_(OLS))=\sigma ^(2)(X^(T)X)^(-1 )).

Ефективността означава, че тази ковариационна матрица е „минимална“ (всяка линейна комбинация от коефициенти, и по-специално самите коефициенти, имат минимална дисперсия), тоест в класа на линейни безпристрастни оценители, OLS оценителите са най-добри. Диагоналните елементи на тази матрица - дисперсиите на оценките на коефициента - са важни параметри за качеството на получените оценки. Не е възможно обаче да се изчисли ковариационната матрица, тъй като дисперсията на случайната грешка е неизвестна. Може да се докаже, че безпристрастна и последователна (за класически линеен модел) оценка на дисперсията на случайните грешки е количеството:

S 2 = R S S / (n − k) (\displaystyle s^(2)=RSS/(n-k)).

Замествайки тази стойност във формулата за ковариационната матрица, получаваме оценка на ковариационната матрица. Получените оценки също са безпристрастни и последователни. Важно е също, че оценката на дисперсията на грешката (и следователно дисперсията на коефициентите) и оценките на параметрите на модела са независими случайни променливи, което прави възможно получаването на тестова статистика за тестване на хипотези за коефициентите на модела.

Трябва да се отбележи, че ако класическите допускания не са изпълнени, оценките на OLS параметрите не са най-ефективните и, когато W (\displaystyle W)е някаква симетрична матрица с положително определено тегло. Конвенционалните най-малки квадрати са специален случай на този подход, където матрицата на теглото е пропорционална на матрицата на идентичността. Както е известно, за симетричните матрици (или оператори) има разширение W = P T P (\displaystyle W=P^(T)P). Следователно посоченият функционал може да бъде представен по следния начин e T P T P e = (P e) T P e = e ∗ T e ∗ (\displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *)), тоест този функционал може да бъде представен като сбор от квадратите на някои трансформирани „остатъци“. По този начин можем да разграничим клас от методи на най-малките квадрати - LS методи (Least Squares).

Доказано е (теорема на Ейткен), че за обобщен линеен регресионен модел (в който не се налагат ограничения върху ковариационната матрица на случайните грешки), най-ефективните (в класа на линейните непредубедени оценки) са така наречените оценки. обобщени най-малки квадрати (GLS - Обобщени най-малки квадрати)- LS метод с тегловна матрица, равна на обратната ковариационна матрица на случайни грешки: W = V ε − 1 (\displaystyle W=V_(\varepsilon )^(-1)).

Може да се покаже, че формулата за GLS оценки на параметрите на линеен модел има вида

B ^ G L S = (X T V − 1 X) − 1 X T V − 1 y (\displaystyle (\hat (b))_(GLS)=(X^(T)V^(-1)X)^(-1) X^(T)V^(-1)y).

Ковариационната матрица на тези оценки съответно ще бъде равна на

V (b ^ G L S) = (X T V − 1 X) − 1 (\displaystyle V((\hat (b))_(GLS))=(X^(T)V^(-1)X)^(- 1)).

Всъщност същността на OLS се състои в определена (линейна) трансформация (P) на оригиналните данни и прилагането на обикновен OLS към трансформираните данни. Целта на тази трансформация е, че за трансформираните данни случайните грешки вече отговарят на класическите допускания.

Претеглен OLS

В случай на диагонална матрица на тегло (и следователно ковариационна матрица на случайни грешки), имаме така наречените претеглени най-малки квадрати (WLS). В този случай претеглената сума от квадрати на остатъците на модела е сведена до минимум, т.е. всяко наблюдение получава „тегло“, което е обратно пропорционално на дисперсията на случайната грешка в това наблюдение: e T W e = ∑ t = 1 n e t 2 σ t 2 (\displaystyle e^(T)We=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ сигма _(t)^(2)))). Всъщност данните се трансформират чрез претегляне на наблюденията (разделяне на количество, пропорционално на изчисленото стандартно отклонение на случайните грешки), а към претеглените данни се прилага обикновен OLS.

ISBN 978-5-7749-0473-0.

Иконометрия. Учебник / Изд. Елисеева I. I. - 2-ро изд. - М.: Финанси и статистика, 2006. - 576 с. - ISBN 5-279-02786-3.

Александрова Н.В.История на математическите термини, понятия, обозначения: речник-справочник. - 3-то изд. - М. : LKI, 2008. - 248 с. - ISBN 978-5-382-00839-4.И. В. Митин, Русаков В. С. Анализ и обработка на експериментални данни – 5-то издание – 24 с.

Нека апроксимираме функцията с полином от степен 2. За да направим това, изчисляваме коефициентите на нормалната система от уравнения:

, ,

Нека създадем нормална система на най-малките квадрати, която има формата:

Решението на системата се намира лесно:, , .

Така се намира полином от 2-ра степен: .

Теоретична справка

Върнете се към страницата<Введение в вычислительную математику. Примеры>

Пример 2. Намиране на оптималната степен на полином.

Върнете се към страницата<Введение в вычислительную математику. Примеры>

Пример 3. Извеждане на нормална система от уравнения за намиране на параметрите на емпиричната зависимост.

Нека изведем система от уравнения за определяне на коефициентите и функциите , който извършва средноквадратичното приближение на дадена функция чрез точки. Нека съставим функция и запишете необходимото екстремално условие за него:

Тогава нормалната система ще приеме формата:

Получихме линейна система от уравнения за неизвестни параметри и, която лесно се решава.

Теоретична справка

Върнете се към страницата<Введение в вычислительную математику. Примеры>

Пример.

Експериментални данни за стойностите на променливите хИ приса дадени в таблицата.

В резултат на подравняването им се получава функцията

Използвайки метод на най-малките квадрати, апроксимирайте тези данни чрез линейна зависимост y=ax+b(намерете параметри АИ b). Открийте коя от двете линии по-добре (в смисъла на метода на най-малките квадрати) подравнява експерименталните данни. Направете рисунка.

Същността на метода на най-малките квадрати (МНК).

Задачата е да се намерят коефициентите на линейна зависимост, при които функцията на две променливи АИ bприема най-малката стойност. Тоест дадено АИ bсумата от квадратите на отклоненията на експерименталните данни от намерената права линия ще бъде най-малка. Това е целият смисъл на метода на най-малките квадрати.

Така решаването на примера се свежда до намиране на екстремума на функция на две променливи.

Извеждане на формули за намиране на коефициенти.

Съставя се и се решава система от две уравнения с две неизвестни. Намиране на частни производни на функция по променливи АИ b, ние приравняваме тези производни на нула.

Ние решаваме получената система от уравнения, използвайки произволен метод (напр по метода на заместванеили метод на Крамър) и да получите формули за намиране на коефициенти с помощта на метода на най-малките квадрати (LSM).

дадени АИ bфункция приема най-малката стойност. Доказателството за този факт е дадено по-долу в текста в края на страницата.

Това е целият метод на най-малките квадрати. Формула за намиране на параметъра асъдържа сумите , , и параметър н— количество експериментални данни. Препоръчваме да изчислите стойностите на тези суми отделно.

Коефициент bнамерени след изчисление а.

Време е да си припомним оригиналния пример.

Решение.

В нашия пример n=5. Попълваме таблицата за удобство при изчисляване на сумите, които са включени във формулите на необходимите коефициенти.

Стойностите в четвъртия ред на таблицата се получават чрез умножаване на стойностите на 2-ри ред по стойностите на 3-ти ред за всяко число аз.

Стойностите в петия ред на таблицата се получават чрез повдигане на квадрат на стойностите във 2-ри ред за всяко число аз.

Стойностите в последната колона на таблицата са сумите от стойностите в редовете.

Използваме формулите на метода на най-малките квадрати, за да намерим коефициентите АИ b. Заменяме съответните стойности от последната колона на таблицата в тях:

следователно y = 0,165x+2,184— желаната апроксимираща права линия.

Остава да разберем коя от линиите y = 0,165x+2,184или приближава по-добре оригиналните данни, тоест прави оценка, използвайки метода на най-малките квадрати.

Оценка на грешката на метода на най-малките квадрати.

За да направите това, трябва да изчислите сумата на квадратите на отклоненията на оригиналните данни от тези редове И , по-малка стойност съответства на линия, която по-добре приближава оригиналните данни по смисъла на метода на най-малките квадрати.

Тъй като , тогава направо y = 0,165x+2,184по-добре приближава оригиналните данни.

Графична илюстрация на метода на най-малките квадрати (LS).

Всичко се вижда ясно на графиките. Червената линия е намерената права линия y = 0,165x+2,184, синята линия е , розовите точки са оригиналните данни.

Защо е необходимо това, защо всички тези приближения?

Аз лично го използвам за решаване на проблеми с изглаждане на данни, проблеми с интерполация и екстраполация (в оригиналния пример те може да бъдат помолени да намерят стойността на наблюдавана стойност гпри х=3или кога х=6използвайки метода на най-малките квадрати). Но ще говорим повече за това по-късно в друг раздел на сайта.

Най-горе на страницата

Доказателство.

Така че, когато се намери АИ bфункция приема най-малката стойност, необходимо е в тази точка матрицата на квадратната форма на диференциала от втори ред за функцията беше положително категоричен. Нека го покажем.

Диференциалът от втори ред има формата:

Това е

Следователно матрицата на квадратна форма има формата

и стойностите на елементите не зависят от АИ b.

Нека покажем, че матрицата е положително определена. За да направите това, ъгловите минори трябва да са положителни.

Ъглов минор от първи ред . Неравенството е строго, защото точките не съвпадат. В това, което следва, ще посочим това.

Ъглов минор от втори ред

Нека докажем това по метода на математическата индукция.

Заключение: намерени стойности АИ bотговарят на най-малката стойност на функцията следователно са необходимите параметри за метода на най-малките квадрати.

Нямате време да го разберете?
Поръчайте решение

Най-горе на страницата

Разработване на прогноза по метода на най-малките квадрати. Пример за решение на проблем

Екстраполация е научен изследователски метод, който се основава на разпространението на минали и настоящи тенденции, модели и връзки с бъдещото развитие на прогнозния обект. Екстраполационните методи включват метод на пълзяща средна, метод на експоненциално изглаждане, метод на най-малките квадрати.

Същност метод на най-малките квадрати се състои в минимизиране на сумата от квадратните отклонения между наблюдаваните и изчислените стойности. Изчислените стойности се намират с помощта на избраното уравнение - регресионното уравнение. Колкото по-малко е разстоянието между действителните стойности и изчислените, толкова по-точна е прогнозата въз основа на регресионното уравнение.

Теоретичен анализ на същността на изследваното явление, промяната в която се отразява от времеви редове, служи като основа за избор на крива. Понякога се вземат предвид съображения за естеството на увеличението на нивата на серията. Така, ако се очаква нарастване на продукцията в аритметична прогресия, тогава изглаждането се извършва по права линия. Ако се окаже, че растежът е в геометрична прогресия, тогава изглаждането трябва да се направи с експоненциална функция.

Работна формула за метода на най-малките квадрати : Y t+1 = a*X + b, където t + 1 – прогнозен период; Уt+1 – прогнозен показател; a и b са коефициенти; X е символ на времето.

Изчисляването на коефициентите a и b се извършва по следните формули:

където Uf - действителните стойности на динамичната серия; n – брой нива на времеви редове;

Изглаждането на времевите редове с помощта на метода на най-малките квадрати служи за отразяване на модела на развитие на изследваното явление. При аналитичното изразяване на тенденция, времето се разглежда като независима променлива, а нивата на серията действат като функция на тази независима променлива.

Развитието на едно явление не зависи от това колко години са изминали от началото, а от това какви фактори са повлияли на неговото развитие, в каква посока и с каква интензивност. Оттук става ясно, че развитието на едно явление във времето е резултат от действието на тези фактори.

Правилното установяване на вида на кривата, вида на аналитичната зависимост от времето е една от най-трудните задачи на прогнозния анализ .

Изборът на типа функция, която описва тенденцията, чиито параметри се определят по метода на най-малките квадрати, се извършва в повечето случаи емпирично, чрез конструиране на редица функции и тяхното сравняване помежду си според стойността на средна квадратична грешка, изчислена по формулата:

където UV са действителните стойности на динамичната серия; Ur – изчислени (изгладени) стойности на динамичната серия; n – брой нива на времеви редове; p – броят на параметрите, дефинирани във формули, описващи тенденцията (тенденция на развитие).

Недостатъци на метода на най-малките квадрати :

• когато се опитвате да опишете икономическия феномен, който се изучава, с помощта на математическо уравнение, прогнозата ще бъде точна за кратък период от време и регресионното уравнение трябва да бъде преизчислено, когато стане налична нова информация;
• сложността на избора на регресионно уравнение, което е разрешимо с помощта на стандартни компютърни програми.

Пример за използване на метода на най-малките квадрати за разработване на прогноза

Задача . Има данни, характеризиращи нивото на безработица в региона, %

• Изградете прогноза за нивото на безработица в региона за ноември, декември, януари, като използвате следните методи: пълзяща средна, експоненциално изглаждане, най-малки квадрати.
• Изчислете грешките в получените прогнози, като използвате всеки метод.
• Сравнете резултатите и направете изводи.

Решение на най-малките квадрати

За да разрешим това, ще съставим таблица, в която ще направим необходимите изчисления:

ε = 28,63/10 = 2,86% точност на прогнозатаВисоко.

Заключение : Сравняване на резултатите, получени от изчисленията метод на пълзяща средна , метод на експоненциално изглаждане и метода на най-малките квадрати, можем да кажем, че средната относителна грешка при изчисляване с помощта на метода на експоненциално изглаждане попада в диапазона от 20-50%. Това означава, че точността на прогнозата в този случай е само задоволителна.

В първия и третия случай точността на прогнозата е висока, тъй като средната относителна грешка е по-малка от 10%. Но методът на подвижната средна даде възможност да се получат по-надеждни резултати (прогноза за ноември - 1,52%, прогноза за декември - 1,53%, прогноза за януари - 1,49%), тъй като средната относителна грешка при използване на този метод е най-малката - 1 ,13%.

Метод на най-малките квадрати

Други статии по тази тема:

Списък на използваните източници

1. Научни и методически препоръки за диагностициране на социални рискове и прогнозиране на предизвикателства, заплахи и социални последици. Руски държавен социален университет. Москва. 2010 г.;
2. Владимирова Л.П. Прогнозиране и планиране в пазарни условия: Учебник. надбавка. М.: Издателство "Дашков и Ко", 2001 г.;
3. Новикова Н.В., Поздеева О.Г. Прогнозиране на националната икономика: Учебно-методическо ръководство. Екатеринбург: Уралско издателство. състояние икон. университет, 2007;
4. Слуцкин Л.Н. MBA курс по бизнес прогнозиране. М.: Alpina Business Books, 2006.

MNC програма

Въвеждане на данни

Данни и приближение y = a + b x

аз- номер на опитна точка;
x i- стойност на фиксиран параметър в точка аз;
y i- стойност на измервания параметър в точка аз;
ωi- тегло на измерване в точка аз;
y i, калк.- разлика между измерената и регресионно изчислената стойност гв точката аз;
S x i (x i)- оценка на грешката x iпри измерване гв точката аз.

Данни и приближение y = k x

аз	x i	y i	ωi	y i, калк.	Δy i	S x i (x i)

Кликнете върху графиката

Ръководство за потребителя на онлайн програмата MNC.

В полето за данни въведете на всеки отделен ред стойностите на `x` и `y` в една експериментална точка. Стойностите трябва да бъдат разделени с интервал (интервал или раздел).

Третата стойност може да бъде теглото на точката „w“. Ако теглото на точка не е посочено, то е равно на единица. В по-голямата част от случаите теглата на експерименталните точки са неизвестни или не са изчислени, т.е. всички експериментални данни се считат за еквивалентни. Понякога теглата в изследвания диапазон от стойности са абсолютно нееквивалентни и дори могат да бъдат изчислени теоретично. Например в спектрофотометрията теглата могат да се изчислят с помощта на прости формули, въпреки че това най-често се пренебрегва, за да се намалят разходите за труд.

Данните могат да бъдат поставени чрез клипборда от електронна таблица в офис пакет като Excel от Microsoft Office или Calc от Open Office. За да направите това, в електронната таблица изберете диапазона от данни за копиране, копирайте в клипборда и поставете данните в полето за данни на тази страница.

За изчисляване с помощта на метода на най-малките квадрати са необходими поне две точки за определяне на два коефициента `b` - тангенса на ъгъла на наклона на правата и `a` - стойността, пресечена от правата по оста `y`.

За да оцените грешката на изчислените коефициенти на регресия, трябва да зададете броя на експерименталните точки на повече от две.

Метод на най-малките квадрати (LSM).

Колкото по-голям е броят на експерименталните точки, толкова по-точна е статистическата оценка на коефициентите (поради намаляване на коефициента на Стюдънт) и толкова по-близо е оценката до оценката на общата извадка.

Получаването на стойности във всяка експериментална точка често е свързано със значителни разходи за труд, така че често се провеждат компромисен брой експерименти, които дават управляема оценка и не водят до прекомерни разходи за труд. По правило броят на експерименталните точки за линейна зависимост на най-малките квадрати с два коефициента се избира в рамките на 5-7 точки.

Кратка теория на най-малките квадрати за линейни връзки

Да кажем, че имаме набор от експериментални данни под формата на двойки стойности [`y_i`, `x_i`], където `i` е номерът на едно експериментално измерване от 1 до `n`; `y_i` - стойността на измерената величина в точка `i`; `x_i` - стойността на параметъра, който задаваме в точка `i`.

Като пример разгледайте действието на закона на Ом. Чрез промяна на напрежението (потенциалната разлика) между секциите на електрическата верига измерваме количеството ток, преминаващ през тази секция. Физиката ни дава експериментално установена зависимост:

„I = U/R“,
където `I` е силата на тока; `R` - съпротивление; `U` - напрежение.

В този случай `y_i` е текущата стойност, която се измерва, а `x_i` е стойността на напрежението.

Като друг пример, помислете за абсорбцията на светлина от разтвор на вещество в разтвор. Химията ни дава формулата:

`A = ε l C`,
където "А" е оптичната плътност на разтвора; `ε` - пропускливост на разтвореното вещество; `l` - дължина на пътя при преминаване на светлината през кювета с разтвор; `C` е концентрацията на разтвореното вещество.

В този случай `y_i` е измерената стойност на оптичната плътност `A`, а `x_i` е стойността на концентрацията на веществото, което посочваме.

Ще разгледаме случая, когато относителната грешка в присвояването `x_i` е значително по-малка от относителната грешка в измерването `y_i`. Ще приемем също, че всички измерени стойности "y_i" са произволни и нормално разпределени, т.е. се подчиняват на нормалния закон за разпределение.

В случай на линейна зависимост на `y` от `x`, можем да запишем теоретичната зависимост:
`y = a + b x`.

От геометрична гледна точка коефициентът `b` означава тангенса на ъгъла на наклона на правата към оста `x`, а коефициентът `a` - стойността на `y` в точката на пресичане на линия с оста „y“ (при „x = 0“).

Намиране на параметрите на регресионната линия.

При експеримент измерените стойности на `y_i` не могат точно да лежат на теоретичната права линия поради грешки в измерването, които винаги са присъщи на реалния живот. Следователно линейното уравнение трябва да бъде представено чрез система от уравнения:
`y_i = a + b x_i + ε_i` (1),
където `ε_i` е неизвестната грешка на измерване на `y` в `i`-тия експеримент.

Зависимост (1) също се нарича регресия, т.е. зависимостта на две величини една от друга със статистическа значимост.

Задачата за възстановяване на зависимостта е да се намерят коефициентите `a` и `b` от експерименталните точки [`y_i`, `x_i`].

За намиране на коефициентите `a` и `b` обикновено се използва метод на най-малките квадрати(MNC). Това е специален случай на принципа на максималната вероятност.

Нека пренапишем (1) във формата `ε_i = y_i - a - b x_i`.

Тогава сумата от квадратите на грешките ще бъде
`Φ = сума_(i=1)^(n) ε_i^2 = сума_(i=1)^(n) (y_i - a - b x_i)^2`. (2)

Принципът на най-малките квадрати (най-малките квадрати) е да се минимизира сумата (2) по отношение на параметрите `a` и `b`.

Минимумът се постига, когато частните производни на сумата (2) по отношение на коефициентите `a` и `b` са равни на нула:
`frac(partial Φ)(partial a) = frac(partial sum_(i=1)^(n) (y_i - a - b x_i)^2)(partial a) = 0`
`frac(partial Φ)(partial b) = frac(partial sum_(i=1)^(n) (y_i - a - b x_i)^2)(partial b) = 0`

Разширявайки производните, получаваме система от две уравнения с две неизвестни:
`сума_(i=1)^(n) (2a + 2bx_i — 2y_i) = сума_(i=1)^(n) (a + bx_i — y_i) = 0`
`сума_(i=1)^(n) (2bx_i^2 + 2ax_i — 2x_iy_i) = сума_(i=1)^(n) (bx_i^2 + ax_i — x_iy_i) = 0`

Отваряме скобите и прехвърляме сумите, независими от необходимите коефициенти, към другата половина, получаваме система от линейни уравнения:
`сума_(i=1)^(n) y_i = a n + b сума_(i=1)^(n) bx_i`
`сума_(i=1)^(n) x_iy_i = сума_(i=1)^(n) x_i + b сума_(i=1)^(n) x_i^2`

Решавайки получената система, намираме формули за коефициентите `a` и `b`:

`a = frac(sum_(i=1)^(n) y_i sum_(i=1)^(n) x_i^2 — sum_(i=1)^(n) x_i sum_(i=1)^(n ) x_iy_i) (n сума_(i=1)^(n) x_i^2 — (сума_(i=1)^(n) x_i)^2)` (3.1)

`b = frac(n сума_(i=1)^(n) x_iy_i — сума_(i=1)^(n) x_i сума_(i=1)^(n) y_i) (n сума_(i=1)^ (n) x_i^2 — (sum_(i=1)^(n) x_i)^2)` (3.2)

Тези формули имат решения, когато `n > 1` (линията може да бъде конструирана с помощта на поне 2 точки) и когато детерминантата `D = n sum_(i=1)^(n) x_i^2 - (sum_(i= 1 )^(n) x_i)^2 != 0`, т.е. когато точките `x_i` в експеримента са различни (т.е. когато линията не е вертикална).

Оценка на грешките на коефициентите на регресионната линия

За по-точна оценка на грешката при изчисляване на коефициентите `a` и `b` е желателно голям брой експериментални точки. Когато `n = 2`, е невъзможно да се оцени грешката на коефициентите, т.к апроксимиращата права еднозначно ще минава през две точки.

Грешката на случайната променлива `V` се определя от закон за натрупване на грешки
`S_V^2 = сума_(i=1)^p (frac(частично f)(частично z_i))^2 S_(z_i)^2`,
където `p` е броят на параметрите `z_i` с грешка `S_(z_i)`, които влияят на грешката `S_V`;
„f“ е функция на зависимостта на „V“ от „z_i“.

Нека запишем закона за натрупване на грешката за грешката на коефициентите `a` и `b`
`S_a^2 = сума_(i=1)^(n)(frac(частично a)(частично y_i))^2 S_(y_i)^2 + сума_(i=1)^(n)(frac(частично a )(частично x_i))^2 S_(x_i)^2 = S_y^2 сума_(i=1)^(n)(frac(частично a)(частично y_i))^2 `,
`S_b^2 = сума_(i=1)^(n)(frac(частично b)(частично y_i))^2 S_(y_i)^2 + сума_(i=1)^(n)(frac(частично b )(частично x_i))^2 S_(x_i)^2 = S_y^2 сума_(i=1)^(n)(frac(частично b)(частично y_i))^2 `,
защото `S_(x_i)^2 = 0` (преди това направихме уговорка, че грешката `x` е незначителна).

`S_y^2 = S_(y_i)^2` - грешка (дисперсия, квадрат на стандартното отклонение) при измерването на `y`, като се приеме, че грешката е еднаква за всички стойности на `y`.

Замествайки формули за изчисляване на `a` и `b` в получените изрази, получаваме

`S_a^2 = S_y^2 frac(sum_(i=1)^(n) (sum_(i=1)^(n) x_i^2 — x_i sum_(i=1)^(n) x_i)^2 ) (D^2) = S_y^2 frac((n сума_(i=1)^(n) x_i^2 — (сума_(i=1)^(n) x_i)^2) сума_(i=1) ^(n) x_i^2) (D^2) = S_y^2 frac(sum_(i=1)^(n) x_i^2) (D)` (4.1)

`S_b^2 = S_y^2 frac(sum_(i=1)^(n) (n x_i — sum_(i=1)^(n) x_i)^2) (D^2) = S_y^2 frac( n (n сума_(i=1)^(n) x_i^2 — (сума_(i=1)^(n) x_i)^2)) (D^2) = S_y^2 frac(n) (D) ` (4.2)

В повечето реални експерименти стойността на „Sy“ не се измерва. За целта е необходимо да се извършат няколко паралелни измервания (експерименти) в една или няколко точки от плана, което увеличава времето (и евентуално цената) на експеримента. Следователно обикновено се приема, че отклонението на `y` от регресионната линия може да се счита за случайно. Оценката на дисперсията `y` в този случай се изчислява по формулата.

`S_y^2 = S_(y, почивка)^2 = frac(sum_(i=1)^n (y_i - a - b x_i)^2) (n-2)`.

Делителят „n-2“ се появява, защото броят на нашите степени на свобода е намалял поради изчисляването на два коефициента, използвайки една и съща извадка от експериментални данни.

Тази оценка се нарича още остатъчна дисперсия спрямо линията на регресия „S_(y, почивка)^2“.

Значимостта на коефициентите се оценява с помощта на t теста на Student

`t_a = frac(|a|) (S_a)`, `t_b = frac(|b|) (S_b)`

Ако изчислените критерии `t_a`, `t_b` са по-малки от табличните критерии `t(P, n-2)`, тогава се счита, че съответният коефициент не се различава значително от нула с дадена вероятност `P`.

За да оцените качеството на описанието на линейна връзка, можете да сравните „S_(y, rest)^2“ и „S_(bar y)“ спрямо средната стойност, като използвате критерия на Фишер.

`S_(bar y) = frac(sum_(i=1)^n (y_i — bar y)^2) (n-1) = frac(sum_(i=1)^n (y_i — (sum_(i= 1)^n y_i) /n)^2) (n-1)` - примерна оценка на дисперсията `y` спрямо средната стойност.

За да се оцени ефективността на регресионното уравнение за описание на зависимостта, се изчислява коефициентът на Фишер
`F = S_(лента y) / S_(y, почивка)^2`,
който се сравнява с табличния коефициент на Фишер `F(p, n-1, n-2)`.

Ако `F > F(P, n-1, n-2)`, разликата между описанието на връзката `y = f(x)` с помощта на регресионното уравнение и описанието с помощта на средната стойност се счита за статистически значима с вероятност „П“. Тези. регресията описва зависимостта по-добре от разпространението на „y“ около средната стойност.

Кликнете върху графиката
за добавяне на стойности към таблицата

Метод на най-малките квадрати. Методът на най-малките квадрати означава определяне на неизвестни параметри a, b, c, приетата функционална зависимост

Методът на най-малките квадрати се отнася до определянето на неизвестни параметри а, б, в,…приета функционална зависимост

y = f(x,a,b,c,…),

което би осигурило минимум от средния квадрат (дисперсия) на грешката

, (24)

където x i, y i е набор от двойки числа, получени от експеримента.

Тъй като условието за екстремума на функция на няколко променливи е условието нейните частни производни да са равни на нула, тогава параметрите а, б, в,…се определят от системата от уравнения:

; ; ; … (25)

Трябва да се помни, че методът на най-малките квадрати се използва за избор на параметри след типа на функцията y = f(x)дефинирани

Ако от теоретични съображения не могат да се направят заключения за това каква трябва да бъде емпиричната формула, тогава човек трябва да се ръководи от визуални представяния, предимно от графични представяния на наблюдаваните данни.

На практика те най-често се ограничават до следните видове функции:

1) линеен ;

2) квадратично а.

Същността на метода на най-малките квадрати е при намиране на параметрите на модел на тенденция, който най-добре описва тенденцията на развитие на всяко случайно явление във времето или пространството (тенденцията е линия, която характеризира тенденцията на това развитие). Задачата на метода на най-малките квадрати (LSM) се свежда до намирането не просто на някакъв трендов модел, а до намирането на най-добрия или оптимален модел. Този модел ще бъде оптимален, ако сумата от квадратните отклонения между наблюдаваните действителни стойности и съответните изчислени стойности на тенденцията е минимална (най-малка):

където е квадратното отклонение между наблюдаваната действителна стойност

и съответната изчислена стойност на тренда,

Действителната (наблюдавана) стойност на изследваното явление,

Изчислената стойност на модела на тренда,

Броят на наблюденията на изследваното явление.

MNC се използва доста рядко самостоятелно. По правило най-често се използва само като необходима техническа техника при корелационни изследвания. Трябва да се помни, че информационната основа на OLS може да бъде само надеждна статистическа серия и броят на наблюденията не трябва да бъде по-малък от 4, в противен случай процедурите за изглаждане на OLS могат да загубят здрав разум.

Инструментариумът OLS се свежда до следните процедури:

Първа процедура. Оказва се дали изобщо има тенденция за промяна на резултатния атрибут при промяна на избрания фактор-аргумент, или с други думи, има ли връзка между „ при " И " х ».

Втора процедура. Определя се коя линия (траектория) може най-добре да опише или характеризира тази тенденция.

Трета процедура.

Пример. Да кажем, че имаме информация за средния добив на слънчоглед за изследваната ферма (Таблица 9.1).

Таблица 9.1

Номер на наблюдение
Производителност, c/ha

Тъй като нивото на технологията на производството на слънчоглед у нас остава почти непроменено през последните 10 години, това означава, че очевидно колебанията в добива през анализирания период са били силно зависими от колебанията в метеорологичните и климатичните условия. Това наистина ли е вярно?

Първа OLS процедура. Тества се хипотезата за наличие на тенденция в изменението на добива от слънчоглед в зависимост от промените в метеорологичните и климатичните условия през анализираните 10 години.

В този пример за " г » препоръчително е да се вземе добивът от слънчоглед, а за « х » е номерът на наблюдаваната година в анализирания период. Проверка на хипотезата за съществуването на някаква връзка между " х " И " г » може да се извърши по два начина: ръчно и с помощта на компютърни програми. Разбира се, с наличието на компютърни технологии, този проблем може да бъде решен сам. Но за да разберем по-добре инструментите на MNC, е препоръчително да тестваме хипотезата за съществуването на връзка между „ х " И " г » ръчно, когато имате под ръка само химикал и обикновен калкулатор. В такива случаи хипотезата за наличието на тенденция се проверява най-добре визуално чрез местоположението на графичното изображение на анализираната поредица от динамика - корелационното поле:

Корелационното поле в нашия пример е разположено около бавно нарастваща линия. Това само по себе си говори за наличието на определена тенденция в изменението на добивите от слънчоглед. Невъзможно е да се говори за наличие на някаква тенденция само когато корелационното поле изглежда като кръг, кръг, строго вертикален или строго хоризонтален облак или се състои от хаотично разпръснати точки. Във всички останали случаи хипотезата за наличието на връзка между „ х " И " г и продължете изследванията.

Втора OLS процедура. Определя се коя линия (траектория) може най-добре да опише или характеризира тенденцията на изменение на добива на слънчоглед през анализирания период.

Ако имате компютърна технология, изборът на оптималната тенденция става автоматично. При „ръчна“ обработка изборът на оптималната функция се извършва, като правило, визуално - чрез местоположението на корелационното поле. Тоест, въз основа на типа графика, се избира уравнението на линията, което най-добре отговаря на емпиричния тренд (действителната траектория).

Както е известно, в природата има огромно разнообразие от функционални зависимости, така че е изключително трудно да се анализира визуално дори малка част от тях. За щастие в реалната икономическа практика повечето отношения могат да бъдат описани доста точно или с парабола, или с хипербола, или с права линия. В тази връзка с опцията „ръчно“ за избор на най-добра функция можете да се ограничите само до тези три модела.

		Хипербола:

Парабола от втори ред: :

Лесно се вижда, че в нашия пример тенденцията в промените в добива на слънчоглед през анализираните 10 години се характеризира най-добре с права линия, така че регресионното уравнение ще бъде уравнението на правата линия.

Трета процедура. Изчисляват се параметрите на регресионното уравнение, характеризиращо тази линия, или с други думи се определя аналитична формула, която описва най-добрия трендов модел.

Намирането на стойностите на параметрите на регресионното уравнение, в нашия случай параметрите и , е ядрото на OLS. Този процес се свежда до решаване на система от нормални уравнения.

(9.2)

Тази система от уравнения се решава доста лесно по метода на Гаус. Нека си припомним, че в резултат на решението в нашия пример се намират стойностите на параметрите и . По този начин намереното регресионно уравнение ще има следната форма: