Оценка параметров линейной регрессии. Регрессия в Excel: уравнение, примеры

Линейная регрессия сводится к нахождению уравнения вида:

Первое выражение позволяет по заданным значениям фактора х рассчитать теоретические значения результативного признака, подставляя в него фактические значения факторах. На графике (рис. 1.2) теоретические значения лежат на прямой, которая представляет собой линию регрессии.

Построение линейной регрессии сводится к оценке ее параметров - а и Ь. Классический подход к оцениванию параметров линейной регрессии основан на методе наименьших квадратов (МНК).

МНК позволяет получить такие оценки параметров а и Ь, при которых сумма квадратов отклонений фактических значений у от теоретических у х минимальна:

Рис. 1.2.

Для нахождения минимума надо вычислить частные производные суммы (1.4) по каждому из параметров (а и ft) и приравнять их к нулю:

После преобразования получаем систему нормальных уравнений:

В системе п - объем выборки, суммы легко рассчитываются из исходных данных. Решая систему относительно а и Ь, получаем:

Выражение (1.7) можно записать в другом виде:

где cov(x, у) - ковариация признаков; су* - дисперсия фактора х.

Параметр b называется коэффициентом регрессии. Его величина показывает среднее изменение результата с увеличением фактора на одну единицу. Возможность четкой экономической интерпретации коэффициента регрессии сделала линейное уравнение парной регрессии достаточно распространенным в эконометрических исследованиях.

Формально а - значение у при х = 0. Если х не имеет и не может иметь нулевого значения, то такая трактовка свободного члена а не имеет смысла. Параметр а чаще всего не имеет экономического содержания. Попытки экономически интерпретировать его могут привести к абсурду, особенно при а 0. Интерпретировать можно лишь знак при параметре а. Если а > 0, то относительное изменение результата происходит медленнее, чем изменение фактора. Сравним эти относительные изменения:

Иногда линейное уравнение парной регрессии записывают для отклонений от средних значений:

где

При этом свободный член равен нулю, что и отражено в выражении (1.10). Этот факт следует из геометрических соображений: уравнению регрессии отвечает та же прямая (1.3), но при оценке регрессии в отклонениях начало координат перемещается в точку с координатами (Зс, у). При этом в выражении (1.8) обе суммы будут равны нулю, что и повлечет равенство нулю свободного члена. Выражения (1.7) и (1.9) при этом также упрощаются.

В качестве примера рассмотрим на группе предприятий, выпускающих один вид продукции, регрессионную зависимость издержек от выпуска продукции у = а + Ьх + е (табл. 1.1).

Система нормальных уравнений будет иметь вид

Решая ее, получаем а - -5,79, b - 36,84.

Уравнение регрессии имеет вид

Таблица 1.1

Исходные данные для оценки параметров парной линейной модели

Выпуск продукции (х), тыс. ед.	Затраты на производство (у), млн руб.

Подставив в уравнение регрессии значения х, найдем теоретические значения у (последняя колонка табл. 1.1).

Величина а не имеет экономического смысла. Если переменные х и у выразить через отклонения от средних уровней, то линия регрессии на графике пройдет через начало координат. Оценка коэффициента регрессии при этом не изменится: у" = 36,84х", где у" = у-у, х" = х-х.

В качестве другого примера рассмотрим функцию потребления в виде:

где С - потребление; у - доход; К, L - параметры.

Данное уравнение линейной регрессии обычно используется в увязке с балансовым равенством

где / - размер инвестиций; г - сбережения.

Для простоты предположим, что доход расходуется на потребление и инвестиции. Таким образом, рассматривается система уравнений

Наличие балансового равенства накладывает ограничения на величину коэффициента регрессии, которая не может быть больше единицы, т.е. К 1.

Предположим, что функция потребления составила С = 1,9 + 0,65у.

Коэффициент регрессии характеризует склонность к потреблению. Он показывает, что из каждой тысячи рублей дохода на потребление расходуется в среднем 650 руб., а 350 руб. инвестируется. Если рассчитать регрессию размера инвестиций от дохода, т.е. I = а + by, то уравнение регрессии будет I = -1,9 + 0,35у. Его можно и не определять, поскольку оно выводится из функции потребления. Коэффициенты регрессии этих двух уравнений связаны равенством 0,65 + 0,35 = 1. Если коэффициент регрессии оказывается больше единицы, то у и на потребление расходуются не только доходы, но и сбережения.

Коэффициент регрессии К в функции потребления используется для расчета мультипликатора:

где т » 2,86, поэтому дополнительные вложения 1 тыс. руб. на длительный срок приведут при прочих равных условиях к дополнительному доходу 2,86 тыс. руб.

При линейной регрессии в качестве показателя тесноты связи выступает линейный коэффициент корреляции г.

Его значения находятся в границах: - 1 r 1. Если 6>0,то0 г b 0-1 г 0. По данным примера расчет выражения (1.11) дает г = 0,991, что означает очень тесную зависимость затрат на производство от величины объема выпускаемой продукции.

Для оценки качества подбора линейной функции рассчитывается коэффициент детерминации как квадрат линейного коэффициента корреляции I 2 . Он характеризует долю дисперсии результативного признака у, объясняемую регрессией, в общей дисперсии результативного признака:

Величина 1 - г 2 характеризует долю дисперсии у, вызванную влиянием остальных, не учтенных в модели факторов.

В примере г 2 = 0,982. Уравнением регрессии объясняется 98,2% дисперсии у, а на прочие факторы приходится 1,8% - это остаточная дисперсия.

Линейная регрессия находит широкое применение в экономет­рике в виде четкой экономической интерпретации ее параметров. Линейная регрессия сводится к нахождению уравнения вида

Или . (4.6)

Уравнение вида позволяет по заданным значени­ям фактора х иметь теоретические значения результативного признака, подставляя в него фактические значения фактора x . На графике теоретические значения представляют линию регрессии (рис. 4.2).

Рис. 4.2. Графическая оценка параметров линейной регрессии

Построение линейной регрессии сводится к оценке ее пара­метров и .Оценки параметров линейной регрессии могут быть найдены разными методами. Можно обратиться к полю корреляции и, выбрав на графике две точки, провести через них прямую линию (см. рис. 4.2). Далее по графику можно опреде­лить значения параметров. Параметр определим как точку пе­ресечения линии регрессии с осью ,а параметр оценим, исхо­дя из угла наклона линии регрессии, как ,где прираще­ние результата у, a приращение фактора х, т. е.

Классический подход к оцениванию параметров линейной регрессии основан на методе наименьших квадратов (МНК).

МНК позволяет получить такие оценки параметров и ,при которых сумма квадратов отклонений фактических значений ре­зультативного признака (у) от расчетных (теоретических) ми­нимальна:

Иными словами, из всего множества линий линия регрессии на графике выбирается так, чтобы сумма квадратов расстояний по вертикали между точками и этой линией была бы минимальной:

cследовательно,

Чтобы найти минимум функции (4.7), надо вычислить част­ные производные по каждому из параметров а и b и приравнять их к нулю.

Обозначим через S , тогда:

Преобразуя эту систему, получим следующую систему нор­мальных уравнений для оценки параметров и :

. (4.8)

Решая систему нормальных уравнений (4.8) либо методом последовательного исключения переменных, либо методом оп­ределителей, найдем числовые значения искомых параметров и . Можно воспользоваться следующими готовыми формулами:

. (4.9)

Формула (4.9) получена из первого уравнения системы (4.8), если все его члены разделить на п.

где ковариация признаков;

Дисперсия признака x .

Ввиду того, что , ,получим следующую формулу расчета оценки параметра b :

. (4.10)

Параметр называется коэффициентом регрессии. Его вели­чина показывает среднее изменение результата с изменением фактора на одну единицу. Так, если в функции издержек (у - издержки (тыс. руб.), х - количество единиц продукции). То, следовательно, с увеличением объема продукции (х) на 1 ед. издержки производства возрастают в среднем на 2 тыс. руб., т. е. дополнительный прирост продукции на 1 ед. потребует увеличения затрат в среднем на 2 тыс. руб.

Возможность четкой экономической интерпретации коэф­фициента регрессии сделала линейное уравнение регрессии достаточно распространенным в эконометрических исследова­ниях.

Формально - значение у при х = 0. Если признак-фактор не имеет и не может иметь нулевого значения, то вышеуказанная трактовка свободного члена не имеет смысла. Параметр может не иметь экономического содержания. Попытки экономически интерпретировать параметр а могут привести к абсурду, особен­но при < 0.

100 р бонус за первый заказ

Выберите тип работы Дипломная работа Курсовая работа Реферат Магистерская диссертация Отчёт по практике Статья Доклад Рецензия Контрольная работа Монография Решение задач Бизнес-план Ответы на вопросы Творческая работа Эссе Чертёж Сочинения Перевод Презентации Набор текста Другое Повышение уникальности текста Кандидатская диссертация Лабораторная работа Помощь on-line

Узнать цену

При оценке параметров уравнения регрессии применяется метод наименьших квадратов (МНК). При этом делаются определенные предпосылки относительно случайной составляющей e. В модели – случайная составляющая e представляет собой ненаблюдаемую величину. После того как произведена оценка параметров модели, рассчитывая разности фактических и теоретических значений результативного признака y , можно определить оценки случайной составляющей . Поскольку они не являются реальными случайными остатками, их можно считать некоторой выборочной реализацией неизвестного остатка заданного уравнения, т. е. ei.

При изменении спецификации модели, добавлении в нее новых наблюдений выборочные оценки остатков ei могут меняться. Поэтому в задачу регрессионного анализа входит не только построение самой модели, но и исследование случайных отклонений ei, т. е. остаточных величин.

При использовании критериев Фишера и Стьюдента делаются предположения относительно поведения остатков ei – остатки представляют собой независимые случайные величины и их среднее значение равно 0; они имеют одинаковую (постоянную) дисперсию и подчиняются нормальному распределению.

Статистические проверки параметров регрессии, показателей корреляции основаны на непроверяемых предпосылках распределения случайной составляющей ei. Они носят лишь предварительный характер. После построения уравнения регрессии проводится проверка наличия у

оценок ei (случайных остатков) тех свойств, которые предполагались. Связано это с тем, что оценки параметров регрессии должны отвечать определенным критериям. Они должны быть несмещенными, состоятельными и эффективными. Эти свойства оценок, полученных по МНК, имеют чрезвычайно важное практическое значение в использовании результатов регрессии и корреляции.

Несмещенность оценки означает, что математическое ожидание остатков равно нулю. Если оценки обладают свойством несмещенности, то их можно сравнивать по разным исследованиям.

Оценки считаются эффективными , если они характеризуются наименьшей дисперсией. В практических исследованиях это означает возможность перехода от точечного оценивания к интервальному.

Состоятельность оценок характеризует увеличение их точности с увеличением объема выборки. Большой практический интерес представляют те результаты регрессии, для которых доверительный интервал ожидаемого значения параметра регрессии bi имеет предел значений вероятности, равный единице. Иными словами, вероятность получения оценки на заданном расстоянии от истинного значения параметра близка к единице.

Указанные критерии оценок (несмещенность, состоятельность и эффективность) обязательно учитываются при разных способах оценивания. Метод наименьших квадратов строит оценки регрессии на основе минимизации суммы квадратов остатков. Поэтому очень важно исследовать поведение остаточных величин регрессии ei. Условия, необходимые для получения несмещенных, состоятельных и эффективных оценок, представляют собой предпосылки МНК, соблюдение которых желательно для получения достоверных результатов регрессии.

Исследования остатков ei предполагают проверку наличия следующих пяти предпосылок МНК :

1. случайный характер остатков;

2. нулевая средняя величина остатков, не зависящая от xi;

3. гомоскедастичность – дисперсия каждого отклонения ei, одинакова для всех значений x ;

4. отсутствие автокорреляции остатков – значения остатков ei распределены независимо друг от друга;

5. остатки подчиняются нормальному распределению.

Если распределение случайных остатков ei не соответствует некоторым предпосылкам МНК, то следует корректировать модель.

Прежде всего, проверяется случайный характер остатков ei – первая предпосылка МНК. С этой целью стоится график зависимости остатков ei от теоретических значений результативного признака.

Если на графике получена горизонтальная полоса, то остатки ei представляют собой случайные величины и МНК оправдан, теоретические значения хорошо аппроксимируют фактические значения y.

Возможны следующие случаи, если ei зависит от то:

1) остатки ei не случайны

2) остатки ei не имеют постоянной дисперсии

3) остатки ei носят систематический характер.

В этих случаях необходимо либо применять другую функцию, либо вводить дополнительную информацию и заново строить уравнение регрессии до тех пор, пока остатки ei не будут случайными величинами.

Вторая предпосылка МНК относительно нулевой средней величины остатков означает, что . Это выполнимо для линейных моделей и моделей, нелинейных относительно включаемых переменных.

Вместе с тем несмещенность оценок коэффициентов регрессии, полученных МНК, зависит от независимости случайных остатков и величин x, что также исследуется в рамках соблюдения второй предпосылки МНК. С этой целью наряду с изложенным графиком зависимости остатков ei от теоретических значений результативного признака строится график зависимости случайных остатков ei от факторов, включенных в регрессию xj.

Если остатки на графике расположены в виде горизонтальной полосы, то они независимы от значений xj. Если же график показывает наличие зависимости ei и xj, то модель неадекватна. Причины неадекватности могут быть разные. Возможно, что нарушена третья предпосылка МНК и дисперсия остатков не постоянна для каждого значения фактора xj. Может быть неправильна спецификация модели и в нее необходимо ввести

дополнительные члены от xj, например . Скопление точек в определенных участках значений фактора xj говорит о наличии систематической погрешности модели.

Предпосылка о нормальном распределении остатков позволяет проводить проверку параметров регрессии и корреляции с помощью F - и t -критериев. Вместе с тем оценки регрессии, найденные с применением МНК, обладают хорошими свойствами даже при отсутствии нормального распределения остатков, т.е. при нарушении пятой предпосылки МНК.

Совершенно необходимым для получения по МНК состоятельных оценок параметров регрессии является соблюдение третьей и четвертой предпосылок.

В соответствии с третьей предпосылкой МНК требуется, чтобы дисперсия остатков была гомоскедастичной . Это значит, что для каждого значения фактора xj остатки ei имеют одинаковую дисперсию. Если это условие применения МНК не соблюдается, то имеет место гетероскедастичность . Наличие гетероскедастичности можно наглядно видеть из поля корреляции:

1. Дисперсия остатков растет по мере увеличения x.

Тогда имеем следующий вид гетероскедастичности: большая дисперсия ei для больших значений

2. Дисперсия остатков достигает максимальной величины при средних значениях x, и уменьшается при минимальных и максимальных значениях.

Тогда имеем следующий вид гетероскедастичности: большая дисперсия ei для средних значений , и малая дисперсия ei для малых и больших значений

3. Максимальная дисперсия остатков при малых значениях x и дисперсия остатков однородна по мере увеличения x.

Тогда имеем следующий вид гетероскедастичности: большая дисперсия ei для малых значений , уменьшение дисперсии остатков ei по мере увеличения

При построении регрессионных моделей чрезвычайно важно соблюдение четвертой предпосылки МНК – отсутствие автокорреляции остатков, т. е. значения остатков ei распределены независимо друг от друга.

Автокорреляция остатков означает наличие корреляции между остатками текущих и предыдущих (последующих) наблюдений. Коэффициент корреляции между ei и ej , где ei – остатки текущих наблюдений, ej – остатки предыдущих наблюдений (например, j=i-1), может быть определен как:

т. е. по обычной формуле линейного коэффициента корреляции. Если этот коэффициент окажется существенно отличным от нуля, то остатки автокоррелированы и функция плотности вероятности F(e) зависит от j –й точки наблюдения и от распределения значений остатков в других точках наблюдения.

Отсутствие автокорреляции остаточных величин обеспечивает состоятельность и эффективность оценок коэффициентов регрессии. Особенно актуально соблюдение данной предпосылки МНК при построении регрессионных моделей по рядам динамики, где ввиду наличия тенденции последующие уровни динамического ряда, как правило, зависят от своих предыдущих уровней.

При несоблюдении основных предпосылок МНК приходится корректировать модель, изменяя ее спецификацию, добавлять (исключать) некоторые факторы, преобразовывать исходные данные для того, чтобы получить оценки коэффициентов регрессии, которые обладают свойством несмещенности, имеют меньшее значение дисперсии остатков и обеспечивают в связи с этим более эффективную статистическую проверку значимости параметров регрессии.

Дня оценки параметров регрессионного уравнения наиболее часто используют метод наименьших квадратов (МНК).

Метод наименьших квадратов дает оценки, имеющие наименьшую дисперсию в классе всех линейных оценок, если выполняются предпосылки нормальной линейной регрессионной модели.

МНК минимизирует сумму квадратов отклонения наблюдаемых значений от модельных значений.

Согласно принципу метода наименьших квадратов, оценки инаходятся путем минимизации суммы квадратов

по всем возможным значениям и при заданных (наблюдаемых) значениях
.

В результате применения МНК получаем формулы для вычисления параметров модели парной регрессии.

(3)

Такое решение может существовать только при выполнении условия

что равносильно отличию от нуля определителя системы нормальных уравнений. Действительно, этот определитель равен

Последнее условие называется условием идентифицируемости модели наблюдений , и означает, что не все значения
совпадают между собой. При нарушении этого условиявсе точки
, лежат на одной вертикальной прямой

Оценки иназываютоценками наименьших квадратов . Обратим внимание на полученное выражение для параметра . В это выражение входят суммы квадратов, участвовавшие ранее в определении выборочной дисперсии

и выборочной ковариации
так что, в этих терминах параметрможно получить следующим образом:

=
=
=

=

Оценка качества уравнения регрессии

Качество модели регрессии связывают с адекватностью модели наблюдаемым (эмпирическим) данным. Проверка адекватности (или соответствия) модели регрессии наблю­даемым данным проводится на основе анализа остатков.

После построения уравнения регрессии мы можем разбить значение Y, в каждом наблюдении на две составляющих - и.

Остаток представляет собой отклонение фактического зна­чения зависимой переменной от значения данной перемен­ной, полученное расчетным путем:
(
).

На практике, как правило, имеет место некоторое рассеива­ние точек корреляционного поля относительно теоретической линии регрессии, т. е. отклонения эмпирических данных от тео­ретических (
). Величина этих отклонений и лежит в осно­ве расчета показателей качества (адекватности) уравнения.

При анализе качества модели регрессии используется основное положение дисперсионного анализа, согласно которому общая сумма квадратов отклонений зависимой переменной от среднего значения может быть разложе­на на две составляющие - объясненную и необъясненную уравнением регрессии дисперсии:

(4)

где - значенияy , вычисленные по модели
.

Разделив правую и левую часть (4) на

,

.

Коэффициент детерминации определяется следующим образом:

Коэффициент детерминации показывает долю вариации результативного признака, находя­щегося под воздействием изучаемых факторов, т. е. определяет, ка­кая доля вариации признака Y учтена в модели и обусловлена влия­нием на него факторов.

Чем ближе
к 1, тем выше качество модели.

Для оценки качества регрессионных моделей целесообразно также ис­пользовать коэффициент множественной корреляции (индекс корреляции) R

Данный коэффициент является универсальным, так как он отра­жает тесноту связи и точность модели, а также может использовать­ся при любой форме связи переменных.

При построении однофакторной модели он равен коэффициенту линейной корреляции
.

Очевидно, что чем меньше влияние неучтенных факторов, тем лучше модель соответствуетфактическим данным.

Также для оценки качества регрессионных моделей целесообразно ис­пользовать среднюю ошибку аппроксимации:

Чем меньше рассеяние эмпирических точек вокруг теоре­тической линии регрессии, тем меньше средняя ошиб­ка аппроксимации. Ошибка аппроксимации меньше 7 % свидетельствует о хорошем качестве модели.

После того как уравнение регрессии построено, выполняется проверка значимости построенного уравнения в целом и отдельных параметров.

Оценить значимость уравнения регрессии – это означает установить, соответствует ли математическая модель, выражающая зависимость между Y и Х, фактическим данным и достаточно ли включенных в уравнение объясняющих переменных Х для описания зависимой переменной Y

Оценка значимости уравнения регрессии производится для того, чтобы узнать, пригодно уравнение регрессии для практического использования (например, для прогноза) или нет. При этом выдвигают основную гипотезу о незначимости уравнения в целом, которая формально сводится к гипо­тезе о равенстве нулю параметров регрессии, или, что то же самое, о равенстве нулю коэффициента детерминации:
. Альтернативная ей гипотеза о значимости уравне­ния - гипотеза о неравенстве нулю параметров регрессии.

Для проверки значимости модели регрессии используется F-критерий Фишера , вычисляемый как отношение дисперсии исходного ряда и несме­щенной дисперсии остаточной компоненты. Если расчетное значение с  1 = k и  2 = (n - k - 1) степенями свободы, где k – количество факторов, включенных в модель, больше табличного при заданном уровне значимости, то модель считается значимой.

Для модели парной регрессии:

В качестве меры точности применяют несмещенную оценку дис­персии остаточной компоненты, которая представляет собой отно­шение суммы квадратов уровней остаточной компоненты к величи­не (n- k -1), где k – количество факторов, включенных в модель. Квадратный корень из этой величины () называетсястандартной ошибкой :

Для модели парной регрессии