Análisis de datos mediante el método de mínimos cuadrados. Mínimos cuadrados en Excel
método de mínimos cuadrados
En la lección final del tema, nos familiarizaremos con la aplicación más famosa. FNP, que encuentra la aplicación más amplia en diversos campos de la ciencia y la práctica. Puede ser física, química, biología, economía, sociología, psicología, etc., etc. Por voluntad del destino, a menudo tengo que ocuparme de la economía y, por eso, hoy te conseguiré un billete a un país increíble llamado Econometría=) … ¡¿Cómo no quieres eso?! Es muy bueno allí, ¡solo tienes que decidir! …Pero lo que probablemente quieras es aprender a resolver problemas. mínimos cuadrados. Y los lectores especialmente diligentes aprenderán a resolverlos no sólo con precisión, sino también MUY RÁPIDO ;-) Pero primero planteamiento general del problema+ ejemplo relacionado:
Que se estudien indicadores en algún área temática que tengan una expresión cuantitativa. Al mismo tiempo, hay muchas razones para creer que el indicador depende del indicador. Esta suposición puede ser tanto una hipótesis científica como una base de sentido común elemental. Pero dejemos de lado la ciencia y exploremos áreas más apetitosas: las tiendas de comestibles. Denotamos por:
– espacio comercial de una tienda de comestibles, m2,
- facturación anual de una tienda de comestibles, millones de rublos.
Está bastante claro que cuanto mayor es la superficie de la tienda, mayor es su facturación en la mayoría de los casos.
Supongamos que después de realizar observaciones / experimentos / cálculos / bailar con pandereta, tenemos a nuestra disposición datos numéricos: 
Con las tiendas de comestibles, creo que todo está claro: - esta es el área de la 1ª tienda, - su facturación anual, - el área de la 2ª tienda, - su facturación anual, etc. Por cierto, no es necesario tener acceso a materiales clasificados; se puede obtener una evaluación bastante precisa del volumen de negocios utilizando estadística matemática. Sin embargo, no te distraigas, el curso de espionaje comercial ya está pagado =)
Los datos tabulares también se pueden escribir en forma de puntos y representar de la forma habitual para nosotros. sistema cartesiano .
Respondamos una pregunta importante: ¿Cuántos puntos se necesitan para un estudio cualitativo?
Cuanto más grande, mejor. El conjunto mínimo admisible consta de 5-6 puntos. Además, con una cantidad pequeña de datos, los resultados "anormales" no deben incluirse en la muestra. Entonces, por ejemplo, una pequeña tienda de élite puede ayudar mucho más que "sus colegas", distorsionando así el patrón general que es necesario encontrar.
Si es bastante simple, debemos elegir una función, cronograma que pasa lo más cerca posible de los puntos 
. Tal función se llama aproximando
(aproximación - aproximación) o función teórica
. En términos generales, aquí aparece inmediatamente un "pretendiente" obvio: un polinomio de alto grado, cuya gráfica pasa por TODOS los puntos. Pero esta opción es complicada y, a menudo, simplemente incorrecta. (porque el gráfico "se enrollará" todo el tiempo y reflejará mal la tendencia principal).
Por lo tanto, la función deseada debe ser suficientemente simple y al mismo tiempo reflejar adecuadamente la dependencia. Como puedes adivinar, uno de los métodos para encontrar dichas funciones se llama mínimos cuadrados. Primero, analicemos su esencia de forma general. Dejemos que alguna función se aproxime a los datos experimentales: 
¿Cómo evaluar la precisión de esta aproximación? Calculemos también las diferencias (desviaciones) entre los valores experimentales y funcionales. (estudiamos el dibujo). El primer pensamiento que nos viene a la mente es estimar qué tan grande es la suma, pero el problema es que las diferencias pueden ser negativas. (Por ejemplo, 
)
y las desviaciones como resultado de dicha suma se anularán entre sí. Por lo tanto, como estimación de la precisión de la aproximación, se sugiere tomar la suma módulos desviaciones:
o en forma plegada: (para los que no lo saben:
es el icono de suma, y
- variable auxiliar - "contador", que toma valores del 1 al
)
.
Al aproximar los puntos experimentales con diferentes funciones, obtendremos diferentes valores, y es obvio que donde esta suma es menor, esa función es más precisa.
Tal método existe y se llama. método de módulo mínimo. Sin embargo, en la práctica se ha generalizado mucho más. método de mínimos cuadrados, en el que los posibles valores negativos no se eliminan mediante el módulo, sino elevando al cuadrado las desviaciones:
, después de lo cual los esfuerzos se dirigen a la selección de una función tal que la suma de las desviaciones al cuadrado 
era lo más pequeño posible. En realidad, de ahí el nombre del método.
Y ahora volvamos a otro punto importante: como se señaló anteriormente, la función seleccionada debería ser bastante simple, pero también existen muchas funciones de este tipo: lineal , hiperbólico , exponencial , logarítmico , cuadrático etc. Y, por supuesto, aquí me gustaría inmediatamente "reducir el campo de actividad". ¿Qué clase de funciones elegir para la investigación? Técnica primitiva pero eficaz:
- La forma más fácil de dibujar puntos. sobre el dibujo y analizar su ubicación. Si tienden a estar en línea recta, entonces debes buscar ecuación de línea recta 
con valores óptimos y . En otras palabras, la tarea es encontrar TALES coeficientes, de modo que la suma de las desviaciones al cuadrado sea la más pequeña.
Si los puntos están ubicados, por ejemplo, a lo largo hipérbole, entonces está claro que la función lineal dará una mala aproximación. En este caso, buscamos los coeficientes más "favorables" para la ecuación de la hipérbola, aquellos que dan la suma mínima de cuadrados. 
.
Ahora observe que en ambos casos estamos hablando de funciones de dos variables, cuyos argumentos son opciones de dependencia buscadas:
Y, en esencia, necesitamos resolver un problema estándar: encontrar mínimo de una función de dos variables.
Recuerde nuestro ejemplo: supongamos que los puntos de "tienda" tienden a ubicarse en línea recta y hay muchas razones para creer en la presencia dependencia lineal volumen de negocios de la zona comercial. Encontremos TALES coeficientes "a" y "be" para que la suma de las desviaciones al cuadrado 
era el más pequeño. Todo como siempre - primero derivadas parciales de primer orden. De acuerdo a regla de linealidad puedes diferenciar justo debajo del ícono de suma: 
Si desea utilizar esta información para un ensayo o un trabajo final, le agradeceré mucho el enlace en la lista de fuentes, no encontrará cálculos tan detallados en ningún lado: 
Hagamos un sistema estándar: 
Reducimos cada ecuación a “dos” y, además, “descomponemos” las sumas: 
Nota
: Analice de forma independiente por qué "a" y "be" se pueden eliminar del icono de suma. Por cierto, formalmente esto se puede hacer con la suma 
Reescribamos el sistema en una forma "aplicada": 
después de lo cual comienza a dibujarse el algoritmo para resolver nuestro problema:
¿Conocemos las coordenadas de los puntos? Sabemos. sumas 
podemos encontrar? Fácilmente. Componemos lo más simple. sistema de dos ecuaciones lineales con dos incógnitas("a" y "beh"). Resolvemos el sistema, por ejemplo, método de cramer, resultando en un punto estacionario . Comprobación condición suficiente para un extremo, podemos verificar que en este punto la función 
alcanza precisamente mínimo. La verificación está asociada con cálculos adicionales y, por lo tanto, la dejaremos detrás de escena. (si es necesario, se puede ver el marco que faltaAquí
)
. Sacamos la conclusión final:
Función 
la mejor manera (al menos en comparación con cualquier otra función lineal) acerca los puntos experimentales . En términos generales, su gráfica pasa lo más cerca posible de estos puntos. En la tradición econometría la función de aproximación resultante también se llama ecuación de regresión lineal pareada
.
El problema que estamos considerando es de gran importancia práctica. En la situación de nuestro ejemplo, la ecuación le permite predecir qué tipo de facturación ("yig") Estará en la tienda con uno u otro valor del área de venta. (uno u otro significado de "x"). Sí, el pronóstico resultante será solo un pronóstico, pero en muchos casos resultará bastante preciso.
Analizaré solo un problema con números "reales", ya que no presenta dificultades: todos los cálculos están al nivel del plan de estudios escolar en los grados 7-8. En el 95 por ciento de los casos, se le pedirá que encuentre solo una función lineal, pero al final del artículo mostraré que no es más difícil encontrar las ecuaciones para la hipérbola, el exponente y algunas otras funciones óptimas.
De hecho, queda distribuir los obsequios prometidos, para que aprenda a resolver estos ejemplos no solo con precisión sino también rápidamente. Estudiamos cuidadosamente el estándar:
Tarea
Como resultado del estudio de la relación entre dos indicadores, se obtuvieron los siguientes pares de números: 
Usando el método de mínimos cuadrados, encuentre la función lineal que mejor se aproxima a la función empírica. (experimentado) datos. Realizar un dibujo en el que, en un sistema de coordenadas rectangular cartesiano, trazar puntos experimentales y una gráfica de la función de aproximación. 
. Encuentre la suma de las desviaciones al cuadrado entre valores empíricos y teóricos. Descubra si la función es mejor (en términos del método de mínimos cuadrados) puntos experimentales aproximados.
Tenga en cuenta que los valores "x" son valores naturales y esto tiene un significado significativo característico, del que hablaré un poco más adelante; pero, por supuesto, pueden ser fraccionarios. Además, dependiendo del contenido de una tarea concreta, tanto los valores "X" como los "G" pueden ser total o parcialmente negativos. Bueno, nos han encomendado una tarea "sin rostro" y la comenzamos. solución:
Encontramos los coeficientes de la función óptima como solución al sistema: 
Para efectos de una notación más compacta, se puede omitir la variable “contador”, ya que ya está claro que la suma se realiza de 1 a .
Es más conveniente calcular las cantidades requeridas en forma tabular: 
Los cálculos se pueden realizar en una microcalculadora, pero es mucho mejor utilizar Excel, más rápido y sin errores; mira un video corto:
Así, obtenemos lo siguiente sistema:
Aquí puedes multiplicar la segunda ecuación por 3 y restar la segunda ecuación de la primera término por término. Pero esto es suerte: en la práctica, los sistemas a menudo no están bien dotados y, en tales casos, salva método de cramer:
, por lo que el sistema tiene una solución única.
Hagamos un control. Entiendo que no quiero hacerlo, pero ¿por qué omitir errores que no puedes pasar por alto? Sustituye la solución encontrada en el lado izquierdo de cada ecuación del sistema:
Se obtienen las partes correctas de las ecuaciones correspondientes, lo que significa que el sistema se resuelve correctamente.
Por tanto, la función de aproximación deseada: – desde todas las funciones lineales los datos experimentales se aproximan mejor a través de él.
A diferencia de derecho
dependencia de la facturación de la tienda de su área, la dependencia encontrada es contrarrestar
(principio "cuanto más, menos"), y este hecho se revela inmediatamente por la negativa coeficiente angular. Función 
nos informa que con un aumento en un determinado indicador en 1 unidad, el valor del indicador dependiente disminuye promedio en 0,65 unidades. Como suele decirse, cuanto mayor es el precio del trigo sarraceno, menos se vende.
Para trazar la función de aproximación, encontramos dos de sus valores:
y ejecuta el dibujo: 
La recta construida se llama línea de tendencia
(es decir, una línea de tendencia lineal, es decir, en el caso general, una tendencia no es necesariamente una línea recta). Todo el mundo conoce la expresión "estar a la moda" y creo que este término no necesita comentarios adicionales.
Calcular la suma de las desviaciones al cuadrado. 
entre valores empíricos y teóricos. Geométricamente, esta es la suma de los cuadrados de las longitudes de los segmentos "carmesí". (dos de los cuales son tan pequeños que ni siquiera puedes verlos).
Resumamos los cálculos en una tabla: 
Se pueden volver a realizar manualmente, por si acaso pondré un ejemplo para el primer punto: 
pero es mucho más eficiente hacerlo de la forma ya conocida:
Repitamos: ¿Cuál es el significado del resultado? De todas las funciones lineales función el exponente es el más pequeño, es decir, es la mejor aproximación de su familia. Y aquí, dicho sea de paso, la pregunta final del problema no es accidental: ¿qué pasaría si la función exponencial propuesta se aproximara mejor a los puntos experimentales?
Encontremos la suma correspondiente de desviaciones al cuadrado; para distinguirlas, las designaré con la letra "épsilon". La técnica es exactamente la misma:
Y nuevamente para cada cálculo de incendio para el primer punto: 
En Excel utilizamos la función estándar. Exp (La sintaxis se puede encontrar en la Ayuda de Excel).
Conclusión: , por lo que la función exponencial se aproxima peor a los puntos experimentales que la línea recta .
Pero cabe señalar aquí que "peor" es no significa todavía, lo que está mal. Ahora construí una gráfica de esta función exponencial, y también pasa cerca de los puntos 
- Tanto es así que sin un estudio analítico es difícil decir qué función es más precisa.
Esto completa la solución y vuelvo a la cuestión de los valores naturales del argumento. En varios estudios, por regla general, económicos o sociológicos, los meses, años u otros intervalos de tiempo iguales se numeran con una "X" natural. Considere, por ejemplo, el siguiente problema:
Disponemos de los siguientes datos sobre la facturación minorista de la tienda durante el primer semestre del año:
Utilizando una alineación analítica en línea recta, encuentre el volumen de ventas de julio..
Sí, no hay problema: numeramos los meses 1, 2, 3, 4, 5, 6 y utilizamos el algoritmo habitual, como resultado de lo cual obtenemos una ecuación; lo único cuando se trata de tiempo suele ser la letra "te " (aunque no es crítico). La ecuación resultante muestra que en la primera mitad del año, la facturación aumentó en un promedio de 27,74 u.m. por mes. Obtenga un pronóstico para julio (mes #7): UE.
Y tareas similares: la oscuridad es oscura. Quienes lo deseen pueden utilizar un servicio adicional, a saber, mi calculadora excel (Versión de demostración), cual ¡resuelve el problema casi al instante! La versión funcional del programa está disponible. a cambio o por pago simbólico.
Al final de la lección, una breve información sobre cómo encontrar dependencias de otros tipos. En realidad, no hay nada especial que decir, ya que el enfoque fundamental y el algoritmo de solución siguen siendo los mismos.
Supongamos que la ubicación de los puntos experimentales se parece a una hipérbola. Luego, para encontrar los coeficientes de la mejor hipérbola, es necesario encontrar el mínimo de la función; quienes lo deseen pueden realizar cálculos detallados y llegar a un sistema similar: 
Desde un punto de vista técnico formal, se obtiene a partir del sistema "lineal". 
(marquémoslo con un asterisco) reemplazando "x" con . Bueno, las cantidades 
calcular, después de lo cual a los coeficientes óptimos "a" y "be" a mano.
Si hay muchas razones para creer que los puntos están dispuestos a lo largo de una curva logarítmica, luego buscar los valores óptimos y encontrar el mínimo de la función 
. Formalmente, en el sistema (*) debe sustituirse por: 
Al calcular en Excel, use la función. LN. Confieso que no me resultará difícil crear calculadoras para cada uno de los casos considerados, pero será mejor si "programas" los cálculos tú mismo. Videotutoriales de ayuda.
Con la dependencia exponencial, la situación es un poco más complicada. Para reducir el asunto al caso lineal, tomamos el logaritmo de la función y usamos propiedades del logaritmo:
Ahora, comparando la función obtenida con la función lineal , llegamos a la conclusión de que en el sistema (*) debe ser reemplazado por , y – por . Por conveniencia, denotamos: 
Tenga en cuenta que el sistema se resuelve con respecto a y y, por lo tanto, después de encontrar las raíces, no debe olvidarse de encontrar el coeficiente en sí.
Para aproximar puntos experimentales parábola óptima 
, se debe encontrar mínimo de una función de tres variables. Después de realizar acciones estándar, obtenemos lo siguiente "funcionando" sistema:
Sí, claro, aquí hay más cantidades, pero no hay ninguna dificultad a la hora de utilizar tu aplicación favorita. Y finalmente, te diré cómo verificar rápidamente usando Excel y construir la línea de tendencia deseada: crea un gráfico de dispersión, selecciona cualquiera de los puntos con el mouse. y haga clic derecho en seleccionar la opción "Agregar línea de tendencia". A continuación, seleccione el tipo de gráfico y en la pestaña "Opciones" activar la opción "Mostrar ecuación en el gráfico". DE ACUERDO
Como siempre, quiero terminar el artículo con alguna frase bonita y casi escribo “¡Esté a la moda!”. Pero con el tiempo cambió de opinión. Y no porque sea una fórmula. No sé cómo alguien, pero no quiero en absoluto seguir la tendencia promocionada estadounidense y especialmente europea =) Por eso, ¡deseo que cada uno de ustedes se ciña a su propia línea!
http://www.grandars.ru/student/vysshaya-matematika/metod-naimenshih-kvadratov.html
El método de mínimos cuadrados es uno de los más comunes y desarrollados debido a su Simplicidad y eficiencia de los métodos para estimar los parámetros de modelos econométricos lineales.. Al mismo tiempo, se debe tener cierta precaución al usarlo, ya que los modelos construidos con él pueden no cumplir con una serie de requisitos de calidad de sus parámetros y, como resultado, no reflejar "bien" los patrones de desarrollo del proceso.
Consideremos con más detalle el procedimiento para estimar los parámetros de un modelo econométrico lineal utilizando el método de mínimos cuadrados. Un modelo de este tipo en forma general puede representarse mediante la ecuación (1.2):
y t = a 0 + a 1 x 1t +...+ a n x nt + ε t .
El dato inicial al estimar los parámetros a 0 , a 1 ,..., an es el vector de valores de la variable dependiente y= (y 1 , y 2 , ... , y T)" y la matriz de valores de variables independientes
en el que la primera columna, formada por unos, corresponde al coeficiente del modelo.
El método de mínimos cuadrados debe su nombre al principio básico de que las estimaciones de parámetros obtenidas a partir de él deben satisfacer: la suma de los cuadrados del error del modelo debe ser mínima.
Ejemplos de resolución de problemas por el método de mínimos cuadrados.
Ejemplo 2.1. La empresa comercial tiene una red que consta de 12 tiendas, cuya información sobre cuyas actividades se presenta en la tabla. 2.1.
A la dirección de la empresa le gustaría saber en qué medida depende el volumen de facturación anual de la superficie comercial de la tienda.
Tabla 2.1
| Número de tienda | Volumen de negocios anual, millones de rublos. | Área comercial, miles de m 2 |
| 19,76 | 0,24 | |
| 38,09 | 0,31 | |
| 40,95 | 0,55 | |
| 41,08 | 0,48 | |
| 56,29 | 0,78 | |
| 68,51 | 0,98 | |
| 75,01 | 0,94 | |
| 89,05 | 1,21 | |
| 91,13 | 1,29 | |
| 91,26 | 1,12 | |
| 99,84 | 1,29 | |
| 108,55 | 1,49 |
Solución de mínimos cuadrados. Designemos: la facturación anual de la -ésima tienda, millones de rublos; - superficie de venta de la octava tienda, mil m 2.
Fig.2.1. Diagrama de dispersión para el ejemplo 2.1
Determinar la forma de la relación funcional entre las variables y construir un diagrama de dispersión (Fig. 2.1).
Con base en el diagrama de dispersión, podemos concluir que la facturación anual depende positivamente del área de ventas (es decir, y aumentará con el crecimiento de ). La forma más apropiada de conexión funcional es lineal.
La información para cálculos adicionales se presenta en la tabla. 2.2. Utilizando el método de mínimos cuadrados, estimamos los parámetros del modelo econométrico lineal unifactorial.
Tabla 2.2
| t | y t | x 1t | y t 2 | x1t2 | x 1t y t |
| 19,76 | 0,24 | 390,4576 | 0,0576 | 4,7424 | |
| 38,09 | 0,31 | 1450,8481 | 0,0961 | 11,8079 | |
| 40,95 | 0,55 | 1676,9025 | 0,3025 | 22,5225 | |
| 41,08 | 0,48 | 1687,5664 | 0,2304 | 19,7184 | |
| 56,29 | 0,78 | 3168,5641 | 0,6084 | 43,9062 | |
| 68,51 | 0,98 | 4693,6201 | 0,9604 | 67,1398 | |
| 75,01 | 0,94 | 5626,5001 | 0,8836 | 70,5094 | |
| 89,05 | 1,21 | 7929,9025 | 1,4641 | 107,7505 | |
| 91,13 | 1,29 | 8304,6769 | 1,6641 | 117,5577 | |
| 91,26 | 1,12 | 8328,3876 | 1,2544 | 102,2112 | |
| 99,84 | 1,29 | 9968,0256 | 1,6641 | 128,7936 | |
| 108,55 | 1,49 | 11783,1025 | 2,2201 | 161,7395 | |
| S | 819,52 | 10,68 | 65008,554 | 11,4058 | 858,3991 |
| Promedio | 68,29 | 0,89 |
De este modo,
Por lo tanto, con un aumento de la superficie comercial de 1.000 m 2, en igualdad de condiciones, la facturación media anual aumenta en 67,8871 millones de rublos.
Ejemplo 2.2. La dirección de la empresa notó que la facturación anual depende no solo del área de ventas de la tienda (ver ejemplo 2.1), sino también del número promedio de visitantes. La información relevante se presenta en la tabla. 2.3.
Tabla 2.3
Solución. Denote: el número promedio de visitantes a la enésima tienda por día, miles de personas.
Determinar la forma de la relación funcional entre las variables y construir un diagrama de dispersión (Fig. 2.2).
Con base en el diagrama de dispersión, podemos concluir que la facturación anual está relacionada positivamente con el número promedio de visitantes por día (es decir, y aumentará con el crecimiento de ). La forma de dependencia funcional es lineal.
Arroz. 2.2. Diagrama de dispersión por ejemplo 2.2
Tabla 2.4
| t | x2t | x2t2 | yt x 2t | x 1t x 2t |
| 8,25 | 68,0625 | 163,02 | 1,98 | |
| 10,24 | 104,8575 | 390,0416 | 3,1744 | |
| 9,31 | 86,6761 | 381,2445 | 5,1205 | |
| 11,01 | 121,2201 | 452,2908 | 5,2848 | |
| 8,54 | 72,9316 | 480,7166 | 6,6612 | |
| 7,51 | 56,4001 | 514,5101 | 7,3598 | |
| 12,36 | 152,7696 | 927,1236 | 11,6184 | |
| 10,81 | 116,8561 | 962,6305 | 13,0801 | |
| 9,89 | 97,8121 | 901,2757 | 12,7581 | |
| 13,72 | 188,2384 | 1252,0872 | 15,3664 | |
| 12,27 | 150,5529 | 1225,0368 | 15,8283 | |
| 13,92 | 193,7664 | 1511,016 | 20,7408 | |
| S | 127,83 | 1410,44 | 9160,9934 | 118,9728 |
| Promedio | 10,65 |
En general, es necesario determinar los parámetros del modelo econométrico de dos factores.
y t \u003d a 0 + a 1 x 1t + a 2 x 2t + ε t
La información necesaria para cálculos adicionales se presenta en la tabla. 2.4.
Estimemos los parámetros de un modelo econométrico lineal de dos factores utilizando el método de mínimos cuadrados.
De este modo,
La evaluación del coeficiente = 61,6583 muestra que, en igualdad de condiciones, con un aumento de la superficie comercial de 1.000 m 2, la facturación anual aumentará en una media de 61,6583 millones de rublos.
La estimación del coeficiente = 2,2748 muestra que, en igualdad de condiciones, aumenta el número medio de visitantes por cada mil personas. Por día, la facturación anual aumentará en un promedio de 2,2748 millones de rublos.
Ejemplo 2.3. Utilizando la información presentada en la tabla. 2.2 y 2.4, estimar el parámetro de un modelo econométrico de un solo factor
¿Dónde está el valor centrado de la facturación anual de la -ésima tienda, millones de rublos? - valor centrado del número medio diario de visitantes a la tienda t, miles de personas. (ver ejemplos 2.1-2.2).
Solución. La información adicional requerida para los cálculos se presenta en la Tabla. 2.5.
Tabla 2.5
| -48,53 | -2,40 | 5,7720 | 116,6013 | |
| -30,20 | -0,41 | 0,1702 | 12,4589 | |
| -27,34 | -1,34 | 1,8023 | 36,7084 | |
| -27,21 | 0,36 | 0,1278 | -9,7288 | |
| -12,00 | -2,11 | 4,4627 | 25,3570 | |
| 0,22 | -3,14 | 9,8753 | -0,6809 | |
| 6,72 | 1,71 | 2,9156 | 11,4687 | |
| 20,76 | 0,16 | 0,0348 | 3,2992 | |
| 22,84 | -0,76 | 0,5814 | -17,413 | |
| 22,97 | 3,07 | 9,4096 | 70,4503 | |
| 31,55 | 1,62 | 2,6163 | 51,0267 | |
| 40,26 | 3,27 | 10,6766 | 131,5387 | |
| Suma | 48,4344 | 431,0566 |
Usando la fórmula (2.35), obtenemos
De este modo,
http://www.cleverstudents.ru/articles/mnk.html
Ejemplo.
Datos experimentales sobre los valores de las variables. X Y en se dan en la tabla. 
Como resultado de su alineación, la función 
Usando método de mínimos cuadrados, aproxima estos datos con una dependencia lineal y=ax+b(buscar opciones A Y b). Descubra cuál de las dos líneas alinea mejor (en el sentido del método de mínimos cuadrados) los datos experimentales. Haz un dibujo.
Solución.
En nuestro ejemplo n=5. Completamos la tabla para facilitar el cálculo de las cantidades que se incluyen en las fórmulas de los coeficientes requeridos. 
Los valores de la cuarta fila de la tabla se obtienen multiplicando los valores de la 2ª fila por los valores de la 3ª fila para cada número i.
Los valores de la quinta fila de la tabla se obtienen elevando al cuadrado los valores de la 2ª fila para cada número i.
Los valores de la última columna de la tabla son las sumas de los valores de las filas.
Usamos las fórmulas del método de mínimos cuadrados para encontrar los coeficientes. A Y b. Sustituimos en ellos los valores correspondientes de la última columna de la tabla: 
Por eso, y=0,165x+2,184 es la línea recta de aproximación deseada.
Queda por descubrir cuál de las líneas y=0,165x+2,184 o se aproxima mejor a los datos originales, es decir, hacer una estimación utilizando el método de mínimos cuadrados.
Prueba.
Para que cuando lo encuentre A Y b la función toma el valor más pequeño, es necesario que en este punto la matriz de la forma cuadrática del diferencial de segundo orden para la función 
fue positivo definitivo. Mostrémoslo.
El diferencial de segundo orden tiene la forma: 
Eso es
Por tanto, la matriz de forma cuadrática tiene la forma 
y los valores de los elementos no dependen de A Y b.
Demostremos que la matriz es definida positiva. Esto requiere que los ángulos menores sean positivos.
Angular menor de primer orden 
. La desigualdad es estricta, ya que los puntos
- tutorial
Introducción
Soy programador de computadoras. Di el mayor salto en mi carrera cuando aprendí a decir: "¡No entiendo nada!" Ahora no me da vergüenza decirle a la luminaria de la ciencia que me está dando una conferencia, que no entiendo de qué me está hablando ella, la luminaria. Y es muy difícil. Sí, es difícil y vergonzoso admitir que no lo sabes. A quién le gusta admitir que no conoce los conceptos básicos de algo. En virtud de mi profesión, tengo que asistir a un gran número de presentaciones y conferencias, donde, lo confieso, en la gran mayoría de los casos tengo sueño, porque no entiendo nada. Y no lo entiendo porque el gran problema de la situación actual de la ciencia está en las matemáticas. Se supone que todos los estudiantes están familiarizados con absolutamente todas las áreas de las matemáticas (lo cual es absurdo). Admitir que no sabes qué es una derivada (que esto es un poco más adelante) es una pena.
Pero he aprendido a decir que no sé qué es la multiplicación. Sí, no sé qué es una subálgebra sobre un álgebra de Lie. Sí, no sé por qué se necesitan ecuaciones cuadráticas en la vida. Por cierto, si estás seguro de saberlo, ¡tenemos algo de qué hablar! Las matemáticas son una serie de trucos. Los matemáticos intentan confundir e intimidar al público; donde no hay confusión, ni reputación, ni autoridad. Sí, es prestigioso hablar en el lenguaje más abstracto posible, lo cual es una completa tontería en sí mismo.
¿Sabes qué es una derivada? Lo más probable es que me cuentes sobre el límite de la relación de diferencias. En el primer año de matemáticas en la Universidad Estatal de San Petersburgo, Viktor Petrovich Khavin me definido derivada como coeficiente del primer término de la serie de Taylor de la función en el punto (era una gimnasia separada determinar la serie de Taylor sin derivadas). Me reí de esta definición durante mucho tiempo, hasta que finalmente entendí de qué se trataba. La derivada no es más que una simple medida de en qué medida la función que estamos derivando es similar a la función y=x, y=x^2, y=x^3.
Ahora tengo el honor de dar conferencias a estudiantes que asustado matemáticas. Si le tienes miedo a las matemáticas, estamos en el camino correcto. Tan pronto como intentes leer un texto y te parezca demasiado complicado, debes saber que está mal escrito. Sostengo que no hay un solo área de las matemáticas de la que no se pueda hablar "con los dedos" sin perder precisión.
El desafío para el futuro cercano: instruí a mis alumnos a comprender qué es un controlador lineal-cuadrático. No seas tímido, pierde tres minutos de tu vida, sigue el enlace. Si no entiende nada, entonces estamos en el camino. Yo (un matemático-programador profesional) tampoco entendí nada. Y les aseguro que esto se puede solucionar "con los dedos". De momento no sé qué es, pero os aseguro que podremos averiguarlo.
Entonces, la primera conferencia que les voy a dar a mis alumnos después de que vengan corriendo hacia mí horrorizados con las palabras de que el controlador cuadrático lineal es un error terrible que nunca dominarás en tu vida es métodos de mínimos cuadrados. ¿Puedes resolver ecuaciones lineales? Si estás leyendo este texto, lo más probable es que no.
Entonces, dados dos puntos (x0, y0), (x1, y1), por ejemplo (1,1) y (3,2), la tarea es encontrar la ecuación de una línea recta que pasa por estos dos puntos:
ilustración
Esta recta debería tener una ecuación como la siguiente:
Aquí alfa y beta nos son desconocidos, pero conocemos dos puntos de esta línea:
Puedes escribir esta ecuación en forma matricial:
Aquí conviene hacer una digresión lírica: ¿qué es una matriz? Una matriz no es más que una matriz bidimensional. Esta es una forma de almacenar datos, no se le deben adjuntar más valores. Depende de nosotros cómo interpretar exactamente una determinada matriz. Periódicamente lo interpretaré como una aplicación lineal, periódicamente como una forma cuadrática y, a veces, simplemente como un conjunto de vectores. Todo esto se aclarará en contexto.
Reemplacemos matrices específicas con su representación simbólica:
Entonces (alfa, beta) se puede encontrar fácilmente:
Más específicamente para nuestros datos anteriores:
Lo que lleva a la siguiente ecuación de una recta que pasa por los puntos (1,1) y (3,2):
Bien, aquí todo está claro. Y encontremos la ecuación de una recta que pasa por tres puntos: (x0,y0), (x1,y1) y (x2,y2):
¡Oh-oh-oh, pero tenemos tres ecuaciones para dos incógnitas! El matemático estándar dirá que no hay solución. ¿Qué dirá el programador? Y primero reescribirá el sistema de ecuaciones anterior de la siguiente forma:
En nuestro caso, los vectores i, j, b son tridimensionales, por lo tanto (en el caso general) no hay solución para este sistema. Cualquier vector (alfa\*i + beta\*j) se encuentra en el plano abarcado por los vectores (i, j). Si b no pertenece a este plano, entonces no hay solución (no se puede lograr la igualdad en la ecuación). ¿Qué hacer? Busquemos un compromiso. Denotemos por e(alfa,beta) cómo exactamente no logramos la igualdad:
E intentaremos minimizar este error:
¿Por qué un cuadrado?
No buscamos sólo el mínimo de la norma, sino el mínimo del cuadrado de la norma. ¿Por qué? El punto mínimo coincide, y el cuadrado da una función suave (una función cuadrática de los argumentos (alfa,beta)), mientras que solo la longitud da una función en forma de cono, no diferenciable en el punto mínimo. Hno. La plaza es más conveniente.
Obviamente, el error se minimiza cuando el vector mi ortogonal al plano abarcado por los vectores i Y j.
Ilustración
En otras palabras: buscamos una recta tal que la suma de las longitudes al cuadrado de las distancias desde todos los puntos a esta recta sea mínima:
ACTUALIZACIÓN: aquí tengo una jamba, la distancia a la línea debe medirse verticalmente, no en proyección ortográfica. Este comentarista tiene razón.
Ilustración
En palabras completamente diferentes (cuidadosamente, mal formalizadas, pero debe quedar claro con los dedos): tomamos todas las líneas posibles entre todos los pares de puntos y buscamos la línea promedio entre todos:
Ilustración
Otra explicación en los dedos: colocamos un resorte entre todos los puntos de datos (aquí tenemos tres) y la línea que estamos buscando, y la línea del estado de equilibrio es exactamente lo que estamos buscando.
Mínimo de forma cuadrática
Entonces, dado el vector b y el plano abarcado por las columnas-vectores de la matriz A(en este caso (x0,x1,x2) y (1,1,1)), buscamos un vector mi con un cuadrado mínimo de longitud. Obviamente, el mínimo sólo se puede alcanzar para el vector mi, ortogonal al plano abarcado por las columnas-vectores de la matriz A:En otras palabras, buscamos un vector x=(alfa, beta) tal que:
Les recuerdo que este vector x=(alfa, beta) es el mínimo de la función cuadrática ||e(alfa, beta)||^2:
Aquí es útil recordar que la matriz se puede interpretar tan bien como la forma cuadrática, por ejemplo, la matriz identidad ((1,0),(0,1)) se puede interpretar como una función de x^2 + y ^2:
forma cuadrática
Toda esta gimnasia se conoce como regresión lineal.
Ecuación de Laplace con condición de frontera de Dirichlet
Ahora el problema real más simple: hay una determinada superficie triangulada, es necesario alisarla. Por ejemplo, carguemos mi modelo de cara:
La confirmación original está disponible. Para minimizar las dependencias externas, tomé el código de mi software de renderizado, que ya está en Habré. Para resolver el sistema lineal, uso OpenNL, es un gran solucionador, pero es muy difícil de instalar: necesitas copiar dos archivos (.h + .c) a la carpeta de tu proyecto. Todo el suavizado se realiza mediante el siguiente código:
Para (int d=0; d<3; d++) {
nlNewContext();
nlSolverParameteri(NL_NB_VARIABLES, verts.size());
nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE);
nlBegin(NL_SYSTEM);
nlBegin(NL_MATRIX);
for (int i=0; i<(int)verts.size(); i++) {
nlBegin(NL_ROW);
nlCoefficient(i, 1);
nlRightHandSide(verts[i][d]);
nlEnd(NL_ROW);
}
for (unsigned int i=0; i
Las coordenadas X, Y y Z son separables, las suizo por separado. Es decir, resuelvo tres sistemas de ecuaciones lineales, cada uno con el mismo número de variables que el número de vértices de mi modelo. Las primeras n filas de la matriz A tienen solo un 1 por fila, y las primeras n filas del vector b tienen coordenadas del modelo original. Es decir, hago un vínculo entre la nueva posición del vértice y la antigua posición del vértice; los nuevos no deben estar demasiado lejos de los antiguos.
Todas las filas posteriores de la matriz A (faces.size()*3 = el número de aristas de todos los triángulos en la cuadrícula) tienen una aparición de 1 y una aparición de -1, mientras que el vector b tiene cero componentes opuestos. Esto significa que puse un resorte en cada borde de nuestra malla triangular: todos los bordes intentan tener el mismo vértice como punto inicial y final.
Una vez más: todos los vértices son variables y no pueden desviarse mucho de su posición original, pero al mismo tiempo intentan volverse similares entre sí.
Aquí está el resultado:
Todo estaría bien, el modelo está realmente suavizado, pero se alejó de su borde original. Cambiemos un poco el código:
Para (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }
En nuestra matriz A, para los vértices que están en el borde, no agrego una fila de la categoría v_i = verts[i][d], sino 1000*v_i = 1000*verts[i][d]. ¿Qué cambia? Y esto cambia nuestra forma cuadrática del error. Ahora una sola desviación desde la parte superior hasta el borde costará no una unidad, como antes, sino 1000 * 1000 unidades. Es decir, colgamos un resorte más fuerte en los vértices extremos, la solución prefiere estirar los demás con más fuerza. Aquí está el resultado:
Duplicamos la fuerza de los resortes entre los vértices:
nlCoeficiente(cara[ j ], 2); nlCoeficiente(cara[(j+1)%3], -2);
Es lógico que la superficie se haya vuelto más lisa:
Y ahora incluso cien veces más fuerte:
¿Qué es esto? Imaginemos que hemos sumergido un aro de alambre en agua con jabón. Como resultado, la película de jabón resultante intentará tener la menor curvatura posible, tocando el mismo borde: nuestro anillo de alambre. Esto es exactamente lo que conseguimos arreglando el borde y pidiendo una superficie lisa en el interior. Felicitaciones, acabamos de resolver la ecuación de Laplace con condiciones de contorno de Dirichlet. ¿Suena bien? Pero, en realidad, sólo hay que resolver un sistema de ecuaciones lineales.
ecuación de Poisson
Tengamos otro nombre genial.Digamos que tengo una imagen como esta:
Todos son buenos, pero no me gusta la silla.
Corté la imagen por la mitad: 
Y seleccionaré una silla con mis manos: 
Luego arrastraré todo lo que es blanco en la máscara hacia el lado izquierdo de la imagen y al mismo tiempo diré a lo largo de toda la imagen que la diferencia entre dos píxeles vecinos debe ser igual a la diferencia entre dos píxeles vecinos de la imagen. imagen derecha:
Para (int i=0; i Aquí está el resultado: El código y las imágenes están disponibles. Método de mínimos cuadrados (OLS, ing. Mínimos cuadrados ordinarios, MCO)- un método matemático utilizado para resolver diversos problemas, basado en minimizar la suma de las desviaciones al cuadrado de algunas funciones de las variables deseadas. Se puede utilizar para "resolver" sistemas de ecuaciones sobredeterminados (cuando el número de ecuaciones excede el número de incógnitas), para encontrar una solución en el caso de sistemas de ecuaciones no lineales ordinarios (no sobredeterminados), para aproximar los valores puntuales. de una determinada función. OLS es uno de los métodos básicos de análisis de regresión para estimar parámetros desconocidos de modelos de regresión a partir de datos de muestra. 1
/
5 ✪ Método de mínimos cuadrados. Sujeto ✪ Mitin I.V. - Procesamiento de los resultados del examen físico. Experimento: método de mínimos cuadrados (Conferencia 4) ✪ Mínimos cuadrados, lección 1/2. Función lineal ✪ Econometría. Conferencia 5. Método de mínimos cuadrados. ✪ Método de mínimos cuadrados. Respuestas Hasta principios del siglo XIX. los científicos no tenían ciertas reglas para resolver un sistema de ecuaciones en el que el número de incógnitas es menor que el número de ecuaciones; Hasta ese momento, se utilizaban métodos particulares, dependiendo del tipo de ecuaciones y del ingenio de los calculadores, y por lo tanto diferentes calculadores, partiendo de los mismos datos de observación, llegaban a conclusiones diferentes. A Gauss (1795) se le atribuye la primera aplicación del método, y Legendre (1805) lo descubrió y publicó de forma independiente con su nombre moderno (fr. Methode des moindres quarres). Laplace relacionó el método con la teoría de las probabilidades y el matemático estadounidense Adrian (1808) consideró sus aplicaciones probabilísticas. El método está muy extendido y mejorado gracias a nuevas investigaciones realizadas por Encke, Bessel, Hansen y otros. Dejar x (\displaystyle x)- equipo norte (\ Displaystyle n) variables desconocidas (parámetros), f yo (x) (\displaystyle f_(i)(x)), , metro > norte (\displaystyle m>n)- conjunto de funciones de este conjunto de variables. El problema es elegir tales valores. x (\displaystyle x) para que los valores de estas funciones estén lo más cerca posible de algunos valores y yo (\displaystyle y_(i)). En esencia, estamos hablando de la "solución" del sistema de ecuaciones sobredeterminado. f yo (x) = y yo (\displaystyle f_(i)(x)=y_(i)), yo = 1 , … , metro (\displaystyle i=1,\ldots ,m) en el sentido indicado, la máxima proximidad de las partes izquierda y derecha del sistema. La esencia de LSM es elegir como "medida de proximidad" la suma de las desviaciones al cuadrado de las partes izquierda y derecha. | F yo (x) − y yo | (\displaystyle |f_(i)(x)-y_(i)|). Así, la esencia del LSM se puede expresar de la siguiente manera: Si el sistema de ecuaciones tiene solución, entonces el mínimo de la suma de cuadrados será igual a cero y las soluciones exactas del sistema de ecuaciones se pueden encontrar analíticamente o, por ejemplo, mediante varios métodos de optimización numérica. Si el sistema está sobredeterminado, es decir, en términos generales, el número de ecuaciones independientes es mayor que el número de variables desconocidas, entonces el sistema no tiene una solución exacta y el método de mínimos cuadrados nos permite encontrar algún vector "óptimo". x (\displaystyle x) en el sentido de la máxima proximidad de los vectores y (\displaystyle y) Y f (x) (\displaystyle f(x)) o la máxima proximidad del vector de desviación. mi (\displaystyle e) a cero (la proximidad se entiende en el sentido de distancia euclidiana). En particular, el método de mínimos cuadrados se puede utilizar para "resolver" el sistema de ecuaciones lineales. Dónde A (\displaystyle A) matriz de tamaño rectangular m × n , m > n (\displaystyle m\times n,m>n)(es decir, el número de filas de la matriz A es mayor que el número de variables requeridas). Un sistema de ecuaciones de este tipo generalmente no tiene solución. Por lo tanto, este sistema sólo puede "resolverse" en el sentido de elegir dicho vector x (\displaystyle x) para minimizar la "distancia" entre vectores A x (\displaystyle Hacha) Y segundo (\displaystyle b). Para hacer esto, puede aplicar el criterio para minimizar la suma de diferencias al cuadrado de las partes izquierda y derecha de las ecuaciones del sistema, es decir (A x − b) T (A x − b) → min (\displaystyle (Ax-b)^(T)(Ax-b)\rightarrow \min ). Es fácil demostrar que la solución de este problema de minimización conduce a la solución del siguiente sistema de ecuaciones Dejalo ser norte (\ Displaystyle n) valores de alguna variable y (\displaystyle y)(Estos pueden ser los resultados de observaciones, experimentos, etc.) y las variables correspondientes. x (\displaystyle x). El desafío es lograr que la relación entre y (\displaystyle y) Y x (\displaystyle x) aproximado por alguna función conocida hasta algunos parámetros desconocidos segundo (\displaystyle b), es decir, encontrar los mejores valores de los parámetros segundo (\displaystyle b), aproximando al máximo los valores f (x, b) (\displaystyle f(x,b)) a valores reales y (\displaystyle y). De hecho, esto se reduce al caso de "solución" de un sistema de ecuaciones sobredeterminado con respecto a segundo (\displaystyle b): F (x t , b) = y t , t = 1 , … , n (\displaystyle f(x_(t),b)=y_(t),t=1,\ldots ,n). En el análisis de regresión, y en particular en econometría, se utilizan modelos probabilísticos de la relación entre variables. Y t = f (x t , b) + ε t (\displaystyle y_(t)=f(x_(t),b)+\varepsilon _(t)), Dónde ε t (\displaystyle \varepsilon _(t))- así llamado errores aleatorios modelos. En consecuencia, las desviaciones de los valores observados. y (\displaystyle y) del modelo f (x, b) (\displaystyle f(x,b)) ya asumido en el propio modelo. La esencia de LSM (ordinario, clásico) es encontrar dichos parámetros segundo (\displaystyle b), en el que la suma de las desviaciones al cuadrado (errores, para los modelos de regresión a menudo se denominan residuos de regresión) mi t (\displaystyle e_(t)) será mínimo: Dónde R S S (\displaystyle RSS)- Inglés. La suma residual de cuadrados se define como: En el caso general, este problema se puede resolver mediante métodos numéricos de optimización (minimización). En este caso se habla de mínimos cuadrados no lineales(NLS o NLLS - ing. Mínimos cuadrados no lineales). En muchos casos, se puede obtener una solución analítica. Para resolver el problema de minimización es necesario encontrar los puntos estacionarios de la función. R S S (b) (\displaystyle RSS(b)), diferenciándolo respecto a parámetros desconocidos segundo (\displaystyle b), igualando las derivadas a cero y resolviendo el sistema de ecuaciones resultante: Sea la dependencia de la regresión lineal: Dejar y es el vector columna de observaciones de la variable que se está explicando, y X (\displaystyle X)- Este (norte × k) (\displaystyle ((n\times k)))- matriz de observaciones de factores (filas de la matriz - vectores de valores de factores en una observación determinada, por columnas - vector de valores de un factor determinado en todas las observaciones). La representación matricial del modelo lineal tiene la forma: Entonces el vector de estimaciones de la variable explicada y el vector de residuos de regresión serán iguales a en consecuencia, la suma de los cuadrados de los residuos de regresión será igual a Diferenciando esta función con respecto al vector de parámetros segundo (\displaystyle b) e igualando las derivadas a cero, obtenemos un sistema de ecuaciones (en forma matricial): En forma matricial descifrada, este sistema de ecuaciones se ve así: (∑ x t 1 2 ∑ x t 1 x t 2 ∑ x t 1 x t 3 … ∑ x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t 2 x t 3 … ∑ x t 2 x t k ∑ x t 3 x t 1 ∑ x t 3 x t 2 ∑ x t 3 2 … ∑ x t 3 x t k ⋮ ⋮ ⋮ ⋱ ⋮ ∑ x t k x t 1 ∑ x t k x t 2 ∑ x t k x t 3 … ∑ x t k 2) (b 1 b 2 b 3 ⋮ b k) = (∑ x t 1 y t ∑ x t 2 y t ∑xt3 y t ⋮ ∑ x t k y t) , (\displaystyle (\begin(pmatrix)\sum x_(t1)^(2)&\sum x_(t1)x_(t2)&\sum x_(t1)x_(t3)&\ldots &\sum x_(t1)x_(tk)\\\sum x_(t2)x_(t1)&\sum x_(t2)^(2)&\sum x_(t2)x_(t3)&\ldots &\ suma x_(t2)x_(tk)\\\sum x_(t3)x_(t1)&\sum x_(t3)x_(t2)&\sum x_(t3)^(2)&\ldots &\sum x_ (t3)x_(tk)\\\vdots &\vdots &\vdots &\ddots &\vdots \\\sum x_(tk)x_(t1)&\sum x_(tk)x_(t2)&\sum x_ (tk)x_(t3)&\ldots &\sum x_(tk)^(2)\\\end(pmatrix))(\begin(pmatrix)b_(1)\\b_(2)\\b_(3 )\\\vdots \\b_(k)\\\end(pmatrix))=(\begin(pmatrix)\sum x_(t1)y_(t)\\\sum x_(t2)y_(t)\\ \sum x_(t3)y_(t)\\\vdots \\\sum x_(tk)y_(t)\\\end(pmatrix))) donde todas las sumas se toman sobre todos los valores admisibles t (displaystyle t). Si se incluye una constante en el modelo (como es habitual), entonces x t 1 = 1 (\displaystyle x_(t1)=1) para todos t (displaystyle t), por lo tanto, en la esquina superior izquierda de la matriz del sistema de ecuaciones está el número de observaciones norte (\ Displaystyle n), y en los elementos restantes de la primera fila y la primera columna, solo la suma de los valores de las variables: ∑ x t j (\displaystyle \sum x_(tj)) y el primer elemento del lado derecho del sistema - ∑ y t (\displaystyle \sum y_(t)). La solución de este sistema de ecuaciones da la fórmula general para las estimaciones de mínimos cuadrados para el modelo lineal: Para fines analíticos, resulta útil la última representación de esta fórmula (en el sistema de ecuaciones al dividir por n, aparecen medias aritméticas en lugar de sumas). Si los datos en el modelo de regresión centrado, entonces en esta representación la primera matriz tiene el significado de matriz de covarianzas muestrales de factores, y la segunda es el vector de covarianzas de factores con variable dependiente. Si además los datos también son normalizado en el SKO (es decir, en última instancia estandarizado), entonces la primera matriz tiene el significado de la matriz de correlación muestral de factores, el segundo vector, el vector de correlaciones muestrales de factores con la variable dependiente. Una propiedad importante de las estimaciones LLS para modelos. con una constante- la recta de la regresión construida pasa por el centro de gravedad de los datos muestrales, es decir, se cumple la igualdad: En particular, en el caso extremo en que el único regresor es una constante, encontramos que la estimación de MCO de un solo parámetro (la constante misma) es igual al valor medio de la variable que se está explicando. Es decir, la media aritmética, conocida por sus buenas propiedades de las leyes de los grandes números, también es una estimación de mínimos cuadrados: satisface el criterio de la suma mínima de desviaciones al cuadrado de la misma. En el caso de regresión lineal por pares y t = a + b x t + ε t (\displaystyle y_(t)=a+bx_(t)+\varepsilon _(t)), cuando se estima la dependencia lineal de una variable de otra, las fórmulas de cálculo se simplifican (puede prescindir del álgebra matricial). El sistema de ecuaciones tiene la forma: Desde aquí es fácil encontrar estimaciones de los coeficientes: A pesar de que en el caso general son preferibles los modelos con una constante, en algunos casos se sabe por consideraciones teóricas que la constante un (displaystyle a) debe ser igual a cero. Por ejemplo, en física, la relación entre voltaje y corriente tiene la forma U = Yo ⋅ R (\displaystyle U=I\cdot R); Al medir voltaje y corriente, es necesario estimar la resistencia. En este caso estamos hablando de un modelo. y = bx (\displaystyle y=bx). En este caso, en lugar de un sistema de ecuaciones, tenemos una única ecuación. (∑ x t 2) b = ∑ x t y t (\displaystyle \left(\sum x_(t)^(2)\right)b=\sum x_(t)y_(t)). Por tanto, la fórmula para estimar un solo coeficiente tiene la forma B ^ = ∑ t = 1 n x t y t ∑ t = 1 n x t 2 = x y ¯ x 2 ¯ (\displaystyle (\hat (b))=(\frac (\sum _(t=1)^(n)x_(t )y_(t))(\sum _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))). Si los datos se ajustan mediante una función de regresión polinómica de una variable f (x) = b 0 + ∑ i = 1 k b yo x i (\displaystyle f(x)=b_(0)+\sum \limits _(i=1)^(k)b_(i)x^(i)), entonces, percibiendo grados x yo (\displaystyle x^(i)) como factores independientes para cada yo (\displaystyle yo) es posible estimar los parámetros del modelo basándose en la fórmula general para estimar los parámetros del modelo lineal. Para ello, basta tener en cuenta en la fórmula general que con tal interpretación x t i x t j = x t i x t j = x t i + j (\displaystyle x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j)) Y x t j y t = x t j y t (\displaystyle x_(tj)y_(t)=x_(t)^(j)y_(t)). Por tanto, las ecuaciones matriciales en este caso tomarán la forma: (n ∑ n x t … ∑ n x t k ∑ n x t ∑ n x i 2 … ∑ m x i k + 1 ⋮ ⋮ ⋱ ⋮ ∑ n x t k ∑ n x t k + 1 … ∑ n x t 2 k) [ b 0 b 1 ⋮ b k ] = [ ∑ norte y t ∑ norte x t y t ⋮ ∑ norte x t k y t ] . (\displaystyle (\begin(pmatrix)n&\sum \limits _(n)x_(t)&\ldots &\sum \limits _(n)x_(t)^(k)\\\sum \limits _( n)x_(t)&\sum \limits _(n)x_(i)^(2)&\ldots &\sum \limits _(m)x_(i)^(k+1)\\\vdots & \vdots &\ddots &\vdots \\\sum \limits _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\ldots &\ suma \limits _(n)x_(t)^(2k)\end(pmatrix))(\begin(bmatrix)b_(0)\\b_(1)\\\vdots \\b_(k)\end( bmatrix))=(\begin(bmatrix)\sum \limits _(n)y_(t)\\\sum \limits _(n)x_(t)y_(t)\\\vdots \\\sum \limits _(n)x_(t)^(k)y_(t)\end(bmatrix)).) En primer lugar, observamos que para los modelos lineales, las estimaciones de mínimos cuadrados son estimaciones lineales, como se desprende de la fórmula anterior. Para que las estimaciones de mínimos cuadrados sean insesgadas, es necesario y suficiente cumplir la condición más importante del análisis de regresión: la expectativa matemática de un error aleatorio condicionado a los factores debe ser igual a cero. Esta condición se cumple, en particular, si La segunda condición, la de los factores exógenos, es fundamental. Si esta propiedad no se cumple, entonces podemos suponer que casi todas las estimaciones serán extremadamente insatisfactorias: ni siquiera serán consistentes (es decir, incluso una gran cantidad de datos no permite obtener estimaciones cualitativas en este caso). En el caso clásico, se hace una suposición más fuerte sobre el determinismo de los factores, en contraste con un error aleatorio, lo que automáticamente significa que se cumple la condición exógena. En el caso general, para la consistencia de las estimaciones, basta con satisfacer la condición de exogeneidad junto con la convergencia de la matriz. V x (\displaystyle V_(x)) a alguna matriz no degenerada a medida que el tamaño de la muestra aumenta hasta el infinito. Para que, además de la coherencia y la imparcialidad, las estimaciones del (habitual) LSM también sean efectivas (las mejores en la clase de estimaciones lineales insesgadas), es necesario cumplir propiedades adicionales de un error aleatorio: Estos supuestos se pueden formular para la matriz de covarianza del vector de errores aleatorios. V (ε) = σ 2 I (\displaystyle V(\varepsilon)=\sigma ^(2)I). Un modelo lineal que satisface estas condiciones se llama clásico. Los estimadores de mínimos cuadrados para la regresión lineal clásica son insesgados, consistentes y los estimadores más eficientes en la clase de todos los estimadores lineales insesgados (la abreviatura azul (Mejor estimador lineal insesgado) es la mejor estimación lineal insesgada; en la literatura nacional se cita con mayor frecuencia el teorema de Gauss - Markov). Como es fácil de mostrar, la matriz de covarianza del vector de estimaciones de coeficientes será igual a: V (b ^ O L S) = σ 2 (X T X) − 1 (\displaystyle V((\hat (b))_(OLS))=\sigma ^(2)(X^(T)X)^(-1 )). Eficiencia significa que esta matriz de covarianza es "mínima" (cualquier combinación lineal de coeficientes, y en particular los propios coeficientes, tienen una varianza mínima), es decir, en la clase de estimaciones lineales insesgadas, las estimaciones MCO son las mejores. Los elementos diagonales de esta matriz (las varianzas de las estimaciones de los coeficientes) son parámetros importantes de la calidad de las estimaciones obtenidas. Sin embargo, no es posible calcular la matriz de covarianza porque se desconoce la varianza del error aleatorio. Se puede demostrar que la estimación insesgada y consistente (para el modelo lineal clásico) de la varianza de los errores aleatorios es el valor: S 2 = R S S / (n − k) (\displaystyle s^(2)=RSS/(n-k)). Sustituyendo este valor en la fórmula de la matriz de covarianza, obtenemos una estimación de la matriz de covarianza. Las estimaciones resultantes también son imparciales y consistentes. También es importante que la estimación de la varianza del error (y por tanto las varianzas de los coeficientes) y las estimaciones de los parámetros del modelo sean variables aleatorias independientes, lo que permite obtener estadísticas de prueba para probar hipótesis sobre los coeficientes del modelo. Cabe señalar que si no se cumplen los supuestos clásicos, las estimaciones de los parámetros de mínimos cuadrados no son las más eficientes y, cuando W (\displaystyle W) es una matriz de peso definida positiva simétrica. Los mínimos cuadrados ordinarios son un caso especial de este enfoque, cuando la matriz de peso es proporcional a la matriz identidad. Como se sabe, para matrices (u operadores) simétricas existe una descomposición W = P T P (\displaystyle W=P^(T)P). Por lo tanto, este funcional se puede representar de la siguiente manera e T P T P e = (P e) T P e = e ∗ T e ∗ (\displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *)), es decir, este funcional se puede representar como la suma de los cuadrados de unos "residuales" transformados. Por lo tanto, podemos distinguir una clase de métodos de mínimos cuadrados: los métodos LS (Mínimos Cuadrados). Está demostrado (teorema de Aitken) que para un modelo de regresión lineal generalizado (en el que no se imponen restricciones a la matriz de covarianza de errores aleatorios), las más efectivas (en la clase de estimaciones lineales insesgadas) son las estimaciones de los llamados. OLS generalizado (OMNK, GLS - Mínimos cuadrados generalizados)- Método LS con una matriz de ponderación igual a la matriz de covarianza inversa de errores aleatorios: W = V ε − 1 (\displaystyle W=V_(\varepsilon )^(-1)). Se puede demostrar que la fórmula para las estimaciones GLS de los parámetros del modelo lineal tiene la forma B ^ G L S = (X T V − 1 X) − 1 X T V − 1 y (\displaystyle (\hat (b))_(GLS)=(X^(T)V^(-1)X)^(-1) X^(T)V^(-1)y). La matriz de covarianza de estas estimaciones, respectivamente, será igual a V (b ^ G L S) = (X T V − 1 X) − 1 (\displaystyle V((\hat (b))_(GLS))=(X^(T)V^(-1)X)^(- 1)). De hecho, la esencia de MCO radica en una determinada transformación (lineal) (P) de los datos originales y la aplicación de los mínimos cuadrados habituales a los datos transformados. El propósito de esta transformación es que para los datos transformados, los errores aleatorios ya satisfagan los supuestos clásicos. En el caso de una matriz de ponderación diagonal (y por tanto de la matriz de covarianza de errores aleatorios), tenemos los llamados mínimos cuadrados ponderados (WLS - Weighted Least Squares). En este caso, la suma ponderada de cuadrados de los residuos del modelo se minimiza, es decir, cada observación recibe un “peso” que es inversamente proporcional a la varianza del error aleatorio en esta observación: e T W e = ∑ t = 1 norte e t 2 σ t 2 (\displaystyle e^(T)Nosotros=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ sigma _(t)^(2)))). De hecho, los datos se transforman ponderando las observaciones (dividiendo por una cantidad proporcional a la desviación estándar supuesta de los errores aleatorios) y se aplican mínimos cuadrados normales a los datos ponderados. ISBN 978-5-7749-0473-0. Aproximamos la función por un polinomio de segundo grado. Para ello calculamos los coeficientes del sistema normal de ecuaciones: , Compongamos un sistema normal de mínimos cuadrados, que tiene la forma: La solución del sistema es fácil de encontrar:, , . Así, se encuentra el polinomio de 2º grado: . Antecedentes teóricos volver a la página<Введение в вычислительную математику. Примеры> Ejemplo 2. Encontrar el grado óptimo de un polinomio. volver a la página<Введение в вычислительную математику. Примеры> Ejemplo 3. Derivación de un sistema normal de ecuaciones para encontrar los parámetros de una dependencia empírica. Derivemos un sistema de ecuaciones para determinar los coeficientes y funciones. Entonces el sistema normal tomará la forma: Hemos obtenido un sistema lineal de ecuaciones para parámetros desconocidos y que se resuelve fácilmente. Antecedentes teóricos volver a la página<Введение в вычислительную математику. Примеры> Ejemplo. Datos experimentales sobre los valores de las variables. X Y en se dan en la tabla. Como resultado de su alineación, la función Usando método de mínimos cuadrados, aproxima estos datos con una dependencia lineal y=ax+b(buscar opciones A Y b). Descubra cuál de las dos líneas alinea mejor (en el sentido del método de mínimos cuadrados) los datos experimentales. Haz un dibujo. El problema es encontrar los coeficientes de dependencia lineal para los cuales la función de dos variables A Y b Así, la solución del ejemplo se reduce a encontrar el extremo de una función de dos variables. Se compila y resuelve un sistema de dos ecuaciones con dos incógnitas. Encontrar derivadas parciales de funciones. Resolvemos el sistema de ecuaciones resultante por cualquier método (por ejemplo método de sustitución o método de Cramer) y obtener fórmulas para encontrar coeficientes utilizando el método de mínimos cuadrados (LSM). con datos A Y b función Ese es todo el método de mínimos cuadrados. Fórmula para encontrar el parámetro. a contiene las sumas , , y el parámetro norte es la cantidad de datos experimentales. Se recomienda calcular los valores de estas sumas por separado. Coeficiente b encontrado después del cálculo a. Es hora de recordar el ejemplo original. Solución. En nuestro ejemplo n=5. Completamos la tabla para facilitar el cálculo de las cantidades que se incluyen en las fórmulas de los coeficientes requeridos. Los valores de la cuarta fila de la tabla se obtienen multiplicando los valores de la 2ª fila por los valores de la 3ª fila para cada número i. Los valores de la quinta fila de la tabla se obtienen elevando al cuadrado los valores de la 2ª fila para cada número i. Los valores de la última columna de la tabla son las sumas de los valores de las filas. Usamos las fórmulas del método de mínimos cuadrados para encontrar los coeficientes. A Y b. Sustituimos en ellos los valores correspondientes de la última columna de la tabla: Por eso, y=0,165x+2,184 es la línea recta de aproximación deseada. Queda por descubrir cuál de las líneas y=0,165x+2,184 o Para hacer esto, necesita calcular las sumas de las desviaciones al cuadrado de los datos originales de estas líneas. Desde entonces la línea y=0,165x+2,184 se aproxima mejor a los datos originales. Todo se ve muy bien en los gráficos. La línea roja es la línea encontrada. y=0,165x+2,184, la línea azul es ¿Para qué sirve, para qué sirven todas estas aproximaciones? Yo personalmente lo uso para resolver problemas de suavizado de datos, problemas de interpolación y extrapolación (en el ejemplo original, se le podría pedir que encuentre el valor del valor observado y en x=3 o cuando x=6 según el método MNC). Pero hablaremos más sobre esto más adelante en otra sección del sitio. Parte superior de la página Prueba. Para que cuando lo encuentre A Y b la función toma el valor más pequeño, es necesario que en este punto la matriz de la forma cuadrática del diferencial de segundo orden para la función El diferencial de segundo orden tiene la forma: Eso es Por tanto, la matriz de forma cuadrática tiene la forma Demostremos que la matriz es definida positiva. Esto requiere que los ángulos menores sean positivos. Angular menor de primer orden Angular menor de segundo orden Probemos que Conclusión: valores encontrados A Y b Corresponde al valor más pequeño de la función. ¿Alguna vez lo entendiste? Parte superior de la página Extrapolación
- este es un método de investigación científica, que se basa en la difusión de tendencias, patrones y relaciones pasadas y presentes con el desarrollo futuro del objeto de previsión. Los métodos de extrapolación incluyen
método de media móvil, método de suavizado exponencial, método de mínimos cuadrados. Esencia método de mínimos cuadrados
Consiste en minimizar la suma de las desviaciones cuadráticas entre los valores observados y calculados. Los valores calculados se encuentran según la ecuación seleccionada: la ecuación de regresión. Cuanto menor sea la distancia entre los valores reales y los calculados, más precisa será la previsión basada en la ecuación de regresión. El análisis teórico de la esencia del fenómeno en estudio, cuyo cambio se muestra en una serie de tiempo, sirve como base para elegir una curva. En ocasiones se tienen en cuenta consideraciones sobre la naturaleza del crecimiento de los niveles de la serie. Entonces, si se espera que el crecimiento de la producción siga una progresión aritmética, entonces la suavización se realiza en línea recta. Si resulta que el crecimiento es exponencial, entonces se debe realizar el suavizado según la función exponencial. La fórmula de trabajo del método de mínimos cuadrados.
: Y t+1 = a*X + b, donde t + 1 es el período de pronóstico; Уt+1 – indicador previsto; a y b son coeficientes; X es un símbolo del tiempo. El cálculo de los coeficientes a y b se realiza según las siguientes fórmulas: donde, Uf - los valores reales de la serie de dinámicas; n es el número de niveles de la serie temporal; El suavizado de series temporales mediante el método de mínimos cuadrados sirve para reflejar los patrones de desarrollo del fenómeno en estudio. En la expresión analítica de una tendencia, el tiempo se considera como una variable independiente, y los niveles de la serie actúan en función de esta variable independiente. El desarrollo de un fenómeno no depende de cuántos años han pasado desde su inicio, sino de qué factores influyeron en su desarrollo, en qué dirección y con qué intensidad. De esto se desprende claramente que el desarrollo de un fenómeno en el tiempo aparece como resultado de la acción de estos factores. Establecer correctamente el tipo de curva, el tipo de dependencia analítica del tiempo es una de las tareas más difíciles del análisis previo a la predicción.
. La selección del tipo de función que describe la tendencia, cuyos parámetros están determinados por el método de mínimos cuadrados, se realiza en la mayoría de los casos empíricamente, construyendo una serie de funciones y comparándolas entre sí por el valor de la raíz. error cuadrático medio calculado por la fórmula: donde Uf - los valores reales de la serie de dinámicas; Ur – valores calculados (suavizados) de la serie temporal; n es el número de niveles de la serie temporal; p es el número de parámetros definidos en las fórmulas que describen la tendencia (tendencia de desarrollo). Desventajas del método de mínimos cuadrados
: Tarea
. Existen datos que caracterizan el nivel de desempleo en la región, % Solución de mínimos cuadrados
Para la solución elaboraremos una tabla en la que haremos los cálculos necesarios: ε = 28,63/10 = 2,86% Precisión de pronóstico alto. Conclusión
: Comparando los resultados obtenidos en los cálculos método de media móvil
, suavizado exponencial
y el método de mínimos cuadrados, podemos decir que el error relativo promedio en los cálculos mediante el método de suavizado exponencial está entre el 20 y el 50%. Esto significa que la precisión de la predicción en este caso es sólo satisfactoria. En el primer y tercer caso, la precisión del pronóstico es alta, ya que el error relativo promedio es inferior al 10%. Pero el método de media móvil permitió obtener resultados más fiables (previsión para noviembre - 1,52%, previsión para diciembre - 1,53%, previsión para enero - 1,49%), ya que el error relativo medio al utilizar este método es el más pequeño - 1 ,13%. Lista de fuentes utilizadas i- número del punto experimental; Haga clic en el gráfico En el campo de datos, ingrese en cada línea separada los valores de "x" e "y" en un punto experimental. Los valores deben estar separados por espacios en blanco (espacio o tabulación). El tercer valor puede ser el peso en puntos de "w". Si no se especifica el peso en puntos, entonces es igual a uno. En la inmensa mayoría de los casos, los pesos de los puntos experimentales se desconocen o no se calculan; todos los datos experimentales se consideran equivalentes. A veces, los pesos en el rango de valores estudiado definitivamente no son equivalentes e incluso pueden calcularse teóricamente. Por ejemplo, en espectrofotometría los pesos se pueden calcular mediante fórmulas sencillas, aunque básicamente todo el mundo descuida esto para reducir los costes laborales. Los datos se pueden pegar a través del portapapeles desde una hoja de cálculo de la suite ofimática, como Excel de Microsoft Office o Calc de Open Office. Para hacer esto, en la hoja de cálculo, seleccione el rango de datos para copiar, copie al portapapeles y pegue los datos en el campo de datos de esta página. Para calcular mediante el método de mínimos cuadrados, se requieren al menos dos puntos para determinar dos coeficientes `b` - la tangente del ángulo de inclinación de la línea recta y `a` - el valor cortado por la línea recta en `y `eje. Para estimar el error de los coeficientes de regresión calculados, es necesario establecer el número de puntos experimentales en más de dos. Cuanto mayor sea el número de puntos experimentales, más precisa será la estimación estadística de los coeficientes (debido a la disminución del coeficiente de Student) y más cercana será la estimación a la estimación de la muestra general. La obtención de valores en cada punto experimental a menudo se asocia con costos laborales importantes, por lo que a menudo se lleva a cabo un número de experimentos de compromiso, lo que proporciona una estimación digerible y no genera costos laborales excesivos. Como regla general, el número de puntos experimentales para una dependencia lineal de mínimos cuadrados con dos coeficientes se elige en la región de 5 a 7 puntos. Supongamos que tenemos un conjunto de datos experimentales en forma de pares de valores [`y_i`, `x_i`], donde `i` es el número de una medición experimental de 1 a `n`; `y_i` - el valor del valor medido en el punto `i`; `x_i`: el valor del parámetro que configuramos en el punto `i`. Un ejemplo es el funcionamiento de la ley de Ohm. Al cambiar el voltaje (diferencia de potencial) entre secciones del circuito eléctrico, medimos la cantidad de corriente que pasa por esta sección. La física nos da la dependencia encontrada experimentalmente: `I=U/R`, En este caso, `y_i` es el valor de corriente medido y `x_i` es el valor de voltaje. Como otro ejemplo, consideremos la absorción de luz por una solución de una sustancia en solución. La química nos da la fórmula: `A = εl C`, En este caso, "y_i" es la densidad óptica medida "A" y "x_i" es la concentración de la sustancia que configuramos. Consideraremos el caso en el que el error relativo al configurar `x_i` es mucho menor que el error relativo al medir `y_i`. También asumiremos que todos los valores medidos de `y_i` son aleatorios y están distribuidos normalmente, es decir obedecer la ley de distribución normal. En el caso de una dependencia lineal de `y` sobre `x`, podemos escribir una dependencia teórica: Desde un punto de vista geométrico, el coeficiente "b" denota la tangente del ángulo de inclinación de la línea al eje "x", y el coeficiente "a" es el valor de "y" en el punto de intersección de la línea. línea con el eje `y` (con `x = 0`). En un experimento, los valores medidos de `y_i` no pueden estar exactamente en la línea teórica debido a errores de medición, que siempre son inherentes a la vida real. Por tanto, una ecuación lineal debe representarse mediante un sistema de ecuaciones: La dependencia (1) también se llama regresión, es decir. la dependencia de las dos cantidades entre sí con significancia estadística. La tarea de restaurar la dependencia es encontrar los coeficientes `a` y `b` a partir de los puntos experimentales [`y_i`, `x_i`]. Para encontrar los coeficientes se suele utilizar `a` y `b`. método de mínimos cuadrados(MNK). Es un caso especial del principio de máxima verosimilitud. Reescribamos (1) como `ε_i = y_i - a - b x_i`. Entonces la suma de los errores al cuadrado será El principio del método de mínimos cuadrados es minimizar la suma (2) con respecto a los parámetros `a` y `b`. El mínimo se alcanza cuando las derivadas parciales de la suma (2) respecto de los coeficientes `a` y `b` son iguales a cero: Ampliando las derivadas, obtenemos un sistema de dos ecuaciones con dos incógnitas: Abrimos los paréntesis y transferimos las sumas independientes de los coeficientes deseados a la otra mitad, obtenemos un sistema de ecuaciones lineales: Resolviendo el sistema resultante, encontramos fórmulas para los coeficientes `a` y `b`: `a = frac(suma_(i=1)^(n) y_i suma_(i=1)^(n) x_i^2 - suma_(i=1)^(n) x_i suma_(i=1)^(n ) x_iy_i) (n suma_(i=1)^(n) x_i^2 - (suma_(i=1)^(n) x_i)^2)` (3.1) `b = frac(n suma_(i=1)^(n) x_iy_i - suma_(i=1)^(n) x_i suma_(i=1)^(n) y_i) (n suma_(i=1)^ (n) x_i^2 - (suma_(i=1)^(n) x_i)^2)` (3.2) Estas fórmulas tienen soluciones cuando `n > 1` (la línea se puede trazar usando al menos 2 puntos) y cuando el determinante `D = n sum_(i=1)^(n) x_i^2 — (sum_(i= 1 )^(n) x_i)^2 != 0`, es decir cuando los puntos `x_i` en el experimento son diferentes (es decir, cuando la línea no es vertical). Para una estimación más precisa del error al calcular los coeficientes "a" y "b", es deseable una gran cantidad de puntos experimentales. Cuando `n = 2`, es imposible estimar el error de los coeficientes, porque la línea de aproximación pasará únicamente por dos puntos. Se determina el error de la variable aleatoria `V` ley de acumulación de errores Escribamos la ley de acumulación de errores para el error de los coeficientes `a` y `b` `S_y^2 = S_(y_i)^2` - el error (varianza, desviación estándar al cuadrado) en la dimensión `y`, suponiendo que el error es uniforme para todos los valores de `y`. Sustituyendo fórmulas para calcular `a` y `b` en las expresiones resultantes, obtenemos `S_a^2 = S_y^2 frac(suma_(i=1)^(n) (suma_(i=1)^(n) x_i^2 - x_i suma_(i=1)^(n) x_i)^2 ) (D^2) = S_y^2 frac((n suma_(i=1)^(n) x_i^2 - (suma_(i=1)^(n) x_i)^2) suma_(i=1) ^(n) x_i^2) (D^2) = S_y^2 frac(suma_(i=1)^(n) x_i^2) (D)` (4.1) `S_b^2 = S_y^2 frac(suma_(i=1)^(n) (n x_i - suma_(i=1)^(n) x_i)^2) (D^2) = S_y^2 frac( n (n suma_(i=1)^(n) x_i^2 - (suma_(i=1)^(n) x_i)^2)) (D^2) = S_y^2 frac(n) (D) ` (4.2) En la mayoría de los experimentos reales, no se mide el valor de "Sy". Para ello, es necesario realizar varias mediciones (experimentos) paralelas en uno o varios puntos del plan, lo que aumenta el tiempo (y posiblemente el coste) del experimento. Por lo tanto, generalmente se supone que la desviación de "y" de la línea de regresión puede considerarse aleatoria. La estimación de la varianza "y" en este caso se calcula mediante la fórmula. `S_y^2 = S_(y, resto)^2 = frac(suma_(i=1)^n (y_i - a - b x_i)^2) (n-2)`. El divisor `n-2` aparece porque hemos reducido el número de grados de libertad debido al cálculo de dos coeficientes para la misma muestra de datos experimentales. Esta estimación también se denomina varianza residual relativa a la línea de regresión `S_(y, rest)^2`. La valoración de la significancia de los coeficientes se realiza según el criterio de Student. `t_a = frac(|a|) (S_a)`, `t_b = frac(|b|) (S_b)` Si los criterios calculados `t_a`, `t_b` son menores que los criterios de la tabla `t(P, n-2)`, entonces se considera que el coeficiente correspondiente no es significativamente diferente de cero con una probabilidad dada `P`. Para evaluar la calidad de la descripción de una relación lineal, puede comparar `S_(y, rest)^2` y `S_(bar y)` en relación con la media utilizando el criterio de Fisher. `S_(barra y) = frac(suma_(i=1)^n (y_i - barra y)^2) (n-1) = frac(suma_(i=1)^n (y_i - (suma_(i= 1)^n y_i) /n)^2) (n-1)` - estimación de muestra de la varianza de `y` en relación con la media. Para evaluar la efectividad de la ecuación de regresión para describir la dependencia, se calcula el coeficiente de Fisher. Si `F > F(P, n-1, n-2)`, la diferencia entre la descripción de la dependencia `y = f(x)` usando la ecuación de regresión y la descripción usando la media se considera estadísticamente significativa con probabilidad `P`. Aquellos. la regresión describe la dependencia mejor que la dispersión de "y" alrededor de la media. Haga clic en el gráfico El método de mínimos cuadrados significa la determinación de parámetros desconocidos. a B C,… dependencia funcional aceptada y = f(x,a,b,c,…), lo que proporcionaría un mínimo del cuadrado medio (varianza) del error donde x i , y i - conjunto de pares de números obtenidos del experimento. Dado que la condición para el extremo de una función de varias variables es la condición de que sus derivadas parciales sean iguales a cero, entonces los parámetros a B C,… se determinan a partir del sistema de ecuaciones: ; ; ; … (25) Hay que recordar que el método de mínimos cuadrados se utiliza para seleccionar parámetros después de la forma de la función. y = f(x) definido. Si a partir de consideraciones teóricas no se puede sacar ninguna conclusión sobre cuál debería ser la fórmula empírica, entonces hay que guiarse por las representaciones visuales, principalmente una representación gráfica de los datos observados. En la práctica, la mayoría de las veces se limita a los siguientes tipos de funciones: 1) lineal 2) cuadrática a . La esencia del método de mínimos cuadrados es
para encontrar los parámetros de un modelo de tendencia que describa mejor la tendencia de desarrollo de algún fenómeno aleatorio en el tiempo o el espacio (una tendencia es una línea que caracteriza la tendencia de este desarrollo). La tarea del método de mínimos cuadrados (MCO) es encontrar no sólo algún modelo de tendencia, sino encontrar el modelo mejor u óptimo. Este modelo será óptimo si la suma de las desviaciones al cuadrado entre los valores reales observados y los valores de tendencia calculados correspondientes es mínima (la más pequeña): ¿Dónde está la desviación estándar entre el valor real observado? y el valor de tendencia calculado correspondiente, El valor real (observado) del fenómeno en estudio, Valor estimado del modelo de tendencia, El número de observaciones del fenómeno en estudio. MNC rara vez se utiliza por sí solo. Como regla general, la mayoría de las veces se utiliza sólo como técnica necesaria en estudios de correlación.
Debe recordarse que la base de información del LSM sólo puede ser una serie estadística confiable y el número de observaciones no debe ser inferior a 4; de lo contrario, los procedimientos de suavizado del LSM pueden perder su sentido común. El conjunto de herramientas OLS se reduce a los siguientes procedimientos: Primer procedimiento.
Resulta si existe alguna tendencia a cambiar el atributo resultante cuando cambia el factor-argumento seleccionado o, en otras palabras, si existe una conexión entre " en
" Y " X
». Segundo procedimiento.
Se determina qué línea (trayectoria) es más capaz de describir o caracterizar esta tendencia. Tercer procedimiento.
Ejemplo. Supongamos que tenemos información sobre el rendimiento promedio de girasol para la finca en estudio (Cuadro 9.1). Tabla 9.1 Número de observación Productividad, c/ha Dado que el nivel de tecnología en la producción de girasol en nuestro país no ha cambiado mucho en los últimos 10 años, lo más probable es que las fluctuaciones en el rendimiento en el período analizado hayan dependido en gran medida de las fluctuaciones en las condiciones climáticas. ¿Es verdad? Primer procedimiento multinacional.
Se está probando la hipótesis sobre la existencia de una tendencia en el cambio del rendimiento del girasol en función de los cambios en las condiciones meteorológicas y climáticas durante los 10 años analizados. En este ejemplo, para " y
» es recomendable tomar el rendimiento del girasol, y para « X
» es el número del año observado en el período analizado. Probar la hipótesis sobre la existencia de alguna relación entre " X
" Y " y
» se puede realizar de dos formas: manualmente y con la ayuda de programas informáticos. Por supuesto, con la disponibilidad de tecnología informática, este problema se resuelve por sí solo. Pero, para comprender mejor el conjunto de herramientas OLS, es aconsejable probar la hipótesis sobre la existencia de una relación entre " X
" Y " y
» manualmente, cuando sólo se dispone de un bolígrafo y una calculadora normal. En tales casos, la hipótesis de la existencia de una tendencia se verifica mejor visualmente mediante la ubicación de la imagen gráfica de la serie temporal analizada: el campo de correlación: El campo de correlación en nuestro ejemplo se encuentra alrededor de una línea que aumenta lentamente. Esto por sí solo indica la existencia de una cierta tendencia en la evolución del rendimiento del girasol. Es imposible hablar de la presencia de una tendencia sólo cuando el campo de correlación parece un círculo, un círculo, una nube estrictamente vertical o estrictamente horizontal, o está formado por puntos dispersos aleatoriamente. En todos los demás casos, es necesario confirmar la hipótesis de la existencia de una relación entre " X
" Y " y
y seguir investigando. Segundo procedimiento multinacional.
Se determina qué línea (trayectoria) es más capaz de describir o caracterizar la tendencia en los cambios en el rendimiento del girasol para el período analizado. Con la disponibilidad de tecnología informática, la selección de la tendencia óptima se produce automáticamente. En el procesamiento "manual", la elección de la función óptima se realiza, por regla general, de forma visual, mediante la ubicación del campo de correlación. Es decir, según el tipo de gráfico, se selecciona la ecuación de la línea que mejor se adapta a la tendencia empírica (a la trayectoria real). Como sabes, en la naturaleza existe una gran variedad de dependencias funcionales, por lo que es extremadamente difícil analizar visualmente incluso una pequeña parte de ellas. Afortunadamente, en la práctica económica real, la mayoría de las relaciones se pueden describir con precisión mediante una parábola, una hipérbola o una línea recta. En este sentido, con la opción "manual" para seleccionar la mejor función, puedes limitarte únicamente a estos tres modelos. Hipérbola: Parábola de segundo orden: Es fácil ver que en nuestro ejemplo, la tendencia en los cambios en el rendimiento del girasol durante los 10 años analizados se caracteriza mejor por una línea recta, por lo que la ecuación de regresión será una ecuación de línea recta. Tercer procedimiento.
Se calculan los parámetros de la ecuación de regresión que caracteriza a esta recta, es decir, se determina una fórmula analítica que describe el mejor modelo de tendencia. Encontrar los valores de los parámetros de la ecuación de regresión, en nuestro caso los parámetros y , es el núcleo de los mínimos cuadrados. Este proceso se reduce a resolver un sistema de ecuaciones normales. Este sistema de ecuaciones se resuelve con bastante facilidad mediante el método de Gauss. Recuerde que como resultado de la solución, en nuestro ejemplo, se encuentran los valores de los parámetros y. Por tanto, la ecuación de regresión encontrada tendrá la siguiente forma: 
YouTube enciclopédico
Subtítulos
Historia
La esencia del método de mínimos cuadrados.
Ejemplo: sistema de ecuaciones lineales.
MCO en análisis de regresión (aproximación de datos)
LSM en el caso de regresión lineal
Los casos especiales más simples.
El caso de un modelo polinomial
Propiedades estadísticas de las estimaciones MCO
Mínimos cuadrados ponderados
, 
, que realiza la aproximación cuadrática media de la función dada con respecto a puntos. Componer una función 
y escribe la condición extrema necesaria para ello:
La esencia del método de mínimos cuadrados (LSM).
toma el valor más pequeño. Es decir, dados los datos A Y b la suma de las desviaciones al cuadrado de los datos experimentales de la línea recta encontrada será la más pequeña. Este es el objetivo del método de mínimos cuadrados.Derivación de fórmulas para encontrar coeficientes.
por variables A Y b, equiparamos estas derivadas a cero. 
toma el valor más pequeño. La prueba de este hecho se da a continuación en el texto al final de la página.
se aproxima mejor a los datos originales, es decir, hacer una estimación utilizando el método de mínimos cuadrados.Estimación del error del método de mínimos cuadrados.
Y 
, un valor menor corresponde a una línea que se aproxima mejor a los datos originales en términos del método de mínimos cuadrados. 
Ilustración gráfica del método de mínimos cuadrados (LSM).
, los puntos rosas son los datos originales.
fue positivo definitivo. Mostrémoslo.
y los valores de los elementos no dependen de A Y b.
. La desigualdad es estricta, ya que los puntos no coinciden. Esto quedará implícito en lo que sigue.
método de inducción matemática.
, por lo tanto, son los parámetros deseados para el método de mínimos cuadrados.
Solicite una soluciónDesarrollo de un pronóstico mediante el método de mínimos cuadrados. Ejemplo de solución de problema
Un ejemplo del uso del método de mínimos cuadrados para desarrollar un pronóstico
método de mínimos cuadrados
Otros artículos relacionados:
Programa EMN
Introducir datos
Datos y aproximación y = a + bx
xyo- el valor del parámetro fijo en el punto i;
y yo- el valor del parámetro medido en el punto i;
ω yo- peso de medición en el punto i;
y yo, calc.- la diferencia entre el valor medido y el valor calculado a partir de la regresión y en el punto i;
S x yo (x yo)- estimación de error xyo al medir y en el punto i.Datos y aproximación y = k x
i
xyo
y yo
ω yo
y yo, calc.
Δy yo
S x yo (x yo)
Manual de usuario del programa online MNC.
Método de mínimos cuadrados (LSM).
Una breve teoría de los mínimos cuadrados para la dependencia lineal
donde `yo` - fuerza actual; `R` - resistencia; `U` - voltaje.
donde "A" es la densidad óptica de la solución; `ε` - transmitancia de soluto; `l` - longitud del camino cuando la luz pasa a través de una cubeta con una solución; `C` es la concentración del soluto.
`y = a + bx`.Encontrar los parámetros de la recta de regresión.
`y_i = a + b x_i + ε_i` (1),
donde `ε_i` es el error de medición desconocido de `y` en el `i`ésimo experimento.
`Φ = suma_(i=1)^(n) ε_i^2 = suma_(i=1)^(n) (y_i - a - b x_i)^2`. (2)
`frac(Φ parcial)(a parcial) = frac(suma parcial_(i=1)^(n) (y_i - a - b x_i)^2)(a parcial) = 0`
`frac(Φ parcial)(b parcial) = frac(suma parcial_(i=1)^(n) (y_i - a - b x_i)^2)(b parcial) = 0`
`suma_(i=1)^(n) (2a + 2bx_i - 2y_i) = suma_(i=1)^(n) (a + bx_i - y_i) = 0`
`suma_(i=1)^(n) (2bx_i^2 + 2ax_i - 2x_iy_i) = suma_(i=1)^(n) (bx_i^2 + ax_i - x_iy_i) = 0`
`suma_(i=1)^(n) y_i = a n + b suma_(i=1)^(n) bx_i`
`suma_(i=1)^(n) x_iy_i = a suma_(i=1)^(n) x_i + b suma_(i=1)^(n) x_i^2`Estimación de errores en los coeficientes de la recta de regresión.
`S_V^2 = suma_(i=1)^p (frac(f parcial)(z_i parcial))^2 S_(z_i)^2`,
donde `p` es el número de parámetros `z_i` con error `S_(z_i)` que afectan el error `S_V`;
`f` es una función de dependencia de `V` en `z_i`.
`S_a^2 = suma_(i=1)^(n)(frac(a parcial)(y_i parcial))^2 S_(y_i)^2 + suma_(i=1)^(n)(frac(a parcial) )(x_i parcial))^2 S_(x_i)^2 = S_y^2 suma_(i=1)^(n)(frac(a parcial)(y_i parcial))^2 `,
`S_b^2 = suma_(i=1)^(n)(frac(b parcial)(y_i parcial))^2 S_(y_i)^2 + suma_(i=1)^(n)(frac(b parcial )(x_i parcial))^2 S_(x_i)^2 = S_y^2 suma_(i=1)^(n)(frac(b parcial)(y_i parcial))^2 `,
porque `S_(x_i)^2 = 0` (anteriormente hicimos la reserva de que el error de `x` es insignificante).
`F = S_(barra y) / S_(y, reposo)^2`,
que se compara con el coeficiente tabular de Fisher `F(p, n-1, n-2)`.
para agregar valores a la tablaMétodo de mínimos cuadrados. El método de mínimos cuadrados significa la determinación de parámetros desconocidos a, b, c, la dependencia funcional aceptada.
, (24)
;
:
(9.2)
