Análisis de datos mediante el método de mínimos cuadrados. Mínimos cuadrados en Excel
Método de mínimos cuadrados
En la lección final del tema, nos familiarizaremos con la aplicación más famosa. FNP, que encuentra la aplicación más amplia en varios campos de la ciencia y la práctica. Puede ser física, química, biología, economía, sociología, psicología y así sucesivamente. Por voluntad del destino, a menudo tengo que lidiar con la economía y, por lo tanto, hoy organizaré para ti un boleto a un país increíble llamado Econometría=) … ¡¿Cómo no quieres eso?! Es muy bueno allí, ¡solo tienes que decidir! …Pero lo que probablemente quieras es aprender a resolver problemas mínimos cuadrados. Y los lectores especialmente diligentes aprenderán a resolverlos no solo con precisión, sino también MUY RÁPIDO ;-) Pero primero enunciado general del problema+ ejemplo relacionado:
Que se estudien indicadores en alguna materia que tengan una expresión cuantitativa. Al mismo tiempo, hay muchas razones para creer que el indicador depende del indicador. Esta suposición puede ser tanto una hipótesis científica como estar basada en el sentido común elemental. Sin embargo, dejemos la ciencia a un lado y exploremos áreas más apetitosas, a saber, las tiendas de comestibles. Denotamos por:
– espacio comercial de una tienda de abarrotes, m2,
- Volumen de negocios anual de una tienda de comestibles, millones de rublos.
Está bastante claro que cuanto mayor sea el área de la tienda, mayor será su facturación en la mayoría de los casos.
Supongamos que después de realizar observaciones/experimentos/cálculos/bailar con una pandereta, tenemos a nuestra disposición datos numéricos: 
Con las tiendas de comestibles, creo que todo está claro: - esta es el área de la 1.ª tienda, - su facturación anual, - el área de la 2.ª tienda, - su facturación anual, etc. Por cierto, no es necesario tener acceso a materiales clasificados: se puede obtener una evaluación bastante precisa de la facturación utilizando estadísticas matemáticas. Sin embargo, no se distraigan, el curso de espionaje comercial ya está pagado =)
Los datos tabulares también se pueden escribir en forma de puntos y representar de la forma habitual para nosotros. sistema cartesiano .
Respondamos una pregunta importante: ¿Cuántos puntos se necesitan para un estudio cualitativo?
Cuanto más grande, mejor. El conjunto mínimo admisible consta de 5-6 puntos. Además, con una pequeña cantidad de datos, los resultados "anormales" no deben incluirse en la muestra. Entonces, por ejemplo, una pequeña tienda de élite puede ayudar mucho más que "sus colegas", distorsionando así el patrón general que debe encontrarse.
Si es bastante simple, tenemos que elegir una función, calendario que pasa lo más cerca posible de los puntos 
. Tal función se llama aproximando
(aproximación - aproximación) o función teórica
. En términos generales, aquí aparece inmediatamente un "pretendiente" obvio: un polinomio de alto grado, cuyo gráfico pasa por TODOS los puntos. Pero esta opción es complicada y, a menudo, simplemente incorrecta. (porque el gráfico "bobinará" todo el tiempo y reflejará mal la tendencia principal).
Así, la función deseada debe ser lo suficientemente simple y al mismo tiempo reflejar adecuadamente la dependencia. Como puede suponer, uno de los métodos para encontrar tales funciones se llama mínimos cuadrados. Primero, analicemos su esencia de manera general. Deje que alguna función aproxime los datos experimentales: 
¿Cómo evaluar la precisión de esta aproximación? Calculemos también las diferencias (desviaciones) entre los valores experimentales y funcionales (estudiamos el dibujo). El primer pensamiento que viene a la mente es estimar qué tan grande es la suma, pero el problema es que las diferencias pueden ser negativas. (por ejemplo, 
)
y las desviaciones como resultado de dicha suma se anularán entre sí. Por lo tanto, como una estimación de la precisión de la aproximación, se sugiere tomar la suma módulos desviaciones:
o en forma plegada: (para los que no saben:
es el icono de suma, y
- variable auxiliar - "contador", que toma valores de 1 a
)
.
Aproximando los puntos experimentales con diferentes funciones, obtendremos diferentes valores, y es obvio donde esta suma es menor, esa función es más precisa.
Tal método existe y se llama método de módulo mínimo. Sin embargo, en la práctica se ha generalizado mucho más. método de mínimos cuadrados, en el que los posibles valores negativos no se eliminan por el módulo, sino por el cuadrado de las desviaciones:
, después de lo cual los esfuerzos se dirigen a la selección de una función tal que la suma de las desviaciones al cuadrado 
era lo más pequeño posible. En realidad, de ahí el nombre del método.
Y ahora volvemos a otro punto importante: como se señaló anteriormente, la función seleccionada debería ser bastante simple, pero también hay muchas funciones de este tipo: lineal , hiperbólico , exponencial , logarítmico , cuadrático etc. Y, por supuesto, aquí me gustaría inmediatamente "reducir el campo de actividad". ¿Qué clase de funciones elegir para la investigación? Técnica primitiva pero eficaz:
- La forma más fácil de dibujar puntos. en el dibujo y analizar su ubicación. Si tienden a estar en línea recta, entonces debe buscar ecuación de línea recta 
con valores óptimos y . En otras palabras, la tarea es encontrar TALES coeficientes, de modo que la suma de las desviaciones al cuadrado sea la más pequeña.
Si los puntos están ubicados, por ejemplo, a lo largo hipérbole, entonces está claro que la función lineal dará una mala aproximación. En este caso, estamos buscando los coeficientes más "favorables" para la ecuación de la hipérbola, aquellos que dan la mínima suma de cuadrados. 
.
Ahora observe que en ambos casos estamos hablando de funciones de dos variables, cuyos argumentos son opciones de dependencia buscadas:
Y, en esencia, necesitamos resolver un problema estándar: encontrar mínimo de una función de dos variables.
Recuerde nuestro ejemplo: suponga que los puntos de "tienda" tienden a estar ubicados en línea recta y hay muchas razones para creer que la presencia dependencia lineal facturación del área comercial. Encontremos TALES coeficientes "a" y "be" para que la suma de las desviaciones al cuadrado 
era el más pequeño. Todo como siempre - primero derivadas parciales de primer orden. De acuerdo a regla de linealidad puedes diferenciar justo debajo del ícono de suma: 
Si desea utilizar esta información para un ensayo o trabajo de curso, estaré muy agradecido por el enlace en la lista de fuentes, no encontrará cálculos tan detallados en ningún lado: 
Hagamos un sistema estándar: 
Reducimos cada ecuación por un “dos” y, además, “separamos” las sumas: 
Nota
: analice de forma independiente por qué "a" y "be" pueden eliminarse del icono de suma. Por cierto, formalmente esto se puede hacer con la suma 
Reescribamos el sistema en una forma "aplicada": 
después de lo cual comienza a dibujarse el algoritmo para resolver nuestro problema:
¿Conocemos las coordenadas de los puntos? Sabemos. sumas 
podemos encontrar? Fácilmente. Componemos lo más simple sistema de dos ecuaciones lineales con dos incógnitas("a" y "beh"). Resolvemos el sistema, por ejemplo, método de Cramer, resultando en un punto estacionario . Comprobación condición suficiente para un extremo, podemos comprobar que en este punto la función 
alcanza con precisión mínimo. La verificación está asociada con cálculos adicionales y, por lo tanto, la dejaremos atrás. (si es necesario, el marco que falta se puede veraquí
)
. Sacamos la conclusión final:
Función 
la mejor manera (al menos en comparación con cualquier otra función lineal) acerca los puntos experimentales . En términos generales, su gráfico pasa lo más cerca posible de estos puntos. en la tradición econometría la función de aproximación resultante también se llama ecuación de regresión lineal emparejada
.
El problema bajo consideración es de gran importancia práctica. En la situación con nuestro ejemplo, la ecuación le permite predecir qué tipo de facturación ("yig") estará en la tienda con uno u otro valor del área de venta (uno u otro significado de "x"). Sí, el pronóstico resultante será solo un pronóstico, pero en muchos casos resultará bastante preciso.
Analizaré solo un problema con números "reales", ya que no presenta dificultades: todos los cálculos están al nivel del plan de estudios escolar en los grados 7-8. En el 95 por ciento de los casos, se le pedirá que encuentre solo una función lineal, pero al final del artículo mostraré que no es más difícil encontrar las ecuaciones para la hipérbola, el exponente y algunas otras funciones óptimas.
De hecho, queda por distribuir las golosinas prometidas, para que aprenda a resolver tales ejemplos no solo con precisión, sino también rápidamente. Estudiamos cuidadosamente el estándar:
Una tarea
Como resultado de estudiar la relación entre dos indicadores, se obtuvieron los siguientes pares de números: 
Usando el método de mínimos cuadrados, encuentre la función lineal que mejor se aproxime a la función empírica (experimentado) datos. Haz un dibujo en el que, en un sistema cartesiano de coordenadas rectangulares, trace puntos experimentales y una gráfica de la función de aproximación 
. Encuentre la suma de las desviaciones al cuadrado entre los valores empíricos y teóricos. Averigüe si la función es mejor (en términos del método de mínimos cuadrados) puntos experimentales aproximados.
Tenga en cuenta que los valores de "x" son valores naturales, y esto tiene un significado significativo característico, del que hablaré un poco más adelante; pero, por supuesto, pueden ser fraccionarios. Además, según el contenido de una tarea en particular, tanto los valores "X" como "G" pueden ser total o parcialmente negativos. Pues nos han dado una tarea “sin rostro”, y la empezamos solución:
Encontramos los coeficientes de la función óptima como solución al sistema: 
A los efectos de una notación más compacta, se puede omitir la variable “contador”, pues ya está claro que la sumatoria se realiza de 1 a .
Es más conveniente calcular las cantidades requeridas en forma tabular: 
Los cálculos se pueden realizar en una microcalculadora, pero es mucho mejor usar Excel, más rápido y sin errores; ver un video corto:
Así, obtenemos lo siguiente sistema:
Aquí puedes multiplicar la segunda ecuación por 3 y restar la segunda de la primera ecuación término por término. Pero esto es suerte: en la práctica, los sistemas a menudo no están dotados y, en tales casos, ahorra método de Cramer:
, por lo que el sistema tiene solución única.
Hagamos una comprobación. Entiendo que no quiero hacerlo, pero ¿por qué omitir errores donde absolutamente no puedes pasarlos por alto? Sustituye la solución encontrada en el lado izquierdo de cada ecuación del sistema:
Se obtienen las partes correctas de las ecuaciones correspondientes, lo que significa que el sistema se resuelve correctamente.
Así, la función de aproximación deseada: – de todas las funciones lineales los datos experimentales se aproximan mejor con él.
A diferencia de directo
dependencia de la facturación de la tienda en su área, la dependencia encontrada es reverso
(principio "cuanto más - menos"), y este hecho es inmediatamente revelado por la negativa coeficiente angular. Función 
nos informa que con un aumento en un determinado indicador en 1 unidad, el valor del indicador dependiente disminuye promedio por 0,65 unidades. Como dicen, cuanto más alto es el precio del trigo sarraceno, menos se vende.
Para graficar la función de aproximación, encontramos dos de sus valores:
y ejecutar el dibujo: 
La recta construida se llama línea de tendencia
(es decir, una línea de tendencia lineal, es decir, en el caso general, una tendencia no es necesariamente una línea recta). Todo el mundo está familiarizado con la expresión "to be in trend", y creo que este término no necesita comentarios adicionales.
Calcular la suma de las desviaciones al cuadrado 
entre valores empíricos y teóricos. Geométricamente, esta es la suma de los cuadrados de las longitudes de los segmentos "carmesí" (dos de los cuales son tan pequeños que ni siquiera puedes verlos).
Resumamos los cálculos en una tabla: 
Se pueden volver a realizar manualmente, por si acaso daré un ejemplo para el 1er punto: 
pero es mucho más eficiente hacerlo de la forma ya conocida:
Repitamos: ¿Cuál es el significado del resultado? De todas las funciones lineales función el exponente es el más pequeño, es decir, es la mejor aproximación de su familia. Y aquí, por cierto, la pregunta final del problema no es casual: ¿y si la función exponencial propuesta aproximara mejor los puntos experimentales?
Encontremos la suma correspondiente de las desviaciones al cuadrado; para distinguirlas, las designaré con la letra "épsilon". La técnica es exactamente la misma:
Y nuevamente para cada cálculo de fuego para el 1er punto: 
En Excel, usamos la función estándar Exp (La sintaxis se puede encontrar en la Ayuda de Excel).
Conclusión: , por lo que la función exponencial aproxima peor los puntos experimentales que la recta .
Pero cabe señalar aquí que "peor" es no significa todavía, qué está mal. Ahora construí un gráfico de esta función exponencial - y también pasa cerca de los puntos 
- tanto es así que sin un estudio analítico es difícil decir qué función es más precisa.
Esto completa la solución, y vuelvo a la cuestión de los valores naturales del argumento. En varios estudios, por regla general, económicos o sociológicos, los meses, años u otros intervalos de tiempo iguales se numeran con "X" natural. Considere, por ejemplo, el siguiente problema:
Disponemos de los siguientes datos sobre la facturación minorista de la tienda para el primer semestre del año:
Utilizando la alineación analítica de línea recta, encuentre el volumen de ventas de julio.
Sí, no hay problema: numeramos los meses 1, 2, 3, 4, 5, 6 y usamos el algoritmo habitual, como resultado de lo cual obtenemos una ecuación: lo único cuando se trata de tiempo suele ser la letra "te " (aunque no es crítico). La ecuación resultante muestra que en la primera mitad del año, la rotación aumentó en un promedio de 27,74 u.m. por mes. Obtener un pronóstico para julio (mes #7): UE.
Y tareas similares: la oscuridad es oscura. Aquellos que lo deseen pueden utilizar un servicio adicional, a saber, mi calculadora excel (Versión de demostración), que la resuelve el problema casi al instante! La versión de trabajo del programa está disponible. a cambio o por pago simbólico.
Al final de la lección, una breve información sobre cómo encontrar dependencias de algunos otros tipos. En realidad, no hay nada especial que contar, ya que el enfoque fundamental y el algoritmo de solución siguen siendo los mismos.
Supongamos que la ubicación de los puntos experimentales se parece a una hipérbola. Luego, para encontrar los coeficientes de la mejor hipérbola, debe encontrar el mínimo de la función; aquellos que lo deseen pueden realizar cálculos detallados y llegar a un sistema similar: 
Desde un punto de vista técnico formal, se obtiene del sistema "lineal" 
(vamos a marcarlo con un asterisco) reemplazando "x" con . Bueno, las cantidades 
calcular, después de lo cual a los coeficientes óptimos "a" y "be" a mano.
Si hay todas las razones para creer que los puntos están dispuestos a lo largo de una curva logarítmica, luego para buscar los valores óptimos y encontrar el mínimo de la función 
. Formalmente, en el sistema (*) debe sustituirse por: 
Al calcular en Excel, use la función LN. Confieso que no será difícil para mí crear calculadoras para cada uno de los casos que se están considerando, pero aún así será mejor si usted mismo "programa" los cálculos. Tutoriales en video para ayudar.
Con dependencia exponencial, la situación es un poco más complicada. Para reducir el asunto al caso lineal, tomamos el logaritmo de la función y usamos propiedades del logaritmo:
Ahora, comparando la función obtenida con la función lineal , llegamos a la conclusión de que en el sistema (*) se debe reemplazar por , y - por . Por conveniencia, denotamos: 
Tenga en cuenta que el sistema se resuelve con respecto a y , y por lo tanto, después de encontrar las raíces, no debe olvidar encontrar el coeficiente en sí.
Para aproximar puntos experimentales parábola óptima 
, debe ser encontrado mínimo de una función de tres variables. Después de realizar acciones estándar, obtenemos el siguiente "funcionamiento" sistema:
Sí, por supuesto, aquí hay más cantidades, pero no hay ninguna dificultad al usar su aplicación favorita. Y finalmente, le diré cómo verificar rápidamente usando Excel y construir la línea de tendencia deseada: cree un gráfico de dispersión, seleccione cualquiera de los puntos con el mouse y haga clic derecho en la opción de selección "Añadir línea de tendencia". A continuación, seleccione el tipo de gráfico y en la pestaña "Opciones" activar la opción "Mostrar ecuación en el gráfico". OK
Como siempre, quiero terminar el artículo con una frase hermosa, y casi escribo “¡Estar en tendencia!”. Pero con el tiempo cambió de opinión. Y no porque sea una fórmula. No sé cómo alguien, pero no quiero seguir la tendencia estadounidense y especialmente europea promovida en absoluto =) ¡Por lo tanto, deseo que cada uno de ustedes se ciña a su propia línea!
http://www.grandars.ru/student/vysshaya-matematika/metod-naimenshih-kvadratov.html
El método de los mínimos cuadrados es uno de los más comunes y desarrollados debido a su simplicidad y eficiencia de los métodos para estimar los parámetros de los modelos econométricos lineales. Al mismo tiempo, se debe tener cierta precaución al usarlo, ya que los modelos construidos con él pueden no cumplir con una serie de requisitos para la calidad de sus parámetros y, como resultado, no reflejan "bien" los patrones de desarrollo del proceso.
Consideremos con más detalle el procedimiento para estimar los parámetros de un modelo econométrico lineal utilizando el método de mínimos cuadrados. Tal modelo en forma general se puede representar mediante la ecuación (1.2):
y t = un 0 + un 1 X 1t +...+ un norte X nt + ε t .
El dato inicial al estimar los parámetros a 0 , a 1 ,..., an es el vector de valores de la variable dependiente y= (y 1 , y 2 , ... , y T)" y la matriz de valores de las variables independientes
en la que la primera columna, formada por unos, corresponde al coeficiente del modelo.
El método de los mínimos cuadrados recibió su nombre basado en el principio básico de que las estimaciones de los parámetros obtenidas sobre su base deben satisfacer: la suma de los cuadrados del error del modelo debe ser mínima.
Ejemplos de resolución de problemas por el método de mínimos cuadrados
Ejemplo 2.1. La empresa comercial tiene una red que consta de 12 tiendas, cuya información se presenta en la Tabla. 2.1.
A la gerencia de la empresa le gustaría saber cómo depende el tamaño de la facturación anual del espacio comercial de la tienda.
Tabla 2.1
| Número de tienda | Facturación anual, millones de rublos. | Área comercial, mil m 2 |
| 19,76 | 0,24 | |
| 38,09 | 0,31 | |
| 40,95 | 0,55 | |
| 41,08 | 0,48 | |
| 56,29 | 0,78 | |
| 68,51 | 0,98 | |
| 75,01 | 0,94 | |
| 89,05 | 1,21 | |
| 91,13 | 1,29 | |
| 91,26 | 1,12 | |
| 99,84 | 1,29 | |
| 108,55 | 1,49 |
Solución de mínimos cuadrados. Designemos: el volumen de negocios anual de la -ésima tienda, millones de rublos; - área de venta de la décima tienda, mil m 2.
Figura 2.1. Diagrama de dispersión para el ejemplo 2.1
Determinar la forma de la relación funcional entre las variables y construir un diagrama de dispersión (Fig. 2.1).
Con base en el diagrama de dispersión, podemos concluir que la facturación anual depende positivamente del área de venta (es decir, y aumentará con el crecimiento de ). La forma más apropiada de conexión funcional es lineal.
La información para cálculos adicionales se presenta en la Tabla. 2.2. Usando el método de mínimos cuadrados, estimamos los parámetros del modelo econométrico lineal de un factor
Cuadro 2.2
| t | yt | x 1 t | y t 2 | x1t2 | x 1t y t |
| 19,76 | 0,24 | 390,4576 | 0,0576 | 4,7424 | |
| 38,09 | 0,31 | 1450,8481 | 0,0961 | 11,8079 | |
| 40,95 | 0,55 | 1676,9025 | 0,3025 | 22,5225 | |
| 41,08 | 0,48 | 1687,5664 | 0,2304 | 19,7184 | |
| 56,29 | 0,78 | 3168,5641 | 0,6084 | 43,9062 | |
| 68,51 | 0,98 | 4693,6201 | 0,9604 | 67,1398 | |
| 75,01 | 0,94 | 5626,5001 | 0,8836 | 70,5094 | |
| 89,05 | 1,21 | 7929,9025 | 1,4641 | 107,7505 | |
| 91,13 | 1,29 | 8304,6769 | 1,6641 | 117,5577 | |
| 91,26 | 1,12 | 8328,3876 | 1,2544 | 102,2112 | |
| 99,84 | 1,29 | 9968,0256 | 1,6641 | 128,7936 | |
| 108,55 | 1,49 | 11783,1025 | 2,2201 | 161,7395 | |
| S | 819,52 | 10,68 | 65008,554 | 11,4058 | 858,3991 |
| Promedio | 68,29 | 0,89 |
De este modo,
Por lo tanto, con un aumento en el área comercial de 1 mil m 2, en igualdad de condiciones, la facturación anual promedio aumenta en 67,8871 millones de rublos.
Ejemplo 2.2. La gerencia de la empresa notó que la facturación anual depende no solo del área de ventas de la tienda (ver ejemplo 2.1), sino también del número promedio de visitantes. La información relevante se presenta en la tabla. 2.3.
Tabla 2.3
Solución. Denote: el número promedio de visitantes a la tienda por día, mil personas.
Determinar la forma de la relación funcional entre las variables y construir un diagrama de dispersión (Fig. 2.2).
Con base en el diagrama de dispersión, podemos concluir que la facturación anual está positivamente relacionada con el número promedio de visitantes por día (es decir, y aumentará con el crecimiento de ). La forma de dependencia funcional es lineal.
Arroz. 2.2. Diagrama de dispersión para el ejemplo 2.2
Tabla 2.4
| t | x 2t | x 2t 2 | yt x 2t | x 1 t x 2 t |
| 8,25 | 68,0625 | 163,02 | 1,98 | |
| 10,24 | 104,8575 | 390,0416 | 3,1744 | |
| 9,31 | 86,6761 | 381,2445 | 5,1205 | |
| 11,01 | 121,2201 | 452,2908 | 5,2848 | |
| 8,54 | 72,9316 | 480,7166 | 6,6612 | |
| 7,51 | 56,4001 | 514,5101 | 7,3598 | |
| 12,36 | 152,7696 | 927,1236 | 11,6184 | |
| 10,81 | 116,8561 | 962,6305 | 13,0801 | |
| 9,89 | 97,8121 | 901,2757 | 12,7581 | |
| 13,72 | 188,2384 | 1252,0872 | 15,3664 | |
| 12,27 | 150,5529 | 1225,0368 | 15,8283 | |
| 13,92 | 193,7664 | 1511,016 | 20,7408 | |
| S | 127,83 | 1410,44 | 9160,9934 | 118,9728 |
| Promedio | 10,65 |
En general, es necesario determinar los parámetros del modelo econométrico de dos factores
y t \u003d un 0 + un 1 x 1t + un 2 x 2t + ε t
La información requerida para cálculos posteriores se presenta en la Tabla. 2.4.
Estimemos los parámetros de un modelo econométrico lineal de dos factores usando el método de mínimos cuadrados.
De este modo,
La evaluación del coeficiente = 61,6583 muestra que, en igualdad de condiciones, con un aumento en el área de ventas de 1 mil m 2, la facturación anual aumentará en un promedio de 61,6583 millones de rublos.
La estimación del coeficiente = 2.2748 muestra que, en igualdad de condiciones, con un aumento en el número promedio de visitantes por 1 mil personas. por día, la facturación anual aumentará en un promedio de 2,2748 millones de rublos.
Ejemplo 2.3. Utilizando la información presentada en la tabla. 2.2 y 2.4, estimar el parámetro de un modelo econométrico de un solo factor
donde está el valor centrado de la facturación anual de la -ésima tienda, millones de rublos; - valor centrado del promedio diario de visitantes a la tienda t-ésima, mil personas. (ver ejemplos 2.1-2.2).
Solución. La información adicional requerida para los cálculos se presenta en la Tabla. 2.5.
Cuadro 2.5
| -48,53 | -2,40 | 5,7720 | 116,6013 | |
| -30,20 | -0,41 | 0,1702 | 12,4589 | |
| -27,34 | -1,34 | 1,8023 | 36,7084 | |
| -27,21 | 0,36 | 0,1278 | -9,7288 | |
| -12,00 | -2,11 | 4,4627 | 25,3570 | |
| 0,22 | -3,14 | 9,8753 | -0,6809 | |
| 6,72 | 1,71 | 2,9156 | 11,4687 | |
| 20,76 | 0,16 | 0,0348 | 3,2992 | |
| 22,84 | -0,76 | 0,5814 | -17,413 | |
| 22,97 | 3,07 | 9,4096 | 70,4503 | |
| 31,55 | 1,62 | 2,6163 | 51,0267 | |
| 40,26 | 3,27 | 10,6766 | 131,5387 | |
| Suma | 48,4344 | 431,0566 |
Usando la fórmula (2.35), obtenemos
De este modo,
http://www.cleverstudents.ru/articles/mnk.html
Ejemplo.
Datos experimentales sobre los valores de las variables. X y a se dan en la tabla. 
Como resultado de su alineación, la función 
Usando método de mínimos cuadrados, aproximar estos datos con una dependencia lineal y=ax+b(buscar opciones a y b). Averigüe cuál de las dos líneas es mejor (en el sentido del método de mínimos cuadrados) alinea los datos experimentales. Haz un dibujo.
Solución.
En nuestro ejemplo n=5. Completamos la tabla por conveniencia de calcular las cantidades que se incluyen en las fórmulas de los coeficientes requeridos. 
Los valores de la cuarta fila de la tabla se obtienen multiplicando los valores de la 2ª fila por los valores de la 3ª fila para cada número i.
Los valores de la quinta fila de la tabla se obtienen elevando al cuadrado los valores de la 2da fila para cada número i.
Los valores de la última columna de la tabla son las sumas de los valores de las filas.
Usamos las fórmulas del método de los mínimos cuadrados para encontrar los coeficientes a y b. Sustituimos en ellos los valores correspondientes de la última columna de la tabla: 
Como consecuencia, y=0.165x+2.184 es la línea recta de aproximación deseada.
Queda por saber cuál de las líneas y=0.165x+2.184 o aproxima mejor a los datos originales, es decir, hacer una estimación usando el método de mínimos cuadrados.
Prueba.
para que cuando se encuentre a y b función toma el valor más pequeño, es necesario que en este punto la matriz de la forma cuadrática del diferencial de segundo orden para la función 
fue definida positiva. Mostrémoslo.
La diferencial de segundo orden tiene la forma: 
Eso es
Por lo tanto, la matriz de la forma cuadrática tiene la forma 
y los valores de los elementos no dependen de a y b.
Demostremos que la matriz es definida positiva. Esto requiere que los ángulos menores sean positivos.
Angular menor de primer orden 
. La desigualdad es estricta, ya que los puntos
- tutorial
Introducción
Soy programador de computadoras. Di el mayor salto en mi carrera cuando aprendí a decir: "¡No entiendo nada!" Ahora no me avergüenzo de decirle a la lumbrera de la ciencia que me está dando una conferencia, que no entiendo de qué me está hablando la lumbrera. Y es muy difícil. Sí, es difícil y vergonzoso admitir que no lo sabes. ¿A quién le gusta admitir que no conoce los conceptos básicos de algo? En virtud de mi profesión, tengo que asistir a una gran cantidad de presentaciones y conferencias, donde, lo confieso, en la gran mayoría de los casos tengo sueño, porque no entiendo nada. Y no entiendo porque el gran problema de la situación actual de la ciencia está en las matemáticas. Asume que todos los estudiantes están familiarizados con absolutamente todas las áreas de las matemáticas (lo cual es absurdo). Admitir que no sabes lo que es un derivado (que esto es un poco más tarde) es una pena.
Pero he aprendido a decir que no sé qué es la multiplicación. Sí, no sé qué es una subálgebra sobre un álgebra de Lie. Sí, no sé por qué se necesitan ecuaciones cuadráticas en la vida. Por cierto, si estás seguro de que lo sabes, ¡entonces tenemos algo de qué hablar! Las matemáticas son una serie de trucos. Los matemáticos tratan de confundir e intimidar al público; donde no hay confusión, ni reputación, ni autoridad. Sí, es prestigioso hablar en el lenguaje más abstracto posible, lo cual es una completa tontería en sí mismo.
¿Sabes lo que es una derivada? Lo más probable es que me cuentes sobre el límite de la relación de diferencia. En el primer año de matemáticas en la Universidad Estatal de San Petersburgo, Viktor Petrovich Khavin me definido derivada como el coeficiente del primer término de la serie de Taylor de la función en el punto (era una gimnasia separada para determinar la serie de Taylor sin derivadas). Me reí de esta definición durante mucho tiempo, hasta que finalmente entendí de qué se trataba. La derivada no es más que una medida de cuánto se parece la función que estamos derivando a la función y=x, y=x^2, y=x^3.
Ahora tengo el honor de dar una conferencia a estudiantes que miedo matemáticas. Si tienes miedo a las matemáticas, estamos en camino. Tan pronto como intentes leer un texto y te parezca que es demasiado complicado, debes saber que está mal escrito. Sostengo que no hay una sola área de las matemáticas de la que no se pueda hablar "con los dedos" sin perder precisión.
El desafío para el futuro cercano: instruí a mis alumnos para que entendieran qué es un controlador lineal-cuadrático. No seas tímido, pierde tres minutos de tu vida, sigue el enlace. Si no entiende nada, entonces estamos en camino. Yo (un matemático-programador profesional) tampoco entendí nada. Y les aseguro que esto se puede solucionar "en los dedos". De momento no sé qué es, pero os aseguro que podremos averiguarlo.
Entonces, la primera lección que voy a dar a mis alumnos después de que vengan corriendo horrorizados hacia mí con las palabras de que un controlador cuadrático-lineal es un bicho terrible que nunca dominarás en tu vida es métodos de mínimos cuadrados. ¿Puedes resolver ecuaciones lineales? Si estás leyendo este texto, lo más probable es que no.
Entonces, dados dos puntos (x0, y0), (x1, y1), por ejemplo, (1,1) y (3,2), la tarea es encontrar la ecuación de una línea recta que pasa por estos dos puntos:
ilustración
Esta recta debe tener una ecuación como la siguiente:
Aquí alfa y beta nos son desconocidos, pero se conocen dos puntos de esta línea:
Puedes escribir esta ecuación en forma matricial:
Aquí conviene hacer una digresión lírica: ¿qué es una matriz? Una matriz no es más que un arreglo bidimensional. Esta es una forma de almacenar datos, no se le deben dar más valores. Depende de nosotros cómo interpretar exactamente una determinada matriz. Periódicamente, lo interpretaré como un mapeo lineal, periódicamente como una forma cuadrática y, a veces, simplemente como un conjunto de vectores. Todo esto se aclarará en contexto.
Reemplacemos matrices específicas con su representación simbólica:
Entonces (alfa, beta) se puede encontrar fácilmente:
Más específicamente para nuestros datos anteriores:
Lo que lleva a la siguiente ecuación de una recta que pasa por los puntos (1,1) y (3,2):
Bien, todo está claro aquí. Y encontremos la ecuación de una recta que pasa por Tres puntos: (x0,y0), (x1,y1) y (x2,y2):
¡Oh-oh-oh, pero tenemos tres ecuaciones para dos incógnitas! El matemático estándar dirá que no hay solución. ¿Qué dirá el programador? Y primero reescribirá el sistema de ecuaciones anterior de la siguiente forma:
En nuestro caso, los vectores i, j, b son tridimensionales, por lo tanto, (en el caso general) no hay solución para este sistema. Cualquier vector (alfa\*i + beta\*j) se encuentra en el plano generado por los vectores (i, j). Si b no pertenece a este plano, entonces no hay solución (no se puede lograr la igualdad en la ecuación). ¿Qué hacer? Busquemos un compromiso. Denotemos por e(alfa, beta) cómo exactamente no logramos la igualdad:
E intentaremos minimizar este error:
¿Por qué un cuadrado?
Estamos buscando no solo el mínimo de la norma, sino el mínimo del cuadrado de la norma. ¿Por qué? El punto mínimo en sí mismo coincide, y el cuadrado da una función suave (una función cuadrática de los argumentos (alfa,beta)), mientras que solo la longitud da una función en forma de cono, no diferenciable en el punto mínimo. Brr. Square es más conveniente.
Obviamente, el error se minimiza cuando el vector mi ortogonal al plano generado por los vectores i y j.
Ilustración
En otras palabras: buscamos una línea tal que la suma de las longitudes al cuadrado de las distancias de todos los puntos a esta línea sea mínima:
ACTUALIZACIÓN: aquí tengo una jamba, la distancia a la línea debe medirse verticalmente, no en proyección ortográfica. Este comentarista es correcto.
Ilustración
En palabras completamente diferentes (con cuidado, mal formalizado, pero debería quedar claro en los dedos): tomamos todas las líneas posibles entre todos los pares de puntos y buscamos la línea promedio entre todos:
Ilustración
Otra explicación sobre los dedos: adjuntamos un resorte entre todos los puntos de datos (aquí tenemos tres) y la línea que estamos buscando, y la línea del estado de equilibrio es exactamente lo que estamos buscando.
Forma cuadrática mínima
Entonces, dado el vector b y el plano generado por los vectores-columna de la matriz A(en este caso (x0,x1,x2) y (1,1,1)), buscamos un vector mi con un cuadrado mínimo de longitud. Obviamente, el mínimo es alcanzable solo para el vector mi, ortogonal al plano generado por los vectores-columna de la matriz A:En otras palabras, buscamos un vector x=(alfa, beta) tal que:
Les recuerdo que este vector x=(alfa, beta) es el mínimo de la función cuadrática ||e(alfa, beta)||^2:
Aquí es útil recordar que la matriz puede interpretarse tan bien como la forma cuadrática, por ejemplo, la matriz identidad ((1,0),(0,1)) puede interpretarse como una función de x^2 + y ^ 2:
forma cuadrática
Toda esta gimnasia se conoce como regresión lineal.
Ecuación de Laplace con condición de frontera de Dirichlet
Ahora el problema real más simple: hay una cierta superficie triangulada, es necesario suavizarla. Por ejemplo, carguemos mi modelo de rostro:
La confirmación original está disponible. Para minimizar las dependencias externas, tomé el código de mi renderizador de software, que ya estaba en Habré. Para resolver el sistema lineal, uso OpenNL, es un excelente solucionador, pero es muy difícil de instalar: debe copiar dos archivos (.h + .c) en la carpeta de su proyecto. Todo el suavizado se realiza mediante el siguiente código:
Para (int d=0; d<3; d++) {
nlNewContext();
nlSolverParameteri(NL_NB_VARIABLES, verts.size());
nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE);
nlBegin(NL_SYSTEM);
nlBegin(NL_MATRIX);
for (int i=0; i<(int)verts.size(); i++) {
nlBegin(NL_ROW);
nlCoefficient(i, 1);
nlRightHandSide(verts[i][d]);
nlEnd(NL_ROW);
}
for (unsigned int i=0; i
Las coordenadas X, Y y Z son separables, las suavizo por separado. Es decir, resuelvo tres sistemas de ecuaciones lineales, cada uno con tantas variables como el número de vértices de mi modelo. Las primeras n filas de la matriz A tienen solo un 1 por fila, y las primeras n filas del vector b tienen las coordenadas del modelo original. Es decir, hago un lazo de resorte entre la nueva posición del vértice y la posición del vértice antiguo; los nuevos no deben estar demasiado lejos de los antiguos.
Todas las filas subsiguientes de la matriz A (faces.size()*3 = el número de aristas de todos los triángulos en la cuadrícula) tienen una ocurrencia de 1 y una ocurrencia de -1, mientras que el vector b tiene cero componentes opuestos. Esto significa que puse un resorte en cada borde de nuestra malla triangular: todos los bordes intentan tener el mismo vértice que sus puntos inicial y final.
Una vez más: todos los vértices son variables y no pueden desviarse mucho de su posición original, pero al mismo tiempo intentan volverse similares entre sí.
Aquí está el resultado:
Todo estaría bien, el modelo está realmente suavizado, pero se alejó de su borde original. Cambiemos un poco el código:
Para (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }
En nuestra matriz A, para los vértices que están en el borde, no agrego una fila de la categoría v_i = verts[i][d], sino 1000*v_i = 1000*verts[i][d]. ¿Qué cambia? Y esto cambia nuestra forma cuadrática del error. Ahora, una sola desviación de la parte superior en el borde no costará una unidad, como antes, sino 1000 * 1000 unidades. Es decir, colgamos un resorte más fuerte en los vértices extremos, la solución prefiere estirar otros con más fuerza. Aquí está el resultado:
Dupliquemos la fuerza de los resortes entre los vértices:
nlCoeficiente(cara[ j ], 2); nlCoeficiente(cara[(j+1)%3], -2);
Es lógico que la superficie se haya vuelto más lisa:
Y ahora incluso cien veces más fuerte:
¿Qué es esto? Imagina que hemos sumergido un anillo de alambre en agua jabonosa. Como resultado, la película de jabón resultante intentará tener la menor curvatura posible, tocando el mismo borde: nuestro anillo de alambre. Esto es exactamente lo que obtuvimos al arreglar el borde y pedir una superficie lisa en el interior. Enhorabuena, acabamos de resolver la ecuación de Laplace con las condiciones de contorno de Dirichlet. ¿Suena bien? Pero, de hecho, solo hay que resolver un sistema de ecuaciones lineales.
Ecuación de Poisson
Tengamos otro nombre genial.Digamos que tengo una imagen como esta:
Todos son buenos, pero no me gusta la silla.
Corté la imagen por la mitad: 
Y seleccionaré una silla con mis manos: 
Luego, arrastraré todo lo que sea blanco en la máscara hacia el lado izquierdo de la imagen y, al mismo tiempo, diré a lo largo de toda la imagen que la diferencia entre dos píxeles vecinos debe ser igual a la diferencia entre dos píxeles vecinos de la imagen derecha:
Para (int i=0; i Aquí está el resultado: El código y las imágenes están disponibles. Método de mínimos cuadrados (OLS, ing. Ordinary Least Squares, OLS)- un método matemático utilizado para resolver varios problemas, basado en minimizar la suma de los cuadrados de las desviaciones de algunas funciones de las variables deseadas. Se puede usar para "resolver" sistemas de ecuaciones sobredeterminados (cuando el número de ecuaciones excede el número de incógnitas), para encontrar una solución en el caso de sistemas de ecuaciones no lineales ordinarios (no sobredeterminados), para aproximar los valores de los puntos. de alguna función. OLS es uno de los métodos básicos de análisis de regresión para estimar parámetros desconocidos de modelos de regresión a partir de datos de muestra. 1
/
5 ✪ Método de mínimos cuadrados. Tema ✪ Mitin I. V. - Procesamiento de los resultados del examen físico. experimento - Método de mínimos cuadrados (Clase 4) ✪ Mínimos cuadrados, lección 1/2. Función lineal ✪ Econometría. Clase 5. Método de mínimos cuadrados ✪ Método de mínimos cuadrados. respuestas Hasta principios del siglo XIX. los científicos no tenían ciertas reglas para resolver un sistema de ecuaciones en el que el número de incógnitas es menor que el número de ecuaciones; Hasta ese momento, se usaban métodos particulares, dependiendo del tipo de ecuaciones y del ingenio de las calculadoras, y por lo tanto, diferentes calculadoras, partiendo de los mismos datos de observación, llegaban a diferentes conclusiones. A Gauss (1795) se le atribuye la primera aplicación del método, y Legendre (1805) lo descubrió y publicó de forma independiente con su nombre moderno (fr. Metodo des moindres quarres) . Laplace conectó el método con la teoría de las probabilidades y el matemático estadounidense Adrian (1808) consideró sus aplicaciones probabilísticas. El método está muy extendido y mejorado por investigaciones adicionales de Encke, Bessel, Hansen y otros. Dejar x (\ estilo de visualización x)- equipo n (\ estilo de visualización n) variables desconocidas (parámetros), f yo (x) (\displaystyle f_(i)(x)), , m > n (\displaystyle m>n)- conjunto de funciones de este conjunto de variables. El problema es elegir tales valores. x (\ estilo de visualización x) para que los valores de estas funciones se acerquen lo más posible a algunos valores y yo (\displaystyle y_(i)). En esencia, estamos hablando de la “solución” del sistema de ecuaciones sobredeterminado f yo (x) = y yo (\displaystyle f_(i)(x)=y_(i)), yo = 1 , ... , metro (\displaystyle i=1,\ldots ,m) en el sentido indicado, la máxima proximidad de las partes izquierda y derecha del sistema. La esencia de LSM es elegir como "medida de proximidad" la suma de las desviaciones al cuadrado de las partes izquierda y derecha | F yo (x) - y yo | (\displaystyle |f_(i)(x)-y_(i)|). Así, la esencia de la LSM se puede expresar de la siguiente manera: Si el sistema de ecuaciones tiene una solución, entonces el mínimo de la suma de los cuadrados será igual a cero y las soluciones exactas del sistema de ecuaciones se pueden encontrar analíticamente o, por ejemplo, mediante varios métodos de optimización numérica. Si el sistema está sobredeterminado, es decir, en términos generales, el número de ecuaciones independientes es mayor que el número de variables desconocidas, entonces el sistema no tiene una solución exacta y el método de mínimos cuadrados nos permite encontrar algún vector "óptimo". x (\ estilo de visualización x) en el sentido de la máxima proximidad de los vectores y (\ estilo de visualización y) y f (x) (\displaystyle f(x)) o la proximidad máxima del vector de desviación e (\ estilo de visualización e) a cero (la proximidad se entiende en el sentido de distancia euclidiana). En particular, el método de los mínimos cuadrados se puede utilizar para "resolver" el sistema de ecuaciones lineales dónde A (\ estilo de visualización A) matriz de tamaño rectangular metro × norte , metro > norte (\displaystyle m\times n,m>n)(es decir, el número de filas de la matriz A es mayor que el número de variables requeridas). Tal sistema de ecuaciones generalmente no tiene solución. Por lo tanto, este sistema puede "resolverse" solo en el sentido de elegir dicho vector x (\ estilo de visualización x) para minimizar la "distancia" entre vectores A x (\displaystyle Hacha) y b (\ estilo de visualización b). Para ello, se puede aplicar el criterio de minimización de la suma de las diferencias al cuadrado de las partes izquierda y derecha de las ecuaciones del sistema, es decir (A x − b) T (A x − b) → min (\displaystyle (Ax-b)^(T)(Ax-b)\rightarrow \min ). Es fácil demostrar que la solución de este problema de minimización conduce a la solución del siguiente sistema de ecuaciones Dejalo ser n (\ estilo de visualización n) valores de alguna variable y (\ estilo de visualización y)(pueden ser los resultados de observaciones, experimentos, etc.) y las variables correspondientes x (\ estilo de visualización x). El reto es hacer que la relación entre y (\ estilo de visualización y) y x (\ estilo de visualización x) aproximado por alguna función conocida hasta algunos parámetros desconocidos b (\ estilo de visualización b), es decir, encontrar realmente los mejores valores de los parámetros b (\ estilo de visualización b), aproximando al máximo los valores f (x, b) (\displaystyle f(x,b)) a los valores reales y (\ estilo de visualización y). De hecho, esto se reduce al caso de "solución" de un sistema de ecuaciones sobredeterminado con respecto a b (\ estilo de visualización b): F (x t , segundo) = y t , t = 1 , ... , norte (\displaystyle f(x_(t),b)=y_(t),t=1,\ldots,n). En el análisis de regresión, y en particular en la econometría, se utilizan modelos probabilísticos de relación entre variables. Y t = F (x t , segundo) + ε t (\displaystyle y_(t)=f(x_(t),b)+\varepsilon _(t)), dónde ε t (\displaystyle \varepsilon_(t))- así llamado errores aleatorios modelos En consecuencia, las desviaciones de los valores observados y (\ estilo de visualización y) del modelo f (x, b) (\displaystyle f(x,b)) ya asumido en el propio modelo. La esencia de LSM (ordinario, clásico) es encontrar tales parámetros b (\ estilo de visualización b), en el que la suma de las desviaciones al cuadrado (errores, para los modelos de regresión a menudo se denominan residuos de regresión) e t (\displaystyle e_(t)) será mínimo: dónde R S S (\displaystyle RSS)- Inglés. La suma residual de cuadrados se define como: En el caso general, este problema se puede resolver mediante métodos numéricos de optimización (minimización). En este caso, se habla de mínimos cuadrados no lineales(NLS o NLLS - ing. Mínimos cuadrados no lineales). En muchos casos, se puede obtener una solución analítica. Para resolver el problema de minimización, es necesario encontrar los puntos estacionarios de la función R S S (b) (\displaystyle RSS(b)), diferenciándolo con respecto a parámetros desconocidos b (\ estilo de visualización b), igualando las derivadas a cero y resolviendo el sistema de ecuaciones resultante: Sea la dependencia de la regresión lineal: Dejar y es el vector columna de observaciones de la variable que se explica, y X (\ estilo de visualización X)- esto es (n × k) (\displaystyle ((n\times k)))- matriz de observaciones de factores (filas de la matriz - vectores de valores de factores en esta observación, por columnas - vector de valores de este factor en todas las observaciones). La representación matricial del modelo lineal tiene la forma: Entonces el vector de estimaciones de la variable explicada y el vector de residuos de regresión serán iguales a en consecuencia, la suma de los cuadrados de los residuos de la regresión será igual a Derivando esta función con respecto al vector de parámetros b (\ estilo de visualización b) e igualando las derivadas a cero, obtenemos un sistema de ecuaciones (en forma matricial): En la forma matricial descifrada, este sistema de ecuaciones se ve así: (∑ x t 1 2 ∑ x t 1 x t 2 ∑ x t 1 x t 3 … ∑ x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t 2 x t 3 … ∑ x t 2 x t k ∑ x t 3 x t 2 … ∑ x t ∑ x t 3 x t k ⋮ ⋮ ⋮ ⋱ ⋮ ∑ x t k x t 1 ∑ x t k x t 2 ∑ x t k x t 3 … ∑ x t k 2) (b 1 b 2 b 3 ⋮ b k) = (∑ x t 1 y x t ∑ x 3 y ∑ t) estilo (\begin(pmatrix)\sum x_(t1)^(2)&\sum x_(t1)x_(t2)&\sum x_(t1)x_(t3)&\ldots &\sum x_(t1)x_( tk)\\\suma x_(t2)x_(t1)&\suma x_(t2)^(2)&\suma x_(t2)x_(t3)&\ldots &\ suma x_(t2)x_(tk) \\\suma x_(t3)x_(t1)&\suma x_(t3)x_(t2)&\suma x_(t3)^(2)&\ldots &\suma x_ (t3)x_(tk)\\ \vdots &\vdots &\vdots &\ddots &\vdots \\\sum x_(tk)x_(t1)&\sum x_(tk)x_(t2)&\sum x_ (tk)x_(t3)&\ ldots &\sum x_(tk)^(2)\\\end(pmatrix))(\begin(pmatrix)b_(1)\\b_(2)\\b_(3 )\\\vdots \\b_( k)\\\end(pmatriz))=(\begin(pmatriz)\sum x_(t1)y_(t)\\\sum x_(t2)y_(t)\\ \sum x_(t3)y_(t )\\\vpuntos \\\sum x_(tk)y_(t)\\\end(pmatriz))) donde todas las sumas se toman sobre todos los valores admisibles t (\ estilo de visualización t). Si se incluye una constante en el modelo (como es habitual), entonces x t 1 = 1 (\displaystyle x_(t1)=1) para todos t (\ estilo de visualización t), por lo tanto, en la esquina superior izquierda de la matriz del sistema de ecuaciones está el número de observaciones n (\ estilo de visualización n), y en los elementos restantes de la primera fila y la primera columna, solo la suma de los valores de las variables: ∑ x t j (\displaystyle \sum x_(tj)) y el primer elemento del lado derecho del sistema - ∑ y t (\displaystyle \sum y_(t)). La solución de este sistema de ecuaciones da la fórmula general para las estimaciones de mínimos cuadrados para el modelo lineal: A efectos analíticos resulta útil la última representación de esta fórmula (en el sistema de ecuaciones al dividir por n aparecen medias aritméticas en lugar de sumas). Si los datos en el modelo de regresión centrado, entonces en esta representación la primera matriz tiene el significado de matriz de covarianzas muestrales de factores, y la segunda es el vector de covarianzas de factores con variable dependiente. Si, además, los datos también son normalizado en el SKO (es decir, en última instancia estandarizado), entonces la primera matriz tiene el significado de la matriz de correlación de muestra de factores, el segundo vector - el vector de correlación de muestra de factores con la variable dependiente. Una propiedad importante de las estimaciones LLS para modelos con una constante- la línea de la regresión construida pasa por el centro de gravedad de los datos muestrales, es decir, se cumple la igualdad: En particular, en el caso extremo, cuando el único regresor es una constante, encontramos que la estimación MCO de un solo parámetro (la propia constante) es igual al valor medio de la variable que se explica. Es decir, la media aritmética, conocida por sus buenas propiedades de las leyes de los grandes números, también es una estimación de mínimos cuadrados: satisface el criterio de la suma mínima de las desviaciones al cuadrado. En el caso de la regresión lineal por pares y t = una + segundo x t + ε t (\displaystyle y_(t)=a+bx_(t)+\varepsilon _(t)), cuando se estima la dependencia lineal de una variable con otra, las fórmulas de cálculo se simplifican (se puede prescindir del álgebra matricial). El sistema de ecuaciones tiene la forma: A partir de aquí es fácil encontrar estimaciones para los coeficientes: A pesar de que, en general, los modelos con una constante son preferibles, en algunos casos se sabe por consideraciones teóricas que la constante a (\ estilo de visualización a) debe ser igual a cero. Por ejemplo, en física, la relación entre voltaje y corriente tiene la forma U = yo ⋅ R (\displaystyle U=I\cdot R); midiendo voltaje y corriente, es necesario estimar la resistencia. En este caso, estamos hablando de un modelo. y = segundo x (\displaystyle y=bx). En este caso, en lugar de un sistema de ecuaciones, tenemos una sola ecuación (∑ x t 2) segundo = ∑ x t y t (\displaystyle \left(\sum x_(t)^(2)\right)b=\sum x_(t)y_(t)). Por lo tanto, la fórmula para estimar un solo coeficiente tiene la forma segundo ^ = ∑ t = 1 norte X t y t ∑ t = 1 norte X t 2 = X y ¯ x 2 ¯ (\displaystyle (\hat (b))=(\frac (\sum _(t=1)^(n)x_(t )y_(t))(\sum _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))). Si los datos se ajustan mediante una función de regresión polinomial de una variable f (x) = segundo 0 + ∑ yo = 1 k segundo yo x yo (\displaystyle f(x)=b_(0)+\sum \limits _(i=1)^(k)b_(i)x^(i)), entonces, percibiendo grados x yo (\ estilo de visualización x ^ (i)) como factores independientes para cada yo (\ estilo de visualización i) es posible estimar los parámetros del modelo en base a la fórmula general para estimar los parámetros del modelo lineal. Para ello, basta tener en cuenta en la fórmula general que con tal interpretación x t yo x t j = x t yo x t j = x t yo + j (\displaystyle x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j)) y x t j y t = x t j y t (\displaystyle x_(tj)y_(t)=x_(t)^(j)y_(t)). Por lo tanto, las ecuaciones matriciales en este caso tomarán la forma: (n ∑ norte x t ... ∑ norte x t k ∑ norte x t ∑ norte x yo 2 ... ∑ metro x yo k + 1 ⋮ ⋱ ⋮ ∑ ∑ norte x t k ∑ norte x t k + 1 ... ∑ norte x t 2 k) [segundo 0 segundo 1 ⋮ segundo k] = [∑ norte y t ∑ norte X t y t ⋮ norte X t k y t ] . (\displaystyle (\begin(pmatrix)n&\sum \limits _(n)x_(t)&\ldots &\sum \limits _(n)x_(t)^(k)\\\sum \limits _( n)x_(t)&\sum \limits _(n)x_(i)^(2)&\ldots &\sum \limits _(m)x_(i)^(k+1)\\\vdots & \vdots &\ddots &\vdots \\\sum \limits _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\ldots &\ suma \limits _(n)x_(t)^(2k)\end(pmatrix))(\begin(bmatrix)b_(0)\\b_(1)\\\vdots \\b_(k)\end( bmatriz))=(\begin(bmatriz)\sum \limits _(n)y_(t)\\\sum \limits _(n)x_(t)y_(t)\\\vdots \\\sum \limits _(n)x_(t)^(k)y_(t)\end(bmatriz)).) En primer lugar, observamos que para los modelos lineales, las estimaciones de mínimos cuadrados son estimaciones lineales, como se deduce de la fórmula anterior. Para la falta de sesgo de las estimaciones de mínimos cuadrados, es necesario y suficiente cumplir con la condición más importante del análisis de regresión: la expectativa matemática de un error aleatorio condicionado a los factores debe ser igual a cero. Esta condición se cumple, en particular, si La segunda condición, la condición de los factores exógenos, es fundamental. Si esta propiedad no se cumple, entonces podemos suponer que casi todas las estimaciones serán extremadamente insatisfactorias: ni siquiera serán consistentes (es decir, incluso una gran cantidad de datos no permite obtener estimaciones cualitativas en este caso). En el caso clásico, se hace una suposición más fuerte sobre el determinismo de los factores, en contraste con un error aleatorio, lo que automáticamente significa que se cumple la condición exógena. En el caso general, para la consistencia de las estimaciones, es suficiente satisfacer la condición de exogeneidad junto con la convergencia de la matriz Vx (\displaystyle V_(x)) a alguna matriz no degenerada a medida que el tamaño de la muestra aumenta hasta el infinito. Para que, además de la consistencia y la falta de sesgo, las estimaciones de mínimos cuadrados (ordinarios) también sean efectivas (las mejores en la clase de estimaciones lineales sin sesgo), se deben satisfacer propiedades adicionales de un error aleatorio: Estos supuestos se pueden formular para la matriz de covarianza del vector de errores aleatorios V (ε) = σ 2 yo (\displaystyle V(\varepsilon)=\sigma ^(2)I). Un modelo lineal que satisface estas condiciones se llama clásico. Las estimaciones de OLS para la regresión lineal clásica son estimaciones no sesgadas, consistentes y más eficientes en la clase de todas las estimaciones lineales no sesgadas (en la literatura inglesa, la abreviatura se usa a veces azul (Mejor estimador lineal imparcial) es la mejor estimación lineal insesgada; en la literatura nacional, se cita más a menudo el teorema de Gauss - Markov). Como es fácil de demostrar, la matriz de covarianza del vector de estimación de coeficientes será igual a: V (segundo ^ O L S) = σ 2 (X T X) − 1 (\displaystyle V((\hat (b))_(OLS))=\sigma ^(2)(X^(T)X)^(-1 )). Eficiencia significa que esta matriz de covarianza es "mínima" (cualquier combinación lineal de coeficientes, y en particular los propios coeficientes, tienen una varianza mínima), es decir, en la clase de estimaciones lineales insesgadas, las estimaciones OLS son las mejores. Los elementos diagonales de esta matriz -las varianzas de las estimaciones de los coeficientes- son parámetros importantes de la calidad de las estimaciones obtenidas. Sin embargo, no es posible calcular la matriz de covarianza porque se desconoce la varianza del error aleatorio. Se puede demostrar que la estimación imparcial y consistente (para el modelo lineal clásico) de la varianza de los errores aleatorios es el valor: S 2 = R S S / (n − k) (\displaystyle s^(2)=RSS/(n-k)). Sustituyendo este valor en la fórmula de la matriz de covarianza, obtenemos una estimación de la matriz de covarianza. Las estimaciones resultantes también son imparciales y consistentes. También es importante que la estimación de la varianza del error (y por tanto las varianzas de los coeficientes) y las estimaciones de los parámetros del modelo sean variables aleatorias independientes, lo que permite obtener estadísticos de prueba para contrastar hipótesis sobre los coeficientes del modelo. Cabe señalar que si no se cumplen los supuestos clásicos, las estimaciones de los parámetros de mínimos cuadrados no son las más eficientes y, cuando W (\ estilo de visualización W) es una matriz de peso definida positiva simétrica. Los mínimos cuadrados ordinarios son un caso especial de este enfoque, cuando la matriz de peso es proporcional a la matriz identidad. Como es sabido, para matrices simétricas (u operadores) existe una descomposición W = PAGS T PAGS (\displaystyle W=P^(T)P). Por lo tanto, este funcional se puede representar de la siguiente manera mi T PAGS T PAGS mi = (PAGS mi) T PAGS mi = mi ∗ T mi ∗ (\displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *)), es decir, este funcional se puede representar como la suma de los cuadrados de algunos "residuales" transformados. Por lo tanto, podemos distinguir una clase de métodos de mínimos cuadrados: métodos LS (Least Squares). Se demuestra (teorema de Aitken) que para un modelo de regresión lineal generalizado (en el que no se imponen restricciones a la matriz de covarianza de errores aleatorios), los más efectivos (en la clase de estimaciones lineales no sesgadas) son las estimaciones de los llamados. MCO generalizado (OMNK, GLS - Mínimos cuadrados generalizados)- Método LS con una matriz de peso igual a la matriz de covarianza inversa de errores aleatorios: W = V ε − 1 (\displaystyle W=V_(\varepsilon)^(-1)). Se puede demostrar que la fórmula para las estimaciones GLS de los parámetros del modelo lineal tiene la forma segundo ^ GRAMO L S = (X T V − 1 X) − 1 X T V − 1 y (\displaystyle (\hat (b))_(GLS)=(X^(T)V^(-1)X)^(-1) X^(T)V^(-1)y). La matriz de covarianza de estas estimaciones, respectivamente, será igual a V (segundo ^ GRAMO L S) = (X T V − 1 X) − 1 (\displaystyle V((\hat (b))_(GLS))=(X^(T)V^(-1)X)^(- una)). De hecho, la esencia del OLS radica en una cierta transformación (lineal) (P) de los datos originales y la aplicación de los mínimos cuadrados habituales a los datos transformados. El propósito de esta transformación es que para los datos transformados, los errores aleatorios ya satisfagan los supuestos clásicos. En el caso de una matriz de pesos diagonal (y por tanto de la matriz de covarianza de errores aleatorios), tenemos los llamados mínimos cuadrados ponderados (WLS - Weighted Least Squares). En este caso, se minimiza la suma ponderada de cuadrados de los residuos del modelo, es decir, cada observación recibe un “peso” que es inversamente proporcional a la varianza del error aleatorio en esta observación: mi T W mi = ∑ t = 1 norte mi t 2 σ t 2 (\displaystyle e^(T)We=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ sigma_(t)^(2)))). De hecho, los datos se transforman ponderando las observaciones (dividiendo por una cantidad proporcional a la desviación estándar asumida de los errores aleatorios), y se aplican mínimos cuadrados normales a los datos ponderados. ISBN 978-5-7749-0473-0. Aproximamos la función por un polinomio de segundo grado. Para ello, calculamos los coeficientes del sistema normal de ecuaciones: , Compongamos un sistema normal de mínimos cuadrados, que tiene la forma: La solución del sistema es fácil de encontrar:, , . Así, se encuentra el polinomio de segundo grado: . Antecedentes teóricos volver a la página<Введение в вычислительную математику. Примеры> Ejemplo 2. Encontrar el grado óptimo de un polinomio. volver a la página<Введение в вычислительную математику. Примеры> Ejemplo 3. Derivación de un sistema normal de ecuaciones para encontrar los parámetros de una dependencia empírica. Derivemos un sistema de ecuaciones para determinar los coeficientes y funciones Entonces el sistema normal tomará la forma: Hemos obtenido un sistema lineal de ecuaciones para parámetros desconocidos y de fácil solución. Antecedentes teóricos volver a la página<Введение в вычислительную математику. Примеры> Ejemplo. Datos experimentales sobre los valores de las variables. X y a se dan en la tabla. Como resultado de su alineación, la función Usando método de mínimos cuadrados, aproximar estos datos con una dependencia lineal y=ax+b(buscar opciones a y b). Averigüe cuál de las dos líneas es mejor (en el sentido del método de mínimos cuadrados) alinea los datos experimentales. Haz un dibujo. El problema es encontrar los coeficientes de dependencia lineal para los cuales la función de dos variables a y b Así, la solución del ejemplo se reduce a encontrar el extremo de una función de dos variables. Se compila y resuelve un sistema de dos ecuaciones con dos incógnitas. Hallar derivadas parciales de funciones Resolvemos el sistema de ecuaciones resultante por cualquier método (por ejemplo método de sustitución o el método de Cramer) y obtener fórmulas para encontrar coeficientes usando el método de mínimos cuadrados (LSM). con datos a y b función Ese es todo el método de mínimos cuadrados. Fórmula para encontrar el parámetro. a contiene las sumas , , y el parámetro norte es la cantidad de datos experimentales. Se recomienda calcular los valores de estas sumas por separado. Coeficiente b encontrado después del cálculo a. Es hora de recordar el ejemplo original. Solución. En nuestro ejemplo n=5. Completamos la tabla por conveniencia de calcular las cantidades que se incluyen en las fórmulas de los coeficientes requeridos. Los valores de la cuarta fila de la tabla se obtienen multiplicando los valores de la 2ª fila por los valores de la 3ª fila para cada número i. Los valores de la quinta fila de la tabla se obtienen elevando al cuadrado los valores de la 2da fila para cada número i. Los valores de la última columna de la tabla son las sumas de los valores de las filas. Usamos las fórmulas del método de los mínimos cuadrados para encontrar los coeficientes a y b. Sustituimos en ellos los valores correspondientes de la última columna de la tabla: Como consecuencia, y=0.165x+2.184 es la línea recta de aproximación deseada. Queda por saber cuál de las líneas y=0.165x+2.184 o Para hacer esto, debe calcular las sumas de las desviaciones al cuadrado de los datos originales de estas líneas. Dado que , entonces la línea y=0.165x+2.184 se aproxima mejor a los datos originales. Todo se ve muy bien en las listas. La línea roja es la línea encontrada. y=0.165x+2.184, la línea azul es ¿Para qué sirve, para qué sirven todas estas aproximaciones? Personalmente, lo uso para resolver problemas de suavizado de datos, problemas de interpolación y extrapolación (en el ejemplo original, se le podría pedir que encuentre el valor del valor observado y a x=3 o cuando x=6 según el método MNC). Pero hablaremos más sobre esto más adelante en otra sección del sitio. Parte superior de la página Prueba. para que cuando se encuentre a y b función toma el valor más pequeño, es necesario que en este punto la matriz de la forma cuadrática del diferencial de segundo orden para la función La diferencial de segundo orden tiene la forma: Eso es Por lo tanto, la matriz de la forma cuadrática tiene la forma Demostremos que la matriz es definida positiva. Esto requiere que los ángulos menores sean positivos. Angular menor de primer orden Angular menor de segundo orden Probemos que Conclusión: valores encontrados a y b corresponden al valor más pequeño de la función ¿Alguna vez entendiste? Parte superior de la página Extrapolación
— este es un método de investigación científica, que se basa en la difusión de tendencias pasadas y presentes, patrones, relaciones con el desarrollo futuro del objeto de pronóstico. Los métodos de extrapolación incluyen
método de promedio móvil, método de suavizado exponencial, método de mínimos cuadrados. Esencia método de mínimos cuadrados
consiste en minimizar la suma de las desviaciones al cuadrado entre los valores observados y calculados. Los valores calculados se encuentran de acuerdo con la ecuación seleccionada: la ecuación de regresión. Cuanto menor sea la distancia entre los valores reales y los calculados, más preciso será el pronóstico basado en la ecuación de regresión. El análisis teórico de la esencia del fenómeno en estudio, el cambio en el que se muestra por una serie de tiempo, sirve como base para elegir una curva. A veces se tienen en cuenta consideraciones sobre la naturaleza del crecimiento de los niveles de la serie. Entonces, si el crecimiento de la producción se espera en una progresión aritmética, entonces el suavizado se realiza en línea recta. Si resulta que el crecimiento es exponencial, entonces se debe suavizar de acuerdo con la función exponencial. La fórmula de trabajo del método de los mínimos cuadrados
: Y t+1 = a*X + b, donde t + 1 es el período de pronóstico; Уt+1 – indicador predicho; ayb son coeficientes; X es un símbolo del tiempo. Los coeficientes a y b se calculan según las siguientes fórmulas: donde, Uf - los valores reales de la serie de dinámicas; n es el número de niveles en la serie temporal; La suavización de series de tiempo por el método de mínimos cuadrados sirve para reflejar los patrones de desarrollo del fenómeno en estudio. En la expresión analítica de una tendencia, el tiempo se considera como una variable independiente, y los niveles de la serie actúan en función de esta variable independiente. El desarrollo de un fenómeno no depende de cuántos años hayan pasado desde su punto de partida, sino de qué factores influyeron en su desarrollo, en qué dirección y con qué intensidad. De esto se desprende que el desarrollo de un fenómeno en el tiempo aparece como resultado de la acción de estos factores. Establecer correctamente el tipo de curva, el tipo de dependencia analítica en el tiempo es una de las tareas más difíciles del análisis pre-predictivo.
. La elección del tipo de función que describe la tendencia, cuyos parámetros se determinan por el método de los mínimos cuadrados, es en la mayoría de los casos empírica, construyendo una serie de funciones y comparándolas entre sí en términos del valor de la raíz -error cuadrático medio, calculado por la fórmula: donde Uf - los valores reales de la serie de dinámicas; Ur – valores calculados (suavizados) de la serie temporal; n es el número de niveles en la serie temporal; p es el número de parámetros definidos en las fórmulas que describen la tendencia (tendencia de desarrollo). Desventajas del método de mínimos cuadrados
: Una tarea
. Hay datos que caracterizan el nivel de desempleo en la región, % solución de mínimos cuadrados
Para la solución, compilaremos una tabla en la que haremos los cálculos necesarios: ε = 28,63/10 = 2,86 % Precisión de pronóstico alto. Conclusión
: Comparación de los resultados obtenidos en los cálculos método de promedio móvil
, Suavizado exponencial
y el método de mínimos cuadrados, podemos decir que el error relativo promedio en los cálculos por el método de suavizado exponencial cae dentro del 20-50%. Esto significa que la precisión de la predicción en este caso es solo satisfactoria. En el primer y tercer caso, la precisión del pronóstico es alta, ya que el error relativo promedio es menor al 10%. Pero el método de promedio móvil permitió obtener resultados más confiables (pronóstico para noviembre - 1.52%, pronóstico para diciembre - 1.53%, pronóstico para enero - 1.49%), ya que el error relativo promedio al usar este método es el más pequeño - 1 ,13%. Lista de fuentes utilizadas i- número del punto experimental; Haga clic en el gráfico En el campo de datos, ingrese en cada línea separada los valores de `x` e `y` en un punto experimental. Los valores deben estar separados por espacios en blanco (espacio o tabulador). El tercer valor puede ser el peso en puntos de `w`. Si no se especifica el peso del punto, entonces es igual a uno. En la gran mayoría de los casos, los pesos de los puntos experimentales son desconocidos o no calculados; todos los datos experimentales se consideran equivalentes. A veces, los pesos en el rango de valores estudiado definitivamente no son equivalentes e incluso pueden calcularse teóricamente. Por ejemplo, en espectrofotometría, los pesos se pueden calcular usando fórmulas simples, aunque básicamente todos descuidan esto para reducir los costos de mano de obra. Los datos se pueden pegar a través del portapapeles desde una hoja de cálculo de oficina como Excel de Microsoft Office o Calc de Open Office. Para ello, seleccione el rango de datos que desea copiar en la hoja de cálculo, cópielo en el portapapeles y pegue los datos en el campo de datos de esta página. Para calcular por el método de mínimos cuadrados, se requieren al menos dos puntos para determinar dos coeficientes `b` - la tangente del ángulo de inclinación de la línea recta y `a` - el valor cortado por la línea recta en `y `eje. Para estimar el error de los coeficientes de regresión calculados, es necesario establecer el número de puntos experimentales en más de dos. Cuanto mayor sea el número de puntos experimentales, más precisa será la estimación estadística de los coeficientes (debido a la disminución del coeficiente de Student) y más cercana será la estimación a la estimación de la muestra general. La obtención de valores en cada punto experimental a menudo se asocia con costos de mano de obra significativos, por lo tanto, a menudo se lleva a cabo un número de compromiso de experimentos, lo que da una estimación digerible y no conduce a costos de mano de obra excesivos. Como regla general, el número de puntos experimentales para una dependencia lineal de mínimos cuadrados con dos coeficientes se elige en la región de 5 a 7 puntos. Supongamos que tenemos un conjunto de datos experimentales en forma de pares de valores [`y_i`, `x_i`], donde `i` es el número de una medida experimental de 1 a `n`; `y_i` - el valor del valor medido en el punto `i`; `x_i` - el valor del parámetro que establecemos en el punto `i`. Un ejemplo es el funcionamiento de la ley de Ohm. Al cambiar el voltaje (diferencia de potencial) entre las secciones del circuito eléctrico, medimos la cantidad de corriente que pasa a través de esta sección. La física nos da la dependencia encontrada experimentalmente: `I=U/R`, En este caso, `y_i` es el valor de corriente medido y `x_i` es el valor de voltaje. Como otro ejemplo, considere la absorción de luz por una solución de una sustancia en solución. La química nos da la fórmula: `A = εl C`, En este caso, `y_i` es la densidad óptica medida `A`, y `x_i` es la concentración de la sustancia que establecemos. Consideraremos el caso en el que el error relativo al establecer `x_i` es mucho menor que el error relativo al medir `y_i`. También supondremos que todos los valores medidos de `y_i` son aleatorios y normalmente distribuidos, es decir obedecer la ley de distribución normal. En el caso de una dependencia lineal de `y` en `x`, podemos escribir la dependencia teórica: Desde un punto de vista geométrico, el coeficiente 'b' denota la tangente de la pendiente de la línea al eje 'x', y el coeficiente 'a' - el valor de 'y' en el punto de intersección de la línea con el ' eje y` (con `x = 0`). En un experimento, los valores medidos de `y_i` no pueden estar exactamente en la línea teórica debido a los errores de medición, que siempre son inherentes a la vida real. Por lo tanto, una ecuación lineal debe estar representada por un sistema de ecuaciones: La dependencia (1) también se llama regresión, es decir. la dependencia de dos cantidades entre sí con significación estadística. La tarea de restaurar la dependencia es encontrar los coeficientes `a` y `b` de los puntos experimentales [`y_i`, `x_i`]. Para encontrar los coeficientes `a` y `b` se suele utilizar método de mínimos cuadrados(MNK). Es un caso especial del principio de máxima verosimilitud. Reescribamos (1) como `ε_i = y_i - a - b x_i`. Entonces la suma de los errores al cuadrado será El principio del método de mínimos cuadrados es minimizar la suma (2) con respecto a los parámetros `a` y `b`. El mínimo se alcanza cuando las derivadas parciales de la suma (2) con respecto a los coeficientes `a` y `b` son iguales a cero: Desarrollando las derivadas, obtenemos un sistema de dos ecuaciones con dos incógnitas: Abrimos los paréntesis y trasladamos las sumas independientes de los coeficientes requeridos a la otra mitad, obtenemos un sistema de ecuaciones lineales: Resolviendo el sistema resultante, encontramos fórmulas para los coeficientes `a` y `b`: `a = frac(suma_(i=1)^(n) y_i suma_(i=1)^(n) x_i^2 - suma_(i=1)^(n) x_i suma_(i=1)^(n ) x_iy_i) (n suma_(i=1)^(n) x_i^2 — (suma_(i=1)^(n) x_i)^2)` (3.1) `b = frac(n suma_(i=1)^(n) x_iy_i - suma_(i=1)^(n) x_i suma_(i=1)^(n) y_i) (n suma_(i=1)^ (n) x_i^2 - (suma_(i=1)^(n) x_i)^2)` (3.2) Estas fórmulas tienen soluciones cuando `n > 1` (la línea se puede dibujar usando al menos 2 puntos) y cuando el determinante `D = n sum_(i=1)^(n) x_i^2 — (sum_(i= 1 )^(n) x_i)^2 != 0`, es decir cuando los puntos `x_i` en el experimento son diferentes (es decir, cuando la línea no es vertical). Para una estimación más precisa del error en el cálculo de los coeficientes 'a' y 'b', es deseable un gran número de puntos experimentales. Cuando `n = 2`, es imposible estimar el error de los coeficientes, porque la recta de aproximación pasará únicamente por dos puntos. Se determina el error de la variable aleatoria `V` ley de acumulación de errores Escribamos la ley de acumulación de errores para el error de los coeficientes `a` y `b` `S_y^2 = S_(y_i)^2`: el error (varianza, desviación estándar al cuadrado) en la dimensión `y`, asumiendo que el error es uniforme para todos los valores `y`. Sustituyendo las fórmulas para calcular `a` y `b` en las expresiones resultantes, obtenemos `S_a^2 = S_y^2 frac(suma_(i=1)^(n) (suma_(i=1)^(n) x_i^2 - x_i suma_(i=1)^(n) x_i)^2 ) (D^2) = S_y^2 frac((n suma_(i=1)^(n) x_i^2 - (suma_(i=1)^(n) x_i)^2) suma_(i=1) ^(n) x_i^2) (D^2) = S_y^2 frac(suma_(i=1)^(n) x_i^2) (D)` (4.1) `S_b^2 = S_y^2 frac(suma_(i=1)^(n) (n x_i - suma_(i=1)^(n) x_i)^2) (D^2) = S_y^2 frac( n (n suma_(i=1)^(n) x_i^2 - (suma_(i=1)^(n) x_i)^2)) (D^2) = S_y^2 frac(n) (D) ` (4.2) En la mayoría de los experimentos reales, no se mide el valor de `Sy`. Para ello, es necesario realizar varias mediciones paralelas (experimentos) en uno o varios puntos del plano, lo que aumenta el tiempo (y posiblemente el coste) del experimento. Por lo tanto, generalmente se asume que la desviación de `y` de la línea de regresión puede considerarse aleatoria. La estimación de la varianza `y` en este caso se calcula mediante la fórmula. `S_y^2 = S_(y, resto)^2 = frac(suma_(i=1)^n (y_i - a - b x_i)^2) (n-2)`. El divisor `n-2` aparece porque hemos reducido el número de grados de libertad debido al cálculo de dos coeficientes para la misma muestra de datos experimentales. Esta estimación también se denomina varianza residual relativa a la línea de regresión `S_(y, rest)^2`. La valoración de la significación de los coeficientes se realiza según el criterio de Student `t_a = fracción(|a|) (S_a)`, `t_b = fracción(|b|) (S_b)` Si los criterios calculados `t_a`, `t_b` son menores que los criterios de la tabla `t(P, n-2)`, entonces se considera que el coeficiente correspondiente no es significativamente diferente de cero con una probabilidad dada `P`. Para evaluar la calidad de la descripción de una relación lineal, puede comparar `S_(y, rest)^2` y `S_(bar y)` en relación con la media utilizando el criterio de Fisher. `S_(bar y) = frac(sum_(i=1)^n (y_i - bar y)^2) (n-1) = frac(sum_(i=1)^n (y_i - (sum_(i= 1)^n y_i) /n)^2) (n-1)` - estimación muestral de la varianza de `y` relativa a la media. Para evaluar la efectividad de la ecuación de regresión para describir la dependencia, se calcula el coeficiente de Fisher Si `F > F(P, n-1, n-2)`, la diferencia entre la descripción de la dependencia `y = f(x)` usando la ecuación de regresión y la descripción usando la media se considera estadísticamente significativa con probabilidad `P`. Aquellos. la regresión describe la dependencia mejor que la dispersión de `y` alrededor de la media. Haga clic en el gráfico El método de mínimos cuadrados significa la determinación de parámetros desconocidos a B C,… dependencia funcional aceptada y = f(x,a,b,c,…), que proporcionaría un mínimo del cuadrado medio (varianza) del error donde x i , y i - conjunto de pares de números obtenidos del experimento. Dado que la condición para el extremo de una función de varias variables es la condición de que sus derivadas parciales sean iguales a cero, entonces los parámetros a B C,… se determinan a partir del sistema de ecuaciones: ; ; ; … (25) Debe recordarse que el método de mínimos cuadrados se usa para seleccionar parámetros después de la forma de la función y = f(x) definido. Si a partir de consideraciones teóricas es imposible sacar conclusiones sobre cuál debería ser la fórmula empírica, entonces uno debe guiarse por representaciones visuales, principalmente una representación gráfica de los datos observados. En la práctica, la mayoría de las veces se limita a los siguientes tipos de funciones: 1) lineal 2) cuadrático a . La esencia del método de los mínimos cuadrados es
en encontrar los parámetros del modelo de tendencia que mejor describe la tendencia de desarrollo de cualquier fenómeno aleatorio en el tiempo o el espacio (una tendencia es una línea que caracteriza la tendencia de este desarrollo). La tarea del método de mínimos cuadrados (OLS) es encontrar no solo un modelo de tendencia, sino encontrar el modelo mejor u óptimo. Este modelo será óptimo si la suma de las desviaciones al cuadrado entre los valores reales observados y los valores de tendencia calculados correspondientes es mínima (la más pequeña): donde es la desviación estándar entre el valor real observado y el correspondiente valor de tendencia calculado, El valor real (observado) del fenómeno en estudio, Valor estimado del modelo de tendencia, El número de observaciones del fenómeno en estudio. MNC rara vez se usa solo. Como regla, la mayoría de las veces se usa solo como una técnica necesaria en estudios de correlación.
Debe recordarse que la base de información del LSM solo puede ser una serie estadística confiable, y el número de observaciones no debe ser inferior a 4, de lo contrario, los procedimientos de suavizado del LSM pueden perder su sentido común. El kit de herramientas OLS se reduce a los siguientes procedimientos: Primer trámite.
Resulta si hay alguna tendencia a cambiar el atributo resultante cuando cambia el factor-argumento seleccionado, o en otras palabras, si hay una conexión entre " a
" y " X
». Segundo procedimiento.
Se determina qué línea (trayectoria) es más capaz de describir o caracterizar esta tendencia. Tercer procedimiento.
Ejemplo. Supongamos que tenemos información sobre el rendimiento promedio de girasol para la finca en estudio (Cuadro 9.1). Tabla 9.1 Número de observación Productividad, c/ha Dado que el nivel de tecnología en la producción de girasol en nuestro país no ha cambiado mucho en los últimos 10 años, significa que, muy probablemente, las fluctuaciones en el rendimiento en el período analizado dependieron mucho de las fluctuaciones en las condiciones climáticas y climáticas. ¿Es verdad? Primer procedimiento MNC.
Se está probando la hipótesis sobre la existencia de una tendencia en el cambio del rendimiento del girasol en función de los cambios en las condiciones meteorológicas y climáticas durante los 10 años analizados. En este ejemplo, para " y
» es recomendable aprovechar la cosecha de girasol, y para « X
» es el número del año observado en el período analizado. Contrastar la hipótesis sobre la existencia de alguna relación entre " X
" y " y
» se puede hacer de dos maneras: manualmente y con la ayuda de programas informáticos. Por supuesto, con la disponibilidad de la tecnología informática, este problema se resuelve por sí solo. Pero, para comprender mejor las herramientas OLS, es recomendable probar la hipótesis sobre la existencia de una relación entre " X
" y " y
» manualmente, cuando solo se tiene a mano un bolígrafo y una calculadora normal. En tales casos, la hipótesis de la existencia de una tendencia se verifica mejor visualmente mediante la ubicación de la imagen gráfica de la serie temporal analizada: el campo de correlación: El campo de correlación en nuestro ejemplo está ubicado alrededor de una línea que aumenta lentamente. Esto en sí mismo indica la existencia de una cierta tendencia en el cambio en el rendimiento del girasol. Es imposible hablar de la presencia de cualquier tendencia solo cuando el campo de correlación parece un círculo, un círculo, una nube estrictamente vertical o estrictamente horizontal, o consiste en puntos dispersos al azar. En todos los demás casos, la hipótesis de la existencia de una relación entre " X
" y " y
y continuar investigando. Segundo procedimiento MNC.
Se determina qué línea (trayectoria) es más capaz de describir o caracterizar la tendencia en los cambios de rendimiento de girasol para el período analizado. Con la disponibilidad de la tecnología informática, la selección de la tendencia óptima se produce automáticamente. Con el procesamiento "manual", la elección de la función óptima se lleva a cabo, por regla general, de forma visual, por la ubicación del campo de correlación. Es decir, según el tipo de gráfico, se selecciona la ecuación de la línea que mejor se adapta a la tendencia empírica (a la trayectoria real). Como sabes, en la naturaleza existe una gran variedad de dependencias funcionales, por lo que es extremadamente difícil analizar visualmente incluso una pequeña parte de ellas. Afortunadamente, en la práctica económica real, la mayoría de las relaciones se pueden describir con precisión mediante una parábola, una hipérbola o una línea recta. En este sentido, con la opción "manual" para seleccionar la mejor función, puedes limitarte solo a estos tres modelos. Hipérbola: Parábola de segundo orden: Es fácil ver que en nuestro ejemplo, la tendencia en los cambios en el rendimiento del girasol durante los 10 años analizados se caracteriza mejor por una línea recta, por lo que la ecuación de regresión será una ecuación de línea recta. Tercer procedimiento.
Se calculan los parámetros de la ecuación de regresión que caracteriza a esta línea, es decir, se determina una fórmula analítica que describe el mejor modelo de tendencia. Encontrar los valores de los parámetros de la ecuación de regresión, en nuestro caso, los parámetros y , es el núcleo del LSM. Este proceso se reduce a resolver un sistema de ecuaciones normales. Este sistema de ecuaciones se resuelve fácilmente por el método de Gauss. Recuerde que como resultado de la solución, en nuestro ejemplo, se encuentran los valores de los parámetros y. Así, la ecuación de regresión encontrada tendrá la siguiente forma: 
YouTube enciclopédico
subtítulos
Historia
La esencia del método de los mínimos cuadrados.
Ejemplo - sistema de ecuaciones lineales
MCO en análisis de regresión (aproximación de datos)
LSM en el caso de regresión lineal
Los casos especiales más simples.
El caso de un modelo polinomial
Propiedades estadísticas de las estimaciones de OLS
Mínimos cuadrados ponderados
, 
, que realiza la aproximación de la raíz cuadrada media de la función dada con respecto a los puntos. Componer una función 
y escriba la condición extrema necesaria para ello:
La esencia del método de mínimos cuadrados (LSM).
toma el valor más pequeño. Es decir, dados los datos a y b la suma de las desviaciones al cuadrado de los datos experimentales de la línea recta encontrada será la más pequeña. Este es el punto central del método de mínimos cuadrados.Derivación de fórmulas para encontrar coeficientes.
por variables a y b, igualamos estas derivadas a cero. 
toma el valor más pequeño. La prueba de este hecho se da a continuación en el texto al final de la página.
aproxima mejor a los datos originales, es decir, hacer una estimación usando el método de mínimos cuadrados.Estimación del error del método de mínimos cuadrados.
y 
, un valor más pequeño corresponde a una línea que se aproxima mejor a los datos originales en términos del método de mínimos cuadrados. 
Ilustración gráfica del método de mínimos cuadrados (LSM).
, los puntos rosas son los datos originales.
fue definida positiva. Mostrémoslo.
y los valores de los elementos no dependen de a y b.
. La desigualdad es estricta, ya que los puntos no coinciden. Esto quedará implícito en lo que sigue.
método de inducción matemática.
, por lo tanto, son los parámetros deseados para el método de mínimos cuadrados.
Solicite una soluciónDesarrollo de un pronóstico utilizando el método de mínimos cuadrados. Ejemplo de solucion de problema
Un ejemplo del uso del método de mínimos cuadrados para desarrollar un pronóstico
Método de mínimos cuadrados
Otros artículos relacionados:
Programa EMN
Introducir datos
Datos y Aproximación y = a + b x
x yo- el valor del parámetro fijo en el punto i;
y yo- el valor del parámetro medido en el punto i;
yo- peso de medición en el punto i;
y yo, calc.- la diferencia entre el valor medido y el valor calculado a partir de la regresión y en el punto i;
S x yo (x yo)- error de estimación x yo al medir y en el punto i.Datos y Aproximación y = k x
i
x yo
y yo
yo
y yo, calc.
Δy yo
S x yo (x yo)
Manual de usuario del programa en línea MNC.
Método de mínimos cuadrados (LSM).
Una breve teoría de los mínimos cuadrados para la dependencia lineal
donde `I` - fuerza actual; `R` - resistencia; `U` - voltaje.
donde `A` es la densidad óptica de la solución; `ε` - transmitancia de soluto; `l` - longitud del camino cuando la luz pasa a través de una cubeta con una solución; `C` es la concentración del soluto.
`y = a + bx`.Encontrar los parámetros de la recta de regresión.
`y_i = a + b x_i + ε_i` (1),
donde `ε_i` es el error de medición desconocido de `y` en el `i`ésimo experimento.
`Φ = suma_(i=1)^(n) ε_i^2 = suma_(i=1)^(n) (y_i - a - b x_i)^2`. (2)
`frac(Φ parcial)(a parcial) = frac(suma parcial_(i=1)^(n) (y_i - a - b x_i)^2)(a parcial) = 0`
`frac(Φ parcial)(b parcial) = frac(suma parcial_(i=1)^(n) (y_i - a - b x_i)^2)(b parcial) = 0`
`suma_(i=1)^(n) (2a + 2bx_i - 2y_i) = suma_(i=1)^(n) (a + bx_i - y_i) = 0`
`suma_(i=1)^(n) (2bx_i^2 + 2ax_i - 2x_iy_i) = suma_(i=1)^(n) (bx_i^2 + ax_i - x_iy_i) = 0`
`suma_(i=1)^(n) y_i = a n + b suma_(i=1)^(n) bx_i`
`suma_(i=1)^(n) x_iy_i = a suma_(i=1)^(n) x_i + b suma_(i=1)^(n) x_i^2`Estimación de errores en los coeficientes de la recta de regresión
`S_V^2 = sum_(i=1)^p (frac(f parcial)(z_i parcial))^2 S_(z_i)^2`,
donde `p` es el número de parámetros `z_i` con el error `S_(z_i)` que afectan al error `S_V`;
`f` es una función de dependencia de `V` en `z_i`.
`S_a^2 = suma_(i=1)^(n)(frac(a parcial)(y_i parcial))^2 S_(y_i)^2 + suma_(i=1)^(n)(frac(a parcial) )(x_i parcial))^2 S_(x_i)^2 = S_y^2 sum_(i=1)^(n)(frac(a parcial)(y_i parcial))^2 `,
`S_b^2 = sum_(i=1)^(n)(frac(b parcial)(y_i parcial))^2 S_(y_i)^2 + sum_(i=1)^(n)(frac(b parcial) )(x_i parcial))^2 S_(x_i)^2 = S_y^2 sum_(i=1)^(n)(frac(b parcial)(y_i parcial))^2 `,
porque `S_(x_i)^2 = 0` (previamente hicimos una reserva de que el error de `x` es insignificante).
`F = S_(barra y) / S_(y, resto)^2`,
que se compara con el coeficiente tabular de Fisher `F(p, n-1, n-2)`.
para sumar valores a la tablaMétodo de mínimos cuadrados. El método de mínimos cuadrados significa la determinación de parámetros desconocidos a, b, c, la dependencia funcional aceptada
, (24)
;
:
(9.2)
