Mtodo de Mnimos CuadradosMichelle Oviedo, Andrea Robalino, Jessica Tapia

Departamento de Ciencias Exactas, Universidad de las Fuerzas Armadas - ESPESangolqu, Ecuador

michuoviedo7.3@gmail.com ajrobalino@hotmail.comjessylive15@hotmail.com

Abstract- This document explains the Minimal Squares approximation studied in numerical methods, describing the function and calculating the interpolation with comments and details to consider before and during application when performing calculation.

Resumen.- Este documento explica en qu consiste la aproximacin de Mnimos Cuadrados, mtodo que se estudia en mtodos numricos, describiendo la funcin y clculo de la Interpolacin con observaciones y detalles que se deben considerar antes y durante su aplicacin al momento de realizar clculos

Palabras claves: regresin, control local, optimizar.

I. INTRODUCCIN

La regresin por Mnimos cuadrados se utiliza cuando se tiene una serie de datos calculados y se desea conocer valores intermedios no conocidos o cuando se desee una versin simplificada de una funcin que se ajuste a un nmero de valores concretos, y posteriormente usar la funcin simplificada para derivar nuevos valores. Para poder hacer esto es necesario contar con algunas habilidades matemticas, por ejemplo: derivacin, buen manejo del lgebra y finalmente solucin de sistemas de ecuaciones lineales grandes; que en ocasiones adolecen los estudiantes.

II. MARCO TERICO El mtodo de mnimos cuadrados sirve para interpolar valores, es decir, se usa para buscar valores desconocidos usando como referencia otras muestras del mismo evento.El mtodo consiste en acercar una lnea o una curva, segn se escoja, lo ms posible a los puntos determinados por las coordenadas [x, f(x)], que normalmente corresponden a muestras de algn experimento. Este mtodo, aunque es sencillo de implantar no es del todo preciso, pero si proporciona una interpolacin aceptable.Se puede usar una recta o una curva como base para calcular nuevos valores.

A. Definicin 1) Regresin Lineal: La regresin lineal es un tcnica para determinar la mejor lnea recta que pasa entre un conjunto de observaciones definidas por puntos (x1, y1), (x2,y2),(xn,yn). La ecuacin puede expresarse como:

Donde:y: es el valor verdadero.: son las coordenadas al origen y la pendiente de la lnea recta respectivamente.e: es el error o diferencia entre el modelo y las observaciones,

El mtodo de ajuste por mnimos cuadrados sirve para encontrar una funcin , en la que habr que calcular los parmetros Esta funcin debe ser la que se ajuste lo mejor posible a una tabla de valores que relaciona las dos variables x e y obtenida experimentalmente.[2]

TABLA ITABLA DE VALORES VARIABLES

Para calcular los parmetros se impone la condicin de que sea mnima la funcin:

Como es una funcin de n variables, una condicin necesaria para que tenga un valor extremo en un punto es que sus derivadas parciales en ese punto sean todas nulas. De aqu se obtiene un sistema de n ecuaciones, con n incgnitas:

cuyas soluciones, los parmetros nos indican cmo es la funcin que mejor se ajusta a los datos, es decir, . La funcin , puede ser tericamente de cualquier tipo, sin embargo, en la prctica (Matlab) slo se pueden calcular (directamente) cuando la funcin es un polinomio.

B. Deduccin del mtodo Sea donde k = 1,2,,n, un conjunto de n pares con abscisas distintas, y sea donde i = 1, 2,,n, un conjunto de n funciones linealmente independientes (en un espacio vectorial de funciones), que se llamarn funciones base. Se desea encontrar una funcin f(x) de dicho espacio, o sea, combinacin lineal de las funciones base, tomando por ello la forma:

Ello equivale por tanto a hallar los n coeficientes; se desea que tal funcin f(x) sea la mejor aproximacin a los n pares empleando, como criterio el del minimo error cuadrtico medio de la funcion. As se consigue un sistema de m ecuaciones con m incgnitas, que recibe el nombre de Ecuaciones normales de Gauss, y al operar con ellas se obtiene:

Al desarrollar la suma, se visualiza la ecuacin i-sima del sistema de ecuaciones normales:

Lo cual, en forma matricial, se expresa como:

Siendo el producto escalar discreto, definido para dos funciones dadas h(x) y g(x) como:

Y para una funcin h(x) y vector cualquiera u, como:

La resolucin de dicho sistema permite obtener, para cualquier base de funciones derivables localmente, la funcin f(x) que sea mejor aproximacin mnimo cuadrtica al conjunto de puntos antes mencionado. La solucin es ptima es decir, proporciona la mejor aproximacin siguiendo el criterio de mnimo error cuadrtico, puesto que se obtiene al optimizar el problema.[3]

Fig 1. Aproximacin de mnimos cuadrados 1) Regresin Polinomial: Ya se desarroll un procedimiento para obtener la ecuacin de una lnea recta por medio del criterio de mnimos cuadrados. Sin embargo, aunque algunos datos exhiben un patrn marcado como el de una lnea recta, una curva podra ser ms adecuada para ajustarse a los datos. Un mtodo para lograr este objetivo es utilizar transformaciones. Otra alternativa es ajustar polinomios a los datos mediante regresin polinomial. El procedimiento de mnimos cuadrados se puede extender fcilmente al ajuste de datos con un polinomio de grado superior. Suponga que se ajusta un polinomio de segundo grado o cuadrtico:

En este caso, la suma de los cuadrados de los residuos es:

Se obtienen las derivadas parciales de la ecuacin con respecto a cada uno de los coeficientes desconocidos del polinomio:

Y nuevamente al igualar estas ecuaciones a cero, se reordenan para obtener el siguiente conjunto de ecuaciones normales:

donde todas las sumatorias van desde i = 1, 2,,n. se observa que las tres ecuaciones anteriores son lineales y tienen tres incgnitas: . Los coeficientes de las incgnitas se evalan de manera directa, a partir de los datos observados. En el caso de determinar un polinomio de segundo grado por mnimos cuadrados es equivalente a resolver un sistema de tres ecuaciones lineales simultneas. El caso bidimensional se extiende con facilidad a un polinomio de m-simo grado: El anlisis anterior se puede extender fcilmente a este caso ms general. As, se reconoce que la determinacin de los coeficientes de un polinomio de m-simo grado es equivalente a resolver un sistema de m + 1 ecuaciones lineales simultneas. [1]C. Clculo del Error de la Interpolacin con Mnimos Cuadrados

Se inicia mostrando el error o diferencia entre el modelo y las observaciones, el cual se representa al reordenar la ecuacin como:

: es el valor pronosticado de la variable dependiente.

La aproximacin por mnimos cuadrados se basa en la minimizacin del error cuadrtico medio o, equivalentemente, en la minimizacin del radicando de dicho error, el llamado error cuadrtico.

La media aritmtica () de una muestra se define como la suma de los datos individuales (yi) dividida entre el nmero de puntos (n), o:

La desviacin estndar (S) es la medida ms y comn del espaciamiento de una muestra alrededor de la media: si las mediciones estn muy espaciadas alrededor de la media, la desviacin estndar ser grande; si estn agrupadas cerca de ella, ser pequea. Donde St es la suma total de los cuadrados de los residuos entre los datos y una sola estimacin de la medida de tendencia central (la media).

Donde:

La varianza es el cuadrado de la desviacin estndar.

1) Cuantificacin del Error de una Regresin Lineal:Se vio que la suma de los cuadrados de los residuos (Sr) representa el cuadrado de la distancia vertical entre los datos y otra medida de tendencia central: la lnea recta.

Fig 2. Suma de los cuadrados Una desviacin estndar para la lnea de regresinse puede determinar:

Donde es llamado el error estndar del estimado, la notacin del subndice y/x" designa que el error es para un valor predicho de y correspondiente a un valor particular de x; asimismo, se divide entre n-2 debido a los dos datos estimado (ao y a1) que se usaron para calcular Sr; el error estndar de la estimacin cuantifica la dispersin de los datos. Sin embargo, cuantifica la dispersin alrededor de la lnea de regresin. [6]

D. Comparacin con otros mtodosTABLA IICOMPARACIN CON MTODOS SIMILARES DE INTERPOLACIN MEDIANTE EL INGRESO DE DATOSNMtodoFuncinVentajasDesventajas

1MnimosCuadra-dosLas soluciones recursivas del mtodo se des-criben en base al concepto de nueva infor-macin para los casos de aumentar el nmero de pa-rmetros o el nmero de datos.Para buscar valores desconocidos usando como referencia otras muestras del mismo evento.Se obtiene una solucin com-pacta para una situacin en la que se conside-ren restriccio-nes lineales y, finalmente, se trata el caso de que exista una dependencia no lineal de la seal con los parmetros que se desean estimar.

Proporciona intervalos pequeos de error.Es necesario contar con un importante grupo de datos para obtener resultados confiables. Los resultados de la regresin son sensibles a la forma funcional si no se interpreta correctamente el trmino de error.

2Spline cbicaSe usan poli-nomios de grado 3 para unir dos puntos de la funcin entre s, es decir en vez de utilizar un polinomio de alto grado se usan varios de grado 3.La funcin de interpolacintendr una pri-mera derivada suavizada y una segunda deri-vada continua,tanto dentro de los intervalos como en los puntos de control.No permiten control local de la curva. Si se altera la posicin de cualquier punto de control, afecta la curva entera.

3Interpo-lacin de Newton Para estimar valores inter-medios entre valores de una funcin conocidos.

Se agregan tr-minos en forma secuencial para capturar el comportamien-to de la funcin a analizar.La ecuacin del Polinomio de Interpolacin por Diferencias Divididas es similar a la serie de expan-sin deTaylor.La interpola-cin lineal es rpida y senci-lla, pero no muy precisa.

Este mtodo es til para situaciones que requieran un nmero bajo de puntos para interpolar.

4Interpo-lacin de LagrangeEs una refor-mulacin del polinomio de Newton que evita calcular las diferencias divididas.

Evala el polinomio obtenido para estimar valores de la funcin entre los dos puntos disponibles.Es rpida y fcil, ya que solamente se hace el clculo de trayectoria de dos puntos.

Entre ms pequeo sea el intervalo entre dos puntos, ms exacta ser la aproximacin.Si el compor-tamiento no corresponde al de una lnea recta los valores calculados no son correctos.Por interconec-tar dos puntos en lnea recta, los resulta-dos no se ajustan con exactitud.

III. EJERCICIOS DE APLICACIN1) Una poblacin de conejos en una gran isla se estim desde 1981 hasta 1984 y se obtuvieron los datos:

TABLA IIIDATOS DEL EJERCICIOAoN

19812960

19824540

19838080

198417060

Se espera que los datos se ajusten a una funcin exponencial

Use el mtodo de mnimos cuadrados para hacer este ajuste. Usando esto determine la poblacin en 1985. Nota: Tome logaritmos para convertir el ajuste a un modelo lineal.Solucin:Tomando logaritmo natural al modelo propuesto

Tenemos:

Si el modelo buscado es:

siendo los parmetros incgnitas k y b. Al aadir a la tabla de datosla columna queda:TABLA IVRESULTADOS DEL EJERCICIOAoN

198129607.992944547

198245408.420682291

198380808.997147152

1984170609.744491821

Al sustituir los datos en el modelo, obtenemos las ecuaciones:0 k + b = 7.9929445471 k + b = 8.4206822912 k + b = 8.9971471523 k + b = 9.744491821As, el sistema tiene la forma A x = b con

De donde:

Por tanto, la matriz aumentada de las ecuaciones normales y su reduccin quedan:

Concluimos que k = 0.583110664 y . Por tanto, el modelo que minimiza el error cuadrtico bajo el logaritmo natural es:

Por tanto el estimado de la poblacin para t = 1985 sera:

2) Determina la recta de mnimos cuadrados para el porcentaje de calificaciones por encima del 80 que ha reunido el profesor de lgebra lineal. Adems, calcule el porcentaje esperado despus del dcimo semestreTABLA VDATOS DEL PORCENTAJE DE CALIFICACIONES Semestre12345

Porcentaje 0.200.250.200.450.40

Meta: Encontrar un modelo que minimice el error total

En este caso se desea ajustar los puntos proporcionados a un modelo lineal que en general tiene la forma:

Los parmetros constantes a determinar en este modelo son m y b. Las variables en este modelo representan: x el semestre y y el porcentaje de calificaciones por encima del 80. Es importante observar que nuestras incgnitas son las constantes del modelo no las variables: las variables tomarn sus valores de los datos muestreados As, el primer dato (semestre=1, porcentaje de calificacin=0.20) se convierte en la ecuacin:m (semestre 1) + b = porcentaje 0.20 es decir b + m = 0.20 El segundo dato (semestre=2, porcentaje de calificacin=0.25) se convierte en la ecuacin:m (2) + b = 0.25, es decir: b + 2 m = 0.25 El tercer dato (semestre=3, porcentaje de calificacin=0.20) se convierte en la ecuacin: m (3) + b = 0.20, es decir: b + 3 m = 0.20 El cuarto dato (semestre=4, porcentaje de calificacin=0.35) se convierte en la ecuacin: m (4) + b = 0.35, es decir: b + 4 m = 0.35Continuando con este proceso nos lleva el sistema de ecuaciones:b + 1 m = 0.20b + 2 m = 0.25b + 3 m = 0.20b + 4 m = 0.35b + 5 m = 0.45b + 6 m = 0.40Este sistema se escribe en la notacin matricial= b

Siendo

Por tanto,

Y

As, las ecuaciones normales son:

Resolviendo este sistema:

Por consiguiente, = 0.05 y = 0.13333De manera que la recta esy = 0.13333 + 0.05xPara x = 10 se obtieney = 0.13333 + 0.05 10 = 0.63333. Esto significa que ms o menos esperaramos 63.3 % de calificaciones estaran por encima del 80 en el dcimo semestre, si contina esta tendencia de calificaciones.3) El calor especfico Cp (cal/ k gmol) del vara con la temperatura de acuerdo con la siguiente tabla TABLA VIDATOS DEL CALOR ESPECFICO Punto123456

T(K)2806501000120015001700

Cp (cal/ k gmol)32.745.452.1553.752.950.3

Aproxime esta informacin con un polinomio por el mtodo de mnimos cuadrados. El calor especfico aumenta con la temperatura hasta el valor tabulado de 1200K, para disminuir posteriormente en valores ms altos de temperatura. Esto sugiere utilizar un polinomio con curvatura en vez de una recta, por ejemplo, uno de segundo grado, que es el ms simple. Para facilitar el clculo de los coeficientes de ecuaciones se construye la tabla. TABLA VIIDATOS DEL CLCULO DE COEFICIENTES PuntosiT Cp

128045.49156

265052.1529510

3100053.752150

4120052.964440

5150050.379350

61700287.1585510

6330287.15320116

Los coeficientes se sustituyen en el sistema de ecuaciones de acuerdo a:

IV. IMPLEMENTACIN EN MATLABTabla de ComandosTABLA IITABLA DE COMANDOS

FuncinDescripcinSintaxisArg 1Arg 2EntradaSalida

vpaDefine el nmero de decimales de una nmerovpa[Arg1,Arg2]xnvpa(0.021200003,3)0.021

inlinetransforma en funcin una cadena de caracteres.g = inline(y)yInline(x^2+2*x-3)g=x^2+2*x-3

Diagrama de Flujo

Fig. 3 Diagrama de Flujo del programa Manual de UsuarioNombre Programa: Salida: Funcin de ajuste por mnimos cuadrados Este programa debe ser corrido para que se pueda empezar; se desplegar una orden inicial donde se pide al usuario el nmero de puntos que desea utilizar, y el ingreso de cada uno de los X y las Y, desplegndose un grfico de dichos puntos. Luego de ingresar los valores de los puntos, aparecer un men para escoger si desea ajuste lineal, cuadrtico o cbico.

Fig. 4 Ingreso inicial del programa

Fig. 5 Grfica de los puntos ingresados

1) Ejemplo 1: Ajuste Lineal

Al escoger la primera opcin aparecer en la pantalla el polinomio obtenido y los diferentes errores. Luego se despliega nuevamente el men anterior con las mismas opciones y la de salir del programa.

Fig. 6 Ajuste lineal de los puntos Se puede observar tambin que aparecer la grfica de la recta solucin.

Fig. 7 Grfica recta de ajuste lineal2) Ejemplo 2: Ajuste Cudrtico

Al escoger la segunda opcin aparecer en la pantalla el polinomio obtenido y los diferentes errores. Luego se despliega nuevamente el men anterior con las mismas opciones y la de salir del programa.

Fig. 8 Ajuste cuadrtico de los puntos Se puede observar tambin que aparecer la grfica del polinomio solucin.Fig. 9 Grfica polinomio de ajuste cuadrtico3) Ejemplo 3: Ajuste Cbico

Al escoger la tercera opcin aparecer en la pantalla el polinomio obtenido y los diferentes errores. Luego se despliega nuevamente el men anterior con las mismas opciones y la de salir del programa.

Fig. 10 Ajuste cbico de los puntos Se puede observar tambin que aparecer la grfica del polinomio solucin.Fig. 11 Grfica polinomio de ajuste cbico

V. CONCLUSIONES Al aplicar el mtodo de Mnimos Cuadrados, se obtiene una solucin compacta para una situacin en la que se consideren restricciones lineales y, finalmente, se trata el caso de que exista una dependencia no lineal de la seal con los parmetros que se desean estimar. La aproximacin por mnimos cuadrados se basa en la minimizacin del error cuadrtico medio o, equivalentemente, en la minimizacin del radicando de dicho error, el llamado error cuadrtico. El mtodo de Mnimos Cuadrados Determinista es propiamente un mtodo de aproximacin. Su interpretacin geomtrica nos conduce a un importante principio: el principio de ortogonalidad cuya validez es extensible a cualquier espacio de Hilbert. [4]

El caso ms complicado es el de dependencia no lineal en la que la solucin al problema pocas veces adopta la forma de una expresin cerrada.

VI. RECOMENDACIONES

REFERENCIAS

[1] Chapra S., Canale R., (2007). Mtodos Numricos para Ingenieros.(5ta ed) Mxico: McGraw-Hill[2] Faires J., Burdene R., (2004). Mtodos Numricos. (3ta ed) Espaa: International Thomson [3]Blog. (2013). Regresin por Mnimos Cuadrados. [en lnea]. Disponible en: http://metodosnumericosiii.blogspot.com/2013/03/regresion-por-minimos-cuadrados.html[4]https://sites.google.com/site/metalmetnumericos/home/unidad-3/3-9-metodo-de-minimos-cuadrados[5] Clculo computacional. Licenciatura en Qumica (Curso 2009-10). [en lnea]. Disponible en: http://www.mat.ucm.es/~rpardo/docen/cc/Hoja_7_prac_cc0910.pdf[6] Nieves A., Domnguez F., (2007). Mtodos Numricos aplicados a la Ingeniera. (6ta ed) Mxico: McGraw-Hill[7] Mtodos numricos aplicados a la ingeniera. [en lnea]. Disponible en: http://www.unjbg.edu.pe/coin2/pdf/c&d_9_art_16.pdf