Regresión lineal. Definicion

Regresión lineal: Para otros usos de este término, véase Función lineal (desambiguación).

En estadística la regresión lineal o ajuste lineal es un modelo matemático usado para aproximar la relación de dependencia entre una variable dependiente Y, las variables independientes Xi y un término aleatorio ε. Este modelo puede ser expresado como:

Dónde:

Variable dependiente, explicada o regresando.

Variables explicativas, independientes o regresores.

Parámetros, miden la influencia que las variables explicativas tienen sobre el regrediendo.

Donde

es la intersección o término "constante", las son

los

parámetros respectivos a cada variable independiente, y p es el número de parámetros independientes a tener en cuenta en la regresión. La regresión lineal puede ser contrastada con la regresión no lineal.

Ejemplo de una regresión lineal con una variable dependiente y una variable independiente.

Regresión lineal Abordaremos

en

esta

página

las

distribuciones

bidimensionales.

Las

observaciones se dispondrán en dos columnas, de modo que en cada fila figuren la abscisa x y su correspondiente ordenada y. La importancia de las distribuciones bidimensionales radica en investigar cómo influye una variable sobre la otra. Esta puede ser una dependencia causa efecto, por ejemplo, la cantidad de lluvia (causa), da lugar a un aumento de la producción agrícola (efecto). O bien, el aumento del precio de un bien, da lugar a una disminución de la cantidad demandada del mismo.

Si utilizamos un sistema de coordenadas cartesianas para representar la distribución bidimensional, obtendremos un conjunto de puntos conocido con el diagrama de dispersión, cuyo análisis permite estudiar cualitativamente, la relación entre ambas variables tal como se ve en la figura. El siguiente paso, es la determinación de la dependencia funcional entre las dos variables x e y que mejor ajusta a la distribución bidimensional. Se denomina regresión lineal cuando la función es lineal, es decir, requiere la determinación de dos parámetros: la pendiente y la ordenada en el origen de la recta de regresión, y=ax+b.

La regresión nos permite además, determinar el grado de dependencia de las series de valores X e Y, prediciendo el valor y estimado que se obtendría para un valorx que no esté en la distribución.

Vamos a determinar la ecuación de la recta que mejor ajusta a los datos representados en la figura. Se denomina error ei a la diferencia yi-y, entre el valor observado yi, y el valor ajustado y= axi+b, tal como se ve en la figura inferior. El criterio de ajuste se toma como aquél en el que la desviación cuadrática media sea mínima, es decir, debe de ser mínima la suma

El extremos de una función: máximo o mínimo se obtiene cuando las derivadas de s respecto de a y de b sean nulas. Lo que da lugar a un sistema de dos ecuaciones con dos incógnitas del que se despeja a y b.

El coeficiente de correlación es otra técnica de estudiar la distribución bidimensional, que nos indica la intensidad o grado de dependencia entre las variables X e Y. El coeficiente de correlación r es un número que se obtiene mediante la fórmula.

El numerador es el producto de las desviaciones de los valores X e Y respecto de sus valores medios. En el denominador tenemos las desviaciones cuadráticas medias de X y de Y. El coeficiente de correlación puede valer cualquier número comprendido entre -1 y +1.

Cuando r=1, la correlación lineal es perfecta, directa.

Cuando r=-1, la correlación lineal es perfecta, inversa Cuando r=0, no existe correlación alguna, independencia total de los valores X e Y Variantes de la regresión lineal La función potencial y=c·xa Se puede trasformar en

Si usamos las nuevas variables X=log x e Y=log y, obtenemos la relación lineal Y=aX+b.

Donde b=log c Ejemplo:

x

10

20

30

40

50

60

70

80

y

1.06 1.33 1.52 1.68 1.81 1.91 2.01 2.11

Usar la calculadora para transformar esta tabla de datos en esta otra X=log

1.0

1.30

1.477 1.60

1.699 1.778 1.845 1.903

x Y=log

0.025 0.124 0.182 0.225 0.258 0.281 0.303 0.324

y Calcular mediante el programa regresión lineal los parámetros a y c.

Función exponencial y=c·eax Tomando logaritmos neperianos en los dos miembros resulta ln y=ax+ln c Si ponemos ahora X=x, e Y=ln y, obtenemos la relación lineal Y=aX+b Donde b=ln c.

Ejemplo: x

12

41

93

147

204

264

373

509

773

y

930

815

632

487

370

265

147

76

17

Usar la calculadora para transformar esta tabla de datos en esta otra X= x

12

41

93

147

204

264

373

509

773

Y=ln y

6.835 6.703 6.449 6.188 5.913 5.580 4.990 4.330 2.833

Calcular mediante el programa regresión lineal los parámetros a y c.

La clase Regresion La clase Regresion que describe la regresión lineal no difiere substancialmente de la clase Estadistica que se ha descrito en la sección anterior. La diferencia estriba en que los miembros datos son dos arrays x e y que guardan las series de valores X e Y, cuya dependencia funcional deseamos determinar. En los miembros dato públicos a y b se guarda la pendiente de la recta de regresión y la ordenda en el origen.

La función miembro lineal, calcula la pendiente a, y ordenada en el origen b de la recta de regresión. Se hace uso de variables auxiliares para guardar resultados intermedios: sx guarda la suma de todas las abscisas, sy la suma de todas las ordenadas, sx2 la suma de los cuadrados de las abscisas, sy2 la suma de las cuadrados de las ordenadas, y pxy, la suma de los productos de cada abscisa por su ordenada. Los valores calculados a partir de las fórmulas respectivas, se guardan en los miembros públicos a y b de la clase Regresion.

Para obtener el coeficiente de correlación hemos de calcular primero el valor medio <x> de la serie de datos X, y el valor medio <y> de Y. No calculamos las desviaciones cuadráticas medias sino que empleamos una expresión equivalente a la dada anteriormente para el coeficiente de correlación.

El modelo de regresión lineal: El modelo

lineal

relaciona

explícitas

variable dependiente Y con K variables

o cualquier transformación de éstas que generen un

hiperplano de parámetros

Donde

la

desconocidos:

es la perturbación aleatoria que recoge todos aquellos factores de la

realidad no controlables u observables y que por tanto se asocian con el azar, y es la que confiere al modelo su carácter estocástico. En el caso más sencillo, con una sola variable explícita, el hiperplano es una recta:

El problema de la regresión consiste en elegir unos valores determinados para los parámetros desconocidos

de modo que la ecuación quede completamente

especificada. Para ello se necesita un conjunto de observaciones. En una observación i-ésima (i= 1,... I) cualquiera, se registra el comportamiento simultáneo de la variable dependiente y las variables explícitas (las perturbaciones aleatorias se suponen no observables).

Los valores escogidos como estimadores de los parámetros

son los

coeficientes de regresión sin que se pueda garantizar que coincida n con parámetros reales del proceso generador. Por tanto, en

Los valores

son por su parte estimaciones o errores de la perturbación

aleatoria.

Expresándolo en forma simple, la regresión lineal es una técnica que permite cuantificar la relación que puede ser observada cuando se grafica un diagrama de puntos dispersos correspondientes a dos variables, cuya tendencia general es rectilínea (Figura la); relación que cabe compendiar mediante una ecuación “del mejor ajuste” de la forma: y = a + bx

En esta ecuación, “y” representa los valores de la coordenada a lo largo del eje vertical en el gráfico (ordenada); en tanto que “x” indica la magnitud de la coordenada sobre el eje horizontal (absisa). El valor de “a” (que puede ser negativo, positivo o igual a cero) es llamado el intercepto; en tanto que el valor de “b” (el cual puede ser negativo o positivo) se denomina la pendiente o coeficiente de regresión.

Tabla 1 Serie de datos para el cálculo de una regresión (“a” y “b”) y del coeficiente de correlación (“r”) Número Valores de x Valores de y 1 2 3 4 5 6

9,0 9,4 7,4 9,7 10,4 5,0

0,50 0,50 1,23 1,00 0,30 1,50

Número Valores de x Valores de y 7 8 9 10 11 12 13

6,7 8,4 8,0 10,0 9,2 6,2 7,7

1,00 0,50 0,50 0,50 0,50 1,00 0,50

El procedimiento para obtener valores de “a” y “b” para una serie de pares de datos de “x” y de “y” (tal como la presentada en la Figura 1 y/o en la Tabla 1) es como sigue:

Calcule, para cada par de valores de “x” e “y”, las cantidades “x²”,

Paso 1 “y²”, y “x.y”.

Obtenga las sumas (∑) de estos valores para todos los pares de

Paso 2

datos de “x” e “y”, así como las sumas del total de los valores de “x” e “y”. Los resultados de los Pasos 1 y 2 aparecerán en forma similar a la siguiente: :

Número de pares de datos

x

x²

y

y²

x.y

1 2 3 · · · n Monto de las sumas

… … …

… … …

… … …

… … …

… … …

… ∑x

… … ∑x² ∑y

… ∑y²

… ∑x·y

Paso 3 Estime la pendiente (b) por medio de la relación:

Paso 4

Estime el intercepto (a) por medio de la relación:

A partir de esos valores de “a” y de “b” obtenidos mediante las Ecuaciones 2 y 3, es posible trazar a lo largo de los puntos dispersos de un gráfico la línea recta mejor ajustada a los mismos, y verificar visualmente si tales puntos están bien “expresados” por la línea (Figura 1b).

Correlación:

El análisis de correlación se encuentra estrechamente vinculado con el análisis de regresión y ambos pueden ser considerados de hecho como dos aspectos de un mismo problema.

La correlación entre dos variables es - otra vez puesto en los términos más simples - el grado de asociación entre las mismas. Este es expresado por un único valor llamado coeficiente de correlación (r), el cual puede tener valores que ocilan entre -1 y +1. Cuando “r” es negativo, ello significa que una variable (ya sea “x” o “y”) tiende a decrecer cuando la otra aumenta (se trata entonces de una “correlación negativa”, correspondiente a un valor negativo de “b” en el análisis de regresión). Cuando “r” es positivo, en cambio, esto significa que una variable se incrementa al hacerse mayor la otra (lo cual corresponde a un valor positivo de “b” en el análisis de regresión).

Los valores de “r” pueden calcularse fácilmente en base a una serie de pares de datos de “x” e “y”, utilizando la misma table y montos que se indican en el Paso 2 de la sección “regresión” de este capítulo. De este modo “r” puede ser obtenido indirectamente - a partir de la relación:

Figura 1a Diagrama de puntos dispersos correspondientes a pares de valores de “x” y de “y”. Nótese que “y” tiende a decrecer con el aumento de “x”, lo cual sugiere coeficientes de regresión y de correlación negaticos (basado en la Tabla 1)

Figura 1b Los mismos datos que en 1a Fig. 1a, pero ajustados en base a la regresión y = 2,16 - 0,173x, con r = 0,75 La cual proporciona el valor del “coeficiente de determinación” (r²). Entonces, lo único necesario es calcular

Es decir, tomar la raíz indicada del coeficiente de determinación a los fines de obtener el valor absoluto de “r”, y luego agregar el signo (+ o -) de acuerdo a que la correlación sea positiva o negativa (lo cual puede ser establecido visualmente a partir del gráfico, o bien en base al cálculo del valor de “b” de la correspondiente regresión y utilizando para “r” el mismo signo).

Cuando se calculan los valores de “r” se querrá saber, sin embargo, hasta qué punto la correlación identificada pudiera haber surgido únicamente por casualidad.

Esto puede ser establecido verificando si el valor estimado de “r” es “significativo”, es decir si el valor absoluto de “r” es mayor o igual que un valor “crítico” de “r” indicado en las tablas.

Tipos de modelos de regresión lineal Existen diferentes tipos de regresión lineal que se clasifican de acuerdo a sus parámetros: Regresión lineal simple La regresión lineal simple se basa en estudiar los cambios en una variable, no aleatoria, afectan a una variable aleatoria, en el caso de existir una relación

funcional entre ambas variables que puede ser establecida por una expresión lineal, es decir, su representación gráfica es una línea recta. Es decir, se esta en presencia de una regresión lineal simple cuando una variable independiente ejerce influencia sobre otra variable dependiente.

Ejemplo: Y = f(x) Regresión lineal múltiple La regresión lineal permite trabajar con una variable a nivel de intervalo o razón, así también se puede comprender la relación de dos o más variables y permitirá relacionar mediante ecuaciones, una variable en relación a otras variables llamándose Regresión múltiple. O sea, la regresión lineal múltiple es cuando dos o más variables independientes influyen sobre una variable dependiente.

Ejemplo: Y = f(x, w, z).

Aplicaciones de la regresión lineal Líneas de tendencia Una línea de tendencia representa una tendencia en una serie de datos obtenidos a través de un largo período. Este tipo de líneas puede decir si un conjunto de datos en particular (como por ejemplo, el PBI, el precio del petróleo o el valor de las acciones) han aumentado o decrementado en un determinado período. Las líneas de tendencia son generalmente líneas rectas, aunque algunas variaciones utilizan polinomios de mayor grado dependiendo de la curvatura deseada en la línea.

Medicina En Medicina, las primeras evidencias relacionando la mortalidad con el fumar tabaco vinieron de estudios que utilizaban la regresión lineal. Los investigadores

incluyen una gran cantidad de variables en su análisis de regresión en un esfuerzo por eliminar factores que pudieran producir correlaciones espurias.

En el caso del Tabaquismo, los investigadores incluyeron el estado socioeconómico para asegurarse que los efectos de mortalidad por tabaquismo no sean un efecto de su educación o posición económica. No obstante, es imposible incluir todas las variables posibles en un estudio de regresión.

En el ejemplo del tabaquismo, un hipotético gen podría aumentar la Mortalidad y aumentar la propensión a adquirir enfermedades relacionadas con el consumo de tabaco.

Industria En la industria tiene aplicación para investigar la relación entre el rendimiento de la producción y uno o más factores del (o de los) que depende, como la Temperatura, la humedad ambiental, la presión, la cantidad de insumos, etc; con base en este análisis se puede pronosticar el comportamiento de una variable que se desea estimar.