Ortogonalizacion de Gram-Schmidt

Ortogonalizaci´on de Gram-Schmidt C. L´opez Mayo del 2009

´ trabajo est´a licenciado bajo la licencia Creative Commons Attribution-ShareAlike 3.0.

Este

Resumen En cualquier espacio prehilbertiano, podemos escoger la base en la que queremos trabajar.

Muy frecuentemente, el hecho de trabajar en una base ortogonal simplifica mucho los c´alculos a hacer. El proceso de Gram-Schmidt es un algoritmo que construye una base ortonormal u ortogonal B para un espacio prehilbertiano V dada una base arbitraria D para ese mismo espacio.

Introducci´on El nombre de e´ ste proceso proviene de los matem´aticos Jørgen Perdersen Gram y Erhard Schmidt, aunque ellos ir´onicamente no fueran los primeros en trabajarlo. Las diferentes versiones que se han publicado del proceso que ahora conocemos como el proceso de Gram-Schmidt han sido una interesante historia.

La primera, una versi´on ahora conocida como ”modificicaci´on de Gram-Schmidt” (MGS) fue descrita por primera vez por Laplace en 1812 y es equivalente a un m´etodo descrito por Bauer (1865, casi 40 a˜nos despu´es). Y tambi´en es un caso especial de un algoritmo m´as general atribu´ıdo a Cauchy! publlicado en 1837.Ref: [3][4] Gram y Schmidt obtuvieron el cr´edito por publicarlo en alguna fecha entre los a˜nos 1907-1908.Ref: [1] Carlos Eduardo L´opez Camey, Universidad del Valle de Guatemala, Algebra ´ L´ıneal, Carn´e #08107, http://kmels.net

1

Notaci´on R, Rn {. . . | . . . } pa .. bq, ra .. bs V,W,U ν, µ, ω ||ν|| xµ, νy y µ ν α1 α2 µKν V ,S,E B, D

n´umeros reales, n-tuplas de reales conjunto de . . . tales que . . . intervalo (abierto o cerrado) de los reales entre a y b espacios vectoriales vectores norma L-2 o euclidiana de ν producto interno real entre los vectores µ y ν multiplicacion de dos reales α1 y α2 ortogonalidad entre µ y ν conjuntos bases

Producto interior, norma y ortogonalidad Producto interior El producto interior es una generalizaci´on de lo que conocemos como producto punto. En un espacio vectorial, es una manera de multiplicar vectores, dando como resultado de esta multiplicaci´on, un escalar.

Un espacio vectorial junto con un producto interior en e´ l, es llamado un espacio prehilbertiano o espacio prehilbert.

Definici´on 1. Un espacio vectorial V cuyo campo escalar es R, es llamado un espacio prehilbertiano si para cada par de elementos µ, ν en V est´a definido un producto interno real xµ, νy cumpliendose para µ, ν, ω P V y α P R: 1. xµ

ν, ωy xµ, ωy

xν, ωy

2. xαν, ωy αxν, ωy 3. xν, ωy xω, νy 4. xν, νy ¡ 0 ô ν 0 5. xν, νy = 0 ô ν 0

2

En general, decimos que el producto interno de dos vectores de n componentes reales es la combinaci´on lineal de sus componentes, siendo e´ ste el producto punto usual. Sean ¾,ν vectores

x¾, νy ¾ ν

n ¸

¾i νi ¾1 ν1

¾ν2

¾n νn

i 1

Ejemplo 1. El espacio euclidiano Rn sobre los reales, en donde el producto interno est´a dado por el producto punto usual xRn , , , Ry es un espacio prehilbertiano. Sean ¾, ν y ω vectores P Rn y ι escalar P R entonces 1. x¾ ν, ωy 2. xι ν, ωy

n ¸

pÂľ i

ν i qω i

i 1 n ¸

pι¾iqωi

n ¸

νi νi

n ¸

i 1

n ¸

¾i ωi

n ¸

νi ωi x¾, ωy xν, ωy

ιp¾i ωi q ι

n ¸

n ¸

i 1

¾i ωi ι xν, ωy

ωi ¾i xω, νy

i 1

pν i q 2 ¥ 0 ô ν 0

i 1

i 1

5. xν, νy

¾i ωi

i 1

i 1

i 1 n ¸

i 1

3. xν, ωy xω, νy 4. xν, νy

n ¸

νi νi

n ¸

pν i q 2 0 ô ν 0

i 1

Dimensi´on de un vector Sabemos lo que es la base de un espacio vectorial, y sabemos tambi´en que un espacio puede tener muchas bases diferentes. Por lo tanto, no podemos hablar de �la� base para un espacio vectorial, aunque algunos espacios vectoriales tengan bases que nos parece encontrar m´as naturalmente que otras, es decir, por ejemplo la base de P2 , el espacio vectorial de los polinomios de grado mayor o igual que dos, tiene como una base a B x1, x, x2 y.

Pero por ejemplo, en el espacio { Îą2 x2 mente como antes.

Îą1 x

Îą0 |2Îą2 Îą0 Îą1 } ninguna base se nos ocurre tan natural-

Sin embargo, podemos encontrar algo sobre las bases que est´a asociado u´ nicamente con el espacio. Entonces, con cada espacio, podemos asociar un n´umero, el n´umero de vectores que aparecen en cualquiera de sus bases.

Definici´on 2. Un espacio vectorial es de dimensi´on finita si y solo si tiene una base con cualesquiera cantidad finita de vectores.

3

Longitud o norma de un vector

Definici´on 3.

Dado un vector de dimensi´on n ν =

¸ p 1{ p

vector se define como ||ν|| p p

|νi |

ν1 ν2 .. .

, para p = 1,2. . . , la norma denotada ||ν|| p de ese

νn y cumple con las siguientes propiedades: Ref: [5]

q

i

1. ||ν|| ¥ 0 ô ν 0 2. ||ν|| = 0 ô ν = 0 3. ||kν|| = k||ν|| para cualquier escalar k 4. ||ν

¾|| ¤ ||ν||

||¾|| tambi´en llamada desigualdad triangular

La norma m´as communmente encontrada y con la que estaremos trabajando es la llamada norma-L2 o norma Euclidiana. ||ν||2 p

n ¸

|νi |2 q 2 1

?

ν ν

a

xν, νy

(1)

i

En general, las propiedades (1), (2) y (3) se cumplen f´acilmente siguiendo las propiedades del producto interno. La propiedad (4) o desigualdad triangular la demostraremos m´as adelante con la ayuda del siguiente teorema.

Teorema 1. Llamada tambi´en desigualdad de Cauchy-Schwartz, sean ¾ y ν dos vectores cualesquiera en un espacio prehilbertiano, se cumple x¾, νy ¤ ||¾|| ||ν|| manteniendo la igualdad si y solo si ¾ y ν son linealmente dependientes.

Demostraci´on: Si ν y ¾ son linealmente dependientes, digamos ¾ ιν para cualquier escalar ι entonces

xιν, νy ||ιν|| ||ν|| ιxν, νy ι||ν|| ||ν|| 4

α||ν||2 α||ν||2

Si ν y µ son linealmente independientes, entonces para cualquier escalar λ vemos que µ λν 0

Supongamos λ xµ, νyxν, νy 1

xµ λν, µ λνy ¡ 0 µ µ 2λν µ λ2 ν ν ¡ 0 xµ, µy 2λxν, µy λ2xν, νy ¡ 0

xµ, µy 2xµ, νyxν, νy 1xν, µy pxµ, νyxν, νy 1q2xν, νy ¡ 0 xµ, µy 2xµ, νyxν, µyxν, νy 1 xµ, νy2xν, νy 2xν, νy ¡ 0 xµ, µy 2xµ, µyxν, νyxν, νy 1 xµ, νy2xν, νy 1 ¡ 0 xµ, νy2xν, νy 1 xµ, µy ¡ 0 Que es cierto si y solo si

xµ, νy2xν, νy 1 ¡ xµ, µy xµ, νy2 ¡ xµ, µyxν, νy |xµ, νy| ¡ ||µ|| ||ν||

Teorema 2. Llamado tambi´en teorema de desigualdad triangular, sean µ, ν dos vectores cualesquiera en un espacio prehilbertiano, ||µ ν|| ¤ ||µ|| ||ν|| Podr´ıamos pensar que e´ sta desigualdad equivale al enunciado que afirma ”La distancia m´as corta entre dos puntos est´a en una linea recta.”

fin ν+µ inicio

µ

5

ν

Demostraci´on: ||µ ||µ||2

2xµ, νy

ν||2 ¤ p||µ||

||ν||q2

||y||2 ¤ ||µ||2

2||µ|| ||ν||

||y||2

xµ, νy ¤ ||µ|| ||ν||

Cumpliendose usando la desigualdad de Cauchy-Schwartz N´otese que la igualdad en e´ sta propiedad de la norma se mantiene de nuevo si y solo si los vectores µ y ν son linealmente dependientes.

Ortogonalidad Definici´on 4. Sea V un espacio prehilbertiano: Ref: [6] 1. Dos vectores µ, ν P V son ortogonales si y solo si xµ, νy = 0 2. Un conjunto de vectores {µ1 , µ2 . . . µn } es ortogonal si µi K µ j

@ i, j P r1..ns e i j

Ejemplo 2. Dos vectores ortogonales respecto al producto interno de vectores, es decir, el producto punto

1 1

1 1

0

Teorema 3. Si un conjunto de vectores {µ1 . . . µk u P Rn es ortogonal para cada con µi conjunto es linealmente independiente.

Demostraci´on: Consid´erese la relaci´on lineal α1 µ1 producto punto µi en ambos lados de la ecuaci´on µi pα1 µ1

α2 µ2

α2 µ2

αk µk

0.

Si i P r1 . . . ks, aplicando el

αk µk q µi 0

µiαiµi µiαk µk 0 α1 pµi µ1 q α2 pµi µ2 q αi pµi µi q αk pµi µk q 0 αi pµi µi q 0 cuya u´ nica soluci´on es αi 0 cumpliendose la propiedad (4) del producto interno. µi α1 µ1

µi α2 µ2

6

0, entonces el

Ejemplo 3 (Teorema de Pit´agoras). Sea ξ {µ1 , µ2 . . . µn } un conjunto ortogonal de vectores entonces ||

n ¸

µi ||2

i 1

En particular, si µ K ν @ µ, ν P ξ

|| Pero µi µ j 0 @ i j, entonces

n ¸

µi ||2 x

i 1

i 1

n n ¸ ¸

µi ,

i 1 n ¸

pxµi,

i 1

||µi ||2

ν||2 ||µ||2

||µ

Demostraci´on:

n ¸

µ jy

j 1 n ¸

||ν||2 n ¸

pxµi,

i 1

µ j yq

j 1

n ¸

n ¸

µ j yq

j 1

||µi ||2

i 1

Proyecciones ortogonales Hasta el momento hemos hablado de lo que es la norma de un vector, el producto interior de vectores y la propiedad de la ortogonalidad. Todas e´ stas nos ayudar´an ahora a definir lo que es una proyecci´on ortogonal.

Para poder explicar lo que es una proyecci´on ortogonal, la consideraremos primero sobre una l´ınea. Si queremos proyectar ortogonalmente un vector ν sobre una l´ınea `, pensaremos que e´ sta es la sombra que proyecta ν en `. Sabemos que un punto se obscurecer´a en la l´ınea si alguien en esa l´ınea al ver hacia arriba o hacia abajo, puede observar a ν.

`

La figura anterior muestra a alguien que ha caminado en la l´ınea hasta que la punta del vector ν est´e justamente arriba de e´ l. Aqu´ı, la l´ınea estar´a descrita como la extensi´on de algun vector ` tcµ | c P Ru 0. ν − cµ

ν

cµ

7

Podemos dar soluci´on al coeficiente c al notar que ν cµ K cµ, manteniendo ν su ortogonalidad con µ.

Haciendo uso de la propiedad de la ortogonalidad

xν cµ, µy 0 ñ c νµ µµ

Definici´on 5. La proyecci´on ortogonal de ν sobre una l´ınea extendida o generada por el vector µ 0 es el vector ν µ projµ pνq µ µ µ

Ejemplo 4. Para proyectar ortogonalmente el vector ν = la direcci´on de un vector para la l´ınea y. µ

1 2

2 3

sobre la l´ınea y 2x, escogeremos primero

cumple. Entonces

p proj 1

2 3

q

2

2 3 1 2

1 2 1 2

1 2

8 5

1 2

8{5 16{5

El proceso de Gram-Schmidt Podemos estudiar la proyecci´on sobre una l´ınea extendida por µ como una descomposici´on de ν en dos partes

ν

ν − projµ (ν)

ν projµ ν

projµ (ν)

pν projµ νq

Corolario 4. Un conjunto S de vectores ortogonales en un sub-espacio de tama˜no k de un espacio de dimensi´on k es una base para ese espacio.

8

Demostraci´on: Sabemos que S es linearmente independiente (Teorema 3) y cualquier subconjunto L.I. de tama˜no k de un espacio de dimensi´on k es una base N´otese que el inverso de e´ ste Corolario no se cumple (no cualquier base de cualquier sub-espacio de Rn est´a conformada por vectores ortogonales). Pero podemos decir que para cada sub-espacio de Rn hay por lo menos una base compuesta por vectores ortogonales.

Ejemplo 5. Los vectores ω1 y ω2 de e´ sta base D para R2 no son ortogonales ω2 ω1

D t

4 2

,

1 3

u

Sin embargo, podemos encontrar a partir de D una nueva base para el mismo espacio que est´e compuesta por vectores ortogonales. Para el primer vector miembro de nuestra nueva base escogeremos a ω1 ν1

4 2

Para el segundo vector, quitaremos de ω2 su parte en la direcci´on de ν1

ν2

1 3

projν p 1

1 3

q

1 3

2 1

21

ν2

que deja la parte ν2 de ω2 K ν1 (por la definici´on de proyecci´on). Notemos que, por el Corolario (4), {ν1 , ν2 } es una base para R2 Definici´on 6. Un conjunto de vectores ortogonal que es base para un espacio vectorial, es llamado base ortogonal.

Para convertir a la base D = {

1 0 1 1 , 2 , 0 } de R3 en una base ortogonal B = Ejemplo 6.

1 0 3 {ν1 , ν2 , ν3 }, tomaremos el primer vector ν1 de nuestra nueva base tal y como est´a dado en D .

ν1 9

1 1 1

Obtenemos ν2 comenzando con el segundo vector miembro de D y quit´andole su parte en la direcci´on de ν1 (tal y como en el ejemplo anterior)

ν2

0 2 0

projν p

0 2 0

1

q

0 2 0

2{3

2{3 2{3 4{3 2{3

2{3

De igual manera, con ν3 , tomaremos el tercer vector dado en D y quit´andole su parte en la direcci´on de ν1 , y tambi´en en la direcci´on de ν2

ν3

1 0 3

projν p

De nuevo tenemos, que B {

1

1 1 1

ortogonal para Rn .

1 0 3

q projν p 2

1 0 3

1 q 0 1

2{3 1

, 4{3 , 0 }, seg´un el Corolario (4), es una base 2{3

1

El siguiente resultado –prop´osito de e´ sta publicaci´on– verifica que el proceso usado en estos u´ ltimos dos ejemplos funciona con cualquier base para cualquier sub-espacio de Rn (estamos restringidos a Rn ya que no dimos una definici´on de ortogonalidad para otros espacios vectoriales)

Teorema 5. Ortogonalizaci´on de Gram-Schmidt. Ref: [7] Si B espacio de Rn entonces, D = {ν1 , ν2 , ν3 , . . . νk } donde

{ω1, . . . ωk } es una base para un sub-

ν1 ω1

ν2 ω2 projν1 pω2 q

ν3 ω3 projν1 pω3 q projν2 pω3 q .. .

νk ωk projν1 pωk q projωk 1 pωk q

es una base ortogonal.

Demostraci´on: Usaremos la inducci´on para probar que cada νi es diferente de cero, est´a dentro del generado de {ω1 . . . ωi } y es ortogonal a sus vectores precedentes, es decir ν1 νi ν2 νi νi 1 νi 0.

Cumpliendose esto, junto con el Corolario (4), tendremos que {ν1 , . . . νk } es una base para el mismo espacio que {ω1 , . . . ωk }.

Cubriremos los casos hasta i = 3, dejando al lector como ejercicio completar el resto de casos.

10

Para i = 1, el caso es trivial ya que establecemos ν1 ω1 , haciendolo diferente de cero y tambi´en est´a dentro del generado de B . La tercera condici´on se cumple por vacuidad.

Para i = 2, expanderemos la definici´on de ν2 ν2 ω2 projν1 pω2 q ω2

ω2 ν1 ω2 ν1 ν1 ω2 ω1 ν1 ν1 ν1 ν1

Vemos que ν2 es diferente de cero, de otro modo e´ sta ser´ıa una dependencia lineal de B , tambi´en muestra que est´a en el generado de e´ ste y es ortogonal a su u´ nico vector precedente ν1 ν2 ν1 pω2 projν1 pω2 qq 0 por la definici´on de proyecci´on.

Para i = 3, como en el caso de i = 2, expandiremos su definici´on ν3 ν3

ω3 ν1 ω3 ν2 ω3 ν1 ω3 ν2 ω2 ν1 ν1 ω2 ν3 ω1 p ω2 ω1 q ν1 ν1 ν2 ν2 ν1 ν1 ν2 ν2 ν1 ν1

Mostrando que ν3 es diferente de cero y est´a en el generado. Mostrando que es ortogonal a su vector vector precedente ν1 ν1 ν3 ν1 pω3 projν1 pω3 q projν2 pω3 qq

ν1 pω3 projν pω3qq ν1 projν pω3q 0 1

2

Vemos que el primer t´ermino es cero ya que e´ sta es una proyecci´on ortogonal, como en el caso para i = 2. El segundo t´ermino es cero dado que ν1 es ortogonal a ν2 (y tambi´en lo es para cualquier vector en la linea expandida por ν2 ). Para mostrar que ν3 es ortogonal a su otro vector precedente ν2 , el proceso es el mismo.

Ahora que tenemos una base ortogonal, podr´ıamos hacer que cada vector dentro de e´ sta tenga longitud o norma uno, diviendo a cada uno dentro de su propia longitud. A e´ ste proceso se le llama normalizaci´on y a el conjunto ortogonal formado por vectores de longitud uno, conjunto de vectores ortonormales.

Ejemplo 7. Normalizando la norma de cada vector en la base ortogonal del ejemplo (6) produce esta base ortonormal ? ? ?

1{? 6 1{ 2

1{ ?3 x 1{? 3 , 2{ ?6 , 0? y 1{ 2 1 3 1{ 6 11

Referencias [1] The National Science Digital Library, Short History of the names behind the Gram-Schmidt Process, The National Science Foundation.

[2] Frank Deutsch, Best approximation in inner product spaces, Springer, 2001.

[3] Owe Axelsson, Iterative solution methods, Edici´on 3, Cambridge University Press, 1996, ISBN 0521555698, 9780521555692 [4] R.W. Farebrother, Fitting Linear Relationships: A History of the Calculus of Observations 1750-1900, Edici´on Ilustrada, Springer, 1999, ISBN 0387985980, 9780387985985 [5] Gradshteyn, I. S. y Ryzhik, Tables of Integrals, Series, and Products, Sexta edici´on, p. 1081, 2000, ISBN 0123736374, 9780123736376 [6] Ernest L. Hall, Handbook of Industrial Automation, Orthogonality, p. 60, ISBN ISBN 0824703731, 9780824703738 [7] J. Hefferon, Linear Algebra, Saint Michael’s College. [Agradecimiento especial por las im´agenes elaboradas en Metapost usadas en e´ ste texto]

12