U2 cadenas de markov a tiempo discreto

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto

Universidad Abierta y a Distancia de México

Licenciatura en Matemáticas

7° cuatrimestre

Unidad 2. Cadenas de Markov a tiempo discreto

Clave: 050930728

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

1

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto

ÍNDICE

Unidad 2. Cadenas de Markov a tiempo discreto ............................................................................4 Presentación de la unidad......................................................................................................................4 Propósitos de la unidad ..........................................................................................................................4 Competencia específica..........................................................................................................................4 2.1 Conceptos básicos ............................................................................................................................5 2.1.1 Definición y ejemplos ................................................................................................................... 5 2.1.2 Matriz de transición y distribución inicial ................................................................................. 13 Actividad 1. Proceso de Markov. ....................................................................................................... 14 2.1.3 Otras distribuciones de probabilidad asociadas a una cadena de Markov ....................... 14 Actividad 2. Elementos de una cadena de Markov ....................................................................... 19 2.2 Comunicación entre estados, recurrencia y transitoriedad, periodicidad ...................... 20 2.2.1 La relación de comunicación y las clases de equivalencia ................................................. 21 2.2.2. Estados recurrentes y estados transitorios............................................................................ 24 2.2.3 Periodicidad ............................................................................................................................... 35 Actividad 3. Estados de cadena de Markov ................................................................................. 38 2.3 Comportamiento límite .................................................................................................................. 39 2.3.1 Distribuciones invariantes.......................................................................................................... 39 2.3.2 El Teorema Fundamental de Convergencia ........................................................................... 43 2.3.3 Aplicaciones ................................................................................................................................. 49 Actividad 4. Determinación de distribuciones límite ................................................................... 52 Autoevaluación ...................................................................................................................................... 53 Evidencia de aprendizaje. Análisis y predicción........................................................................... 54 Autorreflexiones .................................................................................................................................... 55

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

2

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto Cierre de la unidad ................................................................................................................................ 55 Para saber más....................................................................................................................................... 55 ReferenciasBibliográficas ................................................................................................................... 56

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

3

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto Unidad 2. Cadenas de Markov a tiempo discreto

Presentación de la unidad En esta unidad estudiarás los procesos discretos a tiempo discreto que cumplen la propiedad de Markov (cadenas de Markov). Este tipo de procesos, los que además son estacionarios, han sido ampliamente estudiados y tienen gran cantidad de aplicaciones en diversos contextos.

Todas las características probabilísticas de este tipo de procesos se resumen en la distribución de probabilidad del estado inicial y en una matriz en la que se especifican las probabilidades de transición entre los distintos estados.

El espacio de estados S puede dividirse en clases de equivalencia de acuerdo a las características de las probabilidades de transición, es decir, clases que abarcan a todo S y que son ajenas entre sí. Los estados que forman cada una de estas clases, comparten una serie de características probabilísticas que, entre otras cosas, permiten estudiar su posible evolución futura.

Uno de los resultados más importantes de esta unidad es el Teorema Fundamental de Convergencia, que establece condiciones para determinar la probabilidad de que el sistema tienda a ocupar, a la larga, un estado determinado.

Propósitos de la unidad Al finalizar el estudio de esta unidad:  Identificarás la distribución inicial y la matriz de transición de una cadena de Markov.  Clasificarás las clases de estados de acuerdo a la recurrencia o transitoriedad y a la periodicidad de sus elementos.  con ejemplos concretos si se cumplen las hipótesis del Teorema fundamental de convergencia para determinar la distribución límite.

Competencia específica 

Utilizar la teoría de Cadenas de Markov para resolver problemas de sistemas que pueden ser modeladas mediante este tipo de procesos estocásticos, analizando su posible evolución futura.

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

4

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto 2.1 Conceptos básicos

2.1.1 Definición y ejemplos Considera un proceso estocástico  X n  con las siguientes características: 1. Es discreto y a tiempo discreto.

2. Cumple la propiedad de Markov, es decir,

P  X n  j X 0  x0 , X1  x1 ,..., X n2  xn2 , X n1  i   P  X n  j X n1  i  .

3. Es un proceso estacionario, es decir, la probabilidad de transición no depende del tiempo en el que ocurre dicha transición, sólo de los estados involucrados:

P  X n  j X n1  i   P  X nh  j X nh1  i   p  i, j 

Para cualquier pareja de enteros positivos n y h.

Definición 1. Al proceso que tiene las características 1 y 2 se le llama cadena de Markov a tiempo discreto. Si también tiene la característica 3, se trata de una cadena de Markov estacionaria u homogénea en el tiempo.

Observación. Recuerda que en la unidad 1 se vio que un proceso a tiempo discreto es estacionario, si la distribución conjunta de Xn-1 y Xn es igual a la distribución conjunta de Xn+h-1 y Xn+h para cualquier entero h > 0.

Como la probabilidad condicional es igual a la distribución conjunta de las variables involucradas entre la distribución marginal del condicionante, una consecuencia inmediata de lo







anterior es que las probabilidades condicionales P X n  j X n1  i y P X nh  j X n h 1  i



son iguales. Por esta razón, la estacionariedad de las cadenas de Markov se pueden establecer en términos de las probabilidades de transición.

Suponiendo que el conjunto de estados es

S  0,1, 2,.... La información sobre las

probabilidades de transición de una cadena de Markov estacionaria a tiempo discreto, se puede escribir en una matriz cuadrada P = (p(i,j)) a la que llamaremos matriz de transición:

 p  0, 0   p 1, 0  P  p  2, 0   

p  0,1

p  0, 2 

p  2,1

p  2, 2 

p 1,1

p 1, 2 

     

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

5

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto Estas ideas quedarán más claras después de analizar los siguientes ejemplos; Ejemplo1.

La propiedad de Markov.

En un partido de básquetbol entre los equipos A y B, sea Xn la diferencia del marcador de A menos el marcador de B en el n-ésimo cambio del marcador. ¿Es  X n  una cadena de Markov?

Consideremos las siguientes probabilidades de transición:

P  X n  2 X n1  0  es la probabilidad de que al tiempo n gane A dado que los equipos iban

empatados al tiempo n - 1.

P  X n  2 X n2  2, X n1  0  Es la probabilidad d Probabiliadad de que al tiempo n gane A después de que A iba ganando y al tiempo n - 1 el equipo B empata.

P  X n  2 X n2  2, X n1  0  es la probabilidad de que al tiempo n gane A después de que B iba ganando y al tiempo n - 1 el equipo A empata.

Si la cadena fuera de Markov, las dos últimas probabilidades debieran ser iguales a la primera; sin embargo, puede considerarse que hay una ventaja para el equipo que tiene el balón y como éste cambia de manos tras cada anotación, no debemos asignar la misma probabilidad a los últimos dos casos. Por tanto, {Xn} no es de Markov.

Ejemplo 2.

La caminata aleatoria.

En la unidad 1 estudiaste el proceso que se conoce como caminata aleatoria o recorrido aleatorio, en el cual Xn indica la posición de una partícula al tiempo n, sabiendo que en cada momento de observación la partícula puede dar un paso a la derecha con probabilidad p o bien un paso a la izquierda con probabilidad 1 – p.

Si en cualquier momento n la partícula se encuentra en el estado i, sólo puede pasar a los estados i+1 o i-1 así que las probabilidades de transición de esta cadena de Markov son:

P  X n  i  1 X n 1  i   p  i, i  1  p P  X n  i  1 X n 1  i   p  i, i  1  1  p P  X n  j X n 1  i   p  i, j   0 para j  i  1, i  1.

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

6

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto La representación gráfica correspondiente es:

La matriz de transición es infinita y toma la forma:

1 0 1 2   1 0 P  1 2  

0

p

0

0

q

0

p

0

0

q

0

p

0

0

q

0

        

Hay diversas variantes de la caminata aleatoria. Una de ellas consiste en no permitir que el espacio de estados se extienda hacia -∞ o hacia +∞ o hacia ambos lados, es decir, que haya un estado máximo o mínimo, o un estado extremo de cada lado.

Un ejemplo típico de aplicación de este tipo de caminatas es la ruina del jugador, en el que se considera que un participante juega contra la banca de un casino y tiene probabilidad p de ganar un peso en cada partida y probabilidad q = 1 - p de perder un peso en cada partida. Xn es la fortuna del jugador después de n partidas y se considera que esta fortuna puede crecer indefinidamente ya que el dinero de que dispone el casino es enorme comparado con el del jugador.

El jugador cae en la ruina cuando su fortuna es cero pesos, y se supone que en ese caso el casino ya no le permite jugar.

La cadena que modela la situación descrita tiene espacio de estados S = {0,1,2,3,…} y sus probabilidades de transición son:

p  0,0  1 y para i  0 p  i, i  1  p, p i, i 1  q

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

7

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto Cuando la probabilidad de regresar a un estado es 1, se dice que ese estado es absorbente, como ocurre con el 0 en este ejemplo.

Un caso de caminata aleatoria con dos barreras absorbentes se presenta cuando el juego es entre dos jugadores A y B, el primero con una fortuna inicial de x pesos y el segundo con una de fortuna inicial de y pesos.

Si Xn representa la fortuna del jugador A tras la n-ésima partida, el juego terminará cuando A caiga en la ruina, es decir Xn = 0, o bien cuando B caiga en la ruina, es decir Xn = x+y.

Se puede contemplar también la posibilidad de que haya empates, de manera que con la probabilidad p, A le gana un peso a B en una partida; con probabilidad q, B le gana un peso a A, y con probabilidad r=1 – p-q ninguno de ellos gana.

En este caso, el espacio de estados es S = {0,1,2,…,x+y} y la matriz de transición toma la forma:

0 1 2 3 0 1  1 q 2 0 P  3 0   x  y  0

0

0

0

r

p

0

q

r

p

0

q

r

0

0

0

x y 0  0 0  0   1 

Ejemplo 3.

Caminata aleatoria con barreras reflejantes: la cadena de Ehrenfest Consideremos dos urnas, cada una con b bolas idénticas. Supongamos que se puede elegir cualquiera de las 2b bolas con probabilidad 1/2b. En cada paso se selecciona una bola al azar y se cambia de urna. Sea Xn el número de bolas que hay en la primera urna después del n-ésimo cambio.

El espacio de estados es S = {0,1,2,…,2b} y la cadena es de Markov porque la probabilidad de transición a cada nuevo estado sólo depende de la cantidad de bolas que tiene la urna 1 en el estado anterior.

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

8

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto Para un estado j, el sistema sólo puede pasar a los estados j-1 o j+1, con dos excepciones: cuando la urna 1 tiene cero bolas, caso en que sólo puede pasar a tener una bola y cuando la urna 1 tiene 2b bolas, caso en que sólo puede tener 2b-1 bolas.

En todos los casos, las transiciones no dependen del momento en que se realizan, sino del estado en que está el sistema y al que pasa. Por tanto, se trata de una cadena de Markov estacionaria a tiempo discreto.

Su matriz de transición es:

 0   1  2b   0  2 P3   0     0   0 

1 0

0 1

1 2b

0

0

0

0

2 2b

0

0

3 2b

0

0

0

0

0

0

0

1

2 2b

0 0

1 2b 1

0  0   0   0    0  0 

Aquí las barreras en los estados 0 y 2b actúan de manera reflejante no en forma absorbente.

Este proceso es un buen modelo para tratar la difusión de un gas a través de una membrana porosa reemplazando las bolas por moléculas del gas.

En el modelo general se considera usualmente el proceso Zn = Xn-b de manera que cuando cada celda o contenedor tiene b moléculas el sistema está en el estado 0. El espacio de estados en este caso es S={-b,-b+1,…,-1,0,1,…,b-1,b} y las probabilidades de transición están dadas por:

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

9

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto b  i  2b  b  i p  i, j     2b  0  

si j  i  1 si j  i  1 en otro caso

Ejemplo 4.

Modelando una situación Un taller tiene dos máquinas y cada día usa sólo una de ellas. La máquina en uso tiene una probabilidad constante p de sufrir una avería al final del día de trabajo. Hay un sólo mecánico para repararla que sólo trabaja en una máquina a la vez y le toma 2 días repararla.

Sea Xn el número de días necesarios para que ambas máquinas estén en condiciones de trabajar, observado esto al final del n-ésimo día de trabajo.

Xn= 0 si ambas máquinas están en condiciones de trabajar.

Xn= 1 si una máquina está en condiciones de trabajar y la otra lleva un día en reparación.

Xn= 2 si una máquina está en condiciones de trabajar y la otra acaba de sufrir una avería.

Xn= 3 si una máquina acaba de averiarse y la otra lleva un día en reparación.

Así pues, el espacio de estados es S={0,1,2,3} y los momentos de observación son al final de cada día de trabajo.

Sea q=1-p. La transición de 0 a 0 ocurre cuando no se descompone la máquina que está trabajando, por lo que la probabilidad de transición es q.

De 0 a 1 no es posible transitar, y se pasa de 0 a 2 cuando se descompone la máquina que está trabajando, cosa que ocurre con probabilidad p.

Tampoco es posible la transición de 0 a 4. De manera análoga, se determinan los otros elementos de la siguiente matriz de transición.

q  q P 0  0

0

p

0

p

q

0

0

1

0  0 p  0

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

10

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto Obsérvese que la transición de 3 a 2 es segura pues, en ese caso, sólo se puede esperar a que el técnico avance en la reparación de la máquina que en la que está trabajando.

Ejemplo 5.

Conversión de una cadena no markoviana en markoviana Supongamos que el hecho de que llueva mañana depende exclusivamente de si llovió hoy, independientemente de lo que haya pasado en días anteriores. Si llueve hoy, mañana llueve con probabilidad α. Si no llueve hoy, mañana llueve con probabilidad 1-β.

Sea Xn la variable aleatoria que toma el valor 0 si llueve y el valor 1 si no llueve. Por la descripción anterior, es claro que {Xn} es una cadena de Markov y su matriz de transición es:

1    P   1   Considérese que se sabe que un día cualquiera puede llover o no dependiendo de lo que haya pasado los dos días anteriores, de acuerdo a las siguientes probabilidades: Si llovió ayer y también hoy, con probabilidad 0.7 de que llueva mañana.

Si no llovió ayer pero si hoy, con probabilidad 0.5 de que llueva mañana.

Si llovió ayer y no hoy, con probabilidad 0.4 de que llueva mañana.

Si no llovió ayer ni tampoco hoy, con probabilidad 0.2 de que llueva mañana.

Evidentemente, si tomamos las mismas variables aleatorias que antes, aquí no tendríamos una cadena de Markov. Pero podemos trabajar este ejemplo como cadena de Markov extendiendo el espacio de estados.

Sea Yn una variable aleatoria que toma los siguientes valores: Yn=0 si llovió ayer y también hoy (sí-sí); Yn=1 si no llovió ayer pero sí hoy (no-sí); Yn=2 si llovió ayer y no hoy (sí-no); Yn=3 si no llovió ayer ni tampoco hoy (no-no).

Si la cadena está en el estado sí-sí, en un día más sólo puede pasar a otro estado que empiece con sí, es decir, a sí-sí o a sí-no.

sí

sí sí

sí sí

sí sí

no

Como la transición de sí-sí a sí-sí ocurre con probabilidad 0.7, la transición a sí-no ocurre con probabilidad 0.3.

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

11

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto Así se va construyendo la matriz de transición de {Yn}, obteniendo:

 0.7 0 0.3 0    0.5 0 0.5 0  P  0 0.4 0 0.6     0 0.2 0 0.8  Ejemplo 6.

Tiempo de vida residual Consideremos lanzamientos sucesivos de un dado. Sea Xj el número obtenido en el j-ésimo lanzamiento. Definimos Yn como la suma de los números obtenidos en los primeros n lanzamientos, es decir: n

Yn   X j j 1

Sea k un número fijo y nk el primer entero para el cual se cumple que Yn rebasa a k, es decir,

nk  min n  N Yn  k

Construyamos ahora la cadena Dk = Ynk - k, es decir, el excedente sobre k después de nk lanzamientos. Para fijar ideas, supongamos que en los primeros lanzamientos de un dado se obtienen los siguientes resultados: {Xj} = {2,5,1,6,3,1,4,…}.

Entonces, las sumas toman los valores {Yn} = {2,7,8,14,17,18,22,…} De ahí que: n₁=1 porque la primera Y que rebasa a 1 es Y₁=2, y D₁=Y₁-1=1. n₂=2 porque la primera Y que rebasa a 2 es Y₂=7, y D₂=Y₂-2=5. n₃=2 porque la primera Y que rebasa a 3 es Y₂=7, y D₃=Y₂-3=4. n₄=2 porque la primera Y que rebasa a 4 es Y₂=7, y D₄=Y₂-4=3. n₅=2 porque la primera Y que rebasa a 5 es Y₂=7, y D₅=Y₂-5=2. n₆=2 porque la primera Y que rebasa a 6 es Y₂=7, y D₆=Y₂-6=1. n₇=3 porque la primera Y que rebasa a 7 es Y₃=8, y D₇=Y₃-7=1.

Así, se va obteniendo los primeros valores de la cadena conocida como tiempo de vida residual: {Dk}={1,5,4,3,2,1,1,6,5,4,3,2,1,3,…}.

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

12

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto Obsérvese que el espacio de estados de Dk es S={1,2,3,4,5,6}. Si Dk=j>1, entonces, Dk+1 = j-1 con probabilidad 1. Si Dk=1, entonces Dk+1puede tomar cualquiera de los valores 1,2,3,4,5,6, todos con probabilidad 1/6, porque el valor al que se pasa es el resultado de un lanzamiento del dado. Se trata entonces de una cadena de Markov cuya matriz de transición es:

1 / 6 1 / 6 1 / 6 1 / 6 1 / 6 1 / 6    0 0 0 0 0   1  0 1 0 0 0 0  P  0 1 0 0 0   0  0 0 0 1 0 0    0 0 0 1 0   0

2.1.2 Matriz de transición y distribución inicial En los ejemplos anteriores vimos cómo construir la matriz de transición de una cadena de Markov estacionaria, misma que toma la forma:

 p  0, 0   p 1, 0  P  p  2, 0   

p  0,1

p  0, 2 

p  2,1

p  2, 2 

p 1,1

p 1, 2 

     

cuando el espacio de estados es S = {0, 1, 2, …}.

El i-ésimo renglón de esta matriz contiene las probabilidades de las posibles transiciones cuando el sistema se encuentra en el estado i. Por lo anterior, los elementos de cada renglón satisfacen las condiciones: p(i, j) ≥ 0 para toda pareja de estados i, j, y

 p  i, k   1

para cada estado i.

kS

Es decir, los elementos de cada renglón forman una distribución de probabilidad. Una matriz con entradas no-negativas y renglones que suman 1, se llama matriz estocástica, así que la matriz de transición de una cadena de Markov es una matriz estocástica.

Si la cadena de Markov no es estacionaria, no hay una única matriz de transición para la cadena, sino que hay una matriz de transición distinta para cada paso, es decir, una matriz para la transición de X0 a X1, otra para la transición de X1 a X2, y así sucesivamente.

Por otro lado, en algunos casos, el estado inicial de una cadena de Markov se determina al describir el problema que se quiere modelar. Por ejemplo, en la cadena de Ehrenfest se puede partir de que el estado inicial es que cada urna contenga b bolas.

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

13

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto Pero hay otros modelos en los que el estado inicial no está determinado sino que toma valores de acuerdo a una distribución de probabilidad. En el ejemplo sobre las parejas finales de una colección de lanzamientos de monedas, el estado inicial puede ser cualquiera de los valores AA, AS, SS o SA, cada uno con probabilidad 1/4.

Usualmente, la variable X0 indica el estado inicial. La distribución de probabilidad del estado inicial, en una cadena de Markov con espacio de estados S = {0,1,2,…}, es un vector renglón que se denota por: π₀=(π₀(0),π₀(1),π₀(2),…)

Cuyos elementos están dados por:

 0 i   P  X 0  i

conπ₀(i) ≥ 0 para todo i y

   i   1. A π₀ le llamaremos la distribución inicial de la cadena. iS

0

Actividad 1. Proceso de Markov.

A través de esta actividad, podrás convertir un proceso que no sea cadena de Markov a cadena de Markov, por medio de los procesos establecidos hasta ahora.

Instrucciones 1. Investiga un proceso que no sea una cadena de Markov y plantea una forma de convertirlo en cadena de Markov 2. Ingresa al Foro para comentar tus propuestas.

3. Revisa propuestas de tres de tus compañeros, aceptando o rechazando su respuesta.

4. Consulta la rúbrica general de la participación en Foros, que se encuentra en la sección Material de apoyo.

2.1.3 Otras distribuciones de probabilidad asociadas a una cadena de Markov En el análisis de una cadena de Markov surgen otras distribuciones de probabilidad o funciones de densidad, mismas que abordaremos a continuación.

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

14

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto 1. Probabilidad de transición en n pasos Nos proponemos estudiar cómo calcular la probabilidad de pasar de i a j en n pasos, dada por:

P  X n  j X 0  i   pn  i, j 

A la matriz formada por estas probabilidades la denotaremos inicialmente por P

P

 n

  pn  i, j   , donde P1  P .

 n

, es decir,

El siguiente teorema establece que la matriz de transición en n pasos se puede obtener multiplicando n veces la matriz de transición en un paso.

Teorema. Ecuación de Chapman-Kolmogorov.

Para cualquier pareja n,m∈{0,1,2,…} se cumple que

P es decir,

n  m

 Pn Pm ,

pn m  i, j    pn  i, k  pm  k , j  kS

Demostración.

Sean i y j dos estados arbitrarios de S. Usando la regla de probabilidad total y la propiedad de Markov, se tiene:

pn  m  i, j   P  X n  m  j X 0  i    P  X n  m  j , X n  k X 0  i  kS

  P  X n  k X 0  i  P  X n  m  j X 0  i, X n  k  kS

  P  X n  k X 0  i  P  X nm  j X n  k  kS

  P  Xn  k X0  i P  Xm  j X0  k  kS

  pn  i, k  pm  k , j  kS

Observación. Nótese que la ecuación matricial P entero positivo n, ya que

 n  m

n  Pn Pm implica que P   Pn para todo

P   P 1

P 2  PP= P 2 P   P   P= P 2 P  P 3 3

2

y así sucesivamente. n

Cada renglón de la matriz P forma una distribución de probabilidad en n pasos condicionada

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

15

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto a que la cadena esté en un estado particular.

Ejemplo 6.

Preferencia por ciertas marcas.

En un estudio de mercado sobre 3 marcas de café que se venden en una población, se encontró que de los consumidores de la marca A, el 60% vuelve a comprar A el siguiente mes, el 30% cambia a B y el 20% cambia a C. De los clientes que consumen la marca B, el 50% cambia a A el siguiente mes, el 30% vuelve a comprar B, y el 20% cambia a C. De los que compran C, el 40% cambia a A el siguiente mes, el 40% cambia a B y el 20% vuelve a comprar C. ¿Qué porcentaje de clientes siguen con cada una de las marcas después de 3 meses?

La matriz de transición es:

 0.6 0.3 0.1    P   0.5 0.2 0.3   0.4 0.4 0.2.    Y sus potencias segunda y tercera son:

 0.55  P =  0.53  0.52   0.541 3  P =  0.538  0.536  2

0.31 0.14   0.32 0.15  0.32 0.16  0.314 0.145   0.315 0.147  0.316 0.148 

Así que, tres meses después, el 54.1% sigue con la marca A, 31.5% sigue con la marca B y 14.8% sigue con la marca C. Obsérvese que cada uno de los vectores renglón que componen la matriz P parecidos entre sí.

3

son muy

2. Distribución de cada variable Xn Para determinar la probabilidad de que una cadena se encuentre en el estado j después de un paso, se puede usar la regla de probabilidad total para obtener:

P  X1  j    P  X 0  i  P  X 1  j X 0  i     0  i  p  i, j  iS

1

iS

Representaremos la distribución de X1 mediante el vector:

1  1  0 , 1 1 , 1  2  ,...

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

16

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto Donde

1  j   P  X 1  j  .

Escribiendo en forma matricial la relación expresada en (1), obtenemos:

 1   0 P   0  0   0 1  0  2       0  i  p  i, 0   iS

 p  0, 0   p 1, 0   p 2, 0    

p  0,1

p  0, 2 

p  2,1

p  2, 2 

p 1,1

   i  p  i,1    i  p i, 2  iS

0

iS

0

p 1, 2 

     

  

Si se quiere determinar la probabilidad de que la cadena se encuentre en el estado j después de dos pasos, el cálculo que debe hacerse es:

P  X 2  j    P  X 0  i  P  X 2  j X 0  i     0  i  p2  i, j  iS

 2

iS

Sea  2 la distribución de X2, es decir,

 2   2  0 ,  2 1 ,  2  2 ,...

La expresión 2 conduce a la ecuación matricial  2   0 P 2 .

Más generalmente, la distribución de probabilidad de cualquier variable Xn de la cadena será representada por:

 n   n  0 ,  n 1 ,  n  2  ,...

n  j  P Xn  j .

Donde:

Cada uno de estos elementos se calculan mediante

P  X n  j    P  X 0  i  P  X n  j X 0  i     0  i  pn  i, j  iS

 3

iS

La relación en (3) corresponde a la ecuación matricial  n   0 P n .

3. Probabilidad de una trayectoria muestral Ahora se busca la probabilidad de que el sistema haya recorrido una trayectoria particular de estados en los primeros m pasos, trayectoria que vamos a representar por: j0  j1  j2   jm Esta trayectoria está determinada por la intersección de eventos:

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

17

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto

 X 0  j0    X1  j1  

  X m  jm 

La probabilidad de esta trayectoria se calcula usando la propiedad de Markov en la siguiente probabilidad conjunta:

P  X 0  j0 , X 1  j1 ,

, X m  jm 

 P  X 0  j0  P  X 1  j1 X 0  j0  P  X 2  j2 X 0  j0 , X 1  j1   P  X 0  j0  P  X 1  j1 X 0  j0  P  X 2  j2 X 1  j1    0  j0  p  j0 , j1  p  j1 , j2  p  jm1 , jm 

 P  X m  jm 

m 1

Xk

k 0

  j k  

P  X m  jm X m 1  jm 1 

Esta expresión sirve para caracterizar a una cadena de Markov, es decir, cualquier proceso discreto a tiempo discreto que cumpla la relación anterior, es de Markov.

Obsérvese que todas las probabilidades calculadas dependen de la distribución inicial y de los elementos de la matriz de transición. Por ello, se puede afirmar que toda la información probabilística de una cadena de Markov estacionaria está concentrada en su matriz de transición P y en su distribución inicial π₀. Si se conocen estos dos elementos se puede calcular cualquier probabilidad relacionada con la cadena {Xn}.

Ejemplo 7.

Elementos y probabilidades en una cadena de Markov En una cadena de Markov con =f12g y matriz de transición

 1/ 3 2 / 3  P   3 / 4 1/ 4  y con distribución inicial X 0  1/ 2,1/ 2  vamos a determinar la distribución de probabilidad de 3y a calcular las siguientes probabilidades: (4=2)(6=2j4=1)y (100=2j97=2)  Finalmente, calcularemos la probabilidad de las trayectorias 1! 1! 2y2! 1! 2

 1/ 3 2 / 3  1/ 3 2 / 3  11/18 7 /18  P2       3 / 4 1/ 4  3 / 4 1/ 4   7 /16 9 /16  11/18 7 /18  1/ 3 2 / 3  107 / 216 109 / 216  P3       7 /16 9 /16  3 / 4 1/ 4   106 /192 83 /192  Así, la distribución de 3es:

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

18

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto  107   3  1/ 2,1/ 2   216  109   192

109  216   1837 1619  ,   0.53154, 0.46846   83   3456 3456   192 

Por otro lado, las probabilidades se obtienen mediante:

2 1 P  X 4  2   P  X 3  1 p 1, 2   P  X 3  2  p  2, 2    0.53154    0.46846   0.47148 3 4 7 P  X 6  2 X 4  1  P  X 2  2 X 0  1  p2 1, 2    0.38889 18 83 P  X 100  2 X 97  2   p3  2, 2    0.43229 192 La probabilidad de la trayectoria 1! 1! 2es:

1  1  2 

1

 0 1 p 1,1 p 1, 2        0.11111 2  3  3  9 Y la de la trayectoria 2! 1! 2 es:

1  3  2 

1

 0  2  p  2,1 p 1, 2        0.25 2  4  3  4

Actividad 2. Elementos de una cadena de Markov En esta actividad identificarás la distribución inicial y la matriz de transición de las cadenas de Markov que modelan una serie de situaciones y calcularás algunas de las probabilidades de interés en cada caso.

Instrucciones: 1. Descarga el documento “Act.2 Elementos de una cadena de Markov” 2. Estudia cada una de las situaciones descritas y realiza lo que se indica 1. Guarda y envía tu documento con la nomenclatura MPES_U2_A2_XXYYZ. Sustituye las XX por las dos primeras letras de tu primer nombre, y la Y por la inicial de tu apellido y la Z por la inicial de tu apellido materno.

3. Espera la retroalimentación de tu Facilitador (a).

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

19

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto 2.2 Comunicación entre estados, recurrencia y transitoriedad, periodicidad Analicemos las posibles transiciones en el siguiente ejemplo.

Ejemplo 8.

Dos jugadores inician un torneo con un capital de $3 cada uno. En cada partida el jugador 1 tiene una probabilidad p=0.6 de ganar un peso y una probabilidad q=0.4 de perder un peso. Xn indica el capital del jugador 1 después de la n-ésima partida. La matriz de transición correspondiente es

0 0 0 0 0 0   1   0 0 0   0.4 0 0.6 0  0 0.4 0 0.6 0 0 0    P 0 0 0.4 0 0.6 0 0   0 0 0 0.4 0 0.6 0    0 0 0 0.4 0 0.6   0  0 0 0 0 0 0 1  

Es claro que desde 0 y desde 6, sólo se puede regresar al mismo estado, a diferencia de lo que ocurre en los estados 1,2,3,4 y 5 entre los cuales se puede pasar con probabilidad positiva en un número finito de pasos.

Se dice que los estados 1, 2, 3, 4 y 5 están comunicados entre sí, mientras que 0 y 6 son accesibles desde los otros estados pero sólo están comunicados con ellos mismos.

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

20

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto 2.2.1 La relación de comunicación y las clases de equivalencia Definición 2. Se dice que un estado j es accesible desde el estado i si existe un entero no negativo n tal que pn(i,j)>0, es decir, hay una probabilidad positiva de pasar de i a j en algún número de pasos. También se dice que i se comunica con j y esta relación se denota por i→j.

Cuando dos estados i y j son mutuamente accesibles, se dice que están comunicados o son estados comunicantes, es decir, existen enteros no negativos n y m tales que pn(i,j)>0 y pm(j,i)>0. La notación correspondiente es i↔j.

Observaciones.

1) La probabilidad en 0 pasos se define como:

1 si i  j p0  i, j    i j   0 si i  j 2) Nótese que dos estados no están comunicados si pn  i, j   0 para toda n , o bien sí

pn  j, i   0 para toda n .

Analicemos las repercusiones de la relación de comunicación entre los estados.

Proposición 1. La relación de comunicación entre estados es una relación de equivalencia .

Demostración. a) Es una relación reflexiva porque, al cumplirse que p₀(i,i)=1, se tiene que i↔i. b) Es una relación simétrica ya que de la definición anterior se desprende que si i↔j, entonces j↔i. c) Para ver la transitividad, de la relación supongamos que i↔j y j↔k. Entonces existen n y m tales que pn(i,j)>0 y pm(j,k)>0. Usando la ecuación de Chapman Kologorov se tiene:

pnm  i, k    pn  i, s  pm  s, k   pn  i, j  pm  j , k   0 sS

Por lo anterior, i→k. Análogamente se demuestra que k→i.

Por tanto, se tiene que i↔k.

Esta relación genera una partición del espacio de estados S en clases de equivalencia, a las que llamaremos clases de comunicación.

En el ejemplo anterior las clases son {0}, {6} y {1, 2, 3, 4,5}.

En el ejemplo 7, los estados 0 y 6 son absorbentes y cada estado absorbente forma una clase (él solo).

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

21

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto

Ejemplo 9.

Consideremos una cadena de Markov con S = {0,1,2,3, 4, 5} y matriz de transición:

 0  1 / 5  0 P 1 / 2  0   0

0

0

1

0

0 1/ 5 1/ 5 1/ 5 0 1/ 3

0

1/ 3

1/ 2

0

0 1/ 4

0

1/ 2

0

0

1/ 3

0

0 0

0   1/ 5  1/ 3   0  1/ 4   2 / 3 

El estado 0 está comunicado con 3. El estado 1 no está comunicado con ningún otro estado porque no hay probabilidad positiva de acceder a él desde ningún otro estado (cosa que se verifica fácilmente al observar que la columna correspondiente a este estado contiene únicamente ceros). El estado 2 está comunicado con 4 y con 5.

Así pues, las clases de comunicación en esta cadena son: {0, 3}, {1}, {2, 4, 5}.

Ejemplo 10. Consideremos la cadena de Markov con S = {0, 1, 2} y matriz de transición:

0  1 / 2 1 / 2   P  1 / 4 1 / 4 1 / 2   0 1 / 3 2 / 3  

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

22

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto

El espacio de estados tiene una única clase de equivalencia: {0,1,2}.

Una cadena cuyo espacio de estados está formado por una sola clase de comunicación, se llama irreducible, es decir, en estas cadenas todos los estados están comunicados entre sí.

Ejemplo 11.

Ahora consideremos la cadena con S = {1, 2 , 3, 4, 5} cuya matriz de transición es

0  0  1 / 3 1 / 3 P 0 0  1 / 2 0  0 0 

0 0 1 0 0

0   0 1 / 3 0 0   1/ 2 0  0 1  1

Las clases de comunicación son: {1, 4}, {2}, {3}, {5}. Obsérvese que si el sistema cae en la clase {1, 4}, ya no sale de ahí. Lo mismo ocurre en las clases {3} y {5} que están formadas por estados absorbentes. No ocurre lo mismo si el sistema empieza en el estado 2. Esta diferencia se recoge en la siguiente definición: Definición 3. Un conjunto de estados es cerrado si una vez que la cadena arriba de él, permanece en ese conjunto. Es decir, C es cerrado si j  C, y j  i implica que i  C .

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

23

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto Si el conjunto cerrado es una clase de comunicación, hablaremos de una clase cerrada.

2.2.2. Estados recurrentes y estados transitorios En el ejemplo 10, si el sistema empieza en el estado 1, es seguro que pasa al estado 4 en un paso. Puede permanecer en el estado 4 durante varios pasos, pero en la medida que la probabilidad de regresar al estado 1 es positiva, la definición frecuencial de la probabilidad nos permite asegurar que en algún momento, el sistema pasará a 1. Cuando esto ocurra, lo descrito anteriormente se repetirá.

Si el sistema empieza en el estado 2, puede pasar varios pasos en ese estado, pero hay una probabilidad positiva de que salga de él y nunca regrese.

Queremos caracterizar estos dos tipos de comportamiento: estados a los que la cadena regresa una infinidad de veces y estados a los que con probabilidad positiva nunca regresa. A los primeros estados los llamaremos recurrentes (o persistentes) y a los segundos transitorios.

Definición 4. Supongamos que X₀=i. Definimos una variable aleatoria a la que llamaremos tiempo del primer arribo al estado j, dada por

Tj  min{n  0 X n  j} .

En particular, el tiempo del primer retorno a i, está dado por

Ti  min{n  1 X n  i}

Si la cadena nunca regresa al estado i, el conjunto {n≥0|Xn=i} es vacío y, en ese caso, Ti=∞. Si la cadena empieza en i y nunca sale de ahí, entonces Ti=0. De manera que Ti toma valores en {0,1,2,…}∪{∞}.

La distribución de probabilidad de Ti depende de las probabilidades de transición de la cadena.

Ejemplo 12.

Consideremos la cadena de dos estados, con S={1, 2}y matriz de transición

p  1  p P   q 1 q La probabilidad de que Ti tome valores enteros positivos es:

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

24

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto P(T₁ 1 | X 0  1)  1  p

P(T₁ 2 | X 0  1)  p 1, 2  p  2,1  pq.

P(T₁ 3 | X 0  1)  p 1, 2  p  2, 2  p  2,1  pq 1  q  P(T₁ m | X 0  1)  p 1, 2  p  2, 2 

p  2, 2  p  2,1  pq 1  q 

m2

.

Por otro lado, 

P T1   X 0  i   1  P T1  N X 0  i   1   P T1  m X 0  i  m 1



 1  1  p   pq  1  q 

m2

m2

  1  p  pq    0  1  1  q  

Es decir, en este ejemplo es seguro que la cadena regresa en un tiempo finito al estado 1. Lo mismo ocurre con el estado 2.

Consideremos la probabilidad de que, empezando en i, la cadena pase al estado j en algún número de pasos. Esta probabilidad se puede escribir en términos del primer arribo de i a j de la siguiente manera:

fi j  P  X n  j para alguna n  1 X 0  i 









 P Tj   X 0  i   P Tj  n X 0  i n 1



En particular, 

fi i  P Ti   X 0  i    P Ti  n X 0  i  n 1

Definición 5. Un estado i es recurrente o persistente, si fi i =1, y es transitorio si fi i <1.





Se suele usar la notación P T j  n X 0  i  fi j  n  para la probabilidad de que el primer arribo de i a j ocurra en n pasos. Así, se tiene que: 

fi i   fi i  n  . n 1

Ejemplo 13.

Consideremos la cadena con S={1,2,3,4} y matriz de transición

0 1 / 2 1 / 2  1 0 0 p P  0 1/ 3 2 / 3  1 / 2 0 1 / 2

0  0 0  0

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

25

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto

En este caso f₄₄(n)=0 para toda n porque si la cadena sale de 4 ya no regresa, así que 4 es claramente un estado transitorio.

El estado 3 sólo puede tener un primer retorno en un paso: f₃₃(1)=2/3 yf₃₃(n)=0 para n>1. Así que 3 es claramente transitorio.

Para el estado 1, se tiene que: 

1 1  f  n   f 1  f  2  2  2  1 n 1

11

11

11

Así que 1 es un estado recurrente. Y para el estado 2, se tiene: 

1 1 1  f  n  0  2  4  8  n 1



22

1/ 2 1 1 1/ 2

De manera que también 2 es recurrente.

Si un estado i es recurrente, entonces las probabilidades fi i  n  , con n  N, forman una distribución de probabilidad, porque

fi i  n   0 para toda n, y



 f  n  1 n 1

ii

De manera que es razonable la siguiente definición: Definición 6. Si i es un estado recurrente, el tiempo esperado del primer retorno a i se define como: 

i   n fi i  n  n 1

Ejemplo 14.

En el ejemplo anterior, como los estados 1 y 2 son recurrentes, podemos calcular el tiempo

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

26

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto esperado del primer retorno de la siguiente forma:

1 2 3   2 2 2   n 1 2   nf 2 2  n   n 1  1  3 2 n 1 n2 2 1 1 / 2 

1  1 f11 1  2 f11  2  

Ejemplo 15.

Analicemos la cadena con S  N  1, 2,3,

 y matriz de transición

0 0 0 1 / 2 1 / 2 0  0 0 1 / 2 0 1 / 2 0 1 / 2 0 0 1/ 2 0 0 P 0 0 1/ 2 0 1 / 2 0 1 / 2 0 0 0 0 1/ 2  

        

Las probabilidades de transición permiten deducir que el estado 1 es recurrente. Veamos:

1 1 1 , f11  2   , f11  3  , 2 4 8  1 1/ 2 f11   n   1.

1 1 / 2 n 1 2

f11 1 

, f11  n  

1 , 2n

El tiempo esperado del primer retorno a 1 es: 

n 1/ 2 1/ 2   2 n 2 n 1 2 1  1 / 2  1 / 4

1  

Sin embargo, no es fácil analizar la recurrencia o transitoriedad de los demás estados. ejemplo,para el estado 2, podemos tener el primer retorno en 2 pasos sólo por la trayectoria 2→1→2. Para 3 pasos, puede ser por 2→1→1→2 o bien 2→3→1→2. En 4 pasos puede ser por 2→1→1→1→2, 2→3→1→1→1→2, 2→3→4→1→2, y el número de trayectorias va en aumento al ir creciendo el número de pasos.

Buscando otros criterios para analizar la recurrencia o transitoriedad de un estado, podemos hacer el siguiente razonamiento intuitivo:

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

27

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto a) Si el estado i es recurrente, entonces con probabilidad 1 la cadena regresa a i en un número finito de transiciones. Tras el primer retorno se tendrán nuevamente las mismas transiciones con las mismas probabilidades, es decir, con probabilidad 1 la cadena regresará otra vez al estado i en un número finito de pasosy así podemos continuar. De manera que el número esperado de visitas al estado i será infinito o equivalentemente, la probabilidad de que el número de visitas al estado i sea infinito, es uno. b) Por otro lado, si el estado i es transitorio, entonces empezando en i la cadena tiene una





probabilidad 1  P Ti   X 0  i  1  fi i  0 de no volver a ese estado jamás.

Empezando en i, la probabilidad de que el proceso regrese a i exactamente n-1 veces es

fi in1 1  fi i  para n  1, 2,3,

 , es decir el número de veces que la cadena estará en





i tiene distribución geométrica con media fi i / 1  fi i .

Consideremos la función indicadora:

1 si I j  Xn    0 si Entonces N  j  

Xn  j Xn  j



I X  n 0

j

n

es el número total de visitas de la cadena al estado j. Empezando

en i, el número esperado de visitas a j es:

   V  i, j   E N  j  X 0  i  E   I j  X n  X 0  i   n 0 













  E I j  X n  X 0  i  P  X n  j X 0  i  n 0

n 0



  pn  i, j  n 0

En particular, 

V  i, i    pn  i, i  n 1

En términos del número de visitas a i, la probabilidad de que en algún paso el proceso regrese a i se escribe como:



fi i  P N  i   1 X 0  i



El siguiente teorema, formaliza una parte de las ideas intuitivas mencionadas anteriormente.

Omitimos su demostración porque requiere varios resultados preliminares que harían muy extensa la presente exposición.

Teorema 2. Caracterización de estados recurrentes y transitorios. a) Las afirmaciones (a₁)-(a₃) son equivalentes:

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

28

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto (a₁) i es un estado recurrente. (a₂) P(N(i)=∞|X0 = i)=1. (a₃) V  i, i  



 p  i, i    . n 0

n

b) Las afirmaciones (b₁)-(b₃) son equivalentes: (b₁) i es un estado transitorio. (b₂) P(N(i)=∞|X0 = i)=0. (b₃) V  i, i  



 p  i, i    . n 0

n

Una de las consecuencias prácticas más útiles del teorema anterior es que la característica de ser recurrente o transitorio es una propiedad de clase, es decir, todos los estados comunicados entre sí son del mismo tipo.

Corolario2.1 Si j es recurrente y j está comunicada con i, entonces i es recurrente. Si j es transitorio y j está comunicado con i, entonces i es transitorio Demostración. Como i↔j, existen n y m tales que pn(i,j)>0 y pm(j,i)>0.

Así que 





s 1

r 1

r 1

 ps i, i    pnr m i, i   pn i, j  pm  j, i   pr  j, j    Así que i es un estado recurrente porque 

 p  i, i    . s 1

s

Sea j transitorio y j↔i. Si i fuera recurrente, por la parte anterior, j también tendría que serlo, así que i debe ser transitorio.

Corolario 2.2 En una cadena de Markov irreducible con espacio de estados finito, todos los estados son recurrentes.

Demostración.

Sea S={1,2,…,N} el espacio de estados. Si cualquier estado i fuera transitorio, todos los estados serían transitorios por el corolario anterior. Para cada estado j, habría un tiempo tj después del cual el estado j nunca más sería visitado. Entonces, después de un tiempo

t *  max t1 , t2 , , t N 

ningún estado sería visitado, lo cual no puede ocurrir.

Recuérda que un conjunto de estados C es cerrado si j∈C y j→i implica que i∈C. Corolario 2.3

Todos los estados de una clase de comunicación finita y cerrada son

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

29

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto recurrentes.

Demostración.

Sea C la clase de comunicación. Por ser cerrada, una vez que la cadena arribe a cualquiera de los elementos de C, permanece en esa clase con probabilidad 1, y por ser finita, el corolario anterior garantiza que los estados son recurrentes.

De hecho, un conjunto de estados cerrado se puede ver como el espacio de estados de una subcadena que empieza en alguno de sus elementos.

Corolario 2.4 estados.

Todo estado recurrente pertenece a un conjunto cerrado e irreducible de

Demostración: La clase de comunicación a la que pertenece un estado recurrente j, tiene que ser cerrada porque si no lo fuera podría ocurrir que, con probabilidad positiva, la cadena saliera de esa clase y nunca más volviera, lo que contradice que el estado sea recurrente.

Ahora contamos con más recursos para verificar la recurrencia o transitoriedad de los estados de una cadena de Markov.

Veamos algunos ejemplos:

Ejemplo 16.

Se tiene una pila de m libros sobre un escritorio. Los libros están numerados del 1 al m y el orden en que se encuentran es de arriba hacia abajo y está descrito por alguna permutación (i₁,i2, …,im) de los m números. Se elige al azar un libro y después se coloca arriba de la pila.

Espacio de estados: está formado por las m! permutaciones de los números de los libros.

Probabilidades de transición: Supongamos que la pila de libros está en el estado j= (i₁, i2, …,im). Sea pi la probabilidad de elegir el i-ésimo libro. Entonces:

 pi  1  p j , k   ps 0  

 

si

k j

si k   s, i1 , i2 ,



en otro caso

Si pi >0 para todo i, entonces todos los estados están comunicados entre sí y la cadena es irreducible. Como el espacio de estados es finito, en este caso todos los estados son recurrentes.

Si ps=0 para algún número s, entonces todos los estados de la forma (s,i₂,…,im) son transitorios, porque en un paso la cadena puede salir de ese estado (al elegir un j≠s) y nunca regresar. Los estados que tienen a s en algún lugar intermedio, también son transitorios, pues al elegir

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

30

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto cualquiera de los libros que están debajo de s (lo que puede hacerse con probabilidad positiva), el libro s se recorre hacia abajo y nunca regresa a la posición anterior. Sólo los estados de la forma (i₁,i₂, …, im-1,s) son recurrentes, pues con probabilidad 1 se regresa a esos estados en un número finito de pasos.

Ejemplo 17.

Vamos a analizar la comunicación y recurrencia en la cadena con S = {1, 2, 3, 4, 5, 6, 7} cuya matriz de transición es

0 0 0.7 0 0   0.3 0   0 0   0.1 0.2 0.3 0.4 0  0 0 0.2 0.5 0.3 0 0    P 0 0 0 0 0 0.5 0.5   0.6 0 0 0 0.4 0 0    0 0 0.4 0 0.2 0.4   0  0 0 0 1 0 0 0  

Clases de comunicación: {1,5}, {2}, {3}, {4,6,7}.

Recurrencia y transitoriedad: {1,5} es una clase cerrada, por tanto ambos estados son recurrentes. Lo mismo ocurre con la clase {4,6,7}.

Por último, es claro que en los estados 2 y 3, con probabilidad positiva, la cadena nunca regresa. De hecho: 





n 1

n 1

n 1

 pn  3,3   pn  2, 2   0.2n 

0.2  1  0.2

Por tanto, estos estados son transitorios.

Ejemplo 18.

Analicemos la caminata aleatoria sin restricciones. Se trata de una cadena irreducible, así que basta analizar la recurrencia o transitoriedad en el estado 0. Tomemos el caso en que p(i,i+1) = p y p(i,i-1) = q=1 – p.

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

31

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto No se puede hacer un recorrido que inicie en 0 y termine en 0 en un número impar de pasos porque tendría que darse el mismo número de pasos a la derecha que pasos a la izquierda. Si el número de pasos es 2k, entonces el número de pasos que se den a la derecha puede verse como una variable aleatoria con distribución binomial de parámetros 2k y p.

Así obtenemos:

p2 k 1  0,0   0

 2k  p2 k  0,0     p k q k k 

y

Para escribir de otra manera p2k(0,0) nos valdremos de la fórmula de Stirling:

n!  n

n

1 2 n

e

2

Obtenemos:

p2 k  0, 0  

 2k  ! k !k !

p q  k

k

 2k 

2k 

1 2

e2 k 2

 k  12  k  2  k e  

2

p q  k

k

22 k k

2k 

1 2

k 2 k 1 

p q  k

k

 4 pq 

k

k

Por tanto 





 p  0, 0   p  0, 0   k 1

k

k 1

2k

 4 p 1  p  

k 1

k

k

Obsérvese que 4p(1-p)≤1 y la igualdad se cumple sólo para p=1/2. Así que cuando p=1/2 los estados son recurrentes porque la serie 

 k 1

1 k



es divergente.

Demuestra que para el caso p≠1/2, la cadena es transitoria.

Ejemplo 19.

Vamos a determinar el tiempo esperado del primer retorno para los estados recurrentes de la cadena con S = {1, 2, 3, 4, 5} y matriz de transición:

0 0  1 / 2 0 1 / 2   2/3 0   0 1/ 3 0 P  1 / 4 0 3 / 4 0 0    1 0 0 0   0  0 0 0 1 / 2 1 / 2  

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

32

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto

Las clases de comunicación son: {1, 3}, {2, 4}, {5}. Las dos primeras son clases finitas y cerradas, así que son recurrentes. La tercera clase es transitoria porque, empezando en 5, hay una probabilidad positiva de que la cadena nunca regrese a ese estado. Para el estado 2, el tiempo esperado del primer retorno, también llamado tiempo esperado de recurrencia, es

2 

1 2 5 1   2   .

3 3 3

Para el estado 4, que pertenece a la misma clase, se tiene:

4 

2 4  2  3 3

Es decir, el tiempo esperado del primer retorno no es una propiedad de clase.

Si los renglones y columnas de la matriz de transición de una cadena, se mueven de tal manera que los estados que forman clases cerradas queden juntos, la nueva matriz tendrá forma de bloques. En el ejemplo anterior, la matriz modificada como mencionamos es:

0 0 0  1 / 2 1 / 2   0 0  1 / 4 3 / 4 0 P*   0 0 1/ 3 2 / 3 0    0 1 0 0   0  0 0 0 1 / 2 1 / 2  

 1 / 2 1 / 2  1 / 3 2 / 3  ,   , 1 / 2  0  1 / 4 3 / 4   1

=

Observa que el nuevo orden en los estados debe ser igual en los renglones que en las columnas. En la nueva matriz se formará un bloque por cada clase cerrada en S y cada uno de estos bloques es una matriz estocástica. Las transiciones entre estados transitorios quedan *

colocadas en la parte inferior derecha de P .

A la forma que toma una matriz de transición cuando se acomoda por bloques, se le conoce

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

33

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto como la representación canónica de la matriz de transición. Esta representación tiene la forma general:

 P1  0 0 P*    0   R1

0

0

0

P2

0

0

0

P3

0

0

0

Pn

R2

R3

Rn

0  0 0   0  Q 

donde cada Pi es la matriz estocástica que corresponde a las transiciones dentro de la i-ésima clase recurrente, la matriz Q corresponde a las transiciones entre estados transitorios y las matrices R₁,R₂,…,Rn son las matrices correspondientes a transiciones de estados transitorios a estados recurrentes.

Las matrices Pi son cuadradas y estocásticas, la matriz Q no es estocástica ya que, si T es el conjunto de estados transitorios y q(i,j) la probabilidad de transición entre dos elementos i y j de T, entonces puede ocurrir que

 q  i, j   1 . jT

Las matrices R₁,R₂,…,Rn no tienen que ser matrices cuadradas.

Para cerrar esta sección se mostrará un criterio que permite clasificar a los estados recurrentes en dos tipos.

Ejemplo 20.

Vamos a analizar la cadena con S={0,1,2,3,…} cuya matriz de transición es

0 0 0 1 / 2 1 / 2 0  0 0 1 / 3 0 2 / 3 0 1 / 4 0 0 3/ 4 0 0  P  1 / 5 0 0 0 4/5 0 1 / 6 0 0 0 0 5/6    

          

Es una cadena irreducible, pero como su espacio de estados no es finito, no podemos asegurar que sea recurrente. Veamos las probabilidades de los tiempos de primer retorno a 0:

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

34

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto f 00 1 

1 2

f 00  2  

1 2  3

f 00  3 

2 1  2  3 4  3  4 

f 00  n  

1 n  n  1

Por tanto 

 1 1  1      1 (serie telescópica) . n 1 n 1 n  n  1 n 1  n

P T0   X 0  0   

Ahora veamos el tiempo esperado del primer retorno a 1: 

 n 1    (serie armónica) n 1 n  n  1 n 1 n  1

0  

De manera que, si la cadena tiene un espacio de estados infinito, puede haber estados recurrentes cuyo tiempo esperado de primer retorno sea infinito, a pesar de que la recurrencia ocurre cuando un estado es visitado una infinidad de veces con probabilidad 1.

Definición 7.

Sea {Xn} una cadena de Markov estacionaria, y para un estado recurrente j sea µj el tiempo esperado del primer retorno a ese estado.

El estado j se llama recurrente positivo si µj< ∞, y se llama recurrente nulo si µj=∞.

2.2.3 Periodicidad Ejemplo 21.

Comparemos el comportamiento de dos cadenas de Markov: Cadena 1: S={1,2} con la siguiente gráfica dirigida:

Las matrices de transición en 1, 2, 3, … pasos son

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

35

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto 0 P 1 0 P3   1

1 1 2 , P   0 0 1 1 4 , P   0 0

0  1 0  1

Claramente, se muestra un ciclo cada dos pasos en esta cadena.

Cadena 2: S={1,2} con la siguiente gráfica dirigida:

Las matrices de transición en varios números de pasos son:

1 / 2 1 / 2  1 / 2 1 / 2  1 / 2 1 / 2  2 3 P , P   , P    1 / 2 1 / 2  1 / 2 1 / 2  1 / 2 1 / 2  En este caso, el valor de cada entrada es constante y el comportamiento es idéntico para cualquier número de pasos.

Resulta natural asumir que la primera cadena tiene periodo 2 y la segunda tiene periodo 1.

En realidad, la definición de periodicidad es más general, pues no es necesario volver exactamente a la misma matriz cada cierto número de pasos para hablar de la existencia de un periodo. Basta con que el número de pasos en que se regresa a un estado con probabilidad positiva, muestre una regularidad.

Definición 8.

Sea {Xn} una cadena de Markov y j uno de sus estados. Se dice que j tiene periodo d(j) si d(j) es el máximo común divisor (mcd) de los enteros n para los cuales pn(j,j)>0.

Observaciones: 1) Si pn(j,j)=0 para toda n, diremos que el periodo de j es cero.

2) Cuando no haya lugar a confusiones escribiremos el periodo simplemente como d.

Ejemplo 22.

Retomemos el ejemplo anterior para verificar la definición. En la cadena 1, las probabilidades de transición en varios pasos del estado 1 a él mismo, son:

p 1,1  0, p2 1,1  1, p3 1,1  0, p4 1,1  1,

Entonces, el conjunto de enteros n en los que pn(1, 1) > 0es G₁={2,4,6,…} y su mcd es 2, por lo que d(1)=2. Análogamente se ve que d(2)=2.

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

36

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto En la cadena 2, el conjunto de enteros n para los que pn(1, 1) > 0 es G₁={1,2,3,…}, de manera que d(1)=1.

Cuando un estado tiene periodo 1, diremos que es aperiódico.

Ejemplo 23.

Analizaremos la periodicidad de la cadena con S={1,2,3, 4} cuya matriz de transición es:

0 1/ 2 1/ 2  0 0 1 P 0 0 0  0 1 0

0  0 1  0

En la gráfica se puede ver que pn(1,1)>0 para n en G₁={3,4,6,7,8,9,10,…} por lo que d(1)=1,.es decir, es un estado aperiódico.

Para el estado 2, G₂={4, 7, 8, 10,11,…}, por tanto también. Análogamente se puede verificar que todos los estados de esta cadena irreducible, son aperiódicos. Una conjetura razonable es que la periodicidad es una propiedad de clase.

Noten que el hecho de que tengan el mismo periodo no implica que sean iguales los conjuntos Gi que incluyen los números de pasos en que se puede regresar a cada estado con probabilidad positiva.

Proposición 3. Sea {Xn} una cadena de Markov estacionaria y j uno de sus estados. Si j tiene periodo d y j↔i, entonces i tiene periodo d.

Demostración. Supongamos que d(i)=c≠d. Veamos qué sucede si d<c. Sean n y m enteros tales que pn(i,j)>0 y pm(j,i)>0 y para cualquier estado k, sea Gk={r∈N | pr(k,k)>0 }.

Como:

pnm  i, i    pn  i, k  pm  k , i   pn  i, j  pm  j , i   0 kS

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

37

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto Entonces n+m∈Gi, es decir, n+m es múltiplo de c. Sea s cualquier entero en Gj, es decir, ps(j,j)> 0.

Se tiene que:

pn s m  i, i   pn  i, j  ps  j, j  pm  j, i   0

De donde se concluye que es múltiplo de Como es múltiplo de , s también debe serlo y, por tanto ∈ . Y dado que s es un elemento arbitrario de , se concluye que es un divisor de todos los elementos de . Pero d es el máximo común divisor, luego no puede ocurrir que , así que se tiene una contradicción.

Los papeles de y se pueden intercambiar en la demostración anterior para probar que tampoco puede ocurrir que . Así se obtiene que .

Aunque Gj no tiene por qué incluir a todos los múltiplos del periodo d, la siguiente proposición garantiza que este conjunto contiene a todos los múltiplos mayores de algún número N. Proposición 4. Sea {Xn} una cadena de Markov estacionaria y j uno de sus estados. Si el estado j tiene periodo d, entonces existe un entero N (que depende de j), tal que para cualquier entero n≥N se cumple que pnd(j,j)>0.

Demostración. Considérese cualquier colección finita de números n₁,n₂,…,nt en el conjunto Gj={n | pn(j,j)>0}. Como d es el mcd de los elementos de Gj, un resultado de teoría de números nos permite afirmar que existe N tal que para n≥N existen enteros no negativos c₁,c₂,…,ct que satisfacen que: t

nd   cs ns s 1

Es decir, a partir de cierto múltiplo de d, todos los demás se pueden escribir como combinación lineal de los números elegidos. Entonces, para n≥N,

pnd  j , j   pc1n1 c2 n2 

 j, j     pns  j, j   r

 ct nt

cs

0

s 1

porque los números n₁, n₂, …,n_{t} están en G_{j}

Actividad 3. Estados de cadena de Markov A través de esta actividad identificarás las clases de comunicación y analizarás la recurrencia o la transitoriedad de los estados de una cadena de Markov.

Instrucciones: 1. Descarga el documento “Act. 3. Estados de cadena de Markov”

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

38

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto 2. Realiza lo que indican las instrucciones de la actividad.

3. Guarda y envía tu documento con la nomenclatura MPES_U2_A3_XXYYZ. Sustituye las XX por las dos primeras letras de tu primer nombre, y la Y por la inicial de tu apellido y la Z por la inicial de tu apellido materno.

4. Espera la retroalimentación de tu Facilitador (a).

2.3 Comportamiento límite Un aspecto de interés en el estudio de las cadenas de Markov es qué pasa con la probabilidad cuando n tiende a infinito. En el estudio de este comportamiento límite se descubren varias características importantes tanto de las cadenas que tienen límite como del valor límite de las mismas.

Definición 9. Se dice que una cadena de Markov {Xn} con espacio de estados S tiene una distribución límite π*=(π* (j),j∈S), si

limn P  X n  j    *  j  .

Obsérvese que como

P  X n  j    n  j     0  i  pn  i, j  iS

donde π₀(i) es la i-ésima componente de la distribución inicial π₀, es claro que la existencia de la distribución límite depende de que exista

limn pn  i, j  .

Es decir, si existe limn pn  i, j   v  j  y si estos límites cumplen con que ν(j)≥0 para toda j∈S y

 v  j   1 , entonces (ν(j),j∈S) es la distribución límite. jS

Antes de abordar el estudio de las condiciones bajo las cuales existe una distribución límite, analicemos las distribuciones invariantes.

2.3.1 Distribuciones invariantes Consideramos que una distribución de probabilidad es invariante respecto a una cadena, si al multiplicarla por la matriz de transición de la cadena se obtiene de nuevo la misma distribución.

Antes de formalizar esta idea, veamos un ejemplo.

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

39

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto Ejemplo 24. Consideremos una cadena con dos estados S={0,1} y matriz de transición

p  1  p P   q 1 q  Busquemos un vector ν=(ν(0),ν(1)) que multiplicado por esta matriz P obtenemos como resultado el mismo vector.

p  1  p vP   v  0  , v 1      v  0 1  p   v 1 q, v  0  p  v 11  q   .  q 1 q  Tenemos entonces que resolver el sistema: v(0)(1-p)+v(1)q = v(0) v(0)p+v(1)(1-q) = v(1) -Que tiene una infinidad de soluciones. Por ejemplo (0,0), (1,p/q), etcétera.

Si agregamos la condición de que el vector v sea una distribución de probabilidad, podemos buscar una solución, es decir: v(0)(1-p)+v(1)q = v(0) v(0)p+v(1)(1-q) = v(1) v(0)+v(1) = 1 Despejando v(1) en la última igualdad y sustituyendo en la primera ecuación, obtenemos: v(0)(1-p)+(1-v(0))q = v(0) v(0) = (q/(p+q)) De donde se obtiene que la solución es: v(0) = (q/(p+q)) v(1) = (p/(p+q)) ¿Qué pasaría si la distribución inicial de una cadena de Markov fuera una distribución invariante π₀=v? De acuerdo a lo que hemos visto sobre la distribución de probabilidad πn de cada Xn, obtendríamos que π₁ = (P(X₁=0),P(X₁=1))=vP=v π₂ = (P(X₂=0),P(X₂=1))=(vP)P=vP=v y πn=v

para toda n.

Por esta razón, a una distribución que cumple las condiciones mencionadas se le conoce como distribución invariante o estacionaria de la cadena.

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

40

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto Definición 10. Sea {Xn} una cadena de Markov con espacio de estados S y matriz de transición P, y sea ν=(ν(i), i∈S) una distribución de probabilidad, es decir,

v  i   0 para todo i  S , y

 v i   1 iS

Decimos que v es una distribución invariante o distribución estacionaria para {Xn} si vP = v, es decir, si

v  j    v  i  p  i, j  para todo j  S. iS

Observación. Una cadena de Markov puede no admitir ninguna distribución estacionaria.

Ejemplo 25.

Cadenas de nacimiento y muerte. Se presenta si su espacio de estados es S={0,1,2,…,s}, donde s puede ser finito o infinito, y sus probabilidades de transición cumplen que: p(i,j)>0 sólo si |i-j|≤1.

Usaremos la siguiente notación para las probabilidades de transición:

p  i, j  

pi

si

j  i  1para toda i  0

ri

si

j i

qi

si

j  i  1para toda i  1

0

para toda i  0 en otro caso

y q₀=0, ps=0 en el caso en que s<∞. Diremos entonces que pi es el parámetro de nacimiento y qi es el parámetro de muerte. Las ri´s son números no-negativos tales que pi+ri+qi=1.

Deseamos encontrar condiciones bajo las cuales una cadena de nacimiento y muerte tiene una distribución invariante. Supondremos que pi y qi son números positivos para todo i∈{1,2,3,…} y que q₀=0, r₀+p₀=1.

La matriz de transición es

 r0   q1 P 0  0  

p0

0

0

0

r1

p1

0

0

q2

r2

p2

0

0

q3

r3

p3

       

Sea j=0. Al hacer el producto vP, la ecuación de invarianza toma la forma v(0)=v(0)r₀+v(1)q₁.

Como r₀+p₀=1,

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

41

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto v(0) = v(0)(1-p₀)+v(1)q₁ v(1)q₁ = v(0)p₀ Para j≥1, la ecuación de invarianza conduce a: v(j)=v(j-1)pj-1+v(j+1)qj+1+v(j)rj.

Como rj=1-pj-qj, se obtiene: v(j) = v(j-1)pj-1+v(j+1)qj+1+v(j)(1-pj-qj) = v(j-1)pj-1+v(j+1)qj+1+v(j)-v(j)pj - v(j)qj Por tanto, v(j+1)qj+1=v(j)pj+v(j)qj-v(j-1)pj-1 Usando lo anterior, tenemos

para j≥1.

v 1 q1  v  0  p0 v  2  q2  v 1 p1  v 1 q1  v  0  p0  v 1 p1  v 1 q 1  v 1 q1  v 1 p1 v  3 q3  v  2  p2  v  2  q2  v 1 p1  v  2  p2  v  2  q2  v  2  q2  v  2  p2

Un razonamiento inductivo conduce a

v  j  q j  v  j  1 p j 1 v  j   v  j  1

p j 1 qj

para j  1.

Por tanto, iterando se obtiene que un vector invariante es:

v  0

v 1  v  0 

p0 q1

v  2   v 1

p p p1  v 0 0 1 q2 q1q2

Para que este vector sea una distribución de probabilidad, se requiere que v(0)>0 y

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

42

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto 

p0 p1

p j 1

j 1

q1q2

qj



1 p0 p1

p j 1

q1q2

qj

1   v  j   v  0  jS

para j  1.

Por tanto, se requiere que

v  0 

 j 1

Observación. El carácter invariante de un vector se puede escribir en términos de la matriz de transición en n pasos: vPn= v, ya que: vPn=(vP)Pn-1=vPn-1= (vP)Pn-2 =vPn-2 = …

Aunque no desarrollaremos las demostraciones, enunciaremos algunos resultados acerca de la existencia de distribuciones invariantes en ciertos tipos de cadenas de Markov.

Proposición 5: .Si una cadena de Markov tiene espacio de estados finito, entonces existe al menos una distribución invariante o estacionaria.

Proposición 6:. Una cadena de Markov irreducible y recurrente positiva, tiene una 1 única distribución invariante y el j-ésimo elemento de esa distribución es . j

2.3.2 El Teorema Fundamental de Convergencia Existen algunas cadenas para las cuales existe limn!1 pn(i; j) para cualquier pareja de estados i y j; y otras para las cuales este límite no existe.

Ejemplo 26.

Analicemos el comportamiento límite de la cadena con matriz de transición: 1/ 2 1/ 2  P  0   1

Multiplicando matrices, se tiene que

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

43

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto  0.5 0.5   0.75 0.25   0.6875 0.3125  P P2   P4      0   1  0.5 0.5   0.625 0.375   0.66797 0.33203   66667 0.33333  P8   P16      0.66406 0.33594   0.66666 0.33334 

Es claro que al hacer crecer n, la matriz de transición tiende a  2 / 3 1/ 3  P*     2 / 3 1/ 3  Podemos observar varios hechos: 1. Los dos renglones son iguales, lo que significa que en la distribución límite no importa de qué estado se parte, sólo a qué estado se llega, es decir:

limn pn 1, j   limn pn  2, j  2. Como ambos estados son recurrentes, se puede calcular el tiempo esperado de recurrencia:

1 2

2 3 2 2   2 1/ 2  n n 2   n 1  2 n  1  1  3 2 n2 2 n 1 2 1  1/ 2 

1   

Por tratarse de una cadena irreducible y recurrente positiva, la única distribución invariante que tiene es v = (2/3, 1/3) que es precisamente la distribución límite.

Es importante analizar qué condiciones debe cumplir una cadena de Markov estacionaria para que tenga una distribución límite y, cuando esta exista, demostrar que se cumplen los hechos observados en el ejemplo anterior.

El resultado básico que se usa en la demostración del Teorema Fundamental de Convergencia es un teorema conocido como Teorema de Renovación. El nombre viene del cumplimiento de la igualdad un   k 0 an k uk  bk llamada ecuación de renovación. Esto puede n

quedar justificado con el siguiente ejemplo.

Ejemplo 27.

Supóngase que contamos con un lote de lámparas cuyos tiempos de vida medidos en horas, son variables aleatorias independientes e idénticamente distribuidas X₁,X₂,X3,…, con distribución común dada por:

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

44

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto P  X  k   ak para k  0,1, 2, 

con ak  0

y

a k 0

k

,

1

Cada lámpara será reemplazada por una nueva cuando se descomponga, de manera que los n

, X j,

tiempos de reemplazo son X 1 , X 1  X 2 ,

j 1

Sea un el número esperado de reemplazos o renovaciones de lámparas hasta el tiempo n. Si el primer reemplazo ocurre al tiempo k, entonces el número esperado de reemplazos en el tiempo que falta hasta n será unk y un  1  unk con probabilidad P(X₁=k)=ak. Este razonamiento es válido para cualquier k entre 0 y n.

Por otro lado, si la primera lámpara falla a un tiempo k∈{n+1,n+2,…}, cosa que ocurre con probabilidad



 k  n 1

ak , entonces el número esperado de reemplazos hasta n será cero.

Entonces, podemos calcular un descomponiendo los posibles eventos de acuerdo al tiempo de la primera renovación, de la siguiente manera: n    n   1  un  k  ak  0   ak  k 0  k  n 1  n

n

k 0

k 0

  un  k ak   ak  a0un  a1un 1 

n

 anu0   ak k 0

n

  an  k uk  bn donde k 0

n

bn   ak k 0

De la última expresión se obtiene la ecuación de renovación.

Teorema 7. Teorema de renovación: Sean {ak},{bk} y {uk} sucesiones de números reales no negativos que satisfacen 

 ak  1, k 0



b k 0

k

 y

uk  M para toda k .

Supóngase que mcd{n|an>0}=1 y que se cumple la ecuación de renovación un   k 0 an k uk  bk n

para toda n∈{0,1,2,…}.

Entonces existe limn→∞un y se tiene que:

lim n un

  

lim n un  0



b

k 0 k 

si



si



kak k 0

 k 0  k 0

kak   kak  

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

45

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto Requerimos también el siguiente lema técnico de series.

Lema 8. Si {ak} es una sucesión de números reales tal que la serie



 k 0

ak converge al

número a,y si {bk} es una sucesión convergente a b, entonces: n

limn  ak bn k  ab k 0

El siguiente teorema recoge uno de los resultados más importantes en la teoría de las Cadenas de Markov.

Teorema 9. Teorema Fundamental de Convergencia. Sea P=(p(i,j)) la matriz de transición de una cadena de Markov aperiódica, irreducible y recurrente. Entonces para todo j ∈S,

1/  j si  j   a) lim n pn  j , j    si  j    0 1/  j si  j   b) lim n pn  i, j    para toda i  S si  j    0 Demostración. Sea j un estado arbitrario pero fijo de S. Aplicaremos el Teorema de renovación

an  f jj  n  , un  pn  j, j  , b0  1 y bn  0 para todo entero n  0. .

tomando

Verifiquemos las hipótesis del teorema: a) Por ser j recurrente,  n0 f jj  n   f jj  1 . 

b) Por construcción,





b  1  .

n 0 n

c) Como la sucesión {un} es una sucesión de probabilidades, está acotada. d) Por tratarse de una cadena aperiódica, mcd {n|fjj(n)>0}=1. e) Para ver la ecuación de renovación conviene hacer notar que la probabilidad de ir de un estado asi mismo en n pasos, se puede plantear describiendo todas las posibles trayectorias en términos de cuándo ocurre el primer retorno a ese estado, es decir:

pn  j, j   f jj 1 pn 1  j , j   f jj  2  pn 2  j, j   f jj  3 pn 3  j , j   

  f jj  k  pn k  j , j  k 1

Recuérdese además que f jj  0   0 . Se tiene entonces que se cumple que: n

p0  j, j   1 y pn  j, j    f jj  k  pnk  j, j   0 para enteros n  0, k 0

Que es la ecuación de renovación.

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

46

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto Por tanto, como  j   n0 npn  j, j  , concluimos que: 

lim n pn  j, j  

1

j

0

si

j  

si

j  

(Esta es la razón por la que cuando μj= 0 al estado j le llamamos recurrente nulo.)

Para la segunda parte del Teorema, sea limn→∞pn(j,j)=λ. Un razonamiento análogo al que se hizo antes, permite describir todas las trayectorias en n pasos de i a j usando el tiempo del primer arribo, para obtener: 

pn  i, j    fij  k  pn k  j , j  . k 0

Además, como la cadena es irreducible y recurrente, se tiene que 

 f  k   1. ij

k 0

Por el lema técnico sobre series tenemos que 

limn pn  i, j   limn  fij  k  pnk  j , j   1     k 0

Observación. Ya vimos que el vector cuya i-ésima componente es 1/μj es una distribución invariante, así que, si la cadena es irreducible, recurrente positiva y aperiódica, la distribución límite es la única distribución invariante que tiene la cadena.

Veamos algunas de las consecuencias inmediatas de este importante teorema: Corolario 9.1 Si una cadena {Xn} es irreducible y tiene una distribución invariante, entonces es recurrente positiva.

Demostración. Sea v = (v(j), j∈S) la distribución invariante.

Si existiera un estado transitorio, entonces todos los estados serían transitorios, es decir

limn pn  i, j   0

Por ser v invariante,

para cualquier pareja i, j  S.

v  j    v  i  pn  i, j  iS

para todo número natural n. En consecuencia, por el Teorema de Convergencia Dominada para series, tendríamos que

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

47

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto v  j   limn v  j   lim n  v  i  pn  i, j  iS

  limn v  i  pn  i, j   0. iS

Esto contradice el hecho de que v sea una distribución. Por tanto, todo estado es recurrente.

Si fuera recurrente nula, por el Teorema Fundamental de Convergencia, de nuevo se tendría que:

limn pn  i, j   0 para cualquier pareja i, j  S.

Por lo tanto, todos los estados son recurrentes positivos.

Corolario 9.2 La característica de ser recurrente positiva es una propiedad de clase, es decir, para i↔j: 1. Si i es recurrente positivo, entonces j es recurrente positivo.

2. Si i es recurrente nulo, entonces j es recurrente nulo.

Por tanto, una cadena irreducible y aperiódica que tiene distribución invariante, es recurrente positiva y esa distribución invariante es la distribución límite.

A una cadena irreducible, aperiódica y recurrente positiva, se le conoce como cadena ergódica, y el Teorema Fundamental de Convergencia también se conoce como Teorema Ergódico.

Ejemplo 28.

Sea S = {1, 2, 3} y

1/ 2 0 1/ 2    P 1 0 0   0 1 0    Es claro que la cadena es irreducible, recurrente positiva y aperiódica, por lo tanto, tiene distribución límite y para obtenerla, buscamos la única distribución invariante:

v  vP

que conduce al sistema:

1 v 1  v 1  v  2  2 v  2   v  3 1 v  3  v 1 2 v 1  v  2   v  3  1 Resolviendo, obtenemos: v(1) = ½, v(2) = ¼, v(3) = ¼. De manera que la distribución límite es:

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

48

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto 1 1 1  

*  v   , ,  .

2 4 4

2.3.3 Aplicaciones Un resultado adicional que contribuye a darle un significado concreto a la distribución límite, es el que a veces se identifica como la Ley de los Grandes Números para Cadenas de Markov que establece que cada componente de la distribución límite es la fracción de tiempo límite que la cadena pasa en el estado correspondiente.

Es decir, si ()es el número de visitas al estado hasta el instante entonces

limn

Nn  t    * i . n

Ejemplo 29.

Cada día, Laura está alegre (A), más o menos (M) o triste (T).

Si hoy estuvo alegre, mañana está de nuevo alegre con probabilidad 0.5, está más o menos con probabilidad 0.4 y está triste con probabilidad 0.1.

Si hoy se sintió más o menos, las probabilidades de que mañana esté alegre, más o menos y triste son 0.3, 0.4 y 0.3 respectivamente.

Y si hoy estuvo triste las probabilidad de que mañana esté alegre, más o menos o triste son 0.2, 0.3 y 0.5 respectivamente.

A la larga, ¿cuál es la proporción de tiempo que Laura pasa en cada estado de ánimo?

De acuerdo a la descripción, la matriz de transición de la cadena es:  0.5 0.4 0.1    P   0.3 0.4 0.3   0.2 0.3 0.5    Es claro que se trata de una cadena irreducible, aperiódica y recurrente positiva. Para encontrar la distribución estacionaria resolvemos el sistema. v  0   0.5v  0   0.3v 1  0.3v  2 

v 1  0.4v  0   0.4v 1  0.3v  2  v  2   0.2v  0   0.3v 1  0.5v  2  1  v  0   v 1  v  2  Se obtiene:

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

49

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto 21 21 18 v 1  v  2  62 62 62 Que son las proporciones de tiempo que Laura pasa, a la larga, en cada estado de ánimo. v  0 

Ejemplo 30. Cada vez que tiene un viaje, un taxista se mueve entre el Aeropuerto (A) y los hoteles B y C con las siguientes probabilidades: si está en el aeropuerto, se dirige a cada uno de los hoteles con la misma probabilidad. Si está en cualquiera de los hoteles, con probabilidad 3/4 va al aeropuerto y con probabilidad 1/4 va al otro hotel. N este ejemplo haremos lo siguiente: (a) Determinar la matriz de transición de la cadena fg donde es el lugar en el que el taxista termina el -ésimo viaje, es decir, 0 es la posición inicial, 1es donde terminó el primer viaje y ahí iniciará el segundo viaje, 2es el lugar donde terminó el segundo viaje y ahí iniciará el tercer viaje, y así sucesivamente. (b) Si al tiempo =0 está en el aeropuerto, determinar la distribución de probabilidad del lugar donde inicia el tercer viaje. (c) Si al tiempo =0 está en el aeropuerto, calcular la probabilidad de que después de tres viajes esté de nuevo en el aeropuerto. (d) Calcule la proporción de tiempo que el taxista pasa en cada uno de los lugares que visita Solución. a)

 0 1/ 2 1/ 2    P   3 / 4 0 1/ 4   3 / 4 1/ 4 0   

b) Se debe encontrar la distribución de X2:

 2   P  X 2  A , P  X 2  B  , P  X 2  C     0 P 2 .  0 1/ 2 1/ 2  0 1/ 2 1/ 2   3 / 4 1/ 8 1/ 8       P   3 / 4 0 1/ 4  3 / 4 0 1/ 4    / 3 /16 7 /16 3 / 8   3 / 4 1/ 4 0  3 / 4 1/ 4 0   316 3 / 8 7 /16       2

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

50

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto Como empieza en el aeropuerto, se tiene que

 0  1,0,0  , por lo que:

 3 / 4 1/ 8 1/ 8   3 1 1  2  1, 0, 0   3 /16 7 /16 3 / 8    , ,  .  3 /16 3 / 8 7 /16   4 8 8    c) Hay dos formas de que, empezando en el aeropuerto, después de tres viajes esté en el aeropuerto: A  B  C  A o bien A  C  B  A, y cada una de estas trayectorias ocurre con probabilidad 1(1/2)(1/4)(3/4) = 3/32. Así que:

6 3 P  X 3  A X 0  A   .

32 16 c) Se trata de una cadena irreducible. Como su espacio de estados es finito, es una cadena recurrente positiva. Además, se puede pasar de A a A con probabilidad positiva en 2 pasos, en 3 pasos, en 4 pasos, etc. Por tanto, es aperiódica. Luego, para encontrar la distribución límite se requiere buscar una distribución invariante.

El sistema a resolver es:

1 1 v  B   v C  2 2 3 1 v  B   v  A  v  C  4 4 3 1 v  C   v  A  v  B  4 4 1  v  A  v  B   v  C 

v  A 

La solución es

 *  v  1/ 3,1/ 3,1/ 3 .

Ejemplo 31.

Una persona se traslada todos los días de su casa a la oficina en la mañana y de la oficina a su casa en las tardes. Aunque esta persona dispone de un coche, lo deja estacionado en su casa o en su oficina cuando al salir de alguno de estos lugares no está lloviendo, caso en el cual prefiere caminar.

Lo usa para cualquiera de los dos traslados cuando llueve, siempre y cuando el coche esté en el lugar en el que él se encuentra en ese momento. La probabilidad de lluvia es siempre igual a p, tanto por la mañana como por la noche e independientemente de cualquier otro evento. En este ejemplo vamos a calcular la proporción de viajes a largo plazo en los cuales la persona se moja por tener que caminar bajo la lluvia.

Solución. Definimos los estados: S = {CL, CN, NL, NN} que representan lo siguiente: CL: tiene coche y llueve

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

51

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto NL: no tiene coche y llueve CN: tiene coche y no llueve NN: no tiene coche y no llueve.

Es claro que se moja en el estado NL. La matriz de transición es:

 p 1 p  0 0 P  p 1 p   p 1 p

0   p 1 p  0 0   0 0 

0

Para obtener el primer renglón de esta matriz, partimos de que la cadena está en el estado CL es decir, tiene coche y llueve. Suponiendo que está en su casa, usará el coche para trasladarse a la oficina y pasará al estado CL si al salir de la oficina llueve de nuevo y pasará al estado CN si al salir de la oficina no llueve. No puede pasar a los estados NL y NN porque trae el coche.

Nótese que estas probabilidades de transición serían iguales si en lugar de empezar en su casa, empezara en la oficina. De manera análoga se calculan las otras probabilidades de transición.

Se trata de una cadena irreducible, aperiódica y recurrente positiva, así que podemos encontrar su distribución límite resolviendo el sistema:

v 1  pv 1  pv  3  pv  4 

v  2   1  p  v 1  1  p  v  3  1  p  v  4  v  3  pv  2  1  v 1  v  2   v  3  v  4   p 1  p 1  p  p 1  p 2  Y la solución es   v   , , ,  , así que la proporción de tiempo que  2 p 2 p 2 p  2  p   *

a la larga pasa en el estado NL es p(1-p)/(2-p).

Actividad 4. Determinación de distribuciones límite En esta actividad aplicarás lo aprendido acerca de la existencia y determinación de distribuciones de límite o estacionarias.

Instrucciones:

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

52

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto 1. Descarga el documento “Act. 4. Determinación de distribuciones límite”.

2. Revisa las instrucciones de la actividad, y resuelve lo que se solicita.

5. Guarda y envía tu documento con la nomenclatura MPES_U2_A3_XXYYZ. Sustituye las XX por las dos primeras letras de tu primer nombre, y la Y por la inicial de tu apellido y la Z por la inicial de tu apellido materno.

3. Espera la retroalimentación de tu Facilitador(a).

Autoevaluación Es momento de realizar la Autoevaluación, lo que te permitirá recordar los conocimientos adquiridos durante la unidad.

Instrucciones: Analiza cada una de las cadenas de Markov que se describen en la siguiente tabla y arrastra las palabras que permitan completar correctamente la tabla.

Cada palabra puede ser usada varias veces.

Cadena de Markov

¿Aplica el Teorema Fundamental de Convergencia?

¿Qué hipótesis no se cumplen?

0 0 1/ 2  1/ 2 0    0 1/ 3 1/ 3 1/ 3 0  S  1, 2,3, 4,5 y P   0 1/ 2 0 1/ 2 0    1 0 0 0   0 1/ 4 0 0 0 3 / 4  

S  1, 2,3 y

S  1, 2,3, 4 y

0 1 0   P  1 0 0 0 1 0  

 0 1/ 2 1/ 2 0    1/ 3 0 1/ 3 1/ 3  P  0 1/ 2 0 1/ 2    1/ 4 1/ 4 1/ 4 1/ 4 

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

53

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto

S  1, 2,3,



0 0 1/ 2 1/ 2 0  0  1/ 3 1/ 3 1/ 3 0 y P   0 1/ 4 1/ 4 1/ 2 0  0 1/ 5 1/ 5 3 / 5  0  

Banco de palabra Si Recurrencia positiva

No Irreducibilidad

       

Ninguna Recurrencia

Aperiodicidad

Para comparar tus respuestas, revisa el documento “Respuestas_autoevaluación_U2, ubicada en la pestaña de Material de Apoyo.

Retroalimentación 1-4 aciertos. Los conocimientos obtenidos no fueron suficientes, debes revisar nuevamente el contenido de la unidad.

4-8 aciertos. Tienes un conocimiento claro de los conocimientos de la Unidad ¡Sigue adelante!.

Evidencia de aprendizaje. Análisis y predicción A través de esta actividad, podrás recordar y aplicar los conocimientos adquiridos durante la unidad, para resolver problemas representados en diversos contextos.

Instrucciones: 1. Descarga el documento llamado “EA. Análisis y predicción” 2. Realiza lo que se pide en cada uno de los problemas que se presentan. Escribe el procedimiento completo en cada caso.

3. Guarda y envía tu documento con la nomenclatura MPES_U2_EA_XXYZ. Sustituye las XX por las dos letras de tu primer nombre, la Y por la inicial de tu apellido paterno y la Z por la inicial de tu apellido materno.

4. Envía tu reporte al portafolio de evidencias y espera la retroalimentación de tu Facilitador(a), atiende sus comentarios y reenvía la nueva versión de tu evidencia.

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

54

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto 5. Consulta la Escala de Evaluación para conocer los criterios con que será evaluado tu trabajo.

Autorreflexiones Al finalizar, consulta el Foro: Preguntas de Autorreflexión para realizar el ejercicio correspondiente y enviarlo a través de la herramienta Autorreflexiones. Recuerda que también se toman en cuenta para la calificación final.

Cierre de la unidad En esta unidad estudiaste las cadenas de Markov estacionarias, conociste la relación de comunicación entre estados y las clases de equivalencia que esa relación induce en el espacio de estados S. Se clasificaron los estados en recurrentes o transitorios de acuerdo al valor de la probabilidad de que la cadena regrese al estado en algún momento. Se identificaron los estados recurrentes positivos y recurrentes nulos de acuerdo al valor del tiempo esperado de recurrencia.

Se estudió el periodo de cada clase de comunicación y las distribuciones invariantes.

Se analizaron diversas relaciones entre todas las características mencionadas, de las cuales el resultado principal es el Teorema Fundamental de Convergencia que establece que una cadena irreducible, aperiódica y recurrente positiva, tiene una distribución límite y ésta coincide con su única distribución invariante. A las cadenas que tienen las características anteriores se les llama cadenas ergódicas.

Para saber más En la liga http://www.math.duke.edu/~rtd/EOSP/EOSP2E.pdf encontrarás uno de los libros de las referencias bibliográficas de esta unidad, mismo que te será útil en todos los temas que se abordan en esta asignatura.

En la siguiente liga encontrarás una breve biografía de Andrei Andreevich Markov, creador de las bases de la teoría que conociste en esta unidad. http://investigaciondeoperaciones2.wordpress.com/category/cadenas-de-markov/

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

55

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto El video de la siguiente liga, presenta una breve exposición de los elementos más importantes de una cadena de Markov http://www.youtube.com/watch?v=Eaw2MnlUvoc

ReferenciasBibliográficas Chung, K.L. (1960) Markov Chains with Stationary Transition Probabilities. Springer.Berlín.

Durret, R. (2011) Essential of Stochastic Processes. Segunda edición.Springer. New York.

Isaacson D.L., Madsen R.W. (1981) Markov Chains Theory and Applications.John Willey & Sons. New York.

Ross, S.M. (1992) Applied Probability Models with Optimizarion Applications.Dover Publications Inc. Toronto.

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

56