TEMA 5.

PROCESOS ESTOCSTICOS
En el estudio de las variables aleatorias realizado hasta ahora se han explorado las caractersticas aleatorias del fenmeno pero se ha mantenido una premisa por defecto, que esas caractersticas aleatorias permanecen constantes a travs del tiempo. Al incluir en el estudio la presencia de la variable determinstica tiempo se est considerando que, de alguna forma, la variable aleatoria depende del tiempo. En otras palabras, la variable aleatoria depender del fenmeno probabilstico y del tiempo. En consecuencia, cualquier funcin que se establezca en trminos de la variable aleatoria, como lo son la funcin de distribucin o la funcin de densidad, sern tambin dependientes del tiempo. Uno de los objetivos de este captulo es construir un modelo que nos permita explicar la estructura y preveer la evolucin, al menos a corto plazo, de una variable que observamos a lo largo del tiempo. La variable observada puede ser econmica (I.P.C., demanda de un producto, existencias en un determinado almacn, etc...), fsica (temperatura de un proceso, velocidad del viento en una central elica, concentracin en la atmsfera de un contaminante, etc..) o social (nmero de nacimientos, votos de un determinado partido, etc..). Supondremos a lo largo del tema que los datos se obtienen en intervalos regulares de tiempo (horas, das, aos,..) y el objetivo es utilizar la posible inercia en el comportamiento de la serie con el n preveer su evolucin futura. As, una serie temporal ser una sucesin de valores de una variable obtenidos de manera secuencial durante el tiempo.

5.1. Concepto de proceso estocstico.

Denicin Un proceso estocstico es una coleccin o familia de variables aleatorias {Xt , con t T }, ordenadas segn el subndice t que en general se suele identicar con el tiempo. Por tanto, para cada instante t tendremos una variable aleatoria distinta representada por Xt , con lo que un proceso estocstico puede interpretarse como una sucesin de variables aleatorias cuyas caractersticas pueden variar a lo largo del tiempo. Por ejemplo, si observamos slo unos pocos valores de t, tendramos una imagen similar a la de la gura siguiente:

en la que se representa para cada t la funcin de densidad correspondiente a Xt . Aunque en la gura se han representado unas funciones de densidad variables, un proceso estocstico no tiene por que presentar esas diferencias en la funcin de densidad a lo largo del tiempo. Como ms adelante se comentar presentan un especial inters aquellos procesos cuyo comportamiento se mantiene constante a lo largo de t. A los posibles valores que puede tomar la variable aleatoria se le denominaran estados, por lo que se puede tener un espacio de estados discreto y un espacio de estados continuo. Por otro lado, la variable tiempo puede ser de tipo discreto o de tipo continuo. En el caso del tiempo discreto se podra tomar como ejemplo que los cambios de estado ocurran cada da, cada mes, cada ao, etc.. En el caso del tiempo continuo, los cambios de estado se podran realizar en cualquier instante. Por tanto, dependiendo de cmo sea el conjunto de subndices T y el tipo de variable aleatoria dado por Xt se puede establecer la siguiente clasicacin de los procesos estocsticos: Si el conjunto T es continuo, por ejemplo R+ , diremos que Xt es un proceso estocstico de parmetro continuo. Si por el contrario T es discreto, por ejemplo N, diremos que nos encontramos frente a un proceso estocstico de parmetro discreto. Si para cada instante t la variable aleatoria Xt es de tipo continuo, diremos que el proceso estocstico es de estado continuo. Si para cada instante t la variable aleatoria Xt es de tipo discreto, diremos que el proceso estocstico es de estado discreto. t Discreto Proceso de estado discreto y tiempo discreto (Cadena)
(Unidades producidas mensualmente de un producto)

t Continuo Proceso de estado discreto y tiempo continuo ( Proc. Saltos Puros) (Unidades producidas hasta el instante t) Proceso de estado continuo y tiempo continuo (Proceso Continuo)
(Velocidad de un vehculo en el instante t)

X Discreta

X Continua

Proceso de estado continuo y tiempo discreto

(Toneladas de produccin diaria de un producto)

Una Cadena es un proceso estocstico en el cual el tiempo se mueve en forma discreta y la variable aleatoria slo toma valores discretos en el espacio de estados. Un Proceso de Saltos Puros es un proceso estocstico en el cual los cambios de estados ocurren en forma aislada y aleatoria pero la variable aleatoria slo toma valores discretos en el espacio de estados. En un Proceso Continuo los cambios de estado se producen en cualquier instante y hacia cualquier estado dentro de un espacio continuo de estados. Como un ejemplo de una Cadena, considere una mquina dentro de una fbrica. Los posibles estados para la mquina son que est operando o que est fuera de funcionamiento y la vericacin de esta caracterstica se realizar al principio de cada da de trabajo. Si hacemos corresponder el estado fuera de funcionamiento con el valor 0 y el estado en 2

operacin con el valor 1, la siguiente gura muestra una posible secuencia de cambios de estado a travs del tiempo para esa mquina.

Para el caso de los Procesos de Saltos Puros se puede considerar como un ejemplo una seal telegrca. Slo hay dos posibles estados (por ejemplo 1 y -1) pero la oportunidad del cambio de estado se da en cualquier instante en el tiempo, es decir, el instante del cambio de estado es aleatorio. La siguiente gura muestra una seal telegrca.

Como un ejemplo de un Proceso Continuo, se puede mencionar la seal de voz vista en la pantalla de un osciloscopio. Esta seal acstica es transformada en una seal elctrica analgica que puede tomar cualquier valor en un intervalo continuo de estados. La gura siguiente muestra una seal de voz la cual est modulada en amplitud.

5.2. Procesos de Estado Discreto.

En el caso de procesos estocsticos con espacio de estados discreto, una secuencia de variables que indique el valor del proceso en instantes sucesivos suele representarse de la siguiente manera: {X0 = x0 , X1 = x1 , ..., Xn1 = xn1 , Xn = xn } en la que cada variable Xi , i = 0, ..., n, tiene una distribucin de probabilidades que, en general, es distinta de las otras variables aunque podran tener caractersticas comunes. El principal inters del estudio a realizar en el caso discreto es el clculo de probabilidades de ocupacin de cada estado a partir de las probabilidades de cambio de estado. Si en el instante n 1 se est en el estado xn1 , con qu probabilidad se estar en el estado xn en el instante siguiente n?. Esta probabilidad de denotar como: P (Xn = xn /Xn1 = xn1 ) A este tipo de probabilidad condicionada se le denomina probabilidad de transicin o de cambio de estado. A las probabilidades del tipo P (Xn = xn ) se les denomina probabilidades de ocupacin de estado. Otro tipo de probabilidad de inters es la de ocupar un cierto estado en un instante n, dado que en todos los instantes anteriores, desde n = 0 hasta n 1, se conoce en qu estados estuvo el proceso. Esto se puede escribir como: P (Xn = xn /X0 = x0 , X1 = x1 , ..., Xn1 = xn1 ) Ntese que esta probabilidad depende de toda la historia pasada del proceso, mientras que la probabilidad de transicin depende nicamente del estado actual que ocupe el proceso. Propiedad de Markov: Se dice que un proceso cumple la propiedad de Markov cuando toda la historia pasada del proceso se puede resumir en la posicin actual que ocupa el proceso para poder calcular la probabilidad de cambiar a otro estado, es decir, se cumple la propiedad siguiente: P (Xn = xn /X0 = x0 , X1 = x1 , ..., Xn1 = xn1 ) = P (Xn = xn /Xn1 = xn1 ) Aquellas Cadenas que cumplen la propiedad de Markov se llaman Cadenas de Markov. Otra manera de denotar a las probabilidades de transicin es de la forma siguiente: P (Xn = j/Xn1 = i) = pij (n) Una propiedad interesante que puede tener una Cadena es que los valores pij (n) no dependan del valor de n. Es decir, las probabilidades de cambiar de estado son las mismas en cualquier instante. Esta propiedad indica que las probabilidades de transicin son estacionarias.

Cadenas de Markov
Considere un equipo de computacin el cual ser revisado al inicio de cada da para vericar si est operativo o si est daado. El diagrama de estados de la siguiente gura muestra los dos posibles estados del proceso y las relaciones que se deben cumplir para pasar de un 4

estado al otro. As, con probabilidad PO-D se pasa del estado operativo al estado daado; sta es una probabilidad de transicin o de cambio de estado. En el caso de que el valor de la probabilidad anterior no cambie a travs del tiempo y, esto se repite para todas las probabilidades involucradas en la gura, se dice que la Cadena es estacionaria.

Si en un da cualquiera el ordenador est daado al comenzar el da, slo puede ocurrir una de dos cosas para el inicio del siguiente da: que siga daado (con probabilidad PDD) o que haya sido reparado en ese da (con probabilidad PD-O). Por otro lado, si en un da cualquiera el ordenador est funcionando correctamente al comenzar el da, slo puede ocurrir una de dos cosas para el inicio del siguiente da: que se dae (con probabilidad POD) o que se mantenga operativo (con probabilidad PO-O). Estos son los nicos eventos que pueden ocurrir. Si se dene una variable aleatoria Xn como el estado del ordenador al inicio del da n, se podran asignar los valores 0 y 1 a los posibles estados daado u operativo, respectivamente. Otra pregunta de inters es, con qu probabilidad el estado del computador en el da n es operativo ?; sta es una probabilidad de ocupacin de estado. Esa probabilidad se denota como P (Xn = 1) o tambin n (1). De igual forma, la probabilidad, por ejemplo, de que el computador est daado en la primera oportunidad de ser observado ser 0 (0). Utilizando la nomenclatura descrita anteriormente, se puede escribir: P (Xn+1 = 1/Xn = 0) = p P (Xn+1 = 0/Xn = 0) = 1 p P (Xn+1 = 0/Xn = 1) = q P (Xn+1 = 1/Xn = 1) = 1 q Estos datos se podran resumir en una matriz que se llama matriz de probabilidades de transicin o matriz de transicin de estados. P (Xn+1 = 0/Xn = 0) P (Xn+1 = 1/Xn = 0) 1p p Pn = = P (Xn+1 = 0/Xn = 1) P (Xn+1 = 1/Xn = 1) q 1q En general, consideremos una cadena de Markov con k estados posibles s1 , s2 , ..., sk y probabilidades estacionarias. Para i = 1, 2, 3, ..., k y j = 1, 2, 3, ..., k, denotaremos por pij a la probabilidad condicionada de que el proceso est en el estado sj en un determinado momento si estuvo en el estado si en el momento inmediatamente anterior. Entonces la matriz de transicin de la cadena de Markov se dene como una matriz cuadrada k k de la siguiente forma: p11 p12 p1k p21 p22 p2k P= . . . . . . . . . pk1 pk2 pkk 5

El elemento en la la i, columna j, pij = P (Xn = sj /Xn1 = si ), representa la probabilidad de transicin de un paso. El usar esta representacin en forma matricial nos facilita el cmputo de las probabilidades de transicin en ms de un paso. En general P P = P2 corresponde a las probabilidades de transicin en dos pasos, y P3 , P4 , ..., Pm , ... corresponden a las probabilidades de transicin en 3, 4, ..., m pasos respectivamente. De hecho, la matriz Pm se conoce como la matriz de transicin en m pasos de la cadena de Markov. Distribucin Inicial de la Cadena. En ocasiones no se conoce a ciencia cierta la ubicacin del proceso en el instante inicial. Esta ocupacin podra presentarse en forma probabilstica como un vector de ocupacin inicial 0 . Este vector tiene como componentes la probabilidad de ocupar cada uno de los estados en el instante inicial, es decir, los trminos 0 (j), para cada estado j = 1, 2, ..., k. 0 = (0 (1), 0 (2), 0 (3), ..., 0 (k)) con: 0 (j) 0,
k X j=1

0 (j) = 1

Distribucin de las probabilidades de ocupacin de estados de la Cadena en un instante cualquiera. Al igual que para el instante inicial, se puede denir un vector de ocupacin de estado para cada instante n. Se le llamar n . Este vector tiene como componentes la probabilidad de ocupar cada uno de los estados en el instante n: n = (n (1), n (2), n (3), ..., n (k)) con: n (j) 0, En general se tiene la siguiente relacin: n (j) = P (Xn = j) =
k X i=1 k X j=1

n (j) = 1

P (X0 = i) P (Xn = j/X0 = i) = n = 0 Pn

que matricialmente se escribe:

k X i=1

0 (i) P (Xn = j/X0 = i)

Ejercicio Despus de mucho estudio sobre el clima, hemos visto que si un da est soleado, en el 70% de los casos el da siguiente continua soleado y en el 30% se pone nublado. Tambin nos jamos en que si un da est nublado, la probabilidad de que est soleado el da siguiente es 0.6 y la probabilidad de que se ponga nublado es 0.4. Adems, si un da est soleado la probabilidad de que contine soleado el da siguiente es 0.7 y la probabilidad de que al da siguiente est nublado es 0.3. Entonces: a) Construir la matriz de transicin de la cadena. b) Obtener la matriz de transicin tras dos das. c) Si hoy est nublado, cul es la probabilidad de que est nublado tres das despus?. 6

Procesos de Saltos Puros

En este caso, el proceso sigue siendo discreto en estados pero la gran diferencia es que los cambios de estado ocurren en cualquier instante en el tiempo (tiempo continuo). Hemos apuntado anteriormente que un ejemplo tpico de procesos de saltos puros es la seal telegrca. Otros ejemplos de procesos de saltos puros son los siguientes: Denicin Un proceso estocstico en tiempo continuo {N(t), t 0} se dice que es un Proceso de Conteo si representa el nmero de veces que ocurre un suceso hasta el instante de tiempo t. En particular, se tiene que N(t) N, y N(s) N(t) s < t. Denicin Un proceso de conteo se dice que es un Proceso de Poisson homogneo de tasa > 0, si: 1. N(0) = 0 2. N(t1 ) N(t0 ), N(t2 ) N(t1 ), ..., N(tn ) N(tn1 ) son variables aleatorias independientes (proceso de incrementos independientes). 3. N(t + s) N(s) (No de sucesos que ocurren entre el instante s y el instante t + s) sigue una distribucin de Poisson de parmetro t. El proceso de Poisson se utiliza basicamente para modelar los llamados procesos de colas. En ellos se pueden incluir muchos procesos: coches que llegan al peaje de una autopista, clientes que llegan a un banco, peticiones que llegan a un servidor de Internet, llamadas que pasan por una centralita, etc. Consideremos, por ejemplo, el caso de un servidor de Internet. Queremos estudiar las peticiones que va recibiendo este servidor. Podemos suponer que las peticiones llegan de una en una. Si llamamos N(t) al nmero de peticiones que ha recibido el servidor hasta el instante t, encontramos que una posible realizacion de este proceso sera del tipo:

donde S(1) indica el instante en que llega la primera peticin, S(2) indica el instante en que llega la segunda y, en general, S(i) indica el instante en que llega la i-sima. ste es un ejemplo de un proceso que se puede representar utilizando el proceso de Poisson. Tiene algunas caractersticas fundamentales: Para cada instante t, N(t) seguir una distribucin de Poisson de parmetro t. Las diferencias entre los tiempos de llegadas consecutivas siguen una distribucin exponencial de parmetro , es decir, S(i + 1) S(i) siguen una exponencial de parmetro .

5.3. Procesos de Estado Continuo.

Realizacin de un Proceso Estocstico: Series temporales.
Un concepto que debe ser denido es el de realizacin: una realizacin de una experiencia aleatoria es el resultado de una repeticin de esa experiencia. As, en la experiencia aleatoria lanzar una vez un dado una realizacin sera el cinco que nos ha salido en ese nico lanzamiento. En ese caso, la realizacin se reduce a un nico nmero {X}. Si repetimos la experiencia, obtendremos otra realizacin distinta. En una experiencia bidimensional, por ejemplo la identicacin de unos individuos a travs de su peso y su estatura, un realizacin sera el resultado obtenido al tomar un individuo al azar y medir en l ambos parmetros. Ahora la realizacin es una pareja de nmeros {Xl , X2 }. En una experiencia n-dimensional tendramos anlogamente un grupo de n valores {Xl , ...., Xn } y, siguiendo con la analoga, en un proceso estocstico tendramos un grupo de innitos valores {Xt }, con t . Veamos un ejemplo de realizacin de un proceso estocstico. Consideremos que estamos interesados en estudiar cmo evoluciona la temperatura en un punto P de un motor durante una hora de funcionamiento del mismo a rgimen constante. Podemos considerar que la variable temperatura instantnea en ese punto P es un proceso estocstico continuo de parmetro continuo. Si realizamos la experiencia una vez obtendremos una grca temporal de la evolucin de la temperatura: esa grca (o los valores numricos asociados) es una realizacin del proceso estocstico. Si repetimos la experiencia en las mismas condiciones obtendremos otra realizacin, representada por otra grca o por sus correspondientes resultados numricos.

Por tanto, una realizacin de un proceso estocstico es una sucesin de innitos valores de una cierta variable a lo largo del tiempo. Si t tiene una consideracin continua obtendremos una representacin continua , mientras que si t es discreto obtendremos una sucesin de puntos. Si recordamos la denicin de serie temporal que dimos en la introduccin, una serie temporal ser una sucesin de valores de una variable obtenidos de manera secuencial durante el tiempo, la nica diferencia que hay entre ellas radica en que la realizacin consta de innitos elementos y la serie temporal de un nmero limitado. As, desde el punto de vista de los procesos estocsticos, diremos que Denicin: Una serie temporal es una realizacin parcial de un proceso estocstico de parmetro tiempo discreto. Por tanto, la teora de los procesos estocsticos ser de aplicacin a las series temporales. No obstante, nos encontraremos con una fuerte restriccin que radica en el hecho de que en muchas series temporales, ellas son la nica realizacin observable del proceso estocstico que las ha generado (por ejemplo, la serie de turistas que visitan Espaa mes a mes, o la unidades producidas diariamente en una factora, etc.). Esto, en general nos colocar, cuando queramos deducir las caractersticas del proceso a partir de las de la serie, en una situacin hasta cierto punto similar a la que tendramos al intentar describir la composicin de una urna en base a una nica bola extrada. Tal problema, que parece insalvable, requerir que apliquemos una serie de restricciones e hiptesis al tipo de proceso que queramos analizar.

Caractersticas de un proceso estocstico.

Del mismo modo que en una variable unidimensional X, podemos calcular su media, su varianza y otras caractersticas, y en variables n-dimensionales obtenemos un vector de medias, matriz de covarianzas, etc., en un proceso estocstico podemos obtener algunas caractersticas que describen su comportamiento: medias, varianzas y covarianzas. Puesto que las caractersticas del proceso pueden variar a lo largo de t estas caractersticas no sern parmetros sino que sern funciones de t. As:

Denicin: Llamaremos funcin de medias del proceso a una funcin de t que proporciona las medias de las distribuciones marginales para cada instante t t = E(Xt ) Denicin: Llamaremos funcin de varianzas del proceso a una funcin de t que proporciona las varianzas de las distribuciones marginales para cada instante t
2 t = V ar(Xt )

Denicin: Llamaremos funcin de autocovarianzas del proceso a la funcin que proporciona la covarianza existente entre dos instante de tiempo cualesquiera: Cov(t, s) = Cov(s, t) = Cov(Xt , Xs ) y por ltimo, Denicin: Llamaremos funcin de autocorrelacin a la estandarizacin de la funcin de covarianzas: Cov(t, s) t,s = t s En general, estas dos ltimas funciones dependen de dos parmetros (dos instantes). Una condicin de estabilidad que aparece en muchos fenmenos es que la dependencia slo dependa, valga la redundancia, de la distancia entre ellos y no del instante considerado. En estos casos tendremos: Cov(t, t + j) = Cov(s, s + j) = j j = 0, 1, 2, ...

Por otro lado, si estudiamos casos concretos como la evolucin de las ventas de una empresa o la concentracin de un contaminante, slo disponemos de una nica realizacin y aunque el proceso estocstico exista, al menos conceptualmente, para poder estimar las caractersticas transversales del proceso (medias, varianzas, etc..) a partir de la serie es necesario suponer que estas permanecen estables a lo largo de t. Esta idea nos conduce a lo que se entiende por condiciones de estacionariedad de un proceso estocstico (o de una serie temporal).

Procesos estocsticos estacionarios.

En una primera aproximacin, llamaremos estacionarios a aquellos procesos estocsticos que tengan un comportamiento constante a lo largo del tiempo. Si buscamos el correspondiente comportamiento de las series temporales asociadas a esos procesos, veremos grcas que se mantienen en un nivel constante con unas pautas estables de oscilacin. La siguiente gura muestra un ejemplo de serie estacionaria, realizacin de un proceso estocstico estacionario.

10

En la prctica del anlisis de series encontraremos series con problemas de estacionariedad que afecten a cualquiera de sus parmetros bsicos, siendo los que ms suelen afectar al proceso de anlisis las inconstancias en media y varianza. En las siguientes guras se muestran dos ejemplos de series no estacionarias, la primera en media y la segunda en varianza. Denicin: Diremos que un proceso es estacionario en sentido estricto si al realizar un mismo desplazamiento en el tiempo de todas las variables de cualquier distribucin conjunta nita, resulta que esta distribucin no vara, es decir: F (Xi1 , Xi2 , ..., Xir ) = F (Xi1 +j , Xi2 +j , ..., Xir +j ) para todo conjunto de ndices (i1 , i2 , ..., ir ) y todo j. Esta condicin resulta bastante restrictiva y por consiguiente se adoptan otras un poco ms dbiles Denicin: Diremos que un proceso estocstico es estacionario en sentido dbil si mantiene constantes todas sus caractersticas lo largo del tiempo, es decir, si para todo t : 1. t =
2 2. t = 2

3. Cov(t, t + j) = Cov(s, s + j) = j

j = 0, 1, 2, ...

Nota.En algunos libros este tipo de estacionariedad recibe el nombre de estacionariedad en sentido amplio o estacionariedad de segundo orden. Por otro lado si slo exigimos que la funcin de medias sea constante se dir que el proceso es estacionario de primer orden o en media. Por ltimo, indicar que la estacionariedad en sentido dbil no garantiza la estacionariedad, ahora bien bajo la suposicin de normalidad de las variables si se verica esta igualdad. 11

Es inmediato probar que si un proceso es estacionario en sentido dbil la funcin de autocorrelacin viene dada por: j j j = = 2 0 Obviamente esta funcin es simtrica (j = j ) y slo depender de la distancia o retardo entre los instantes de tiempo o tambin llamado decalaje . As: Denicin: Se denomina funcin de autocorrelacin simple (acf) a dicha funcin: j j j = = 2 0 y la representacin grca en forma de diagrama de barras de sus valores recibe el nombre de correlograma.

Observar que el correlograma, tal y como se ha denido, slo tiene sentido para series estacionarias.

Proceso de ruido blanco.

Un proceso estocstico que emplearemos con frecuencia en los apartados siguientes es el llamado proceso de ruido blanco. Se trata de un proceso estacionario t que cumple las siguientes caractersticas: E(t ) = 0 V ar(t ) = 2 Podemos interpretar un ruido blanco como una sucesin de valores sin relacin alguna entre ellos, oscilando en tomo al cero dentro de un margen constante. En este tipo de procesos, conocer valores pasados no proporciona ninguna informacin sobre el futuro ya que el proceso es puramente aleatorio y por consiguiente carece de memoria Una de las caractersticas principales de un proceso estocstico es su correlograma y en el caso del proceso de ruido blanco no puede ser ms sencillo: puesto que las variables correspondientes a distintos instantes estn incorreladas, todos los coecientes de correlacin sern 0 salvo el correspondiente a un retardo 0 que ser 1. 12 Cov(t , s ) = 0 si t 6= s

Modelos Auto-Regresivos de orden p, AR(p).

Al tratar de representar la inuencia que hechos pasados tienen sobre el presente (y en consecuencia sobre el futuro) de un proceso estocstico, podemos considerar diferentes expresiones alternativas. Una de ellas consiste en colocar el valor actual del proceso como dependiente de modo lineal de valores pasados del propio proceso, ms una perturbacin aleatoria, que supondremos normalmente distribuida, que evite que el modelo sea determinista: Xt = + a1 Xt1 + a2 Xt2 + ... + ap Xtp + t (1)

donde representa una constante. A esta formulacin la llamaremos autorregresiva, pues en la misma expresin se aprecia el porque de la denominacin: de algn modo es un modelo de regresin del proceso sobre si mismo. Si observamos el modelo propuesto en (1), si lo consideramos estacionario, con E(Xt ) = , se tiene que: = (1 + a1 + a2 + ...ap ) = 1 a1 a2 .. ap

por consiguiente, para que exista la media, necesitamos que: a1 + a2 + .. + ap 6= 1 Sin perder generalidad, en el desarrollo del apartado supondremos que el proceso est centrado, esto es, = 0. Un elemento que resulta de gran inters en estudio de estos modelos procesos lineales es el llamado operador retardo B. Tal operador acta sobre un trmino de un proceso estocstico reduciendo el ndice temporal en una unidad: B Xt = Xt1 B k Xt = Xtk y por tanto, un proceso autorregresivo puede expresarse en la forma: t = (1 a1 B a2 B 2 ... ap B p )Xt Consideremos la expresin autorregresiva antes denida. En principio, no hay nada que nos limite el nmero de periodos del pasado que inuyen en el valor actual del proceso, sin embargo tal planteamiento (probablemente cierto en trminos tericos) provoca problemas no justicables por las ventajas prcticas obtenidas: el hecho de tener que estimar innitos coecientes de regresin no se justica cuando en la prctica se observa que slo los periodos ms recientes tienen inuencia signicativa en el valor actual del proceso. Con ello, la expresin anterior se trunca, dejando el valor actual dependiente de los ltimos p valores del proceso, ms una perturbacin aleatoria: t = (1 a1 B a2 B 2 ... ap B p )Xt Un proceso de estas caractersticas se denomina proceso autorregresivo de orden p AR(p). Si denotamos por ap (B) = 1a1 B a2 B 2 ...ap B p , al llamado polinomio caracterstico del proceso obtenemos, el siguiente resultado que nos garantiza la estacionariedad del proceso. 13

Proposicin: La condicin necesaria y suciente para que un proceso AR(p) sea estacionario es que las races de su polinomio caracterstico estn fuera del crculo unidad del plano complejo. Determinacin del orden y de los parmetros del modelo AR. Los dos problemas fundamentales que nos presentan los procesos autorregresivos son: Determinacin del grado p del polinomio autorregresivo. Una vez jado este, determinar los parmetros ai del modelo. Determinacin de los parmetros del modelo En esta seccin nos centraremos en la segunda de las cuestiones. As, si consideramos un proceso AR(p): Xt = a1 Xt1 + a2 Xt2 + ... + ap Xtp + t (2) multiplicando por Xtj y tomado esperanzas E(Xt Xtj ) = a1 E(Xt1 Xtj ) + a2 E(Xt2 Xtj ) + ... + ap E(Xtp Xtj ) + E(t Xtj ) para j = 0 al ser la funcin de autocovarianzas simtrica se tiene: 0 = a1 1 + a2 2 + ... + ap p + 2 puesto que al ser E(t tj ) = 0 para j > 0 se tiene (sin mas que aplicar de manera recursiva (2)) E(t Xtj ) = 2 . Por otro lado, dividiendo en (3) por 0 es fcil probar que la funcin de autocorrelacin asociada al proceso debe vericar la misma ecuacin en diferencias: j = a1 j1 + a2 j2 + ... + ap jp j>0 (3)

Particularizando la ecuacin anterior para j = 1, 2..., p se obtiene un sistema de ecuaciones que relaciona las p primeras autocorrelaciones con los parmetros del proceso. Llamaremos ecuaciones de Yule-Walker al sistema: 1 = a1 + a2 1 + ... + ap p1 j = a1 1 + a2 2 ... + ap p2 j = a1 p1 + a2 p2 + ... + ap llamando: a0 = (a1 , a2 , ..., ap ) 1 . R= . . p1 1 . . . p2 14 0 = (1 , 2 , ..., p ) p1 . . . 1

el sistema anterior se escribe matricialmente: = R a a = R1 por consiguiente, los valores de los parmetros a se pueden obtener una vez estimada la matriz de autocorrelaciones de orden p. Veamos que el modelo de Yule-Walker nos da estimadores ptimos segn mnimos cuadrados de los coecientes ak a partir de un conjunto trminos observados de la serie. As, si consideramos un proceso AR(p): Xt = a1 Xt1 + a2 Xt2 + ... + ap Xtp + t a partir de n valores observados de la serie, x1 , x2 , ..., xn , los residuos et vendrn dados por: et = xt (a1 xt1 + a2 xt2 + ... + ap xtp ) = xt xt donde por xt denotamos el valor estimado de la serie. Con el n obtener los estimadores ptimos de los parmetros segn mnimos cuadrados, calcularemos las derivadas parciales respecto de ak . Igualando estas parciales a cero, obtenemos las llamadas ecuaciones normales del modelo:
p X k=1

ak

n X i=1

xik xij =

n X i=1

xi xij

j = 1, 2, ...p

Si denotamos por: kj = jk = el sistema anterior se transforma en:

p X k=1

n X i=1

xik xij

ak kj = k

j = 1, 2, ...p

que se corresponden con las ecuaciones de Yule-Walker donde se ha sustituido las correlaciones tericas por sus estimaciones. Determinacin del orden de la autorregresin. Determinar el orden de un proceso autorregresivo a partir de su funcin de autocorrelacin es difcil. En general esta funcin es una mezcla de decrecimientos exponenciales y sinusoidales, que se amortiguan al avanzar el retardo, y no presenta rasgos fcilmente identicables con el orden del proceso. Para resolver este problema se introduce la funcin de autocorrelacin parcial. Si comparamos un AR(1) con un AR(2) vemos que aunque en ambos cada observacin est relacionada con las anteriores, el tipo de relacin entre observaciones separadas dos perodos, es distinto. En el AR(1) el efecto de Xt2 sobre Xt , es siempre a travs de Xt1 , y no existe efecto directo entre ambas. Conocido Xt1 , el valor de Xt2 es irrelevante para prever Xt , Esta dependencia puede ilustrarse: AR(1) : Xt3 Xt2 Xt1 Xt 15

Sin embargo, en un AR(2) adems del efecto de Xt2 que se transmite a Xt , a travs de Xt1 , existe un efecto directo de Xt2 , sobre Xt , Podemos escribir: p q AR(2) : Xt3 Xt2 Xt1 Xt b c La funcin de autocorrelacin simple tiene slo en cuenta que Xt , y Xt2 estn relacionadas en ambos casos, pero si medimos la relacin directa entre Xt y Xt2 , esto es, eliminando del efecto total debido a Xt1 , encontraremos que para un AR(1) este efecto es nulo y para un AR(2) no. En general, un AR(p) presenta efectos directos de observaciones separadas por 1, 2, ..., p retardos y los efectos directos de las p + 1, ... son nulos. Esta idea es la clave para la utilizacin de la funcin de autocorrelacin parcial, entendiendo el coeciente de autocorrelacin parcial de orden k como una medida de la relacin lineal entre observaciones separadas k perodos con independencia de los valores intermedios. Llamaremos funcin de autocorrelacin parcial (fap) a la representacin de los coecientes de correlacin parcial en funcin del retardo. De esta denicin se deduce que un proceso AR(p) tendr los p primeros coecientes de autocorrelacin parcial distintos de cero, y por tanto, en la f ap el nmero de coecientes signicativamente distintos de cero indica el orden del proceso AR. Esta propiedad va a ser clave para identicar el orden de un proceso autorregresivo.

16