You are on page 1of 30

Inteligencia Artificial

Clase 23 - “Redes Bayesianas” - Parte II Laura A. Cecchi lcecchi@gmail.com
Facultad de Inform´ atica Universidad Nacional del Comahue

Segundo Cuatrimestre de 2012

Suposici´ on de Independencia

Redes de Creencias o Bayesianas

Bibliograf´ ıa

Desaf´ ıos

Contenido
Suposici´ on de Independencia Introducci´ on Redes de Creencias o Bayesianas Introducci´ on Ejemplo de Diagn´ ostico Inferencia desde una Red de Creencias Bibliograf´ ıa Desaf´ ıos

2 / 30

Suposici´ on de Independencia

Redes de Creencias o Bayesianas

Bibliograf´ ıa

Desaf´ ıos

Introducci´ on

Motivaci´ on
Si contemplamos un dominio descripto con n variables Booleanas, se requerir´ a una tabla de tama˜ no O (2n ). En problemas reales, hay que considerar cientos o miles de variables random.

Problema
Cantidad Excesiva de Informaci´ on a mantener con la base de conocimiento.

Soluci´ on: Independencia
Detectar proposiciones cuya creencia no afecta la creencia de otra proposici´ on

3 / 30

El hecho de una persona tenga caries no tiene relaci´ on con el clima. no es necesario mantener en la base de conocimiento informaci´ on condicional sobre estas proposiciones que parecen ser irrelevantes entre s´ ı.Suposici´ on de Independencia Redes de Creencias o Bayesianas Bibliograf´ ıa Desaf´ ıos Introducci´ on Ejemplo El hecho de que una persona tenga una enfermedad en el pulm´ on no tiene relaci´ on con el color de los ojos de la persona. 4 / 30 . As´ ı.

P (carie = true |dolordemuela = true ∧ clima = lluvioso ) = P (carie = true |dolordemuela = true ) La informaci´ on sobre el clima es irrelevante en el dominio de las caries. 5 / 30 .Suposici´ on de Independencia Redes de Creencias o Bayesianas Bibliograf´ ıa Desaf´ ıos Introducci´ on Independencia Condicional Una forma de conocimiento cualitativo puede ser expresada como P (h | e ) = P (h | f ∧ e ) Esto significa que f es irrelevante para la probabilidad de h dado e .

Suposici´ on de Independencia Redes de Creencias o Bayesianas Bibliograf´ ıa Desaf´ ıos Introducci´ on Independencia Condicional Definici´ on Una variable X se dice que es independiente de la variable aleatoria Y dada la variable aleatoria Z . si para todos los valores de esa variable. el valor de Y no afecta el conocimiento del agente del valor de X dado el valor de Z . bj y ck se cumple: P ( X = ai | Y = b j ∧ Z = c k ) = P ( X = ai | Z = c k ) Esto es. 6 / 30 . ie para todo ai .

P ( X = ai ∧ Y = b j | Z = c k ) = P ( X = ai | Z = c k ) × P ( Y = b j | Z = c k ) 7 / 30 . entonces para todo ai .Suposici´ on de Independencia Redes de Creencias o Bayesianas Bibliograf´ ıa Desaf´ ıos Introducci´ on Caracterizaci´ on alternativa de Independencia Condicional Theorem Si la variable aleatoria X es independiente de la variable Y dada la variable aleatoria Z . bj . ck .

◮ ıclico en el que Una Red Bayesiana es un grafo dirigido ac´ cada nodo es etiquetado con la informaci´ on cuantitativa probabil´ ıstica. Da una especificaci´ on concisa de la distribuci´ on de la probabilidad. 8 / 30 .Suposici´ on de Independencia Redes de Creencias o Bayesianas Bibliograf´ ıa Desaf´ ıos Introducci´ on Motivaci´ on ◮ Estructura de datos que representa la dependencia entre variables.

Si existe un arco desde un nodo X a un nodo Y . Los nodos sin padres est´ an etiquetados con las probabilidades a priori de la variable aleatoria.Suposici´ on de Independencia Redes de Creencias o Bayesianas Bibliograf´ ıa Desaf´ ıos Introducci´ on Definici´ on Red de Creencias o Bayesiana Una Red de Creencias o Bayesiana es un grafo que cumple la siguiente especificaci´ on: ◮ ◮ Cada nodo de la red es una variable aleatoria. Cada nodo Xi est´ a etiquetado con la distribuci´ on de probabilidad condicional P (Xi |Padres (Xi )) que cuantifican el efecto de los padres sobre los nodos. decimos que X es el padre de Y. ◮ ◮ 9 / 30 . Un conjunto de arcos dirigidos conectan pares de nodos. es decir que es un grafo ac´ ıclico dirigido. El grafo no tiene ciclos.

Suposici´ on de Independencia Redes de Creencias o Bayesianas Bibliograf´ ıa Desaf´ ıos Introducci´ on Influencia Local La redes de creencias explotan la propiedad de localidad Dada una variable aleatoria V puede existir solo un conjunto limitado de variables con la propiedad de afectar directamente los valores que esta variable puede tomar y los valores tomados por cualquier otra variable no afecta a los valores tomados por V . 10 / 30 .

◮ ◮ 11 / 30 . Y ) en una red construida correctamente es que X tiene influencia directa sobre Y . dados sus padres(evidencia). El significado intuitivo de un arco (X .Suposici´ on de Independencia Redes de Creencias o Bayesianas Bibliograf´ ıa Desaf´ ıos Introducci´ on Intuici´ on ◮ La topolog´ ıa de la red especifica la relaci´ on de independencia condicional que ocurre en el dominio. En cada red de creencias est´ a impl´ ıcita la suposici´ on de que cada variable aleatoria es independiente de aquellas variables aleatorias que no son sus descendientes.

. .∧Yn = vn ∧R ) = P (X = ai |Y1 = v1 ∧. . donde X es considerado un descendiente de s´ ı mismo. . R puede involucrar ancestros de X y otros nodos. Yn . . Yn P (X = ai |Y1 = v1 ∧. . .∧Yn = vn ) si R no involucra un descendiente de X .Suposici´ on de Independencia Redes de Creencias o Bayesianas Bibliograf´ ıa Desaf´ ıos Introducci´ on Intuici´ on ◮ Si X es una variable aleatoria con padres en el grafo Y1 . . .” 12 / 30 ◮ . ◮ La suposici´ on de independencia establece que toda la influencia de los no descendientes es capturada en los valores de los nodos padres. toda variable aleatoria que no es descendiente de X es independiente de X dados Y1 . . . . Modelar con las redes bayesianas requiere la suposici´ on de la propiedad de Markov: “No existe ninguna dependencia directa en el sistema que se est´ a modelando que no est´ e expl´ ıcitamente representada v´ ıa arcos.

AUSTRALIA) 13 / 30 . Nicholson and Kevin B. Tambi´ en sabe que otra informaci´ on puede ser relevante como si el paciente es fumador (aumentando las probabilidades de tener c´ ancer o bronquitis) y qu´ e tanta poluci´ on hay en el aire al que est´ a expuesto. tales como la tuberculosis y la bronquitis son posibles causas. Un Rayos X positivo indica un tuberculosis o c´ ancer de pulm´ on. Korb . preocupado de tener un c´ ancer de pulm´ on.Suposici´ on de Independencia Redes de Creencias o Bayesianas Bibliograf´ ıa Desaf´ ıos Ejemplo de Diagn´ ostico Ejemplo: Un paciente ha estado sufriendo una dificultad para respirar (disnea) y visita al doctor. como tambi´ en un c´ ancer de pulm´ on. (Extra´ ıdo de Bayesian AI Tutorial . El doctor sabe que otras enfermedades.Ann E.Faculty of Information Technology .Monash University .

◮ ◮ 14 / 30 . ¿De qu´ e manera el valor de una variable depende de las variables que la influencian localmente(sus padres)? Esto se expresa en t´ erminos de las tablas de probabilidad condicional. ¿Qu´ e valores deben tomar estas variables? Esto involucra considerar el nivel de detalle en el cual deseamos razonar.Suposici´ on de Independencia Redes de Creencias o Bayesianas Bibliograf´ ıa Desaf´ ıos Ejemplo de Diagn´ ostico Construyendo una red de creencias Para representar una red de creencias necesitamos considerar: ◮ ◮ ¿Cu´ ales son las variables relevantes del problema? ¿Cu´ ales son las relaciones entre ellas? Esto deber´ ıa ser expresado en t´ erminos de influencia local.

F} {pos.F} {T. Nombre del Nodo Poluci´ on Fumador C´ ancer Disnea RayosX Tipo Binario Booleano Booleano Booleano Binario Valor {alto.Suposici´ on de Independencia Redes de Creencias o Bayesianas Bibliograf´ ıa Desaf´ ıos Ejemplo de Diagn´ ostico Ejemplo: ¿Cu´ ales son los nodos-variables de la Red a representar y cu´ al su dominio? Nota: Consideraremos solamente a la enfermedad c´ ancer de pulm´ on y descartamos las otras enfermedades.neg} 15 / 30 . F} {T. bajo} {T.

Suposici´ on de Independencia Redes de Creencias o Bayesianas Bibliograf´ ıa Desaf´ ıos Ejemplo de Diagn´ ostico Topolog´ ıa de la Red: Influencia local entre las variables N´ otese que al asumir la propiedad de Markov no hay modo de que fumar influya sobre la disnea excepto causando un c´ ancer. 16 / 30 .

Suposici´ on de Independencia Redes de Creencias o Bayesianas Bibliograf´ ıa Desaf´ ıos Ejemplo de Diagn´ ostico Red de Creencias: Especificaci´ on de las Tablas de Probabilidades Condicionales 17 / 30 .

98 0.97 0.95 0.999 18 / 30 . S) 0.Suposici´ on de Independencia Redes de Creencias o Bayesianas Bibliograf´ ıa Desaf´ ıos Ejemplo de Diagn´ ostico Red de Creencias Las Probabilidades para C´ ancer=False son: P H H L L S T F T F P(C=False|P.

Suposici´ on de Independencia Redes de Creencias o Bayesianas Bibliograf´ ıa Desaf´ ıos Inferencia desde una Red de Creencias Razonando con las Redes de Creencia La tarea b´ asica de un sistema de inferencia probabil´ ıstico es: Inferencia o Actualizaci´ on de las Creencias Computar la distribuci´ on de probabilidad a posteriori para un conjunto de variables de consulta. 19 / 30 . dada nueva informaci´ on sobre las variables de evidencia.

Suposici´ on de Independencia Redes de Creencias o Bayesianas Bibliograf´ ıa Desaf´ ıos Inferencia desde una Red de Creencias Tipos de Razonamientos 20 / 30 .

. . P ( fn | f 1 ∧ f2 ∧ . . . ∧ fn − 1 ) n = i =1 P (fi |f1 ∧ f2 ∧ .Suposici´ on de Independencia Redes de Creencias o Bayesianas Bibliograf´ ıa Desaf´ ıos Inferencia desde una Red de Creencias Inferencia Recordemos la Regla de la Cadena: P ( f1 ∧ f2 ∧ . . ∧ fn ) = i =1 P (fi |Padres (fi )) siendo que Padres (fi ) ⊆ {f1 ∧ f2 ∧ . . ∧ fn ) = P ( f1 ) × P ( f2 | f1 ) × P ( f3 | f1 ∧ f2 ) × . ∧ fi −1 ) Como en las redes bayesianas el valor de un nodo particular est´ a condicionado solamente sobre el valor de los nodos padres. . . . . . ∧ fn } 21 / 30 . . entonces n P ( f1 ∧ f2 ∧ .

90 × 0. 00036855 22 / 30 . 001 × 0. 90 × 0.Suposici´ on de Independencia Redes de Creencias o Bayesianas Bibliograf´ ıa Desaf´ ıos Inferencia desde una Red de Creencias Inferencia: Ejemplo P (X = pos ∧ D = T ∧ C = T ∧ P = bajo ∧ S = F ) = P (X = pos |C = T ) × P (D = T |C = T )× P (C = T |P = bajo ∧ S = F ) × P (P = bajo ) × P (S = F ) = 0. 65 × 0. 70 = 0.

.Suposici´ on de Independencia Redes de Creencias o Bayesianas Bibliograf´ ıa Desaf´ ıos Inferencia desde una Red de Creencias Inferencia por Casos Supongamos que tenemos una variable Booleana Y que es el u ´nico padre de X . entonces P (X |E ) = P (X |Y ∧ E ) × P (Y |E ) + P (X |¬Y ∧ E ) × P (¬Y |E ) = P (X |Y ) × P (Y |E ) + P (X |¬Y ) × P (¬Y |E ) = P (X |Y ) × P (Y |E ) + P (X |¬Y ) × (1 − P (Y |E )) Recordemos que la Red de Creencias especifica los valores de P (X |Y ) y P (X |¬Y ). Si E no involucra a ninguno de los descendientes de X . Yn de X . cada Yi con dominio Di . Si E no contiene ning´ un descendiente de X . . Extendemos a m´ ultiples padres Y1 . luego: P (X | E ) = = P (X | Y = d ∧ E ) × P (Y = d | E ) d ∈D P ( X | Y = d ) × P ( Y = d | E ) d ∈D 23 / 30 Recordemos que las probabilidades P (X |Y = d ) est´ an especificadas en la red de creencias. . . .

Suposici´ on de Independencia Redes de Creencias o Bayesianas Bibliograf´ ıa Desaf´ ıos Inferencia desde una Red de Creencias Inferencia Supongamos que E es una conjunci´ on de E1 ∧ E2 . La Regla de Bayes puede ser utilizada para calcular P (A|E ): P ( A | E1 ∧ E2 ) = P ( E1 | A ∧ E2 ) × P ( A | E2 ) P ( E1 | E2 ) 24 / 30 . donde E1 involucra solamente descendientes de A y E2 no contiene descendientes de A.

00063 + 0. 001 × 0. 7+ 0. 7 0. 1 × 0. 01163 = = 25 / 30 . 03 × 0. 0081 + 0. 1 × 0. 0014 0. 3+ 0. 0015 + 0. 3+ 0.Suposici´ on de Independencia Redes de Creencias o Bayesianas Bibliograf´ ıa Desaf´ ıos Inferencia desde una Red de Creencias Inferencia: Ejemplo Calculemos algunas probabilidades P (C = T ) = P (C P (C P (C P (C = T |P = T |P = T |P = T |P = baj ∧ S = T ) × P (P = baj ) × P (S = T )+ = alt ∧ S = T ) × P (P = alt ) × P (S = T )+ = baj ∧ S = F ) × P (P = baj ) × P (S = F )+ = alt ∧ S = F ) × P (P = alt ) × P (S = F ) = 0. 9 × 0. 9 × 0. 05 × 0. 02 × 0.

Suposici´ on de Independencia Redes de Creencias o Bayesianas Bibliograf´ ıa Desaf´ ıos Inferencia desde una Red de Creencias Inferencia: Ejemplo N´ otese que como Fumador y Poluci´ on son independientes. 100 26 / 30 . entonces P (P = alto |F = T ) = P (P = alto ) = 0.

30 = 0. 03198 + 0. 193604 = 0.Suposici´ on de Independencia Redes de Creencias o Bayesianas Bibliograf´ ıa Desaf´ ıos Inferencia desde una Red de Creencias Inferencia: Ejemplo Predictivo P (X = pos |S = T ) = P (X = pos |C = T ) × P (C = T |S = T )+ P (X = pos |C = F ) × (1 − P (C = T |S = T )) = 0. 222386 = T )× P (C = T ) P (C = T |S = T ) = P (S =T |C P (S = T ) 0. 20 × 0. 028782 + 0. 03198 27 / 30 . 96802 = 0. 90 × 0.01163 = 0.825× 0.

30 × 0.Suposici´ on de Independencia Redes de Creencias o Bayesianas Bibliograf´ ıa Desaf´ ıos Inferencia desde una Red de Creencias Inferencia: Ejemplo P (X = pos |D = T ) = P (X = pos |C = T ) × P (C = T |D = T )+ P (X = pos |C = F ) × (1 − P (C = T |D = T )) = 0. 98836 = 0. 195 = 0.01163 = 0. 90 × 0. 304 28 / 30 . 20 × 0.304 = 0. 0225 + 0. 975 = 0. 65 × 0. 024866 P (D = T ) = 0. 01163 + 0. 2175 C = T )× P (C = T ) P (C = T |D = T ) = P (D =T |P (D = T ) 0. 025 + 0.65× 0.

S. Mackworth y R. Russell y P. Cap´ ıtulo 13 y 14 (hasta 14.Norvig Artificial Intelligence: A Modern Approach (Third Edition). Cap´ ıtulo 10 1998. Goebel Computational Intelligence: A Logical Approach.Suposici´ on de Independencia Redes de Creencias o Bayesianas Bibliograf´ ıa Desaf´ ıos Referencia Bibliogr´ afica D. Poole.3) 2009. A. 29 / 30 .

Represente con L´ ogica Autoepist´ emica el problema de si Nixon est´ a pol´ ıticamente motivado y analice si es una consecuencia cauta del sistema. 4. 5. 30 / 30 . ¿Puede derivarse gusta vino de la Teor´ ıa Default presentada en la diapositiva titulada “Razonamiento por Casos”? 3. Situation Calculus y Event Calculus 2. Represente el problema de si Nixon est´ a pol´ ıticamente motivado con las normalidades y analice si es una consecuencia cauta de este sistema. Represente el problema de si Nixon est´ a pol´ ıticamente motivado en L´ ogica Default y analice si es una consecuencia cauta de este sistema.Suposici´ on de Independencia Redes de Creencias o Bayesianas Bibliograf´ ıa Desaf´ ıos Desaf´ ıos Anteriores 1. Considere el mundo de bloques. D´ e la representaci´ on en STRIPS.