Árbol de Decisión

Curso Minería de Datos

Img. 0 Clasificación
Con Árboles de decisión
Fuente Img. 0: Creación Propia

1
 Motivación

◉ Entender otra técnica de

clasificación

online.ing.puc.cl

Motivación
◉ Ejemplo: Aprueba o no un
crédito hipotecario

Cliente Ingreso Historial Credito Hipotecario

Si Bajo Bueno Aprobado

No Alto Malo Rechazado

No Bajo Bueno Aprobado

... ... ... ..

No Alto Bueno Rechazado

Si Bajo Malo Rechazado

online.ing.puc.cl

2
 Arbol de Decisión
Partes del Arbol

Cliente
Si No

Historial Ingreso

Bueno Malo Alto Bajo

Aprobado Rechazado Aprobado Rechazado

online.ing.puc.cl

Partes del Arbol

Nodos Internos

Cliente
Si No

Historial Ingreso

Bueno Malo Alto Bajo

Aprobado Rechazado Aprobado Rechazado

Nodos internos del árbol representan

atributos

3
 Partes del Arbol
Nodos Internos

Cliente
Si No

Historial Ingreso

Bueno Malo Alto Bajo

Aprobado Rechazado Aprobado Rechazado

Links representan los posibles resultados que

tiene cada nodo

Partes del Arbol

Nodos Internos

...

Historial

Bueno Malo

... ...

online.ing.puc.cl

4
 Partes del Arbol
Nodos Hojas

Cliente
Si No

Historial Ingreso

Bueno Malo Alto Bajo

Aprobado Rechazado Aprobado Rechazado

Nodos hojas representan el resultado de la

clasificación
online.ing.puc.cl

¿ Cómo clasificar?

◉ Para clasificar un registro se debe

recorrer el árbol desde el nodo raíz a la
hoja resultante.

Si Cliente No

Historial Ingreso

Bueno Malo Alto Bajo

Aprobado Rechazado Aprobado Rechazado

online.ing.puc.cl

5
 Ejemplo

◉ ¿Cuál es la clasificación para el

crédito de un cliente con buen
historial y alto ingreso?

Si Cliente No

Historial Ingreso

Bueno Malo Alto Bajo

Aprobado Rechazado Aprobado Rechazado

online.ing.puc.cl

Ejemplo

◉ ¿Cuál es la clasificación para el crédito

de un cliente con buen historial y alto
ingreso?

Si Cliente No

Historial Ingreso

Bueno Malo Alto Bajo

Aprobado Rechazado Aprobado Rechazado

online.ing.puc.cl

6
 Ejemplo

◉ ¿Cuál es la clasificación para el crédito

de un cliente con buen historial y alto
ingreso?

Si Cliente No

Historial Ingreso

Bueno Malo Alto Bajo

Aprobado Rechazado Aprobado Rechazado

online.ing.puc.cl

Ejemplo

◉ ¿Cuál es la clasificación para el crédito

de un cliente con buen historial y alto
ingreso?
○ Aprobado

Si Cliente No

Historial Ingreso

Bueno Malo Alto Bajo

Aprobado Rechazado Aprobado Rechazado

online.ing.puc.cl

7
 ¿Cómo construir el árbol?

Si Cliente No

Historial Ingreso

Bueno Malo Alto Bajo

Aprobado Rechazado Aprobado Rechazado

online.ing.puc.cl

¿Cómo determinar el árbol?

Cliente Ingreso Historial Credito Hipotecario

Si Bajo Bueno Aprobado

No Alto Malo Rechazado

No Bajo Bueno Aprobado

Si Alto Bueno Aprobado

No Alto Bueno Rechazado

Si Bajo Malo Rechazado

online.ing.puc.cl

8
 ¿Cómo determinar el árbol?
◉ Elegir la “mejor” variable.

Cliente Ingreso Historial Credito Hipotecario

Si Bajo Bueno Aprobado

No Alto Malo Rechazado

No Bajo Bueno Aprobado

Si Alto Bueno Aprobado

No Alto Bueno Rechazado

Si Bajo Malo Rechazado

online.ing.puc.cl

¿Cómo determinar el árbol?

◉ Poner la “mejor” variable

como nodo raíz.

Cliente
Si No

? ?
online.ing.puc.cl

9
 ¿Cómo determinar el árbol?

◉ Poner la “mejor” variable

como nodo raíz.

Cliente
Si No

? ?
online.ing.puc.cl

¿Cómo determinar el árbol?

◉ Poner la “mejor” variable

como nodo raíz.

Cliente
Si No

? ?
online.ing.puc.cl

10
 ¿Cómo determinar el árbol?
◉ Separar las filas de la variable
agrupando según su valor.
Cliente Ingreso Historial Credito Hipotecario

Si Bajo Bueno Aprobado

No Alto Malo Rechazado

No Bajo Bueno Aprobado

Si Alto Bueno Aprobado

No Alto Bueno Rechazado

Si Bajo Malo Rechazado

online.ing.puc.cl

¿Cómo determinar el árbol?

◉ Separar todas las filas de la base
de datos según esos valores.
Cliente Ingreso Historial Credito Hipotecario

Si Bajo Bueno Aprobado

No Alto Malo Rechazado

No Bajo Bueno Aprobado

Si Alto Bueno Aprobado

No Alto Bueno Rechazado

Si Bajo Malo Rechazado

online.ing.puc.cl

11
 ¿Cómo determinar el árbol?
Cliente
Si

Ingreso Historial Credito

Hipotecario
No
Bajo Bueno Aprobado

Alto Bueno Aprobado

Bajo Malo Rechazado

Ingreso Historial Credito Hipotecario

Alto Malo Rechazado

Bajo Bueno Aprobado

Alto Bueno Rechazado

online.ing.puc.cl

¿Cómo determinar el árbol?

◉ Luego, separamos cada sub base
de datos usando otro atributo

Ingreso Historial Credito

Hipotecario

Bajo Bueno Aprobado

Alto Bueno Aprobado

Bajo Malo Rechazado

Ingreso Historial Credito Hipotecario

Alto Malo Rechazado

Bajo Bueno Aprobado

Alto Bueno Rechazado

online.ing.puc.cl

12
 ¿Cómo determinar el árbol?
◉ Ejemplo: Elegir la mejor variable
para la base de datos de la
izquierda.

Ingreso Historial Credito

Hipotecario

Bajo Bueno Aprobado

Alto Bueno Aprobado

Bajo Malo Rechazado

online.ing.puc.cl

¿Cómo determinar el árbol?

◉ Poner la “mejor” variable

como nodo.

Cliente
Si No

Historial ?
online.ing.puc.cl

13
 ¿Cómo determinar el árbol?

◉ Elegir la mejor variable para la

base de datos de la derecha.

Ingreso Historial Credito

Hipotecario

Alto Malo Rechazado

Bajo Bueno Aprobado

Alto Bueno Rechazado

online.ing.puc.cl

¿Cómo determinar el árbol?

◉ Poner la “mejor” variable

como nodo.

Cliente
Si No

Historial Ingreso

online.ing.puc.cl

14
 ¿Cómo determinar el árbol?

Cliente
Si No

Historial Ingreso

Ingreso Historial Credito Ingreso Historial Credito

Hipotecario Hipotecario

Bajo Bueno Aprobado Alto Malo Rechazado

Alto Bueno Aprobado Bajo Bueno Aprobado

Bajo Malo Rechazado Alto Bueno Rechazado

online.ing.puc.cl

¿Cómo determinar el árbol?

Recursión general

1. Tomar el mejor el atributo.

1. Usar este atributo como nodo raíz.

1. Dividir el set de entrenamiento de

acuerdo a este atributo y para cada
rama resultante continuar la
construcción del árbol recursivamente.

online.ing.puc.cl

15
 ¿Cómo construir el árbol?
Criterios de detención
◉ ¿Pertenecen todos los registros a la
misma clase?
○ Si → Retorna un nodo hoja con la
clase respectiva

Ingreso Historial Credito Hipotecario

Bajo Bueno Rechazado

...
Bajo Malo Rechazado
Rechazado
Alto Malo Rechazado

online.ing.puc.cl

¿Cómo construir el árbol?

Criterios de detención
◉ Tienen todos los registros el mismo
valor para todos los atributos que
determinan su clase
○ Si → Retorna un nodo hoja con la
clase más común

Ingreso Historial Credito Hipotecario

Bajo Malo Rechazado

...
Bajo Malo Aprobado
Aprobado
Bajo Malo Aprobado

online.ing.puc.cl

16
 Resumen

◉ Árbol de decisión = Aprendizaje

Supervisado
◉ La construcción tiene una llamada
recursiva y dos criterios de detención
◉ Nos falta averiguar cómo seleccionamos
los mejores atributos

online.ing.puc.cl

17