You are on page 1of 8

27/02/2008

Presentación por Jane Elith, con aportes deBette Loiselle, Catherine € Es el modelo razonable?
Graham y Santiago Burneo
€ Datos para evaluación
• Datos de modelamiento
• Datos independientes
Jane Elith
Post-doctoral Research Fellow • Remuestreo
The School of Botany x Validación cruzada (cross validation)
The University of Melbourne x Bootstrap
Parkville, 3010 € Estadísticas
Victoria, Australia
• Para calibración
Bette Loiselle • Para discriminación
Department of Ecology, Evolution and Systematics
• Para datos binarios (presencia / ausencia)
University of Missouri – St. Louis

€ ¿Tiene sentido el modelo?
€ ¿Son las predicciones apropiadas para el
• ¿Es el método de modelamiento
objetivo final?... ¿Responden la pregunta? apropiado para obtener predicciones
€ Definir lo q
que se q quiere de las p ec
precisas?
predicciones y a que escala • ¿Son precisas las variables?
€ Para propósitos de simplicidad asumir • ¿Son las curvas de respuesta
que: presencia = hábitat adecuado, razonables?
ausencia = hábitat no adecuado • ¿¿¿Cree un experto en el???

€ Métodos espacialmente explícitos
• Despliegan las predicciones mapeadas y € ¿Que datos deben ser escogidos?
realizan afirmaciones descriptivas acerca de • ¿Los mismos usados en el modelo?
la distribución de la especie (geográfica y • ¿Independientes?
ambientalmente))
• ¿Remuestreados??
• Despliegan en un mapa la incertidumbre en
las predicciones
€ ¿Qué estadísticas son apropiadas?
€ Métodos resumidos (estadísticos)
• Resumen la eficacia del modelo en un
conjunto de sitios con parámetros estadísticos

1

2 métodos principales: originales CV CV VC € Validación cruzada (cross-validation o jackknifing) € Bootstrap p = calibración = evaluación Ventajas: € No sacrifica datos para el modelamiento € Independencia n observaciones k=5 k = 10 k=n Herramienta importante Desarrolle el modelo con los datos de entrenamiento. el remuestreo es más consistente • Definir una distancia geográfica mínima entre los datos de (Steyerberg et al 2001) entrenamiento y muestreo? x Sólo evalúa el modelo desarrollado con el subconjunto de • Muestrear por estratos ambientales? datos • Muestrear por predicciones? Datos 5-fold 10-fold Jackknife. (otra vez) varia con el uso final de las predicciones € Cómo construir la muestra?: x Un método de gran varianza. realice las predicciones para evaluar y calcule estadística 2 . 27/02/2008 Definiciones: € Común! € Datos de entrenamiento = datos para € No lo haga: sin eficacia predictiva construir el modelo y estimar los € Fielding and Bell: “cualquier aproximación al coeficientes modelamiento ecológico tiene poco merito si € Datos de evaluación: datos para evaluar la exactitud de sus predicciones no puede ser las predicciones o no es evaluada usando datos independientes” € € Siempre es sobre-optimista (el modelo se ajusta a esos datos) € Para comparaciones entre métodos puede € conducir a equivocaciones (Elith and Burgman 2002) (a) División de los datos • Los datos que son sacados nunca son usados para desarrollar el (b) Datos nuevos: € Raro modelo € Razones para colectarlos: • Más similares que un conjunto de datos completamente nuevo • Dudas acerca de la exactitud y sesgos de los datos de • Sólo es útil con conjuntos grandes de datos modelamiento • Problemas: • Aplicando un modelo desarrollado en una región x Reduce el tamaño de la muestra para entrenamiento diferente o con datos viejos x Sólo una división: puede ser poco representativo • i.e.

nunca evalúa el modelo el entrenamiento y la evaluación del modelo es un aspecto clave construido con un conjunto completo de datos – pesimista? • Tienen que haber suficientes datos de entrenamiento para estimar con confianza el modelo y suficientes datos de evaluación para € Otros usos: selección de modelos estimar la estadística de cross-validación con (GRASP) una precisión razonable € Tratala muestra como si fuera la € Tanto la validación cruzada como el población bootstrapping son útiles € La validación cruzada requiere de una escogencia cuidadosa de k € El p muestreo con reemplazamiento € Bootstrapping es más confiable si se puede siempre produce muestras del mismo automatizar la selección del modelo tamaño. 27/02/2008 € Estratificado o repetido para reducir € Útil si no puede automatizar el variacianza desarrollo del modelo € Valores comunes para k: 5 . Umbrales presencia/ausencia Se enfoca en datos de presencia/ausencia 3 . podemos querer evaluarlos independientemente € Discusión….10 • La definición de los tamaños de muestra para € PERO. con algunas repeticiones € Todo el remuestreo es interno y solo brinda € Modelamiento con nuevas nuestras una independencia parcial. Si el conjunto de demuestra repetidamente la variación datos tiene sesgos importantes los resultados debida a la muestra no reflejarán la realidad y los datos independientes se vuelven necesarios € Técnica importante Dos conceptos clave: € Midehasta que punto las predicciones concuerdan exactamente con las observaciones € Calibración € ¿Sonlas predicciones estimadores insesgados € Discriminación Di i i ió de las observaciones? € Es importante si las probabilidades predichas o En algunas aplicaciones no estamos conteos necesitan estar bien interesados en ambos aspectos.

. 27/02/2008 € Respuesta a estas preguntas: € Se puede tener una calibración pobre y buena • ¿Que tan bien el modelo separa datos con diferentes discriminación pero no viceversa respuestas? € En caso de buena discriminación. la posición) de las predicciones en relación a las observaciones es Distribución de las Distribución de las importante en lugar de la concordancia absoluta predicciones de predicciones de ausencia presencia € Es útil para aplicaciones donde se quiere saber cual es el mejor hábitat (pero no se preocupa acerca de los valores exactos) Predicción (probabilidad) Tipos de error Matriz de confusión ¿Cuáles tipos de errores existen? Observación ¿Cómo se generaron ¿ g los errores? Predicción + - Falso positivo + Correcto ¿Cómo podemos validar los (comisión) modelos y medir el éxito de esos Falso negativo .e. una mala • ¿Para el caso de presencia/ausencia: es el rango de calibración es corregible (pero no viceversa) probabilidad predicha para los sitios ocupados más alto que el € Una medida útil de discriminación: rango a o de probabilidad obabilidad para a a los lo sitios itio noo ocupados? oc ado ? • Mann-Whitney Mann Whitney U statistic (=area under ROC curve) € El ordenamiento relativo (i. Correcto (omisión) modelos de distribución? Fuentes de Errores N Fuentes de error • Errores de omisión N N NN N NN • Errores de omisión N N • E Errores de d comisión i ió N NN N N N N NNNNN NN N • difícil de determinar ausencias N NN NNN N • sesgos en muestreo NN N N Error de omisión N • interacciones bióticas X = presencia • eventos históricos N N 4 .

Correcto (omisión) El éxito total de modelo = a + d / N Omisión = c/ a+c Sensibilidad = a/a+c 5% . 27/02/2008 Cortar modelo por extensión de Sobreprediccion presencia DISTRIBUCIÓN POTENCIAL Error de Cotinga comisión o Laniisoma elegans o 71% de la extensión de rango ocupado o o o o o o o o Error de omisión X = presencia Área de Distribución = 364.950 km2 o = ausencia Extensión de rango en azul claro Dependencia de Umbral Matriz de confusión Observaciones Predicciones + - Falso positivo + Correcto a b (comisión) c d Falso negativo .20% Comisión= d/b+d Especificidad = b/b+c 5 .

4 0.6 The magnificent ROC curve Probabilidad de predicción de ocurrencia 6 .00 = concordancia perfecta – 0 = concordancia obtenida es igual a la concordancia debida al azar From Czaplewski 1994: interpretations of Kappa Medidas independientes del Umbral € Problemas: • La corrección de la probabilidad debida al azar Curvas ROC para es errónea evaluar la eficacia en • Demasiado sensitiva a la prevalencia y todos los umbrales calibración Ardea cinerea Grey Heron Observado Explicación de ROC presencia ausencia ausencia presencia Predicción presencia a b ausencia c d Fracción de verdaderos positivos (sensitivitidad) = a/[a+c] Fracción de falsos negativos (1-especificidad) = b/[b+d] 0.0 0. 27/02/2008 (a + d) − [(a + c)(a + b) + (b + d)(c + d)] N [(a + c)(a + b) + (b + d)(c + d)] N −{ } N – Proporción de la probabilidad esperada de que NO existan desacuerdos al azar – Proporción de concordancia después de que la concordancia debida al azar no es tenida en cuenta – +1.0 0.2 0.8 1.

41) Receiver Operating Characteristic (ROC) curves 1 •El área bajo la curva x (AUC) = la probabilidad de ausencia presencia que la predicción para una ad (TPF) observación de presencia sea mas grande que la Área bajo la curva (AUC) Sensitivida predicción para una Correcto positivo observación de ausencia •AUC=0.8 1.0 1-especificidad (FPF) 0.0 0.4 0.5 indica que la Falso positivo discriminación de las predicciones no es mejor que una producida por un 0 conjunto de datos al azar 0 1 0.5: las predicciones no son mejores que al todos los métodos azar • Entre pares de métodos: x Rho de Spearman x Coeficiente asimétrico de Kulczynski's € Varia de 0 a 1 x Extensión de concordancia espacial 7 .6 0.2 0.0 0.8 1.2 0.4 0. € Estadísticas: • Coeficiente de concordancia de Kendall para € 0. 27/02/2008 Umbral Observado (0.4 0.6 0.0 0.2 0.0 0.0 Probabilidad de predicción de ocurrencia Probabilidad de predicción de ocurrencia Umbral (0.6 Probabilidad de predicción de ocurrencia € Si evalúa varios métodos puede medir = probabilidad que la predicción para una la coincidencia de predicciones presencia sea mas grande que la predicción para una observación de (pero coincidencia NO SIGNIFICA ausencia verdad) Ejemplo….50) x ausencia cc d d ausencia presencia presencia TP= a/[a+c] FP= b/[b+d] presencia ausencia Verdadero positivo Correcto positivo Falso Positivo Falso positivo 0.41) x presencia ausencia Umbral Predicción presencia a b (0.8 1.

Transiciones abruptas • Absolutamente independientes entre celdas de alta probabilidad y baja • Remuestreo probabilidad de presencia) •Predicho como presente (y preservado en un sistema de reservas) cuando en realidad esta ausente •Predicho como ausente (y considerado sin proteger) cuando en realidad esta presente 8 .ej. 27/02/2008 € Patrones de incertidumbre €Caja de herramientas € Parches geográficos que pueden ser particularmente dados al error €Escoja las que sirvan para su propósito € Proximidad de errores de predicción a sitios conocidos de presencia €Estimación basada en datos independientes: € Patronespoco probables en las predicciones (p.