Validacin En modelos de dinmica de sistemas

El modelamiento es un proceso iterativo

1. Problem Articulation (Boundary Selection)

5. Policy Formulation & Evaluation

2. Dynamic Hypothesis

4. Testing

3. Formulation

Los resultados de cada paso pueden llevar a mejorar la comprensin del problema y revisiones de pasos previos, como se indica en el centro del diagrama

Introduccin a Validacin
Siempre usamos modelos: Formales o Mentales Es el modelo una representacin adecuada de la realidad con respecto a su propsito? Importan los supuestos? A quin? Documentacin: importante y frecuentemente ignorada Comprensin, replicar, criticar, extender por otros o por el modelador Amplia gama de pruebas: robustez y limitaciones Es un proceso de construir confianza en el modelo, no necesariamente un para a ser realizado

Introduccin a Validacin
Desde la primera ecuacin!!!! Es mas que replicar el comportamiento Cada variable debe tener un concepto con significado en la vida real Variables Duras y Suaves:
Suaves: metas, percepciones, expectativas to omit such (soft) variables is equivalent to saying they have zero effect probably the only value that is known to be wrong! (Forrester, 1961)

La pregunta de validacin
Tipos de modelos
Modelos correlacionales
Modelos caja negra: no argumentan causalidad de su estructura; importa que los resultados se ajusten a los datos

Modelos descriptivos causales

Tericos, modelos abiertos cajas blancas; hiptesis de como el sistema real opera

La pregunta de validacin

Los modelos de DS son causales y descriptivos. Estan orientados al diseo en vez del propsito. Por lo tanto, los que es esencial en validacin es la estructura interna.

Resultado correcto por las razones correctas

Seleccin de pruebas y secuencia formal de validacin de modelos

PRUEBAS DE MODELOS EN PRCTICA

Pruebas seleccionadas para construir confianza y evaluar modelos de dinmica de sistemas

Pruebas de lmites del modelo

Deteminar cules son los lmites y si son apropiados para el problema Determinar que es exgeno y endgeno Horizonte de tiempo

Pruebas de evaluacin de la estructura

Verificar la consistencia de la estructura con el sistema real Agregacin, sistema fsico (topologa del sistema), reglas de decisin Ej. nivel de agua negativo

Consistencia dimensional

Manzanas + Naranjas = Ensalada de frutas

Evaluacin de parmetros
Significado claro de parmetros con la vida real Tanto estadstico como juicios de valor de expertos

Pruebas de condiciones extremas

Robustez bajo condiciones extremas:
Cuantos nacimientos habran si no hay mujeres en una poblacin? Cuanto sera el nmero de carros vendidos si el precio se incrementa a 300 millones por carro?.. obvio..por esto es obvio que el modelo debera pasar las pruebas de condiciones extremas

Pruebas de reproduccin de comportamiento

Para evaluar la habilidad de reproducir el comportamiento Estadsticas comunes:
R: coeficiente de determinacin (fraccin de la varianza en los datos que es explicada por el modelo) [1 prediccin perfecta] MAE: Mean Absolute Error MAPE: Mean Absolute Percent Error MAE/Mean (R)MSE: (Root) Mean Square Error: pone mayor peso en los errores grandes que en los pequeos

Behavior reproduction tests

Theils Inequality Statistics: decomposition of error
MSE in three components: bias (Um), unequal variation (Us), and unequal covariation (Uc) Um: different means Us: different variance Uc: correlation is imperfect Um + Us + Uc = 1

Interpretation of Theil inequality statistics

Anlsis de sensibilidad
Prueba la robustes de sus conclusiones bajo algunas incertidumbres En muchos casos es asociado con simulacin de montecarlo: estimacin de intervalos de confianza Los software de dinmica de sistemas lo incluye Va mas a all que variar los parmetros: cambios en los lmites, los niveles de agregacin, funciones, etc.

Naturaleza iterativa de validacin formal de modelos

Secuencia lgica de la validacin de comportamiento

Referencias seleccionadas
Forrester and Senge, 1980. Test for Building Confidence in System Dynamics Models. TIMS Studies in the Management Science, 14: 209-228. Barlas, 1996. Formal Aspects of Model Validity and Validation in System Dynamics, System Dynamics Review, Vol.12, no.3, pp. 183-210. Sterman, 2000. Business Dynamics: Systems Thinking and Modeling for a Complex World. Chapter 21.

Information sources
In system dynamics models

Mental Information
Any information other than written and numeric information. Effective model building must draw on the mental database
Mental data on observations about structures and policies (the physical and the decision structure of the model). Usually rich and reliable; directly tapped knowledge elicitation for transfer into a system dynamics model. Mental data on expectations about a system behavior (model behavior). Mental simulations of complex dynamic systems are not reliable Mental data on actual observed system behavior (reference modes, historical behavior). Useful information about past experience with the actual system.

Written and Numerical Information

Written data
A recording of data from mental store (like popular readings, news, magazines, reports etc.)
How managers make decisions, how things go on rather than how things should be

Concepts and abstractions that interpret other information sources (like theories)
How things should be!

Numeric data
Parameter values Time series data