Tipos de evaluaciones Estrategias de campo Estudio de los sistemas con tareas y en condiciones reales Estrategias experimentales Experimentos desarrollados en laboratorios Estrategias de inspeccin Verificacin del cumplimiento de directivas, mediciones, etc. Estrategias tericas Evaluaciones con base terica
Mtodos de Inspeccin de usabilidad Inspeccin de la interfaz utilizando mtodos heursticos (no experimentos)
Evaluacin Heurstica: Un conjunto pequeo de evaluadores examina la interfaz, y verifica si satisface los principios reconocidos de usabilidad Anlisis de Acciones Anlisis cuantitativo de las acciones, para predecir el tiempo requerido para determinadas tareas Evaluacin heurstica Chequeo sistemtico del diseo contra principios de usabilidad reconocidos (heursticas) Realizado por un conjunto pequeo de evaluadores Algunas heursticas: Diseo minimalista (less is more) Utilizar el lenguaje del usuario Reconocer, no recordar Consistencia Proveer feedback Indicar claramente las salidas Proveer aceleradores Buenos mensajes de error Prevenir los errores Ayudas y documentaciones Evaluacin heurstica Realizacin de una evaluacin heurstica El diseo puede ser una descripcin textual, un bosquejo, prototipo o un sistema finalizado Pueden proveerse evaluadores con conocimiento especfico del dominio Cada evaluador debiera trabajar individualmente La interfaz es analizada en 2 pasos 1. Centrada en el flujo general 2. Anlisis de los elementos individuales del dilogo Las evaluaciones individuales posteriormente deben ser compuestas Evaluacin heurstica Cuntos problemas son identificados?
Las evaluaciones individuales encuentran relativamente pocos problemas
Nombre de la evaluacin Nmero de evaluadores Problemas conocidos Nro. Promedio de problemas hallados por cada evaluador Teledata 37 52 51% Mantel 77 30 38% Savings 34 48 26% Transport 34 34 20% Evaluacin Heurstica Componer las evaluaciones individuales
La composicin de las evaluaciones individuales produce mejores resultados Composicin: 1 2 3 5 10 Teledata 51% 71% 81% 90% 97% Mantel 38% 52% 60% 70% 83% Savings 26% 41% 50% 63% 78% Transport 20% 33% 42% 55% 71% Evaluacin heurstica
Evaluacin heurstica La experiencia de los evaluadores influencia la cantidad de problemas hallados Tipos de evaluadores Novatos (sin conocimiento de usabilidad ni del dominio) Expertos en usabilidad, pero no del dominio Especialistas en usabilidad y con conocimiento del dominio Hallar todos los errores requiere combinar evaluadores de distintos tipos
Evaluacin heurstica Ventajas y desventajas econmico intuitivo utilizable en las primeras fases del proceso de desarrollo halla muchos problemas halla tanto problemas mayores como menores puede ignorar problemas especficos del dominio Anlisis de las acciones Anlisis cuantitativo de las acciones para predecir el tiempo requerido por un usuario experimentado para completar las tareas Basado en las estimaciones de tiempos para acciones tpicas Focalizado en la performance de usuarios experimentados(eficiencia)
Niveles de detalle Formal (detallado) Informal
Anlisis de las acciones Anlisis detallado Anlisis a nivel de tecla
Basado en modelo GOMS (Goals, Operators, Methods, Selection) Muy detallado Prediccin del tiempo de las tareas 20% Muy tedioso de calcular Subdivide las tareas jerrquicamente en subtareas Utiliza tiempos promedios (tabulados) para los tiempos de cada accin Utilizado para optimizar la performance de sistemas de alto uso
Anlisis de las acciones
Accin Tiempo Movimientos fsicos Presin de una tecla 0.28 Apuntamiento con el mouse 1.5 Mover la mano hasta el mouse o una tecla funcin 0.3 Percepcin Visual Respuesta a una luz breve 0.1 Reconocer una palabra de 6 letras 0.34 Mover los ojos hasta una nueva posicin de la pantalla 0.23 Acciones Mentales Recuperar un item de la memoria de largo plazo 1.2 Aprender un paso de un procedimiento 25 Ejecutar un paso mental 0.075 Elegir entre mtodos 1.2 Anlisis de las acciones Anlisis informal Alto nivel de detalle
Lista las acciones requeridas para completar una tarea, pero con menos detalle que el mtodo detallado Seleccionar Save en el men Editar el archivo XXX Confirmar presionando Ok
En este nivel de anlisis, cada accin toma al menos 2 a 3 segundos
Permite una estimacin rpida de la performance para una tarea particular Tests de Usabilidad Tests empricos del diseo de la interfaz con usuarios representativos Tests con Lpiz y Papel Se muestra a los usuarios aspectos de la interfaz en papel, respondiendo a determinadas preguntas Thinking Aloud Los usuarios expresan sus pensamientos en voz alta, mientras realizan tareas tpicas Experimentos formales: Experimentos controlados y anlisis estadsticos Tcnicas de consulta Entrevistas y cuestionarios
Test en Lpiz y Papel Se muestra a los usuarios aspectos de la interfaz en papel Los usuarios responden a determinadas cuestiones El administrador del test toma notas, las colecta y construye tablas Ej. presentar bosquejos de una pgina Web, y preguntar a los usuarios que esperan encontrar bajo iconos particulares Rpido, efectivo y econmico
Test en Lpiz y Papel Ejemplo: organizacin de menes En forma similar a un procesador de texto actual, escriba el nombre de la opcin del men bajo la cual esperara encontrar la tarea deseada
File Edit View Insert Format Utilities Macro Window
1. Search for a word: __________ 2. Create a header: __________ 3. Create an index entry: __________ 4. Set up your document preferences: __________ 5. Repeat an annotation: __________ 6. Paste another file into your current file: __________ 7. Use italics: _______________ 8. Show summary information about your document: __________ 9. Switch to another document: __________ 10. Show all annotations in the document: __________ 11. Repaginate the document: __________ 12. Set up your printer: __________ Thinking Aloud Se les solicita a los usuarios pensar en voz alta, mientras realizan sus tareas Se obtiene una alta cantidad de comentarios Ventajas y desventajas Encuentra muchos problemas de usabilidad Encuentra las causas de los problemas Requiere un nmero pequeo de usuarios (3 - 5) Utilizable en las primeras fases del proceso de desarrollo Requiere poca experiencia del administrador de la evaluacin El tener que pensar en voz alta puede influenciar la forma de trabajo del usuario Puede no proveer datos acerca de la performance Experimentos formales Experimentos controlados con usuarios Anlisis estadsticos Anlisis de performance Proveen mediciones acerca de la performance, pero requieren muchos usuarios para estadsticas precisas (16-20) Medicin de la performance Recoleccin de datos cuantitativos y objetivos: Tiempo para completar algunas tareas especficas Nmero de tareas completadas en un tiempo dado Nmero de errores Tiempo de recuperacin de errores Nmero de comandos y caractersticas utilizadas Nmero de caractersticas que el usuario puede reconocer luego del test Frecuencia de uso de la ayuda del sistema Tiempo dedicado a leer la ayuda Anlisis Estadstico Existe alguna diferencia estadstica significante entre los sistemas A y B? Test de Hiptesis Qu tamao tiene esa diferencia? Media Que precisin tienen los resultados? Desviacin estndar, certeza
Ej. Tenemos un 95% de certeza que el tiempo para realizar la tarea X es 4.5 minutos Experimentos formales Ventajas y desventajas Permite la comparacin de diseos alternativos Recolecta datos cuantitativos y objetivos Necesita un nmero significativo de usuarios (16-20) Utilizable slo en las etapas finales del proceso de desarrollo Requiere experiencia del administrador No proveen informacin acerca de las razones de un hecho Tcnicas de Consulta Preguntas a los usuarios, luego de haber utilizado el sistema para realizar tareas representativas Entrevistas Cuestionarios Provee datos subjetivos acerca de la visin del usuario del sistema Preferencias, impresiones, actitudes Simple, econmico, y suplemento til al thinking aloud o experimentos formales Entrevistas Permitir al usuario expresar primeramente sus pensamientos Comenzar con aspectos de alto nivel, y luego con ms detallados Aceptar preguntas de cualquier otro observador Consulte cualquier aspecto que surja de las notas de la entrevista Flexible, el administrador puede preguntar por cualquier aspecto de inters Consume mucho tiempo Difcil de analizar y comparar Cuestionarios Formulario escrito, estructurado, completado por el usuario Datos cualitativos y cuantitativos Cuestionarios electrnicos (ej. GVU Web User Survey). puede alcanzar a muchos individuos (por correo, mail, Web) fcil de repetir consume menos tiempo que las entrevistas fcil de analizar y comparar menos flexible que las entrevistas Tcnicas de consulta Ventajas y desventajas recoleccin de datos acerca de la visin subjetiva del usuario del sistema datos cuantitativos y cualitativos informacin suplementaria til simple econmico los datos subjetivos pueden no ser muy confiables Comparacin de tcnicas de evaluacin
Evaluacin heurstica Anlisis de acciones Thinking Aloud Experimentos formales Tcnicas de consulta Etapas Todas Todas Diseo Anlisis competitivo, testing final Todas Objectivo / Subjetivo Subjetivo Subjetivo Subjetivo Objetivo Subjetivo Cualitativo / Cuantitativo Cualitativo Cuantitativo Cualitativo Cuantitativo Ambos Intrusivo No No Si Si No Tiempo Bajo Medio / Alto Medio Alto Bajo Equipo Bajo Bajo Bajo / Medio Medio Bajo Experiencia Media Media / Alta Baja / Media Media / Alta Baja Evaluadores 3-5 1-2 1-2 1-2 1-2 Usuarios 0 0 3-5 16-20 >3 Evaluaciones en cada etapa Recoleccin de informacin Entrevistas y cuestionarios, observaciones lugar de trabajo Diseo conceptual Entrevistas, evaluacin heurstica Diseo de la funcionalidad y la interfaz Evaluacin heurstica, test de usabilidad, evaluaciones tericas Implementacin del prototipo Test de usabilidad, evaluacin heurstica Implementacin del sistema final Test de usabilidad Evolucin y ampliacin del sistema Observaciones lugar de trabajo, entrevistas y cuestionarios, experimentos de campo