La nueva norma

UNIT ISO/IEC/IEEE 29119

Pruebas de Software

Dr. Hermann Steffen

UDELAR

Dr. Hermann Steffen UDELAR | Norma 29119 | Seminario UNIT 2015

 29119

Dr. Hermann Steffen UDELAR | Norma 29119 | Seminario UNIT 2015

Normas, Institutos y Certificaciones

Antecedentes y contexto

Descripcin de la norma

Beneficios e implantacin

Conclusiones

Dr. Hermann Steffen UDELAR | Norma 29119 | Seminario UNIT 2015 3

Producto final integrado

Dr. Hermann Steffen UDELAR | Norma 29119 | Seminario UNIT 2015 4

Componentes fabricados en 4 pases

Dr. Hermann Steffen UDELAR | Norma 29119 | Seminario UNIT 2015 5

Y ms de una docena de sitios principales

Dr. Hermann Steffen UDELAR | Norma 29119 | Seminario UNIT 2015 6

Dr. Hermann Steffen UDELAR | Norma 29119 | Seminario UNIT 2015 7
Pruebas unitarias de stress para alas

Dr. Hermann Steffen UDELAR | Norma 29119 | Seminario UNIT 2015 8

Nueva norma UNIT ISO/IEC/IEEE 29119

Importancia creciente de la actividad de Pruebas de

Software
o Dispersin de esfuerzos y falta de coherencia/completitud
o ISO no posea una norma especfica

Se proponen unificar e integrar normativa actual

proveniente de tres grandes fuentes
o BSI, IEEE e ISO JTC 1
o Debe ser aplicable para todo tipo de software y de sistemas de uso
intensivo de software
o Inicio de trabajos especficos en 2007
o las partes 1, 2 y 3 fueron publicadas en 2013.

Dr. Hermann Steffen UDELAR | Norma 29119 | Seminario UNIT 2015 9

Miembros constituyentes.

Importantes institutos de normalizacin

o Alemania, India, Gran Bretaa, Holanda, Corea del Sur, frica del
Sur, China, Argentina,
Agencias nacionales de software testing
o China, US Department of Defense, Malasya, Corea del Sur,
Grandes empresas de TI
o SAP, IBM, Microsoft, Sogeti, NEC, TCS,
Grandes empresas
o Lookhead Martin, UBS, Hitachi, Samsung, Sony, Fujitsu, Xerox
o Universidades y centros de investigacin de Holanda, Francia,
India, China, Japn, Espaa, Hong Kong,

Dr. Hermann Steffen UDELAR | Norma 29119 | Seminario UNIT 2015 10

Motivaciones y contexto

Aumento de la importancia y criticidad del software

embarcado en productos industriales
Aumento de las exigencias de calidad en los productos
Explosin de dispositivos, metodologas, lenguajes,
ambientes de desarrollo
Incremento de la importancia de las Pruebas de
Software por parte de la comunidad de TI
Fuerte impulso a la profesionalizacin y certificacin
de personas por parte de ISTQB y otros

Dr. Hermann Steffen UDELAR | Norma 29119 | Seminario UNIT 2015 11

Familia de la norma 29119

Organizada en 4 Partes:
ISO/IED/IEEE 29119-1 Conceptos y Definiciones
ISO/IED/IEEE 29119-2 Procesos de Prueba
ISO/IED/IEEE 29119-3 Documentacin de la Pruebas
ISO/IED/IEEE 29119-4 Tcnicas de Prueba
ISO/IED/IEEE 29119-5 Pruebas Guiadas por Palabra-
Clave (en borrador)

Dr. Hermann Steffen UDELAR | Norma 29119 | Seminario UNIT 2015 12

Nueva norma 29119 Antecedentes

Parte 1: Conceptos y definiciones

o BS 7925-1: 1998 Vocabulary of Terms in Software Testing
o IEEE 661
o ISTQB Definicin de Terminologa
Parte 2: Procesos de Prueba
o BS 7925-2: 1998 Software Component Testing Standard
o IEEE 1008-1989 y 2009: Unit Testing
Parte 3: Documentacin de Pruebas
o IEEE 829:2008 Test Documentation
Parte 4: Tcnicas de Prueba
o BS 7925-2: 1998 Software Component Testing Standard

Dr. Hermann Steffen UDELAR | Norma 29119 | Seminario UNIT 2015 13

Normas, Institutos y Certificaciones

Antecedentes y contexto

Descripcin de la norma

Beneficios e implantacin

Conclusiones

Dr. Hermann Steffen UDELAR | Norma 29119 | Seminario UNIT 2015 14

Parte 1 Conceptos y Definiciones

Es de tipo informativa
Presenta
o Definiciones que sern utilizadas en la serie ISO 29119
o Conceptos de Prueba de Software
o Pruebas en diferentes Ciclos de Vida
Secuencial
gil
Incremental
o Roles y Responsabilidades
o Anexos : Mtricas, Ejemplos, Bibliografa
o Establece directrices para otras normas de la Serie

Dr. Hermann Steffen UDELAR | Norma 29119 | Seminario UNIT 2015 15

Parte 1: Conceptos y Definiciones

Captulo 5: Conceptos de pruebas de software

o 5.2. Pruebas de Software en un Contexto Organizacional y de
Proyecto
o 5.3. Procesos de Prueba genricos en el Ciclo de Vida del Software
o 5.4. Pruebas basada en Riesgo
o 5.6. Prcticas de Prueba
Basadas en Requerimientos, en Modelos, en la Experiencia, con Guion
o 5.7. Automatizacin de Pruebas
o 5.8. Gestin de Defectos

Dr. Hermann Steffen UDELAR | Norma 29119 | Seminario UNIT 2015 16

Parte 1 : Anexos con ejemplos

Anexo A Rol de la pruebas en la Verificacin y

Validacin
Anexo B Mtricas y Medidas
Anexo C Pruebas en diferentes Modelos de Ciclo de
Vida (Agiles, Secuenciales, Evolutivas)
Anexo D Ejemplos (ilustrativos)
Anexo E Roles y Responsabilidades en las Pruebas

Dr. Hermann Steffen UDELAR | Norma 29119 | Seminario UNIT 2015 17

Parte 2: Procesos de Pruebas

Se identifican 3 niveles de procesos

o Procesos de Prueba en la Organizacin
Poltica de Pruebas
Estrategia de Pruebas
o Procesos de Gestin de las Pruebas
Planificacin
Control y Seguimiento
Cierre o Finalizacin
o Procesos de Pruebas Dinmicas
Diseo e Implementacin
Gestin del entorno
Ejecucin
Reporte de Incidencias

Se presentan bajo formato grfico (ISO 24774)

Dr. Hermann Steffen UDELAR | Norma 29119 | Seminario UNIT 2015 18
 3 niveles de Procesos de Pruebas

Dr. Hermann Steffen UDELAR | Norma 29119 | Seminario UNIT 2015 19

Conceptos implcitos (nivel 1)
Jerarqua de Procesos
o Propone momentos y responsabilidades diferentes
o Recoge principios de organizacin donde existen responsables de
alto nivel, con visin y responsabilidad amplia y de largo plazo
Nivel 1: Definiciones a nivel Empresa
o Caractersticas comunes a todos los productos o servicios de la
Organizacin: Poltica y Estrategia de Pruebas
Poltica de Pruebas Estrategia de Pruebas
o Objetivos de las pruebas o Gestin del Riego
o Procesos a ser seguidos o Criterios de priorizacin de
o Estructura organizativa pruebas
o Principios ticos a ser respetados o Documentacin a ser generada
o Formacin o Identificacin de herramientas
o Normativas o Gestin de incidentes
Dr. Hermann Steffen UDELAR | Norma 29119 | Seminario UNIT 2015 20
Nivel 2 (Gestin)

1 2 3

Sub Nivel 2 (Gestin)

Dr. Hermann Steffen UDELAR | Norma 29119 | Seminario UNIT 2015 21

Conceptos implcitos (nivel 2)
Es necesario contar con un Plan de Pruebas
o Visin general del proyecto Pruebas, teniendo en cuenta la
integracin con el proyecto de Desarrollo y de los Riesgos
o Identificar a las partes interesadas y generar canales de
comunicacin
o Evaluar y determinar el alcance y recursos necesarios
o Obtener las aprobaciones gerenciales necesarias
El Plan podr ser modificado durante el proyecto
o Se asume que habr un proceso interactivo, vinculado con la
realidad y descubrimientos ocurridos durante el proyecto
Visin a largo plazo
o Instaura las actividades de cierre de Pruebas
Resguardar todo y prepararse para futuras versiones. Puede ser por tipo
especfico de pruebas y luego por la totalidad del proyecto
Hacer sntesis de Lecciones Aprendidas para la mejora continua
Dr. Hermann Steffen UDELAR | Norma 29119 | Seminario UNIT 2015 22
Nivel 2 (Gestin)

Dr. Hermann Steffen UDELAR | Norma 29119 | Seminario UNIT 2015 23

Nivel 3

1 3

2 4

Dr. Hermann Steffen UDELAR | Norma 29119 | Seminario UNIT 2015 24

Conceptos implcitos (nivel 3)

Aplicable a fases de prueba (Unitaria, Integracin,

sistema, aceptacin)
Aplicable a un tipo especfico de prueba (desempeo,
seguridad, usabilidad)
Diseo/Concepcin separado de Ejecucin
o La concepcin de las Pruebas (y casos de Prueba) es una tarea de
alto valor agregado y especializacin. Es objeto de un proceso
especfico y previo a la Ejecucin.
o La construccin del Entorno de Pruebas es una actividad especfica
y puede ser sumamente compleja
Registrar los resultados de las pruebas
o As sea de forma simple, permite medir el avance y hacer un
balance de los resultados. Es un insumo fundamental para la
decisin gerencial de cierre de pruebas
Dr. Hermann Steffen UDELAR | Norma 29119 | Seminario UNIT 2015 25
Parte 3 : Documentacin

Propone plantillas para generar la documentacin

o Planes, seguimiento e informes generados durante la ejecucin de
los procesos
o Se presentan ejemplos en los Anexos. Incluye versiones diferentes
si se trata de proyectos Agiles o tradicionales
Sustituye a IEEE 829
o Reutiliza gran parte de las ideas, pero las simplifica
o Estructura la documentacin en los 3 niveles de procesos
Dosificar la documentacin
o Evitar crear demasiada documentacin. Recoge ideas
provenientes de enfoques Agiles.
o No definen un conjunto mnimo obligatorio de documentacin. Los
usuarios deciden qu documentacin es pertinente y necesaria
para su proyecto.
Dr. Hermann Steffen UDELAR | Norma 29119 | Seminario UNIT 2015 26
Parte 3 : Documentacin en 3 niveles

Documentacin asociada a los procesos

o Nivel Organizacional
Poltica y Estrategia Organizacional
o Nivel Gestin
Plan de Pruebas
Puede haber un Plan de Pruebas a Nivel Proyecto y n Planes de Prueba
por Nivel (Unitario, Integracin) o Caracterstica (Desempeo,
Usabilidad).
Informe de Cierre
o Nivel Pruebas Dinmicas (se repite a cada nivel o caracterstica)
Especificacin de Concepcin de Pruebas.
Especificacin de Casos de Prueba.
Especificacin de Procedimientos de Prueba
Registro/Trazabilidad de ejecucin de pruebas
Informe de Incidentes
.

Dr. Hermann Steffen UDELAR | Norma 29119 | Seminario UNIT 2015 27

Parte 4: Tcnicas Diseo de Pruebas

Tcnicas para el diseo de pruebas

o Basadas en las Especificaciones (Caja Negra)
Particiones de Equivalencia, Transicin de Estados, Tablas de Decisin, Grafos
de Causa-Efecto, User Cases
o Basadas en Estructura del cdigo de los programas (Caja Blanca)
Cobertura de Decisiones y de Condiciones, Flujo de Datos
o Basadas en la Experiencia
Medidas de cobertura de las pruebas
Anexos
o Caractersticas de la calidad del software (ISO 25010) y pruebas
especficas : Accesibilidad, Compatibilidad, Interoperabilidad,
Performance, Seguridad, Usabilidad, Estabilidad
o Guas y ejemplos de aplicacin de las diferentes tcnicas de diseo
o Efectividad en el clculo de la cobertura
Dr. Hermann Steffen UDELAR | Norma 29119 | Seminario UNIT 2015 28
Normas, Institutos y Certificaciones

Antecedentes y contexto

Descripcin de la norma

Beneficios e implantacin

Conclusiones

Dr. Hermann Steffen UDELAR | Norma 29119 | Seminario UNIT 2015 29

Beneficios e implementacin
La norma tiene vocacin de Referencial, de Gua
o Su adopcin puede ser parcial y progresiva
Elementos claves:
o Diferenciar los 3 niveles de actividad/responsabilidad
o Existencia de un equipo (interno) de Pruebas
o Definicin de objetivos de calidad del Producto y de las Pruebas
o La implementacin de Procesos permite trabajar por etapas y
realizar validaciones
o Especializar y profesionalizar la actividad de Concepcin de
Pruebas, separada de la Ejecucin de Pruebas (y obviamente de la
programacin)
o Aplicar las principales tcnicas de pruebas
o Utilizar la nocin de Riesgo para el Plan de Pruebas

Dr. Hermann Steffen UDELAR | Norma 29119 | Seminario UNIT 2015 30

Normas, Institutos y Certificaciones

Antecedentes y contexto

Descripcin de la norma

Beneficios e implantacin

Conclusiones

Dr. Hermann Steffen UDELAR | Norma 29119 | Seminario UNIT 2015 31

Conclusiones

ISO 29119 llega oportunamente

Propone ideas fundamentales, actuales y adecuadas
o Pruebas basadas en la nocin de riesgo
o Tener en cuenta el contexto
o Usar Procesos

Mantiene un buen nivel de flexibilidad

o Para adaptarse a gran variedad de tipos de proyectos

Impulsa la profesionalizacin de la actividad de

Pruebas de Software y la calidad de los productos
Dr. Hermann Steffen UDELAR | Norma 29119 | Seminario UNIT 2015 32
 Muchas gracias

Dr. Hermann Steffen UDELAR | Norma 29119 | Seminario UNIT 2015