You are on page 1of 10

Ejemplo de validación de investigación.

Segmento de tesis de doctorado de

Ailyn Febles Estrada, ISPJAE, Cuba

4 Validación utilizando métodos de expertos

2.4.1 Determinación del número de expertos.

• Entre los métodos para calcular el número óptimo de expertos, se plantea

utilizar el desarrollado por Cyret y March [1965] ya que no se conoce la media de

la población. Este consta de los pasos siguientes:

• Fijación por el analista de los datos siguientes:

• i: nivel de precisión.

• p: proporción del error.

• k: constante fijada a partir del nivel de confianza.

• Con dicha información se determina el número preliminar de expertos (n)

para un nivel de confianza del 99%.

• Estimación por el analista del tamaño de la población de expertos (N) que pueden

existir en general.

• Se analiza el cumplimiento de la condición n>0,5 N

• De cumplirse la condición anterior, el número de expertos que serán consultados

se calcula aplicando la expresión (2.1):

  i2 
(
 N   + N p − p 2
 ) 
k 
n=  (2.1)
( )
N i2 / k + p − p2
• En la investigación se definió el nivel de precisión de i = 0,05 y una

proporción de error de p = 0,09; para un 99% de fiabilidad el valor de k es 6,6564;

ya que son los aconsejados para trabajos de éste tipo. Se obtuvo un número

preliminar de expertos de 9 y se estimó el tamaño de la población de expertos de

N = 10, al cumplirse que 9>0,5(10).

• Se calculó el número óptimo de expertos mediante la expresión (2.1)

obteniéndose un valor óptimo de n = 7 expertos.

• EL número de expertos obtenido coincide con valoraciones que indican que

sean menos de 5 expertos ya que se pierde la idea de la valoración colectiva y

que la muestra no sea tan grande que aumente innecesariamente el gasto para la

elaboración de los criterios.

2.4.2 Selección de los expertos.

• La calidad de los expertos influye decisivamente en la exactitud y fiabilidad

de los resultados y en ello interviene la calificación técnica, los conocimientos

específicos sobre el objeto a evaluar y la posibilidad de decisión entre otros.

• Existen varios procedimientos para objetivar la selección de expertos, uno

de ellos es el basado en la auto evaluación de los expertos. Este método consiste

en calcular el coeficiente de competencia K. Para calcularlo se tiene en cuenta la

autovaloración del experto acerca de su competencia o poder de decisión en el

tema, Kc (Coeficiente de conocimiento). Y las fuentes que le permiten argumentar

sus criterios Ka (Coeficiente de argumentación). [Konow, 1990] [Ludwig, 1997]

( Kc+ ka )
K= 2
(2.2)

• Donde
• Kc: escala de 0 a 10 multiplicado por 0.1, “0” indica no tener ningún

conocimiento

• Ka: Evaluación del experto en alto, medio, bajo.

• En el Anexo 9 aparece la tabla de valores con los que se analizó el

coeficiente de los expertos en cada elemento evaluado.

• Se encuestó un grupo de expertos con un basto conocimiento de la

actividad, gran experiencia y calificación. Se evaluaron aspectos generales tales

como: participación en eventos, publicaciones, investigaciones en el tema, interés

en el tema desarrollado, poder de decisión, años de experiencia, categoría

científica, experiencias prácticas, etc.

• Para acometer el trabajo se definió que los expertos requerían conocer

sobre los procesos de desarrollo de software, el control de cambios y versiones en

un proyecto y sobre métricas [Álvarez, 1995].

• El grupo total está formado por cuatro Doctores en Ciencias Técnicas,

cuatro Maestros en Ciencias en Informática Aplicada y dos Ingenieros en

Informática.

• Para cada aplicación del método de expertos se seleccionó, de los diez

expertos, siete que fue el número que se obtuvo al aplicar la expresión 2.1

2.4.3 Aplicación de métodos de experto en la investigación

• Se aplicaron los métodos de experto para:

• La determinación de los procesos principales en la Gestión de Configuración en

las PYMEs

• La inclusión del Comité de Control de Cambios en la PYMEs
• La determinación de las métricas del modelo

• La determinación del valor práctico del modelo propuesto

• Para cada uno se definió una escala adecuada para la evaluación de los

atributos, ya que esta tiene una gran significación para garantizar la exactitud del

criterio de los expertos. Se definieron los modelos y tablas para captar, recopilar y

procesar la información dada por los expertos de manera que se facilite el análisis.

• Para el análisis de las encuestas se utilizaron los estadígrafos y coeficiente

de concordancia de Kendall [Siegel, 1972] [García, 2000] [Filip, 2001]:
(2.5)) Sjkk 2
(2.4
(2.3)
(2.6)
= Sj Ri
VSjj =
Mj ∑
∑( Rij j − Mj ) 2 •La media (2.3), la Varianza (2.4), la Desviación Típica (2.5) y
SMj 2j == ii==11

k k −1 el coeficiente de variación (2.6) son calculadas según las

formulas siguientes:

• y el ceficiente de Kendall se calcula mediante la expresión (2.7) [García,

2000] [Filip, 2001] [Siegel, 1972]:

s
W=
1 2 3
12
(
k N −N ) (2.7)

• donde:

• s: suma de los cuadrados de las desviaciones del total de los rangos.

• K: número de conjuntos de rangos (número de expertos).

• N: número de entidades (objetos) ordenados.

• W: sólo puede tomar valor entre 0 y 1.
• El coeficiente de concordancia de Kendall varía entre 0 y 1. Valores

cercanos a 1 expresan que hay total acuerdo.

• Determinado el coeficiente de Kendall es necesario realizar la prueba de

hipótesis de que los expertos no tienen comunidad de preferencia. Con este

criterio se intenta verificar la hipótesis fundamental.

• Ho : Coincidencia casual (no hay comunidad de preferencia)

• Contra la hipótesis alternativa

• Ha : Concordancia no casual (si hay comunidad de preferencia).

• Lo anterior puede probarse utilizando las tablas de Kendall o mediante la

prueba de Chi-cuadrado cuando N>7 con df = N -1 grados de libertad mediante la

expresión [García, 2000]:

s
ψ 2 = k ( N − 1) *W =
1 (2.8)
n( N + 1)
12

• Una vez que se obtuvo concordancia se determinó el orden promedio de

importancia asignado a cada atributo se requiere de una evaluación de “cuán

certero” fue cada experto, lo que proporcionará un valor que permite pesar cada

experto por su grado de certeza. Para ello se utilizó el inverso de la distancia

euclidiana de cada experto a un experto ficticio [Romero, 1993].

• Para cada j = 1,2,...n, se calcula la distancia del experto "j" al experto

promedio mediante [García, 2000]:

(2.9)
∑(r − ri ,o )
n
2
dj = i, j
i =1
• Donde:

• rij: Es el orden de importancia que el experto "j" dio al atributo "i"

• rio: Es el orden de importancia que el experto promedio dio al atributo "i"

(rango medio del atributo)

• Una vez obtenido cuán cercano estuvo la evaluación de cada experto al

promedio, se determinó el peso de cada experto el cual es inversamente

proporcional a la distancia euclideana. A cada experto se le asigna un peso wj

determinado por [García, 2000]:

m

∑1 / d t (2.10)
Wj = t =1
dj

• Determinado el orden de importancia de los expertos se ponderan todas las

variables que se someten al estudio.

• Los criterios y opiniones de los expertos sobre los temas analizados se

obtuvieron mediante el Método Delphi que determina los factores que están

presentes en una decisión no estructurada. [Fairley, 1987][Konow, 1990][Ludwig,

1997]

• El método consiste en una serie de preguntas sucesivas a los expertos (sin

confrontación directa entre éstos), y después de varias iteraciones se alcanza el

consenso de los expertos. La información obtenida sufre un procesamiento

estadístico según el objetivo de la aplicación del método. [García, 2000]
2.4.3.1 La determinación de los procesos principales en la Gestión de

Configuración en las PYME´s

• Para el objeto de análisis se realizó una primera ronda de cuestionario que

consistía en seleccionar los procesos que tienen que estar presentes

obligatoriamente en un Modelo de Gestión de Configuración. La muestra de los

procesos se conformó a partir de las propuestas de CMM, ISO, IEEE y de otros

autores. Con los resultados de la aplicación de la primera ronda se seleccionaron

los procesos en los que había coincidencia entre los expertos y de la muestra

seleccionada se realizó la segunda ronda, los cuestionarios de ambas rondas

aparecen en el Anexo 10.En ella se pedía que ordenaran los procesos por

importancia dentro de la Gestión de Configuración. Los pasos seguidos en la

aplicación del método aparecen en le Anexo 11.

• Como resultado de la aplicación del método se obtuvieron cinco procesos

para incluirse en el Modelo de Referencia para la Gestión de Configuración que

fueron presentados en el epígrafe 2.2.

2.4.3.2 La inclusión del Comité de Control de Cambios en la PYMEs

• Para el objeto de estudio la pregunta original fue:

• ¿Considera imprescindible para ejecutar los procesos de Gestión de

Configuración la existencia de un Comité de Control de Cambios en una Pequeña

y Mediana empresa de software?

• En la primera ronda de aplicación del cuestionario los expertos hicieron un

grupo de valoraciones que llevaron a realizar una segunda ronda del cuestionario.

En esta segunda ronda se evaluaron cinco atributos:

1. Efectividad
2. Eficiencia

3. Posibilidad real de ejecución

4. Facilidad para el control

5. Aplicabilidad

• La evaluación de estos atributos por los expertos dio como resultado que la

existencia de un comité de control de cambios (CCC) en la pequeña y mediana

empresa no es efectivo, ni fácil de ejecutar. La posibilidad real de activar el CCC

se torna engorrosa y puede tardar mucho más que la agilidad con la que el cliente

necesita respuesta.

2.4.3.3 La determinación de las métricas del modelo.

• Para determinar las métricas del modelo la pregunta original fue:

• ¿Cuáles serían las características que usted definiría como necesarias

evaluar en un Modelo Gestión de Configuración para la PYMEs?

• Como resultado de la aplicación del método se obtuvieron 3 atributos en el

proceso de identificación de los ECS, 15 atributos en el proceso de gestión de

cambios, 2 atributos para el proceso de gestión de versiones y 3 para el proceso

de planificación.

• Con los atributos determinados como coincidentes en la primera ronda se

aplicó una segunda ronda con una propuesta de métricas para la Gestión de

Configuración que evalúan los atributos determinados por los expertos. Se obtuvo

como resultado un conjunto de 17 métricas, 9 métricas biprocesos y 8 métricas

uniprocesos, las que fueron definidas formalmente en este capítulo.
2.4.3.4 La determinación del valor práctico del modelo propuesto

• Al culminar el Modelo de Referencia para la Gestión de Configuración

(Mconfig.pm) se circuló entre los expertos un resumen de las principales

propuestas dentro del modelo.

• El cuestionario se dividió en dos partes para su análisis, una cualitativa y

otra cuantitativa.

• En la primera parte se evaluó la necesidad del método, la posibilidad real

de implantación y la importancia del modelo para la PYMEs y para la ICSW. En la

segunda parte se evaluó el tiempo que demoraría la implantación del modelo

según el criterio de los expertos. El cuestionario circulado entre los expertos se

aparece en le Anexo 12.

• Para evaluar el valor práctico del modelo se fijaron un grupo de factores

necesidad, posibilidad de implantación, importancia, etc. Los criterios de los

expertos reflejados en por ciento aparecen totalizados en la Tab.2.2

• Tabla 2.2 Resultados de un cuestionario de validación

• Pregunta \ Evaluación • Si • No • No Se
• ¿Es necesario implantar • 100% • 0 • 0%

procesos para la Gestión de %

Configuración en la PYME´s?
• ¿Es posible implantar • 71% • 0 • 29%

Mconfig.pm en la PYME´s y en %

la ICSW?
• ¿Considera un aporte • 85.7 • 0 • 15.3

importante MConfig.pm para la % % %
PYME´s y la ICSW?