Reliability Analysis

A   technique   to   determine   the  scalability and reliability of a scale  with multiple items. Cronbach’s alpha

2

Spearman­Brown split­half  reliability Guttman split­half reliability Factor analysis & scale validity

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

3 Key Concepts ***** Reliability Analysis

The concept of a scale Difference between a scale and an index UCR Index Crime per 100,000 Selline­Wolfgang Crime Seriousness Scale Salient Factor Scale of the US Parole Commission Rand Seven­Factor Scale Key questions to asked about a scale The concept of reliability Operational definition of reliability Test­retest reliability Alternative forms reliability Odd­even reliability Split­half reliability Inter­rater reliability The concept of validity Operational definitions of validity Face validity Content validity Concurrent validity Predictive validity Inter­rater validity Scale score: the sum of the score across items Average score: (scale score) (1/n) Classical theory of reliability Observed score True score Error Reliability as the ratio of the True score variance to the observed score variance The relationship between the reliability of a scale and the number of items Interpretation of Cronbach’s α

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

4 The effect on the reliability of a scale of deleting one or more items Interpretation of Spearman­Brown split­half reliability Assumptions Interpretation of Guttman split­half reliability Assumptions Strictly parallel v. parallel models of reliability and their assumptions The use of factor analysis in reliability analysis The use of regression analysis and analysis of variance in reliability  analysis

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

5

Lecture Outline
 The concept of a scale & criminal justice  examples of scales  Issues in assessing a scale: reliability & validity  An example: the training needs of court  administrators  Classical theory of reliability

Cronbach’s Alpha (α)

 Reliability analysis of training needs data  The concept of a split­half reliability  Spearman­Brown split­half reliability  Guttman split­half reliability  Testing assumptions about scale items:
Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

6

 Strictly parallel vs parallel models  Factor analysis and scale validity  Validating a scale using external criteria: factor  analysis, regression and ANOVA

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

7

Reliability Analysis
Interdependency Technique Designed to determine the consistency with  which multiple items in a scale measure the  same underlying trait

Assumptions Since reliability analysis uses correlational  techniques, the assumptions of correlation  apply Variables are metric Variances of the various variables are  comparable Covariances among the various 
Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

8

combinations of variables are comparable Absence of outliers

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

9

 The Concept of a Scale
A measuring instrument from which … A single number can be derived  Across multiple items  Which indicates the quantity of a trait a  subject possesses.

Some criminal justice examples of scales The UCR Index Crime Rate Sellin­Wolfgang Crime Seriousness Index US Parole Commission Salient Factor 
Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

10

Score Rand Seven­Factor Index

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

11

Uniform Crime Report Index of Part I  Offenses Per 100,000 Population
The UCR provides an index of crime based upon  the sum of reported crimes in seven categories,  including:

Violent Crimes Homicide Forcible Rape Robbery Aggravated Assault

Property Crimes * Burglary Larceny­Theft Auto Theft

This   index   is   tracked   year­to­year   and   it   is  assumed that:

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

12

If the index rise, so does the total incidence  of crime, both reported & unreported E.g.   an   incidence   of   4000   index   crimes   is  twice 2000, indicating twice the incidence of  reported   and   unreported   crime.   A  questionable assumption.
* Arson is considered a property crime but is not included in the Crime Index  Total. It is included in the Modified Crime Index Total, however.

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

13

Sellin­Wolfgang Crime Seriousness  Index
(Sellin, T. & Wolfgang, M.E. The Measurement of Delinquency, Wiley, 1966)

Sellin & Wolfgang developed a technique to  account for not only … The number of crimes reported to police But also their relative seriousness

Based upon surveys of various populations they  found differential seriousness weights for various  crimes. For example: Crime Assault (death) Forcible Rape Robbery (weapon) Larceny $5000  Serious Weight 26 11   5   4

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

14

Auto Theft (no damage)   2 Larceny $5   1 Assault (minor)   1 They   proposed   that   crimes   be   weighted   for  seriousness first, then added together to provide  an index which reflects both the … Amount of crime And the relative seriousness of crimes The Salient Factor Score of the 

US Parole Commission
(Hoffman, P. Screening for risk: a revised salient factor score. J. of Criminal  Justice, 11, 1984, 539­547)

The US Parole Commission has used the Salient  Factor   Score   to   predict   the   likelihood   of  recidivism on parole.

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

15

The score ranges from 0 (poor risk) to 10 (very  good   risk)   based   on   the   weighting   of   the  following factors:
1 2 3 Number of prior convictions Prior commitments longer than 30 days Age at the time of the current offense

4 How long the offender was at liberty since  the last commitment 5 Whether the offender was on probation,  parole or escape status at the time of the  current offense 6 Record of heroine dependency

The   Salient   Factor   Score   combined   with   the  seriousness of the current offense is also used  by   the   US   Sentencing   Commission   to   provide  sentencing guidelines.
Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

16

Rand Seven­Factor Index: Selective  Incarceration of Career Criminals
(Greenwood, P.W. & Abrahamse, A. Selective Incapacitation, Rand Corp., Santa  Monica, Calif.: 1982)

The Rand Corporation developed a seven­factor  scale to identify defendants likely to be high­rate  serious offenders if not incarcerated.  The   research   was   based   upon   self­report  surveys of incarcerated robbers and burglars. The seven factors of the scale included: Prior conviction for the same charge Incarcerated more than 50% of the  previous 2 years Convicted before the age of 16 Served time in a juvenile facility Drug use in the previous 2 years
Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

17

Drug use as a juvenile Unemployed more than 50% of the  last 2 years

The Index ranges from 0 (low risk) to 7 (high  risk)

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

18

Key Questions About A Scale

Are the items in the scale reliable, valid? Are the scale items additive? Can a scale score be derived from the items? From the sum of the items, or  The average of the items? Is the scale score reliable, valid? Do the items in the scale measure one or more  than one trait? To what extent are the items in the scale  intercorrelated?

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

19

Can parallel forms of the scale be developed? How well can individual items predict the scale  score? What external criteria should be used to  validate the scale?

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

20

The Concept of Reliability

Reliability How accurate is the instrument? How accurately does the instrument  measures “what ever” it measures? How well does the instrument correlate  with itself?

Operational definitions of reliability Test­retest reliability Alternative forms reliability Split­half reliability
Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

21

Odd­even reliability Inter­rater reliability

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

22

Operational Definitions of Reliability

Test­Retest Reliability Measure the same subjects twice (t1 & t2) with the same instrument & under the same  conditions. Reliability = the correlation between t1 & t2 Problems: pretest sensitivity, history, and maturation Alternative Forms Reliability Odd­Even Reliability: correlate the odd  numbered items in a scale or test with the  even numbered items.

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

23

Split­Half Reliability: correlate the 1  half of  nd the items on the scale or test with the 2  half  of the items. Inter­Rater Reliability Used to determine the consistency with  which 2 or more raters can independently  rate the same subjects the same way.

st

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

24

The Concept of Validity

Validity What is being measured? To what extent does the instrument  measure what it is designed to measure? Is more than one trait being measured? How well does the instrument correlate  with validated external criteria?

Operational Definitions of Validity Face validity Content validity
Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

25

Concurrent validity Predictive validity Inter­rater validity

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

26

Operational Definitions of Validity
Face Validity On its face, does the measuring instrument  “look” like it measures what it is designed  to measure (non­empirical standard) Content Validity As  on  an   examination,  the  extent   to  which  the   items   on   a   scale   or   test   adequately  sample   the   full   range   of   content   to   be  measured Concurrent Validity Does the instrument measure the intended  concept as it exists “now”, at the present  time, vis­à­vis some future time

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

27

Predictive Validity Does the instrument measure the intended  concept as it will be at some future point in time, as in a forecast of recidivism Inter­Rater Validity The correlation between the independent  assessment made by a valid expert and  the assessment made with the measuring  instrument

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

28

An Example: Training Needs of Court  Administrators
A   survey   that   included   13   Likert   scale   training  needs   items   was   distributed   to   202   court  administrators   to   determine   their   relative   need  for continuing professional education. The   items   were   designed   to   determine   the  perceived   need   for   training   in   the   following  areas.

Administrative Issue
Case flow management 
(case_flo)

Administrative Issue
Judge/administrator relations 
(jud_rel)

Communication skills (com_skl) Court's role in corrections 
(com_cor)

Integrated justice systems 
(int_jus)

Management information  systems (info_sys)

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

29

Court reporting technology 
(rep_tec)

The court as a human  organization (hum_org)

Security management (sec_man) Program evaluation (eval) Judicial ethics (ethics) Human resource  management (hum_res)
(The terms in parentheses are the database code names of the variables)

Strategic planning (plan)

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

30 An Example: Training Needs of Court Administrators (cont.)

Each of the 13 items in the survey was rated on  the following Likert scale.
1=no training needed 4=growing need 2=minor need 5=very critical need 3=needed

Calculating a scale score for a subject
Minimum scale score = (13) (1) = 13 Maximum scale score = (13) (5) = 65

Converting the scale score to a Likert value
Scale conversion factor: 1/13 = 0.07692 For a minimum scale score of 13
Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

31

(13) (0. 0769) = 1 level of need For a maximum scale score of 65 (65) (0.0769) = 5 level of need

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

32

 Research Questions About the Training  Needs of Court Administrators
How much variability is there in the need for  training across the various items? In what area(s) is there the greatest need? In what area(s) is there the least need? What is the average need for training  across all the 13 items? To what extent are the training need items  correlated? Can a scale score, the sum of the items or their  average, be used as an overall measure of the  need for training?

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

33

Is the scale score a reliable measure of whatever  the scale measures? Can reliable alternative forms of the scale be  constructed? What is the effect on the reliability of the scale of  deleting one or more items? What does the scale measure? What are the  external correlates of the scale?

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

34

 Classical Theory of Reliability
The trait being measured (need for training)

  

True Score  (tau τ)

Random Error (e)

The observed score on an item (Xij)

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

35

Xij = τ + e

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

36

Definition of Reliability
Index of Reliability The proportion of the true score variability  captured across all items Relative to the total observed score  variability across all the items

r = ( σ  true score) / (σ  observed score)

2

2

Assumptions If the error associated with the observed  scores is random, Then when the scores are summed across  items, The errors should cancel, and
Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

37

The scale score should approximate the  true score being measured. Therefore, the more items in the scale, The better the estimate of the true score  due   to   the   greater   opportunity   for   the  errors to cancel each other

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

38

Lee J. Cronbach’s Alpha
(Cronbach, L.J. Coefficient alpha and the internal structure of tests.  Psychometrica, 16, 1951, 297­334)

Alpha (α) measures the extent to which the scale  score measures the true score Indicates the reliability of the scale Ranges between 0.0 and 1.0 0.0 = no reliability 1.0 = perfect reliability

 (k) (cov / var) α = 1 + (k ­ 1) (cov / var)

k = the number of items in the scale cov = the average covariance between pairs 

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

39

   of items var = the average variance of the items

If the scale items have been standardized

α = [ (k) (r) ]/ [1+(k­1) (r)]

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

40

Structure of Cronbach’s Alpha
The greater the correlation among the  Items … The higher the value of α (ranges from 0  to 1)

The greater the covariance among the  Items … The higher the value of α

The greater the number of items … The higher the value of α

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

41

Items with high covariance are  measuring the same thing, namely … Tau, the true score

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

42

Descriptive Data on the Survey of Court  Administrators

Item Cases 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. CASE_FL COM_COR COM_SKL ETHICS EVAL HUM_ORG HUM_RES INF_SYS INT_JUS JUD_REL PLAN REP_TEC SEC_MAN

Mean 3.3692 2.4667 3.3692 3.0923 2.7077 2.8814 2.4330 3.0258 2.8299 3.0464 2.8308 1.9077 3.1077

Std Dev 1.3222 1.2628 1.1958 1.3127 1.3352 1.1553 1.2845 1.2476 1.3071 1.3868 1.2327 1.1337 1.3727 202.0 202.0 202.0 202.0 202.0 202.0 202.0 202.0 202.0 202.0 202.0 202.0 202.0

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

43

Intercorrelation of Scale Items
The higher the intercorrelation among the scale  items, the greater the reliability of the scale and  the higher the value of Cronbach's alpha
Correlation Matrix CASE_FL CASE_FL COM_COR COM_SKL ETHICS EVAL HUM_ORG HUM_RES INF_SYS INT_JUS JUD_REL PLAN REP_TEC SEC_MAN 1.0000 .2396 .4733 .4510 .3355 .3596 .3435 .4770 .3716 .4849 .4462 .2345 .4064 HUM_ORG HUM_ORG HUM_RES INF_SYS INT_JUS JUD_REL PLAN REP_TEC SEC_MAN 1.0000 .5262 .5647 .4813 .5871 .6462 .4216 .4372 COM_COR 1.0000 .3901 .3049 .2260 .3646 .3870 .2893 .2612 .2890 .2921 .2794 .4426 HUM_RES 1.0000 .4155 .4098 .5253 .5333 .4590 .4242 COM_SKL ETHICS EVAL

1.0000 .5336 .4115 .5197 .4654 .4408 .3117 .5753 .4765 .3143 .5190 INF_SYS

1.0000 .5429 .6004 .5006 .4938 .4607 .6811 .5628 .4602 .5386 INT_JUS

1.0000 .4842 .5370 .4524 .2855 .4882 .5149 .3508 .4021 JUD_REL

1.0000 .5243 .5025 .6369 .3744 .3820

1.0000 .4982 .4824 .3898 .4087

1.0000 .5779 .3791 .4811

PLAN PLAN REP_TEC SEC_MAN 1.0000 .4626 .3603

REP_TEC 1.0000 .3419

SEC_MAN

1.0000

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

44

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

45

Item Variances and Covariances

     average scale score
Statistics for Scale Item Means Variance .1637 Item Variances Variance .0390 Inter-item Covariances Variance .0313 Inter-item Correlations Variance .0102 Mean .4398 Minimum .2260 Maximum .6811 Range .4551 Max/Min 3.0134 Mean .7134 Minimum .3515 Maximum 1.2399 Range .8884 Max/Min 3.5276 Mean 1.6262 Minimum 1.2853 Maximum 1.9233 Range .6380 Max/Min 1.4964 Mean 37.0678 Mean 2.8514 Variance 132.4273 Minimum 1.9077 Std Dev 11.5077 Maximum 3.3692 Variables 13 Range 1.4615 Max/Min 1.7661

var cov

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

46

The scale score is the sum of the Likert ratings  across the 13 items in the scale. The mean score  for the 202 administrators is 37.0678. Cronbach's alpha is calculated from the average  variance   (var)   and   average   covariance   (cov)  among the scale items.

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

47

Calculation of Cronbach’s Alpha (α)

(k) (cov / var) α = 1 + (k ­ 1) (cov / var)

(13) (0.7134) / (1.6262) α = 1 + (13 ­ 1) (0.7134) / (1.6262)

α=    0.9104  Average scale score

A high degree of reliability

(2.8514, average Likert rating) (13) = 

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

48

37.0682 ≅ 37.07 (2.8514) / (0.07692) ≅ 37.07 The scale score can range from a low of 13  to a high of 65.

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

49

The Effect of Deleting an Item on the  Reliability of the Scale Q If the item caseflow management (case_fl) is 
deleted from the scale, would the reliability (α)  decline appreciably? Average Likert score for all 13 items = 2.8514 Average scale score for all items = 37.0682 (2.8514) (13) = 37.0682 For case_fl, the average score = 3.3692 If case_fl is deleted from the scale The mean scale score declines to (37.0682) ­ (3.3692) = 33.699 α declines from 0.9104 to 0.9071 (cf. table in  the next exhibit)
Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

50

Conclusion Deletion of case_fl does not effect the  reliability of the scale very much since its  deletion does not change α appreciably

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

51

Summary Table of the Impact of  Deleting Items on the Reliability of the  Scale
Cronbach's α for the full scale = 0.9104 

Item-total Statistics Scale Mean if Item Deleted CASE_FL COM_COR COM_SKL ETHICS EVAL HUM_ORG HUM_RES INF_SYS INT_JUS JUD_REL PLAN REP_TEC SEC_MAN 33.6985 34.6011 33.6985 33.9755 34.3601 34.1863 34.6348 34.0420 34.2379 34.0214 34.2370 35.1601 33.9601 Scale Corrected Variance ItemSquared Alpha if Item Total Multiple Item Deleted Correlation Correlation Deleted 115.0976 .9071 118.7323 .9113 114.3094 .9028 110.2300 .8987 113.6023 .9050 113.3235 .9002 112.7329 .9023 113.2100 .9022 114.4985 .9058 109.2204 .8990 112.0915 .8999 118.1503 .9076 112.6420 .9044 .5492 .4397 .6526 .7428 .5988 .7224 .6615 .6652 .5799 .7342 .7209 .5271 .6144 .3710 .2811 .4906 .6047 .4418 .5686 .4871 .5248 .4213 .5978 .5995 .3309 .4535

if

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

52
Reliability Coefficients Alpha = .9104 13 items .9108

Standardized item alpha =

Interpretation

Based upon the decrease in α, 

The most reliable items are ethics, judicial/  administrator relations, & planning.  The least reliable items are community  corrections, caseflow management, & court  reporting technology.

 

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

53

Interpretation of the Item Deletion  Summary Table
Scale mean if item deleted The mean scale score if the associated item  is deleted. The mean scale score for all 13  items is 37.0682. (cf. p. 24) Scale variance if item deleted The scale variance if the associated item is  deleted. The variance for all 13 items is  132.4273. (cf. p. 24) Scale item total correlation The correlation between a deleted item and  the scale score associated with of the  remaining 12 items
Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

54

If low, the item contributes little to the  scale's reliability If high, the item contributed a lot to the  scale's reliability

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

55 Interpretation of the Item Deletion Summary Table (cont.)

  Squared multiple correlation (R     ) Regression of the deleted item on the 12  remaining items in the scale Xd = a + b1X1 + b2X2 + … + b12X12 Xd = deleted item Indicates the proportion of variance in the  deleted item explained by the 12 remaining  items in the scale If R  is high, the deleted item contributes  substantially to the reliability of the scale
2

2

If R  is low, the deleted item contributes little  to the reliability of the scale
Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

2

56

Alpha if item deleted The effect on the reliability of the scale (α) if  the item is deleted.  Compare with the value of Cronbach's α for  the scale including all 13 items (0.9104, cf p.  27)

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

57

Split­Half Reliability

Sometimes alternative forms of the same scale  are desirable, as in pre­post designs. But will the two forms be equally reliable?

Spearman­Brown Split­Half Reliability

rSB = (2) (rxy) / (1 + rxy) rxy = correlation between the two halves of   the scale

Guttman Split­Half Reliability

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

58

rG = 2 (S t ­ S t1 ­ S t2) / S t 2 S t = total variance of entire scale S t1 = variance of the 1st half of the scale S t2 = variance of the 2nd half of the scale
2 2

2

2

2

2

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

59

Split­Half Reliability of the Training  Needs Scale
Statistics for Part 1 Part 2 Scale Item Means Variance Part 1 .1534 Part 2 .2008 Scale .1637 Item Variances Variance Part 1 .0286 Part 2 .0583 Scale .0390 Inter-item Covariances Variance Part 1 .0261 Part 2 .0259 Scale .0313 Inter-item Correlations Variance Part 1 .0105 Part 2 .0072 Scale .0102 Mean 20.3196 16.7482 37.0678 Mean 2.9028 2.7914 2.8514 Mean 1.6091 1.6462 1.6262 Variance 40.0103 32.2112 132.4273 Minimum 2.4330 1.9077 1.9077 Minimum 1.3347 1.2853 1.2853 Std Dev 6.3254 5.6755 11.5077 Maximum 3.3692 3.1077 3.3692 Maximum 1.7828 1.9233 1.9233 Variables 7 6 13 Range .9362 1.2000 1.4615 Range .4481 .6380 .6380 Max/Min 1.3848 1.6290 1.7661 Max/Min 1.3357 1.4964 1.4964

Mean .6845 .7445 .7134

Minimum .3811 .5295 .3515

Maximum .9515 .9879 1.2399

Range .5705 .4584 .8884

Max/Min 2.4969 1.8657 3.5276

Mean .4284 .4535 .4398

Minimum .2260 .3419 .2260

Maximum .6004 .6369 .6811

Range .3744 .2950 .4551

Max/Min 2.6565 1.8629 3.0134

Reliability Coefficients N of Cases = 202.0 .8385 N of Items = 13 Equal length Spearman-Brown =

Correlation between forms = .9122

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

60
Guttman Split-half = .9126 7 Items in part 1 Alpha for part 1 = .8320 .8382 .9093 Unequal-length Spearman-Brown = 6 Items in part 2 Alpha for part 2 =

Interpretation The 13 items in the scale are divided into two  parts or forms: Part 1 and Part 2 Part 1 has 7 items, Part 2 has 6 items

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

61 Split­Half Reliability of the Training Needs Scale (cont.)

The Spearman­Brown reliability for equal­length  forms: rSB = 0.9122, unequal length forms: rSB =  0.9126

The Guttman reliability: rG = 0.9093

Cronbach's α Part 1 α = 0.8382 Part 2 α = 0.8320 Compare the α's of the two parts to the α for  the scale with 13 items: α = 0.9104

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

62

Calculation of the Spearman­Brown Split­Half Reliability
For forms of equal length rSB = (2) (rxy) / (1 + rxy) rSB = (2) (0.8385) / (1 + 0.8385) = 0.9122 rxy = correlation between the two forms of the  scale For forms of unequal length rSB = (2.00097) (0.8385) / (1 + 0.8385)       = 0.9126 Assumptions Parts 1 and 2 are equally reliable

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

63

Equal variances in Parts 1 and 2

Interpretation rSB = 0.9126 indicates the reliability of a 13  item   scale   made   up   of   two   parts   that  correlate 0.8385

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

64

Calculation of the Louis Guttman’s Split­Half Reliability
rG = 2 (S t ­ S t1 ­ S t2) / S
2 2 2 2 2 t

S t = variance of the 13 item scale (cf. p.31) S t1 = variance of Part 1, 7 items (cf. p. 31) S t2 = variance of Part 2, 6 items (cf. p. 31) rG = (2) (132.43 ­ 40.01 ­ 32.21) / 132.43  rG =0.9093
2 2

Assumptions Assumes neither equal reliability in  Parts 1 and 2

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

65

Nor equal variances in Parts 1 and 2

Interpretation rG = 0.9093 indicates the reliability of a 13  item   scale   made   up   of   two   parts   that  correlate 0.8385

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

66

 Testing Assumptions 

Do the scale items have Equal mean estimates of the true score? Equal variance estimates of the true score?

Two models which can be tested Strictly Parallel Model Parallel Model

Strictly Parallel Model Tests whether all the items have the same  means and variances for the true score
Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

67

Parallel Model Tests whether all the items have the same  variances for the true score But not necessarily the same means for  the true score

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

68

Test of the Strictly Parallel Model of  Assumptions
Test for Goodness of Fit of Model Strictly Parallel Chi-square = 633.3580 Degrees of Freedom = 101 Log of determinant of unconstrained matrix = -.009346 Log of determinant of constrained matrix = 3.206150 Probability = .0000 Parameter Estimates Estimated common mean = 2.8514 Estimated common variance = 1.7773 Error variance = 1.0720 True variance = .7053 Estimated common inter-item correlation = Estimated reliability of scale = Unbiased estimate of reliability = .8943 .8959

.3943

Strictly Parallel Model Null hypothesis The items have the  same means and variances for the true  score. χ  = 633.358, df = 101, p < 0.0001
2

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

69

Decision  Reject the null hypothesis, the  items have significantly different means and  variances.

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

70

Test of the Parallel Model of  Assumptions

Test for Goodness of Fit of Model

Parallel

Chi-square = 242.7770 Degrees of Freedom = 89 Log of determinant of unconstrained matrix = -.009346 Log of determinant of constrained matrix = 1.226618 Probability = .0000 Parameter Estimates Estimated common Error True Estimated common variance = 1.6262 variance = .9128 variance = .7134 inter-item correlation = .9104 .9113

.4387

Estimated reliability of scale = Unbiased estimate of reliability =

Parallel Model Null hypothesis  The   items   have   the   same  variances for the true score, but not  necessarily the same means. χ  = 242.77, df = 89, p < 0.0001
2

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

71

Decision  Reject the null hypothesis, the  items have significantly different variances.

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

72

To What Extent Do the 13 Training  Needs Items Measure the Same Thing?

Factor analysis of the 13 training needs items Principal Component Analysis With Varimax Rotation

Results Only one factor extracted with an  eigenvalue greater than 1.0 This factor accounts for 48.94% of the  variance in the 13 training needs items

Conclusion
Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

73

The one underlying trait being measured by  the 13 item scale is the need for training.

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

74

Results of the Factor Analysis of the 13  Training Needs Items
Communalities
Variable CASE_FL COM_SKL COM_COR REP_TEC SEC_MAN ETHICS HUM_RES JUD_REL INT_JUS INF_SYS HUM_ORG EVAL PLAN Initial 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 Extraction .380 .508 .251 .354 .451 .638 .521 .630 .420 .532 .613 .450 .614

Extraction Method: Principal Component Analysis. Factor Analysis

Total Variance Explained
Component 1 2 3 4 5 6 7 8 9 10 11 12 13 Total 6.363 .975 .882 .798 .653 .581 .551 .501 .421 .363 .325 .308 .279 % of Variance Cumulative % 48.943 7.500 6.788 6.142 5.021 4.470 4.235 3.856 3.238 2.793 2.501 2.368 2.146 48.943 56.443 63.231 69.373 74.394 78.864 83.099 86.955 90.193 92.986 95.486 97.854 100.000 Total 6.363 % of Variance Cumulative % 48.943 48.943

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

75
Extraction Method: Principal Component Analysis.

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

76 Results of the Factor Analysis of the 13 Training Needs Items (cont.)

Component Matrix
Variable Component 1

CASE_FL COM_SKL COM_COR REP_TEC SEC_MAN ETHICS HUM_RES JUD_REL INT_JUS INF_SYS HUM_ORG EVAL PLAN

.617 .713 .501 .595 .672 .799 .722 .793 .648 .729 .783 .671 .783

Extraction Method: Principal Component Analysis. a 1 components extracted.

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

77

Validation of the Scale

To   what   extent   is   the   need   for   training   as  measured by the scale score sum correlated with  the following experiential variables:  (* metric variable, ** nonmetric variable)
 Years of experience (years)*  Education (edu)*  Participation in the state’s professional  development program (pdp)*  Participation in annual professional conferences  (conf)*  Years of membership in the state's professional  court administration association (year_mem)*  Type of court administered (type_c)**

The Analysis
Dependent Variable = the scale score (scl_sum)

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

78

For metric independent variables Multiple regression analysis For the nonmetric independent variable One­way ANOVA

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

79

The Scale Score as a Function of  Metric Predictor Variables

Regression Analysis Scale score regressed on all metric  experiential variables The metric independent variables were not  significantly related to the scale score for  training needs R  = 0.047, p < 0.267
Model Summary
Model   1 .217 .047 .011 11.6954 R R Square Adjusted R  Square Std. Error of the  Estimate

2

 a  Predictors: (Constant), YEAR_MEM, EDU, PDP, CONF, YEARS

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

80
b  Dependent Variable: SCL_SUM

ANOVA
Model  1 Regression   Residual   Total   Sum of  Squares 889.993 18055.359 18945.352 df 5 132 137 Mean  Square 177.999 136.783     F 1.301 Sig. .267

 a  Predictors: (Constant), YEAR_MEM, EDU, PDP, CONF, YEARS b  Dependent Variable: SCL_SUM

The Scale Score as a Function of Metric Predictor Variables (cont.)

Coefficients
Unstandardized  Coefficients Standardize d  Coefficients Std.  Error 5.003 .285 1.176 2.869 .615 .330 ­.060 .152 .085 .146 ­.076 Beta   5.928 ­.487 1.766 .970 1.462 ­.581 .000 .627 .080 .334 .146 .562 t Sig. 95%  Confidence  Interval for  B Lower  Bound 19.762 ­.703 ­.249 ­2.893 ­.317 ­.844 Upper  Bound 39.556 .426 4.405 8.459 2.114 .461

 Model  1     (Constant) YEARS EDU   PDP   CONF   YEAR_ME M

 

B 29.659 ­.139 2.078 2.783 .898 ­.192

 a  Dependent Variable: SCL_SUM

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

81

The Scale Score as a Function of  Type of Court
One­way ANOVA IV = type of court, DV = scale score A marginally significant difference was found  in the mean scale score for training needs F = 3.344, p < 0.069 Administrators in county courts at law indicated a greater need for training than  district court administrators

Univariate Analysis of Variance Descriptives

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

82
Dependent Variable: SCL_SUM  N Mean Std.  Std. Error 95%  Deviation Confidence  Interval for  Mean   36.0032 39.1652 37.0678 11.4240 11.7273 11.5946   .9943 1.4327 .8219   Lower Bound 34.0361 36.3047 35.4469 Upper  Bound 37.9702 42.0257 38.6886 13.00 18.00 13.00 Minim Maximum um

    1.00  2.00  Total 132 67 199

 

  61.00 59.00 61.00

 

 

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University

83 The Scale Score as a Function of Type of Court (cont.)

ANOVA
Dependent Variable: SCL_SUM   Sum of  Squares  Between  Groups  Within  Groups  Total 444.347 26173.536 26617.883 df 1 197 198 Mean  Square 444.347 132.861 F 3.344 Sig. .069

 

Reliability Analysis: Charles M. Friel Ph.D., Criminal Justice Center, Sam Houston State University