See discussions, stats, and author profiles for this publication at: https://www.researchgate.

net/publication/3455223

Evaluating Classifiers Using ROC Curves

Article  in  IEEE Latin America Transactions · July 2008

DOI: 10.1109/TLA.2008.4609920 · Source: IEEE Xplore

CITATIONS READS
13 369

3 authors:

Ronaldo Cristiano Prati Gustavo Enrique Batista

Universidade Federal do ABC (UFABC) UNSW Sydney
80 PUBLICATIONS   1,985 CITATIONS    112 PUBLICATIONS   3,861 CITATIONS   

SEE PROFILE SEE PROFILE

Maria-Carolina Monard
University of São Paulo
164 PUBLICATIONS   3,201 CITATIONS   

SEE PROFILE

Some of the authors of this publication are also working on these related projects:

PhD Thesis - Combining Symbolic Classifiers Using Evaluation Metrics of Knowledge Rules and Genetic Algorithms View project

SWAMP - Smart Water Management Platform View project

All content following this page was uploaded by Ronaldo Cristiano Prati on 26 January 2012.

The user has requested enhancement of the downloaded file.

IEEE LATIN AMERICA TRANSACTIONS, VOL. 6, NO. 2, JUNE 2008 215

"%,+ *+%++,++-.1)+ ()+%1

S%+$/4FSFU+$ $+1GG+%

)O"$+  1  ))+  *+%+  +  +,++-.  1  #1  1

   

          
 )+ ()+-.  +  1-. 


/  !   )"$+  +  +,++-.  1
   
  
 #1 /  %1 +$+  +  (1%1-+  1$%1  )+ ()+-.  1
   
    
   
   
%1+-.  +  1-. 
Z/  !  +*%1 1$+    %&()  


!  "
 
 #
 $
  
 
 
&
   !  '         (  
         *%*%+#1$1$/1 $+)++ "+"$0+-.1#FG1G

         *        
! T+#1$1/  +  1-.  Z  .  +*%1 1$++  +  ) 1%+-D1 


 


 +    
 (+ 


 
* (
  


SUFU

F[ F

F




   
    ,
  
-!   
  .*  ,
  
-!  .    /
 ,

 S+%+"0%"#)+ ()+%/"#+%$#1+*%10+
-!  . 
,

- "*1%, +"$0+"#++# $%+1)+  *+%+ 5"+  1
)A1)1+)+ ()+-.,1%+1%+++)+ !1 )%$*%



 "#  )O"$  1  +$%;"$   S+%+  1   $"%  )+   1$%1  + 

F 
        
   





 !"##!$%&()*+%++,++-./
%+0+-.  1  11-.  1   $1#+  1  +2 $)  13"
*%1-.  4%&()    (%+#  %+#1$1  "$0+  1#
1$1)-.1 + /*+%+ 1+,++%+5"++11$%+ # .
1  "#  +  1#  "#  )++  )#  %"6  89:  4%&()  
$+#;!# .#"$"$0+ 1#* )+*+%+ 1+,++%+
)+*+)+1  1  ,6"   $"%1#  1$%1  1 $6#"  1  .
1 $6#"8<:= 1##1)+/ *+%+ ++ +% +5"++11"#
1$1%#+  $1 $1  )6)  8>/  ?:=  1#  1)#+  @1  !
 1   #+ #+1%+  +$"%+  1  +*%1 1$+%  + 
)A1)+  )#  %&()  1  %10B/  *+%+  +  +,++-.  1
1 "++11%1+8C:=11#*%1, .$1#*/*+%+ 1
+,++%+5"++1+ *%1-D1 11,1$ %+% 8E:
1)1$1#1$1/  +  +& 1    (  $%"0+  1#
F*%10+1#1G&5"+FG1G1%+-.1+ 
G    )#  "#+  (1%%+#1$+  H$  1  *1% +  *+%+  +
+,++-.  1  #1  1  )+ ()+-.  8I/  J:  +  !
*+%$)"+%#1$1H$1##6  5"+ 1K $1"#+%+1
1 *%*%-.  1$%1  +  )+ 1  "  5"+  1  1,1  1,+%  1#
) 1%+-.  (1%1$1  )" $ 3;11(6)  *+%+    (1%1$1 
1%% 3+)1%$ 1)+ ()+-.F& 1$+#;!#$1# 
"$0++*+%++) $%"-.8L:1%1(+#1$1#1 89M:
$%1$+$/  +*1 +%  1  %&()    1%1#  ))1$"+#1$1
#*1 /1K $1#,&%+ $1%*%1$+-D1 1%%N1+ + 1"%1 *1$
*%)*+;O1$,1 $1+%$!+*%1 1$+%++& 1
1$%1 )*1FG1G1#"#+"+1#)+%+ 1
;O1$,+/  %1 +$+  +  ,+$+1  1  "+  "$0+-.  +
+,++-.  1  #1  1  )+ ()+-.  +#;!#  .
+*%1 1$+  +"  *$  5"1  #"$+  ,101  .  #+
$1%*%1$+ 1$%)$1K$1FG1G
 $1$%+;+A1 $&%+0++ 1"$1#+1%+P+1-.


/  .  %1, +  +"  ))1$  ;%1  *%;+;+1
Q
 +"$%1 +%+1)1#+ +)+ 1(#1$;%+ 1%+ +*1 /S5/
TFSS1TS
3U%
S%+$!*2 V"$%+
 $$"$"$1)+ G+$1#&$)+ 1
1#*"$+-.+ ,1% +11.S+"@
G3 S.+% B4
FSFU+$ $+1GG+% .)1$1 #1 # $$"$V#+ 
W*%+$/;+$ $+/#)#+%XY)#)" *;%
 
* 6,1 )+ ()+-D1 /)++)+ !%$"+)#"#+$%;"$
1 *1)+/  1#+  )+ 1/  )"O  ,+%1  1  %1(1%1#  \
)+ ()+-.  ,1%+1%+    )+    +   %$"+  .
)A+#+ 11K1#* /1++# $%+"$0++*1+%$#
1  +*%10+  *+%+  "0%    #1  1  )+ ()+-.  !
)A+#++1)O"$11K1#* 1$%1+#1$
F 1"%/  %1 $%%1#   +   )" .  +  *%;1#+  1
)+ ()+-.  ;&%+/ / 5"1$1A+# #1$1"+ )+ 1 
1#*1%+111%++1/1#+%1# + )+ 1 )#

1 $+$6 $)+ *+%+++,++-.1"##11)+ ()+-.!
*%#11"#+$+;"+-.)%"0++1$%1+)+ 1*%1, $+*1
#1  1  +  )+ 1  %1+    1K1#*    +  $+;"+-.  !
)A1)+)#$+;1+1)$)+@$+#;!#)A+#++1
#+$%01)(" .B++;1+
@+B/!# $%++"#+#+$%01
)$)+ )# (%15^)+ +; "$+ @)$+1#B `"+
"#  1K1#*  * $,  !  )+ ()+  )#  * $,/  11  !
1#+  ,1%+1%  * $,  `"+  "#  1K1#*
1+$,!)+ ()+)#* $,/11!1#+(+ 
* $,  #1)+$"%+  #+%  !  "$0++    )+    
1K1#* )+ ()+ )#1+$, 1 +$+;1+/ 
 
     1
   )%%1 *1#/  %1 *1)$,+#1$1/  \ 
5"+$+1  1  ,1%+1%3(+   * $,31+$,    1
  )%%1 *1#+H#1%11K1#* *%1$ )#
* $, 31+$, 1    1   +H#1%%1+ 1
1K1#* * $, 31+$, ++# $%+  !H#1%1
11#1$ ++# $%+
1,%# )++1$%+++#+$%0# $%++++;1+

@+B  *1  $+#+A  +  +# $%+/  )++  1$%++  1 +  #+$%0
%1*%1 1$+%&  "#+  1 $#+$,+  +  *%;+;+1  )O"$+  +
)+ 1%1+1K1#*1+*%1-.++*1#1S+%+
1;$1%"#+1 $#+$,+#+ )(&,1/1#+# $%+ %+1 !
%1)#1&,1  +  "$0+-.  1  "# )O"$  1*11$1  1
1K1#* 1$1 $1+ $+#+A++# $%+ 1O+*15"1+/
1%+#1$1  "$0+#V 1  #!$  1  %1+# $%+1#/  $+  )#
,++-.  )%"0++   +  ,+  #+$%0  !  # $%++  +  +;1+

@;B/+5"+  %1*%1 1$++,+%&,1+1+$2%+ 
216 IEEE LATIN AMERICA TRANSACTIONS, VOL. 6, NO. 2, JUNE 2008

" 0
 1  %1*%1 1$++,+%&,1 

 + "#+  )#  "#+  )+%+)$1%6 $)+    #6  1  .

 " 0
 1
%1*%1 1$+#+1+-.1 1*11$1#1#"$%+ *++,%+ /+ $%;"-.1
1
 
  !+ "#+)#(K+@.,+%+)#$1#*B1
*1 1%1 $#+++*+%$%)O"$1$%1+#1$,+%
FUF

GF
a
4b
FSFFGF
T
F

1  
  !  1%+#1$1  )A1)  )#  *%1,+)+  +
)+ 1   @)+ 1  * $,+B  T1$+  1 +  "* -./  #1$1
  ,+%1  .  1)1 &%  *+%+  1 )%1,1%  +  #+$%0  1
)$)+/  *  

 


   1


 


     +  "+  *%;+;+1  .
1*11$1  +  *%*%-.  1  1K1#* 
  1$%1  + 
)+ 1  @1*11$1  +  *%1,+)+  1  B  #  1%&
+;%++1-.


/1 +!"#+*%*%1+1#*%$+$1+
+,++-.  1  #1  1#  #6  )#  )+ 1 
1 ;++)1++ 13")#(1%1$1 )" $ 1)+ ()+-.

FZF
F

G
F+,++-. 1"##11)+ ()+-.!;+ 1+++
+& 1  +  #+$%0  1  )$)+  @"  1  "+  1%,+-D1 B
#+#+$%0# $%++++;1+
@+B!+*1+ "#+%1V #+  +  #+1%+  #+  )#"  1  +,++%  #1 !  +
1 )++  +  #+$%0  # $%++  +  +;1+ 
@;B/  1+  . 1%,+-.1#1+ 5"1/1+"#+#+1%+/$1$+##1%+
15",+1$1 F!# /$++(%#+-.1)1 &%+*+%+ f5"++1g#1 + #1+ 1%+#1$1*1# 1%
+,++%#11 $&)$+1 + #+$%01 1$+$/"#+ ;$+  +  *+%$%  +  #+$%0  1  )$)+/  %1"0  "+ 
+& 1  #+  %1(++  *1  1%  (1$+  *1+  1)#* -.  +  5"+$%  )!"+  *%)*+  +  "#  H)  6)1  "#!%)  1
*%;+;+1  )O"$+  1#  *%;+;+1  ))+  1 5"++1
#+%+   S%;+;+1  ))+  *1#  1%  ;$+  + 1"0%+#+$%01)$)++"#+H)+#1+$1#
*+%$%+ 1 ;& )+ 1*%;+;+1P +"#+ ,+$+1 +*+%1$1 F*%)*+1+ !5"1 !#+ 
 @  /  B d  @  c  B  @ B d  @ c  B  @  B/ (&)  1 )A1%    f#1A%g  1#  $1%#  1  "#  H)  ,+%
+5"+ 

 !+*%;+;+1))+1  1% $%1$+$/!)#"#1)$%+%)+  1#5"1"#+++#1+
,1%+1/+5"1 
 !,1%+1e#*%$+$1%1 +$+%5"1 !  +*%*%++  *+%+  "# *%;1#+/  #+  1+  !  %%11,+$1  *+%+
"$%   +#;!#/  !  )#"#  1)$%+%  $"+-D1  1#  5"1  +


 

  /#+  



  +
+,++-.  !  "#  *%;1#+  1  #H$*+  (+)1 /  +  5"+  !
"#)O"$11K1#* /$+ 1 + *%;+;+1 *1# * 6,11(%,&%+ #1+ / 1*1%(1$+#1$1* 6,1
1%1 $#++ )#*%*%-D1 G+ 1 *1)()+#1$1/ 5"1"##1 1O+ #1A%5"1"$% *+%+ +"#+ 1 + 

  
   #1+ /#+ *%)#%1+-.+"$%+ 1 1 )+  /"$0+%

    
    

  
   "#+  H)+  #1+  *1  +%  +  (+ +  #*%1 .  1  5"1  
 +  *%;+;+1  ))+  $+#;!#  *1#  1% 1 1#*1A  *1  1%  +,++  "$0+V 1  +*1+  1 +
)+)"++  *+%+  +  5"+$%  1$%++  +  #+$%0  1  *1#  1% #1+
%1*%1 1$++ )##+$%01  #1# )#1K1#*+$+K+11%%1)+ ()+-./
F*%;+;+1  

  !#*%$+$1*+%+" "&% "#++ #1+ #+ )#"#1$1"$0++ 1#+*%10+
#1/"#+,105"11+&+*%;+;+115"1+)+ 1 1  #&5"+  F $+K+  1  1%%  *1  1%  )+)"++  +  *+%$%  +
1O+* $,+/+5"1+*%1, .(1$+*1#1!* $,+ #+$%01)$)++ 1"$1#+1%+P
 +  *%;+;+1  $+#;!#  !  )A1)+  )# 

 




 

 
$%1$+$/1#$1%# 1+,++-.#1/ 

  ! 
#"$  #+  H$  #+  +  ,+$+1  +  (+$%+-.  1 K $1#  ,&%+  $"+-D1  1#  5"1  +  $+K+  1  1%%  1


 1# 

  1 
 !5"1 

  ! )+ ()+-..!+*%*%++*+%+++,++-.1#1 1
))++,+%1 //!))+\*%*%-.1 )+ ()+-. #+ $"+-.)#"# 1&5"+H#1%1
1K1#*  1$%1 +  )+ 1   + *%;+;+1  ))+  ! 1K1#*  1#  )++  "#+  +  )+ 1  !  #"$  1 ;++)1+
(%15^1$1#1$1 )A1)+  )# 
 " 

/ 899:  S%  1K1#*/  "*A+  5"1  1#  "#  +  #6  
"#+  ,10  5"1  1+  1 *1)()+  +  *%;+;+1  1  5"1  "#+
*%1-.  *+%$)"+%  !  (1$+  ++  + )%%)+  1  "#+
; 1%,+-.1 *1)6()+ +*%;+;+1)+5"+$"#
#1  !  )+*+0  1   )%#+%    )+   1$%1  +  * 6,1 
)+ 1 
F!#   /  +  *%;+;+1  #+%+  1   .  + 
H)+ 5"1.1,,1#/1#+1%++"#+/+ *%1, D1 
#1S%1 1#$,/+ $%;"-.1 !1%+#1$1
H#1%11K1#* 1"#++ )+ 1  1O+LLi1 1)+ /
!)#"# 1;$1%;+K+ $+K+ 11%%/* "##15"1
1#*%1%1$%++)+ 1#+O%$&%+$1%&"#+$+K+11%%1
+*1+ 9i1$+$/1 1#15"1 1#*%1)+ ()+"#
,1K1#*+)+ 1#+O%$&%+.%&+)1%$+%1A"#+
)+ ()+-.11K1#* +)+ 1#%$&%+
F!# /+ $+K+11%% + "#1)" $ "+ *+%+  
1%%  1#  +#;+  +  )+ 1   #  #"$  #6  !  )#"#
A+,1% (1%1$1  )" $  1  )+ ()+-.  *+%+  +  (1%1$1 
PRATI et al.: EVALUATING CLASSIFIERS USING ROC
)+ 1   #  #1)+/  *%  1K1#*/    )" $  1  )+ ()+%
)%%1$+#1$1"#*+)1$11$1)# +*+%+"#+++
1-+  %+,1 ! #"$ #+%   5"1 )+ ()+%  "# *+)1$1
+  )#  1$1  * /    *%#1%  )+ /  +  (+A+  
+2 $)*11,+%\#%$1*+)1$1A1)1V 1 
)" $  1  )+ ()+-./  1 1  *%;1#+  *1  1%  %1#1+
*1+ "; $$"-.+$+K+11%%*1)" $#!1 *1%+
89<:$%1$+$/1 1 )" $ 1%+#1$1. .)A1) /
"+$!#1 #*1#,+%+%/1*111(+$%1 1K$1% 
#"$% *%;1#+!5"1$+$+$+K+11%% 5"+$
)" $  #!  1 *1%+  .  1*11$1  +   $%;"-.  1
1K1#* 1$%1+ )+ 1 +#+%++ +*)+-D1 1FG1
G  + "#1V 1  5"1    1K1#*   *6,1  *+%+  
$%1+#1$  ) $$"1#  "#+  +# $%+  %1*%1 1$+$,+/   $  !/
1*11$1  1  1$)+#1$1   $%;"6+  +  **"+-.  1
)+   1 1 )+   1$11V 15"1 + *%*%-.  1 1K1#* 
+# $%+  *+%+  )++  "#+  +  )+ 1  !  15",+1$1  \
*%*%-.+**"+-.1$1%1 189>:#"$%+ *++,%+ /
+ "#1V 15"1.1K $11A"#,6)++# $%+15"1+
*%*%-.11K1#* *+%+)++"#++ )+ 1 +*%K#+
;1#+*%*%-.1)+  +**"+-.+5"+ 1K1#* 
(%+#+# $%+  + "* -./#1 #5"1*+" 6,1/.
!/1)1 +%+#1$1/)%%1$+"*A+5"15"1%+# ) $%"%
"#  #1  *+%+  %1)A1)1%  1  "#+  ++  15^)+  1
+#&) )%%1 *1 ". + "# 11A"#+1 1
)+ /++# $%+.*1$1%+*%*%-. %1+11K1#* /
* . 1)A1)1H#1%$$+111 5"1(%#+#
1#+ A"#+ 1 H#1%O&  ( 1 $#+1#9MMMMM/


  B/
IMMMM  1  CMMMM/  1$%1  "$%   F  1 $#+$,+  +$"+  !  1$%1
>MMMM1?MMMM1 1#/1#+$+K+11%%1#)" $
#!  1 *1%+  $#    ()+  +  11  +$%;"6 /  * 


  B  S+%+  1  ) $%"%    %&()
,+%+-D1 +*%*%-.11K1#* @(1%1$11 $#+$,+ 
 1K %1++  1K     1
H#1%  1  11 B  %.  +$1%+%    ,+%1  +  #1+  1
1K+ +; ) + 1K  
1 1#*1A/#1 #5"11 1#*1A;+#1.
#"1
 +  1())+  .  .  1K)" ,+  +  $+K+  1  1%%
`"+5"1%#1+5"1$1A+)#;O1$,%1"0%++,++-.
1 
B1 1#1
1  "#  #1  1  )+ ()+-.  +  "#  H)  ,+%  $1%&/  1#
#+%"#1%%+"/"#+*1%+1(%#+-.41%+#1$1/+
. 1%5"1 1$1A+##6 )#)%$!% *+%++,++-.
)+%+#1$11( 1 1 $&$) /+ +,++-. 1 "##1
"$0+"#+H)+#1+*11,+%+))" D1 1%%N1+ 
#"$%+ *++,%+ /.1K $1"#+H)+#1+;+/+.
1%  5"1  1O+  * 6,1  1(%/  *+%+  +5"11  #6/  
()+1;#
F+  5"1  ) 1%1#  +*1+    )+   1#  5"1  $+$
; 1%,+-D1 5"+$*%1, D1  .;&%+ /#"$   $1#+ 1
+*%10+  (%1)1# "#,+%  )$6" *+%+ +  *%1, D1 /
#1 #)+ 1#5"1+ )+ 1  . )%1$+ S%1K1#*/
%11 1"%+ 1%+#1$1*%"01#,+%1 1$%101%1"#
S+%+  1  ;$1%  "#+  )+ ()+-./  1%+#1$1  ))+V 1  "#
#+%+,+%&,11*%1-.+ + *%1-D1 +)#+1 1
#+% .+$%;"6+ +"#++ )+ 1 /1+ *%1-D1 +;+K
1 1#+% .+$%;"6+ \"$%+1 +#+1%+/*+%+"#
+  #+%/  !  * 6,1  1  ;$1%  "#+  *%1, .  ;&%+  *1+
 )%1$0+-.  +  *%1, .  )$6"+   +   )%1$0+-.
)$%;")#"#"$%*%;1#+*+%+++,++-.#1
1)+ ()+-.P+1 )A+#+%!+%;$%&%+11%+#1$1
;+ 1+++$+K+11%%F #/)++* 6,1#+%*%"0
"#+  #+$%0  1  )$)+  (1%1$1/  1/  *%  ) 15^)+/
217
(1%1$1 ,+%1 *+%++ #1+ 
#$1%# 1+,++-./+,! 11 $+;11)1%"##+%
1)+ ()+-.1+,++%#11)+ ()+-.1%,+
1 1#+%/!#+ $1%1 +$1+,++%)##1%1+
 1K1#*  #;##11,1(+0V1$+#+1%+5"1/
; 1%,+V 1  +  ,+%&,1  1  *%1-./  1K1#*  1  )+ 1 
1#1A+$1  1O+#+%"*+ 1#(+K+ )$6"+ 1,+%1 
e  #*%$+$1  %1 +$+%  5"1/  )#  !  * 6,1  1%,+%  "#+
)+ ()+-.  ))+V 1  "#  #+%  +  ,+%&,1  )$6"+/
+,++%  )#   1K1#*  .  %1+  !  #+  ,+$+O /
*  !  1*11$1    #+%  1  1;+  +  +,++-.  +
)+ ()+-.
+#;!#!#*%$+$1%1 +$+%5"1/+ #)#+$+K+1
1%%  @1  "$%+  #1+ B/  !  * 6,1  1%,+%  1 $+$6 $)+  +
%1 *1$+5"++1+%1+-. #+1 + 1 $+$6 $)+ !
$1 $11%1+-.1j)K# 1%&, $+1-.

Z/1 +1 $+$6 $)+$1#"#+)%%1+-.)#++& 1
$%1$+$/+#1 #+#+1%+5"1+ #1+ *+%+ 1+,++%
#1  1  )+ ()+-./  +,++%  +  %1+-.    1K1#* 
)#"#+H)+#1+$+#;!#$1#+  "+ 1 ,+$+1 

Z4T

#++$1%+$,+\+,++-."$0+#1+ !" 1
%&()  13"  +%+#+   4%&()  *1%#$1#  "#+  #1A%
, "+0+-.  +  #"$#1 ++1    *%;1#+  1
+,++-.    %&()    !  ;+ 1+  +  *%;+;+1  1
1$1)-./"$+K+1,1%+1% * $, @ 
1  +  *%;+;+1  1  (+   ++%#1 /  "  $+K+  1  (+  
* $,  @ 
*$+V 1  

##11)+ ()+-.!%1*%1 1$+*%"#*$
  1 *+-    S+%+  1  ;$1%    *$    1 *+-  
)%%1 *1$1+"##11)+ ()+-./)+)"+V 1+$+K+
1,1%+1% 1(+  * $, @ 
+*+%$%+ "+#+$%01)$)+@,11-.

1+;1+

B
F" *$ 1 *+-#1%1)1#1 $+5"1*$

   %1*%1 1$+  +  1 $%+$!+  1  ")+  )+ ()+%  "#
1K1#*  )#  * $,  G1  5"1  )%%1 *1#  +  1 1
*$.+*%1 1$+#1A"#(+ * $,/#+ $+#;!#.
) 1"1#  )+ ()+%  1A"#  ,1%+1%  * $,  F
1 $%+$!+  ,1% +/  1  1#*%1  )+ ()+%  "#  ,  1K1#*
)#* $,/!%1*%1 1$++*1*$ 
  
*$
  %1*%1 1$+#1*1%(1$//$ 
  1K1#*  * $,  1  1+$,  .  )%%1$+#1$1
)+ ()+ *$ 
   %1*%1 1$+#15"1
1#*%1  (+0  *%1-D1  1%%++   G1  *%2K#  +  )+$
(1%%  1 5"1%  *1#  1%  ) 1%+  k) 1%,+$, kP
11 (+01#"#+)+ ()+-.* $,+ #1$1 1$#%+1
1"%+-++)+ ()+-.#) 15^)+/11 )#1$1#
*") 1%% (+  * $, /#+ (%15^1$1#1$1$#;+K+ 
$+K+  1  ,1%+1%  * $,   G1  *%2K#  +  )+$
"*1%%  %1$  *1#  1%  ) 1%+  f;1%+ gP  11 
*%101#  +  )+ 1  * $,+  )#  #+%  (%15^)+/  1  $+
#+1%+  5"1  )+ ()+#  +  #+%+    1K1#*  * $, 
218 IEEE LATIN AMERICA TRANSACTIONS, VOL. 6, NO. 2, JUNE 2008

)%%1$+#1$1/  #+ /  1%+#1$1/  )#  +$+  $+K+  1  (+  

* $, 
F  A+  ++  + )11$1 
   V

   %1*%1 1$+"##11)#*%$+#1$
1 $)& $)P)++*$
    *1 1%;$*1+*%1, .
+)+ 1* $,+)#*%;+;+1  1+)+ 11+$,+
)#  *%;+;+1      S$  *1%$1)1$1  +
$%l"  "*1%%  1 5"1%  +  1 +  ++  %1*%1 1$+#
#1 5"11 1#*1A+##1A%5"1+1+$2% 1*$ 
*1%$1)1$1 +$%l"(1%%%1$%1*%1 1$+##1 
*%1 5"1+1+$2%F++1 )11$1
  V

   %1*%1 1$+  #1  1  )+ ()+-.  5"1
1 1#*1A+#  "+#1$1  1#  +#;+  +  )+ 1 


     m  1 5"1%+  1 +  A+/  1 $.   
#1 5"11 1#*1A+##1A%*+%++)+ 11+$,+1#
1$%#1$  +  * $,+  1/  \  %1$+/    #1  5"1
1 1#*1A+##1A%*+%++)+ 1* $,+1 *+-
1 $&%1*%1 1$+1 5"1#+$)+#1$1+T9

@+BG1 1)+ ()+-.1 *+-

T91 *+-
@;B1.),1K+
+T"%+<@+B!# $%+"#%&())#C*$ 
+%;$%&% %1*%1 1$+C#1 1)+ ()+-.(1%1$1  T<G1 1)+ ()+-.1 *+-
@  /   /   /   /  1   B/  *+%+  "#  )O"$  1  + 
$+#;!#  +%;$%&%  #+  %&*+   *1-.  , "+  *1%#$1 F!#   /  !  * 6,1  # $%+%  5"1    #1  5"1  1
+"#+  ) $+$+-D1   1 $1  )+   A*$!$)/    !    #+ 
) 1%,+$,1    !#+ ;1%+F!# /!(&)1
*1%)1;1%5"1"#*$1 *+-!#1A%5"1"$% 1
1 #1$1 1111 $&+)#+1\1 5"1%+"$%*$//
$1#"#+#+%$+K+1,1%+1% * $, 1"#+#1%$+K+
1(+  * $, 89?:
  1$%1+ )+ 1 13")" $ 3;11(6) 1
1)$%+#    1,1*1  1K$1%  ),1K  @   B  5"1
#+  1+*%K#++*$ 
M/9MMi /)## $%++
T"%+  <@;B/  .    #1  5"1  *1#  1%  ) 1%+ 
2$# /  ++  "#+  )1%$+  )-.  *1%+)+    $1%#
)-.  *1%+)+  1;+  (+$%1  )#  *%*%-.  1
1K1#* 
)+ ()+-.    "$%  #1  5"1  .  (+01#  *+%$1  
1,1*1  ),1K  *1#  1%  1 )+%$+  89C/  9E: 
  1
1,1  +  (+$  1  5"1  )++  )-.  *1%+)+  1(1  +
)+-.1"#+A+1 *+-/)A+#++1A+1
! +%1)1;11 1#1*%5"1$  *$ 
5"1(+01#*+%$11 +A+$#"#+)+%+)$1%6 $)+1#)#"#P
PRATI et al.: EVALUATING CLASSIFIERS USING ROC 219

+  $+K+  1  1%%  @"  )" $  #!  1 *1%+B  !  +  #1 #+  F *$
M/9MMi !+1#1A%1 1#*1A+ A+O+
)+-.  1 +  A+  1 $&  %1+)++  +  5"+$  "# $1% 1)-D1 /)++"#   $1#+ $1#"#+(+K+*1%+)+
1$1%#+1%%!%1+$,+#1$1#+ #*%$+$15"1"$% +5"+!#1A%5"1"$%
1+#1$1/+)"%,+1,1 1%
  #1  2$#  *+%+  "#+ ++  )-.  *1%+)+  1,1 ),1K+1 1#*%1)%1 )1$1
1 $+%1#"#+A+)#1 +)+-.F!# /#1
2$#  1,1  1 $+%    #+  *%2K#  * 6,1    *$

M/9MMi    +  "+  *%*%1+1  #*)+#  5"1   
#1 2$# 1 $1O+#1,1*1),1KVVV"#+*%,+
1$+A++*1 1%1)$%++1#89E:
+T>!# $%+#1 #%&()+T</)#
++-.1(1%1$1 A+ 1 1 1#*1AF)+-.
+A+1 1 1#*1A# $%+++T"%+>@+B!9
!
15",+1$1+01%5"1 11 +A+%1*%1 1$+%+)-.
*1%+)+  ,1%+1%+/  +  *%*%-.  1  1K1#*  1$%1  + 
)+ 1  @"    )" $  1  )+ ()+%  1%%++#1$1  "#  1K1#*
* $,"1+$,B!+#1 #+1 + )-D1 /#1
" %&+*%1 1$+%+#1%$+K+11%%@"#1%)" $1
)+ ()+-.B  [&*+%+ %&() # $%+ +T"%+>@;B/ +
)+-.  +  )"%,+  !  1  M/C  1  1 +  A+  %1*%1 1$+%  + 
)-D1 *1%+)+ ,1%+1%+ /+)+ 1* $,+ 1%&"+ 
,101 #+ **" +@")" $1)+ ()+%1%%++#1$1"#
1K1#*+)+ 1* $,+ 1%&"+ ,101 #+%B5"1+)+ 1
1+$,+1 + )-D1 /+#;  #1 /  "  1   /
.  2$# / /  $#  +  #1 #+  $+K+  1  1%%3)" $  1
)+ ()+-.  ;+  $1  5"1/    1$+$/  +  $+K+  1  1%%
1*+%++  *%  )+ 1  .  (1%1$1  *+%+  )++  "#  1 1  @+B" $ "+ *+%+1K1#* * $, 11+$, 
#1 
#+ "$%+  ,+$+1# 1 1 "$0+%  +  )"%,+  1 $& +
+,++-.  +  %1+-.    1K1#* /  +  ,!  +
)+ ()+-.  1 1  )+ /  )#  1 )%$  +  1-. 


/  
 $1#+  1  +*%10+  .  *%10  +  )+ 1/  #+  "#  ,+%
)$6""%+/1/*+%+ 1)%+%#11)+ ()+-./
1 1,+%)$6"*1 1%;+%0+*1+1 )A+1"#
#+%1)+ ()+-. $%1$+$/ 5"+  11 $+;11)1"#
#+%1 *1)6()/+ "#1V 1"#)1%$)#*%# 1$%1 
+)1%$  1    1%%    1  )#*%#   *1  1%  +,++
"$0+V 1++& 11)"%,+ 
F,! 1 11 )A1%"##+%+%;$%&%1%1*%1 1$+%
1 1#*1A  $1#+*+%+"#+#6)#"#H)
*$1 *+-/*1V 1f #"+%g+1 )A+1,&% 
#+%1 1 1)+ /,+%+V 1#+%1#$ 1"1 *1)$%/
1 1,+%#+ %1 $%$,+$!,+%#+ ;1%+1 +
#+1%+/ + +& 1 ! (1$+ 1*11$1#1$1 + 1 )A+ 
#+%    1 1#*1A     $1#+  !  1$.  %1*%1 1$+  *%
"#+)"%,+1 *+-  +)"%,+F#+1%+#+ 
1()1$111%+%1 +)"%,+!%1+%$  )+  1$1 $1
1+)%)#,+%)$6"*%1$*1#1F*+%$%
@;BF)+ 1* $,+!"+ ,101 #+ )" $ +5"1+)+ 11+$,+
1 1  )O"$  %1+/  *+%+  )++  )+   1 1  )O"$  1
9 T>(1%1$1 A+ 1 1 1#*1A#*)+#
1"V 11 +%1#/&V 1"#*+ 1$+#+A  (1%1$1 #1 2$# 

+%1-.1K #  11K1#*(%* $,""#*+  +  T"%+  ?/  .  # $%+  +"  1K1#*  1  )"%,+ 
9 $15"1+T"%+?@+B .A&$1% 1)-D1 1$%1+ 
1$+#+A )+ 1K1#* 1O+1+$, )"%,+ 1 1)+ /#1 1)+ ()+-.1%,+ +*+%$%
$%&
`"+$#+  $+$1+)"%,+1 $,1%+++*%)*+/ +)"%,+#+ *%2K#+*$ 
M/9MMi  1%. 1#*%1
#1A%  1%&    1 1#*1A     $1#+ 1  +*%10+  *+%+ #1A%1 5"1 #1 1%,+ +*+%$%+"$%+)"%,+/
+5"11#6F 1)#*+%+%"+ @"#+ B)"%,+ /)+  1*11$1#1$1+ )-D1 *1%+)+ [&)+ +
.A+O+1A"#+$1% 1)-./+)"%,+5"1#+  1+*%K#+ T"%+?@;B/1#5"1A&"#+$1% 1)-.1$%1+ )"%,+ *1%$
  *$ 
?Mi/IMi  /    #1  1  )+ ()+-.
220 IEEE LATIN AMERICA TRANSACTIONS, VOL. 6, NO. 2, JUNE 2008

1%,+ \1 5"1%+1 1*$ 1%. #1A%1  1(%1# "-.  1(+$! 1"%+1 ;11(6)++& 1
1%,+ +)"%,+5"1 ;1#+ *%2K#+1K # /1+ 
"$%+)"%,+ 1(%1#1%,+ \%1$+ # "#+/+*%#1%+,+$+1#++& 1!5"1 1
*1  (+01%  "#+  +& 1  1*11$1#1$1  1  )1%$+ 
)-D1 /  $+  )#    #+%  1  )+ ()+-./    )" $ 
%1+)+  \  )+ ()+-D1  1%%N1+  1  \   $%;"-. 

 + )+ 1  ++& 1!%1+0++, "+0+V 1
)#*%#   1$%1     1     1#  "#  %&()
;#1 +F 1"+,+$+1#!5"1++& 1*1
1%  "$0++  *+%+  +  )+;%+-.  1  +O" $1  1  #1  1
)+ ()+-./5"+1)1 &%
 + "+ *%*%1+1  .\ ,101 #+$1%*%1$++ e
)#"#  1)$%+%  +(%#+$,+  1  5"1  +  +& 1    !
1*11$1+ $%;"-.11K1#* 1$%1+ )+ 1 +
%1++1/1 +.!"#+)+%+)$1%6 $)+++& 11# /
#+  "#+  ) 15^)+  +  +*)+-.  +  1  ;& )+  +
*%;+;+1)$++ +1-.

+ #1$1!,1%+1%+ 1/
)#  $  +  1-. 


/  + "#%#  +   $%;"-.  1   
)#  )+%+)$1%6 $)+    #6  F  +& 1    !  #
,+%+$1\*%*%-.11K1#* 1$%1+ )+ 1 1 15"1
1 + "* -.  1O+ ,1%+1%+ $%1$+$/1 +*%*%1+1
.!,&+1#)+  1#5"11 + "* -..!,&+/$+ 
)#1#+"#+ +*)+-D1 1#5"1A&#"+-+1))1$
@))1*$%($89I:BG"$+ ,101 /1 +)(" .!1#*%1++
)#"#+)%6$)+\+& 189J:1$+$/1 +#&
@+B"%,+ 1#$1% 1)-.
$1%*%1$+-.1 $&%1+)++#"$#+ )#+#1$+
@1)%%1$11) 1%+%,1%+1%+"#+(+ + "* -.B
5"1)##!$`"+*%*%+#1$1"$0++/++& 1
!"#+(1%%+#1$+*1% +*+%+++,++-.1  $1#+ 
1+*%10+/*%)*+#1$11##6 *+%+ 5"+ .
1*1#1(%+ )-D1 *1%+)+ )#*%1) .89L:
#+"$%+)1K.1$%1+)"%,+1+%1+-. 
1K1#* 1 $&%1+)++)#+&%1++;+K+)"%,+VVV
F   @   '
 (!   B  #+  ,10  5"1  +  &%1+
+;+K+)"%,+!"#+(%+-.+&%1+1"#5"+%+1
+  "#/    1"  ,+%  1 $&  1#*%1  1$%1  M  1  9  #  8<M:  !
# $%+  5"1  1 +  &%1+  !  "#1%)+#1$1  15",+1$1  \
1 $+$6 $)+  1  j)K  F!#   /  +  F   $+#;!#  !
"#1%)+#1$1"+\*%;+;+11/+  1K1#* 
1  )+ 1   $$+ /    1K1#*  * $,  1O+  %1+
*%#1%+#1$15"1"#1K1#*1+$,89:FF $+#;!#
1 $&)%%1+)++)#)1()1$148<9:
FF ,1#%++$,+#1$1+A+1 *+-)##1+
1  +,++-.  1  #1  1#  +*%10+  1  #&5"+  1
#1%+-.1+ F*1 +%1/)# )"$+1-.


/+
+,++-.1"##1*%"#+H)+#1+. 1%+#+ 
+*%*%++/+F $1##1 1())+ 5"1+$+K+1
@;B"%,+)#$1% 1)-.
1%%1)+ ()+-.8<<:$%1$+$/ 1#*%15"1* 6,1/!
T?K1#* 1)"%,+  %1)#1&,1*$+%1++ +%+)"%,+ #1 
+#;!#!#*%$+$1%1 +$+%5"1/+ #)#+$+K+1
+   "#  H)  #1  1O+  %1+#1$1  1)1 &%/  +  "+ 1%%  1  )+ ()+-./  +  F   1  +  )"%,+    .  ,+%&,1 
1%,+-.*1 1%(1$+)#;+ 1++& 1+)"%,+/ +1+$2%+ 1/*%$+$/1,1# 1%1 $#++ 1+)#*+A++ 1
++ +V 1    * 6,1  )#*%#   1$%1  +  +"#+#1+1,+%+-.FF !%#+#1$11 $#++
)+ ()+-D1 * $,+ 11+$,+ F!+;& )+!+#1 #+ +#1 #+#+1%+5"1+$+K+11%%@%#+#1$1"$0+V
+ A+ 1 V1 1#*1A++"#+)-.*1%+)+ 1,++-.)%"0++B $#+%+)"%,+1# !"#*")#+ 
@1*%) 15^)+"#+A+1 V1 1#*1AB/!* 6,1 )#*1K/"#+,105"11+!;,+%++/" 1O+/1,,1+ 
1%,+%#+%+*%*%+*+%++5"1+)-.*1%+)+ "+ ,+%&,1 /     1    1 1)+ / *1V 1)+)"+%
1 +#+1%+/!* 6,1)+;%+%#1*+%++ )-D1  $+$+,+%l)+)#%1+-.+    /    "+#;+ #
*1%+)+  %1+ /  +  ,!  +5"1+  "$0++  "%+$1  + 89>:/!+*%1 1$++"#+1 )%-.1 1 $% #!$ *+%+ 1
PRATI et al.: EVALUATING CLASSIFIERS USING ROC 221

1 $#+%+)"%,+#!++TC/!# $%++"#+)"%,+ +& 1     1$%  +  )#"+1  1   FG  1   G  +

)#1 $#+$,+1,+%l)+(1$+)#*+)$1@5"1 F#!%)++$+
*1 1%;$1#A$$*P33;(#*V ;#*13*%O1)$ 3%)%3B/
1 1,,+*+%+ ($n+%1@5"1*1 1%;$1#A$$*P33 Tb
F
nnn%V*%O1)$%B    )O"$  1  A+  )%%1 *1  + 89: [  S  +/  
  !  # 
! 
 

#
,1% + )"%,+ )+)"++ )#(1%1$1 )O"$ 1$1 $1 1np%q/ FPF)+1#)S%1 /9LIC
+  ,++-.  )%"0++/  # $%+  +  ,+%l)+  +  )"%,+  )# 8<: 4%11+[Fn1$ /  
#
! 
%1 *1$\ "+ ,+%&,1  # #    F$ /  FP  S1 "+  S"; A/
9LJL
8>: rVs  aA"/    t  G) A/  +    F  ;")An q/


)!
)![Aj1u
v 
)/<MM<
8?: F,+/G4+$$+ /SS+%,+A/f+  (
$+%u  "  "1    1K$"%1  +  41#1$%u  
#*"$1%01#%+*Au
#+1 PS%1#+%u1 "$ g/

  +$  F#1%)+  %+ +)$ /  Z  </    </  **
ICVJM/<MM?
8C: [    4+ $n%$A/  fF  11%+  1($  (  $A1  %10
)"%,1g/%
/,>L/E/**9M>Iw>L/9LI9
8E: tGu1/f1) V#+q(%#*%;+;$u(%1)+ $ 
;+ 1    (%1)+ $  ,+"1g/ ) 
  ' 
/
,L/**>MIw>9C/<MM<
8I: FSU%+1u/fA1" 1($A1+%1+"1%$A1)"%,1
$A11,+"+$(#+)A11+%+%$A# g/


 /,>M/I/**99?Cw99CL/9LLI
8J: tF*+)q#+/f+1$1)$$A1%uPZ+"+;1$ 
(%1,+"+$")$,11+%g/ ! 
*  +  ,-    )
  .
  /+).012324
G%+t+"(#+/9LJL/**9EMw9E>
8L: S%+$+ST+)A/fP++%$A#(%%"1
1+%;+ 1++u  g/ ! 
$  +

  5      '
 
TCF)"%,+)#,+%l)+ +   /+5'+678894/  ;"%A  @ tB/  <MMC/  **
J<>wJ<J
#+  +  *%)*+  1 ,+$+1  1  1  "$0+%  %&()  89M: S  T+)A  +    j"/  f1*+%  ))+,$1    
!+ "+#$+-.*+%++*1+ "+ )+ 1 F*1 +%1  )"%,1 g/ !  $+

 
*%)6* ;& )  1%1# #1 # /H#1%11K )%1 )1 5'
+ /+5'+078894/
1K*1)+#1$1)#H#1%1)+ 1 1$+$/*+%+ ;"%A@ tB/<MMC/**IM<wIMI
899: 4FSFU+$ $+/S%+$/+GG+%/fF
%1"0%++& 1*+%+"+ )+ 1 /+"#+ +*%K#+-D1  .
$"u ( $A1  ;1A+,%  ( 1,1%+  #1$A  (%  ;++)
* 6,1 /)#+"#V)$%+V$ 
#+)A1 1+% $%+ +$+g/ +&:% 
/
,E/9/**<Mw<L/<MM?
Z o 89<: q+/fA1("+$ () $V 1 $,11+%g/
4%&() ) $$"1#"#+(1%%+#1$+#"$H$*+%++ !  1;+

 5
, "+0+-.  1  +,++-.  1  #1  1  )+ ()+-.  1   '
 + G%+ t+"(#+/<MM9/ **
$+#;!# .  "$0+  *+%+  1  +,++%  )# "#  $1#+ 1 LI>wLIJ
+*%10+!)+*+01%1+% 1K1#* /*1%#$"#+ 89>: [T1 /

)!


! /
+& 1  1*11$1    #+%  1  )+ ()+-.  +   1O+ <11np%q@ FBP[Aj1uv /9LJ9
1)1 &%1%,+%"##11)+ ()+-./++& 1 89?:   T+n)1$$/  fF $%")$  $    %+*A g/ 

$+#;!#*1%#$15"1 1O+(1$++)+;%+-./*%#11A+ 
 .,<I/J/**JE9VJI?/<MME
1   V1 1#*1A/  *+%+  +  )-D1  *1%+)+  #+  89C: TS%, $/T+n)1$$/+tA+,/fA1)+ 1++ $
+*%*%++ +#6++*)+-. +))"%+)u1 $#+$(%)#*+%")$+%$A# g/
 !   <  +

     
F  +& 1    *%,  "#+  +,++-.  #+  %)+    5"1
)
.
 /+).012234j
PG%+t+"(#+/
#*1 #1$1+,++%#11)+ ()+-.+*+%$%1"#+
+T%+) )/F/9LLJ/**??Cw?C>
H)+  #1+  $%1$+$/  *+%+  +  "+  )%%1$+  "$0+-./  ! 89E: T  S%, $  +    T+n)1$$/  f;" $  )+ (1%  (%
1)1 &%5"1 1)A1-+# "+ )+%+)$1%6 $)+ 1#$+-D1  #*%1) 11,%#1$ g/)
.
 /,?</
1 $1$%+;+A((1$+"#+$%"-.\+& 11$% >/**<M>w<>9/<MM9
  )$1K$  1  +*%10+  1  #&5"+/  ;1#  )#  (%+# 89I: [  4+#+  +  4  + $/  f1+%  n$A  )+  %($
1 $+)++  1  1K1#*()++  +"#+  1  "+  #$+-D1  1 1$1)$g/   !  +

     
1%%  1  $1%*%1$+-.   *1%+#  5"1    *$  +5" '!
!

) 
!' 
/')'0788*4/
1,+$+  1O+#H$1 *+%+("%++#+ +"$0+-.+
222 IEEE LATIN AMERICA TRANSACTIONS, VOL. 6, NO. 2, JUNE 2008

1%  1)$"%1  $1    #*"$1%  )1)1/  ,  ?ML>
  1 ! "$%  1#  )+  +
*%1%/<MME/**?<wCC
89J: 4
j1;;+tG/f$A1+**)+$(
++u   $  *%1)$  )+ ()+$  *1%(%#+)1  "1%
,+%u)+  $%;"$ g/ )
   
#*"$+-.1G+$1#&$)+#*"$+)+*1+ ,1% +1
1  .  S+"  @<MMEB  F$"+#1$1/  !  *2 V"$%+  

 $$"$  1  )+  G+$1#&$)+  1  1  #*"$+-.  +
.

/,CJ/ ,1% +11.S+"@
G3 SB
9/**<Cw></<MMC
89L:   T+n)1$$+SFT+)A/fF %1 * 1$j1;; +

 2* 1  
3
 * "
x    $A1  +**)+$  (    ++u   $  *%1)$ "$%+  1#  )+  1  #*"$+-.  1  G+$1#&$)+
)+ ()+$  *1%(%#+)1  "1%  ,+%u  )+  #*"$+)+  *1+  ,1% +1  1  .  S+"  @<MM>B
 $%;"$ g/)
.

/,CJ/9/**>>w F$"+#1$1/!*%(1 %"$%
G3 S
>J/<MMC
8<M: [Fs+1u+U[G)1/fA1#1++" 1( .     .  ! "$%+  1# 
(%#&$)+  *1+
$A1+%1+"1%+%1)1,1%*1%+$)A+%+)$1% $)@B S$(6)+  ,1% +1  +$2)+      1  [+1%  @9LJMB/
)"%,1g/

!
#/,9?>/**<Lw>E/9LJ< ,%1V)1$1*1+ ,1% +11.S+"@9LJEB 1*2 V
8<9:   [  s+  +  /  fF #*1 11%+ +$ ( $A1 "$%+*1+ ,1% $u($%+$A)u1@9LJIBF$"+#1$1/!
+%1+"1%$A1)"%,1(%#"$*1)+ )+ ()+$ *%(1 %+$$"+%
G3 S/)%1+%++;%+$2%
*%;1# g/ )
 .

/ , ?C/  </ **  9I9w 1
$1)+#*"$+)+@FU
B161%%"*1
9JE/<MM9 *1 5" +1#
$1)+#*"$+)+
8<<: r/[s"+/+saA+/fF P+ $+$ $)+u
)  $1$  +  #%1   )%#+$  #1+ "%1  $A+
+))"%+)ug/  +5'+/44$$;+j+ A/G%+
t+"(#+/<MM>/**C9LwC<E

View publication stats