A C o s t / B e n e f i t E s t i m a t i n g S e r v i c e f o r Ma ppi n g P a r a l l e l Appl i c a t i o n s o n

H e t e r o g e n e o u s C l u s t e r s
D i m i t r i o s K a t r a m a t o s
D e pa r t m e n t o f C o m pu t e r S c i e n c e
U n i v e r s i t y o f V i r g i n i a
C h a r l o t t e s v i l l e , V i r g i n i a 2 2 9 0 3
d k 3 x @ c s . v i r g i n i a . e d u
Ab s t r a c t
Ma t c h i n g t h e r e s o u r c e r e q u i r e m e n t s o f a pa r a l l e l a ppl i -
c a t i o n t o t h e a v a i l a b l e r e s o u r c e s o f a l a r g e , h e t e r o g e n e o u s
c l u s t e r i s a k e y r e q u i r e m e n t i n e f f e c t i v e l y s c h e d u l i n g t h e a p-
pl i c a t i o n t a s k s o n t h e n o d e s o f t h e c l u s t e r . T h i s pa pe r d e -
s c r i b e s t h e C o s t / B e n e f i t E s t i m a t i n g S e r v i c e ( C B E S ) , a r u n -
t i m e s c h e d u l i n g s y s t e m t a r g e t e d a t f i n d i n g h i g h l y e f f e c t i v e
s c h e d u l e s ( o r m a ppi n g s ) o f t a s k s o n n o d e s . C B E S r e l i e s
o n i t s o wn i n f r a s t r u c t u r e t o g a t h e r a n d m a i n t a i n s t a t i c a n d
d y n a m i c i n f o r m a t i o n pr o f i l e s f o r t h e c o m pu t i n g s y s t e m a n d
t h e a ppl i c a t i o n s o f i n t e r e s t . At t h e c o r e o f C B E S i s a m a p-
pi n g e v a l u a t i o n m o d u l e wh i c h e v a l u a t e s c a n d i d a t e a ppl i c a -
t i o n m a ppi n g s o n t h e b a s i s o f s h o r t e s t e x e c u t i o n t i m e s . B y
d e f a u l t , C B E S u s e s a s i m u l a t e d - a n n e a l i n g b a s e d s c h e d u l e r
t o s e l e c t m a ppi n g s . T h e pa pe r pr e s e n t s t h e d e s i g n , i n i t i a l
i m pl e m e n t a t i o n , a n d t e s t r e s u l t s o f C B E S o n t h e C e n t u r i o n
c l u s t e r a t t h e U n i v e r s i t y o f V i r g i n i a a n d t h e O r a n g e G r o v e
c l u s t e r a t S y r a c u s e U n i v e r s i t y . T h e s e t e s t s d e m o n s t r a t e d
t h a t t h e e x pl o i t a t i o n o f i n t e r n o d e c o m m u n i c a t i o n s pe e d d i f -
f e r e n c e s d u e t o n e t wo r k h e t e r o g e n e i t y c a n y i e l d s pe e d u ps o f
o v e r 10 % b e t we e n s a m e a r c h i t e c t u r e n o d e s . T h e m a x i m u m
o b s e r v e d s pe e d u p a c r o s s a r c h i t e c t u r e s f o r t h e b e s t v s . wo r s t
m a ppi n g s c e n a r i o s o f t h e s a m e a ppl i c a t i o n wa s o v e r 3 6 %,
wh i l e t h e c o r r e s po n d i n g a v e r a g e c a s e s pe e d u p wa s a ppr o x -
i m a t e l y 3 0 %.
1 I n t r o d u c t i o n
L a r g e , h e t e r o g e n e o u s c l u s t e r s o f C o m m o n O f f - T h e -
S h e l f ( C O T S ) c o m po n e n t s i n c o r po r a t e u p t o s e v e r a l t h o u -
s a n d s o f n o d e s i n t e r c o n n e c t e d wi t h f a s t n e t wo r k f a b r i c s a n d
o f f e r a pr i m e e x e c u t i o n e n v i r o n m e n t f o r d e m a n d i n g pa r a l l e l
a ppl i c a t i o n s , e . g . s c i e n t i f i c s i m u l a t i o n s . S u c h s y s t e m s , a l s o
k n o wn a s f e d e r a t e d c l u s t e r s ( f i g u r e 1) , c o n s t i t u t e a s i g n i f i -
S t e v e J . C h a pi n
D e pa r t m e n t o f E l e c t r i c a l E n g i n e e r i n g
a n d C o m pu t e r S c i e n c e
S y r a c u s e U n i v e r s i t y
S y r a c u s e , NY 13 2 4 4
c h a pi n @ e c s . s y r . e d u
F i g u r e 1. S c h e m a t i c o f a f e d e r a t e d c l u s t e r .
c a n t s pe c i a l c a s e o f g r i d c o m pu t i n g .
T h e pe r f o r m a n c e o f a n a ppl i c a t i o n o n a c l u s t e r d e pe n d s
s t r o n g l y o n t h e e f f i c i e n c y o f t h e m a ppi n g ( o r s c h e d u l i n g )
o f t h a t a ppl i c a t i o n ' s t a s k s o n t h e n o d e s o f t h e c l u s t e r . An
e f f i c i e n t m a ppi n g m u s t n o t o n l y q u a n t i t a t i v e l y s a t i s f y t h e
r e s o u r c e r e q u i r e m e n t s , b u t a l s o a c h i e v e t h e b e s t f e a s i b l e
m a t c h b e t we e n t h e c o m pu t a t i o n a n d c o m m u n i c a t i o n pa t -
t e r n s o f t h e a ppl i c a t i o n a n d t h e r e s o u r c e c h a r a c t e r i s t i c s a n d
a v a i l a b i l i t y o f t h e c l u s t e r , t o m i n i m i z e a ppl i c a t i o n e x e c u -
t i o n t i m e . I n t h e g e n e r a l c a s e , t h e r e s o u r c e s o f a c l u s t e r a r e
s h a r e d a m o n g m u l t i pl e a ppl i c a t i o n s , t h u s pr e s e n t i n g v a r i a -
t i o n s i n a v a i l a b i l i t y . Al s o , a n a ppl i c a t i o n ' s r e s o u r c e r e q u i r e -
m e n t s a n d u t i l i z a t i o n pa t t e r n s m a y c h a n g e o v e r t i m e , i n a
k n o wn o r , i n t h e c a s e o f i r r e g u l a r a ppl i c a t i o n s , a n u n k n o wn
m a n n e r . C o n s e q u e n t l y , f i n d i n g a n e f f i c i e n t m a ppi n g i s a
c o m pl e x pr o b l e m . T h e c o m pl e x i t y f u r t h e r i n c r e a s e s i f t h e
i n i t i a l m a ppi n g h a s t o c h a n g e d u r i n g t h e c o u r s e o f c o m pu t a -
t i o n , t o a c c o m m o d a t e c h a n g e s i n t h e a ppl i c a t i o n a n d / o r s y s -
t e m b e h a v i o r a n d pr e v e n t a d v e r s e e f f e c t s o n pe r f o r m a n c e .
R u n t i m e s y s t e m s u s e d o n f e d e r a t e d c l u s t e r s t y pi c a l l y s u p-
po r t a u t o m a t e d m a ppi n g o f a ppl i c a t i o n t a s k s . H o we v e r ,
* pa r a l l e l r u n t i m e s y s t e m s l i k e P V M [ 1] a n d MP I [ 2 ] ,
a l t h o u g h c a pa b l e o f pl a c i n g t a s k s a u t o m a t i c a l l y , d o s o
i n a n a i v e wa y , i . e . t h e y s e l e c t n o d e s r o u n d - r o b i n f r o m
t h e s a m e n o d e l i s t t h e y u s e f o r s y s t e m b o o t i n g , r e g a r d -
l e s s o f r e s o u r c e a v a i l a b i l i t y ;
* wo r k l o a d m a n a g e m e n t s y s t e m s l i k e C o n d o r [ 3 ] ,
P B S [ 4 ] , a n d L S F [ 5 ] i n c o r po r a t e s c h e d u l i n g m e c h -
a n i s m s t o a u t o m a t i c a l l y m a p a n a ppl i c a t i o n o n r e -
s o u r c e s a l l o c a t e d f o r u s e a c c o r d i n g t o po l i c i e s t h a t
m a x i m i z e c o m pu t i n g s y s t e m t h r o u g h pu t r a t h e r t h a n
a ppl i c a t i o n pe r f o r m a n c e . I n t h e c a s e o f P B S , u s e r s c a n
s e l e c t a m o n g s e v e r a l r e a d i l y a v a i l a b l e s c h e d u l e r s , o r
e v e n s pe c i f y t h e i r o wn ;
* g r i d c o m pu t i n g e n v i r o n m e n t s l i k e L e g i o n [ 6 ] a n d
G l o b u s [ 7 ] pr o v i d e s u ppo r t f o r l a r g e s c a l e i n t e r n e t -
wi d e c o m pu t i n g a n d e n c o m pa s s s e r v i c e s t o l o c a t e a n d
r e s e r v e r e s o u r c e s ; a u t h e n t i c a t e u s e r s ; c r e a t e , m o n i t o r ,
a n d c o n t r o l r e m o t e pr o c e s s e s ; e t c . T h e s e e n v i r o n m e n t s
h a v e t h e f l e x i b i l i t y t o u t i l i z e a v a r i e t y o f b u i l t - i n , u s e r -
s u ppl i e d , o r e v e n a ppl i c a t i o n - s pe c i f i c s c h e d u l e r s t o a l -
l o c a t e r e s o u r c e s t o a ppl i c a t i o n s .
I n a l l t h r e e c a s e s i t i s f e a s i b l e t o pu r s u e m a x i m i z a t i o n o f
a ppl i c a t i o n pe r f o r m a n c e b y a u g m e n t i n g t h e r u n t i m e s y s t e m
wi t h a s u i t a b l e s c h e d u l e r .
T h i s pa pe r pr e s e n t s t h e d e s i g n , pr o t o t y pe i m pl e m e n t a -
t i o n , a n d e x pe r i m e n t a l t e s t i n g o f t h e C o s t / B e n e f i t E s t i m a t -
i n g S e r v i c e ( C B E S ) . C B E S [ 8 ] [ 9 ] i s a r u n - t i m e s c h e d u l i n g
s y s t e m b a s e d o n a d y n a m i c a ppl i c a t i o n m a ppi n g e v a l u a t i o n
o pe r a t i o n . F o r a n y g i v e n a ppl i c a t i o n m a ppi n g , t h i s o pe r a -
t i o n pr e d i c t s t h e t i m e t h e a ppl i c a t i o n wo u l d t a k e t o e x e c u t e
wh e n u s i n g t h a t m a ppi n g . T h e pr e d i c t i o n t a k e s i n t o a c c o u n t
s t a t i c a n d d y n a m i c i n f o r m a t i o n f r o m b o t h t h e c o m pu t i n g
s y s t e m a n d t h e a ppl i c a t i o n .
T wo s l i g h t l y d i f f e r e n t C B E S pr o t o t y pe s we r e i m pl e -
m e n t e d . T h e f i r s t pr o t o t y pe wa s i m pl e m e n t e d o n t h e l a r g e l y
h o m o g e n e o u s 2 5 6 - n o d e C e n t u r i o n c l u s t e r a t t h e U n i v e r s i t y
o f V i r g i n i a [ 10 ] . T h e s e c o n d pr o t o t y pe wa s i m pl e m e n t e d
o n a 2 8 - n o d e h i g h l y h e t e r o g e n e o u s c l u s t e r , c r e a t e d b y r e -
wi r i n g n o d e s o f t h e o r i g i n a l O r a n g e G r o v e c l u s t e r a t S y r a -
c u s e U n i v e r s i t y . T h e V i r g i n i a pr o t o t y pe e m pl o y s a m o d i -
f i e d v e r s i o n o f NWS [ I 1] a s s y s t e m pr o f i l i n g a n d m o n i t o r -
i n g i n f r a s t r u c t u r e , wh i l e t h e S y r a c u s e pr o t o t y pe u t i l i z e s t h e
s i m pl e r C B E S i n f r a s t r u c t u r e f o r t h e s a m e pu r po s e . S e v e r a l
e x pe r i m e n t s we r e c o n d u c t e d wi t h t h e t wo pr o t o t y pe s t o e x -
a m i n e t h e v a l i d i t y a n d e f f i c a c y o f t h e C B E S d e s i g n .
S e c t i o n 2 pr e s e n t s a n o v e r v i e w o f t h e s y s t e m d e s i g n ,
wh i l e s e c t i o n 3 d e t a i l s t h e m a ppi n g e v a l u a t i o n o pe r a t i o n .
S e c t i o n s 4 , 5 , a n d 6 pr e s e n t t h e C B E S pr o t o t y pe s a n d t h e
pe r f o r m e d e x pe r i m e n t a l wo r k . S e c t i o n 7 d i s c u s s e s r e l a t e d
wo r k a n d f i n a l l y s e c t i o n 8 g i v e s c o n c l u d i n g r e m a r k s a n d f u -
t u r e wo r k d i r e c t i o n s .
2 D e s i g n O v e r v i e w
O u r g o a l i s t o pr o v i d e t h e m e a n s o f s c h e d u l i n g a pa r a l l e l
a ppl i c a t i o n o n d e m a n d , f o r t h e m a x i m u m b e n e f i t o f t h a t a p-
pl i c a t i o n . D e f i n i n g a s c o m pu t a t i o n c o s t t h e e x e c u t i o n t i m e
o f a n a ppl i c a t i o n , s c h e d u l i n g o n d e m a n d f o r m a x i m u m b e n -
e f i t m e a n s t h a t t h e a ppl i c a t i o n t a s k pl a c e m e n t ( o r m a ppi n g )
s h o u l d b e g e n e r a t e d s o a s t o m i n i m i z e t h e a ppl i c a t i o n e x e -
c u t i o n t i m e ( c o s t ) , g i v e n t h e s y s t e m c o n d i t i o n s a t t h e t i m e
o f t h e pl a c e m e n t . I f s y s t e m c o n d i t i o n s , wi t h r e g a r d t o a
r u n n i n g a ppl i c a t i o n , c h a n g e , t h e r e s h o u l d b e t h e c a pa b i l -
i t y o f g e n e r a t i n g a n e w m a ppi n g f o r t h a t a ppl i c a t i o n , t h a t
m a y y i e l d a n e v e n s h o r t e r e x e c u t i o n t i m e ( l o we r c o s t ) f o r
t h e r e m a i n d e r o f t h e e x e c u t i o n , t a k i n g i n t o a c c o u n t t h e t a s k
r e m a ppi n g c o s t s . F u r t h e r m o r e , t h e s a m e r e m a ppi n g c a pa -
b i l i t y s h o u l d b e a v a i l a b l e i f t h e a ppl i c a t i o n i t s e l f c h a n g e s
b e h a v i o r d u r i n g t h e c o u r s e o f c o m pu t a t i o n s o a s t o r e n d e r
t h e i n i t i a l m a ppi n g i n e f f i c i e n t . T h i s i s a n a ppl i c a t i o n - c e n t r i c
s c h e d u l i n g s c h e m e , h o we v e r , i t o n l y u t i l i z e s r e s o u r c e s m a d e
a v a i l a b l e t o a n a ppl i c a t i o n , a u s e r , a d o m a i n , e t c . , a c c o r d i n g
t o a d m i n i s t r a t i n g po l i c i e s i n e f f e c t .
We a u g m e n t t h e r u n t i m e s y s t e m o f a c l u s t e r e d s y s t e m
wi t h C B E S , a n a u x i l i a r y s c h e d u l i n g s e r v i c e . At t h e c o r e
o f t h i s s e r v i c e i s a m a ppi n g e v a l u a t i o n o pe r a t i o n u s e d f o r
c o m pa r i n g m a ppi n g s a n d s e l e c t i n g t h o s e t h a t a r e m o s t b e n -
e f i c i a l f o r a n a ppl i c a t i o n g i v e n t h e c u r r e n t s y s t e m r e s o u r c e
c o n d i t i o n s .
T h e C B E S i n f r a s t r u c t u r e c o n s i s t s o f a s e t o f d a t a b a s e s ,
pr o f i l i n g t o o l s , a n d m o n i t o r i n g d a e m o n s . T h e s e c o m po -
n e n t s a r e d i v i d e d i n t o t wo c a t e g o r i e s : s y s t e m - d e d i c a t e d a n d
a ppl i c a t i o n - d e d i c a t e d . P r i o r t o a n y i n v o c a t i o n o f t h e s e r -
v i c e , t h e s y s t e m - d e d i c a t e d i n f r a s t r u c t u r e n e e d s t o b e i n i t i a l -
i z e d . T h i s i s a n o f f - l i n e ph a s e , n e c e s s a r y f o r c a l i b r a t i n g
t h e s e r v i c e f o r u s e wi t h a s pe c i f i c c o m pu t i n g s y s t e m . T h e
c o m pu t i n g s y s t e m m u s t r e m a i n f r e e o f c o m pu t a t i o n a l a n d
c o m m u n i c a t i o n l o a d f o r t h e d u r a t i o n o f t h e c a l i b r a t i o n . Al -
t h o u g h t h i s c a n b e a l e n g t h y a n d e x pe n s i v e ph a s e , i t t a k e s
pl a c e o n l y o n c e .
T h e s y s t e m m o n i t o r i n g d a e m o n s m a i n t a i n a c u r r e n t pi c -
t u r e o f t h e a v a i l a b i l i t y o f s y s t e m r e s o u r c e s . F o r a c l u s t e r
o f N n o d e s t h i s c a n b e a t i m e c o n s u m i n g pr o b l e m , po t e n -
t i a l l y O ( N2 ) . Al t h o u g h C P U a v a i l a b i l i t y i s r e l a t i v e l y e a s y
t o m o n i t o r , i n t e r c o n n e c t i n g n e t wo r k b a n d wi d t h v a r i e s n o t
o n l y wi t h n e t wo r k t o po l o g y , b u t a l s o wi t h m e s s a g e s i z e a n d
e v e n wi t h r e s pe c t t o t h e l o a d o f t h e c o m m u n i c a t i n g n o d e s .
T h e C B E S i n f r a s t r u c t u r e u s e s a m e t h o d t h a t a ppr o x i m a t e s
a v i e w o f a c l u s t e r ' s r e s o u r c e a v a i l a b i l i t y i n O ( N) t i m e
e v e n wh e n t h e c l u s t e r n o d e s a r e u n d e r c o m pu t a t i o n a l a n d / o r
Ma ppi n g S y s t e m D e s i g n
g i v e n m a ppi n g .
3 Ma ppi n g c o m pa r i s o n s
T h e c o r e C B E S m o d u l e c o m pa r e s m a ppi n g s o n t h e b a s i s
o f e x pe c t e d e x e c u t i o n t i m e . T h e s y s t e m a n d a ppl i c a t i o n i n -
f o r m a t i o n s u b s y s t e m s o f C B E S pr o v i d e o n - d e m a n d a s n a p-
s h o t o f r e s o u r c e a v a i l a b i l i t y , s y s t e m pr o f i l e d a t a , a n d a ppl i -
c a t i o n pr o f i l e d a t a . T h e c o r e m o d u l e c o m b i n e s t h e i n f o r m a -
t i o n wi t h g i v e n m a ppi n g d e f i n i t i o n s a n d g e n e r a t e s a pr e d i c -
t i o n f o r t h e a ppl i c a t i o n ' s e x e c u t i o n t i m e . I n t h i s s e c t i o n we
d e s c r i b e t h e f o r m u l a t i o n i n s u ppo r t o f t h i s pr e d i c t i o n o pe r -
a t i o n a n d t h e e x pe r i m e n t a l v a l i d a t i o n o f t h e pr e d i c t i o n s .
3 . 1 F o r m u l a t i o n
F i g u r e 2 . T h e b a s i c d e s i g n o f C B E S .
c o m m u n i c a t i o n l o a d . K e y e l e m e n t o f t h i s m e t h o d i s t h e u t i -
l i z a t i o n o f a n e t wo r k e n d - t o - e n d l a t e n c y m o d e l , g e n e r a t e d
d u r i n g t h e c a l i b r a t i o n ph a s e , f o r e s t i m a t i n g o n d e m a n d t h e
i n t e r n o d e l a t e n c i e s o f t h e c l u s t e r b y a c c o u n t i n g f o r t h e e f -
f e c t o f n o d e C P U a n d NI C l o a d o n t h e n o - l o a d e n d - t o - e n d
l a t e n c y v a l u e s [ 12 ] .
F o r u s i n g C B E S , a n a ppl i c a t i o n m u s t a l s o u n d e r g o pr o -
f i l i n g . An a ppl i c a t i o n pr o f i l e i s t h e r e s u l t o f a n a l y z i n g a n
e x e c u t i o n t r a c e o f t h e a ppl i c a t i o n a n d c o n t a i n s c u m u l a t i v e
i n f o r m a t i o n r e g a r d i n g a l l m a jo r c o m pu t a t i o n a n d c o m m u -
n i c a t i o n e v e n t s o f e a c h a ppl i c a t i o n pr o c e s s . I n t h e c a s e o f
a h e t e r o g e n e o u s c l u s t e r , t h e pr o f i l e a l s o c o n t a i n s i n f o r m a -
t i o n r e g a r d i n g t h e c o m pu t a t i o n s pe e d s t h e a ppl i c a t i o n c o d e
c a n a c h i e v e o n t h e d i f f e r e n t a r c h i t e c t u r e s o f t h e c l u s t e r . I n
e s s e n c e , a n a ppl i c a t i o n pr o f i l e i s a s u m m a r y o f a n a ppl i c a -
t i o n ' s b e h a v i o r .
T h e b a s i c d e s i g n o f C B E S c o n s i s t s o f a c o r e m o d u l e u t i -
l i z i n g t wo i n d e pe n d e n t , a u t o n o m o u s s u b s y s t e m s ( f i g u r e 2 ) .
S e v e r a l d a t a b a s e t a b l e s pr o v i d e s y s t e m a n d a ppl i c a t i o n i n -
f o r m a t i o n . T h e f i r s t s u b s y s t e m i s r e s po n s i b l e f o r t h e c o m -
pu t i n g s y s t e m pa r t o f t h e e q u a t i o n . D u r i n g t h e i n i t i a l s y s -
t e m s e t u p t h i s s u b s y s t e m pr o v i d e s t h e m e a n s f o r c r e a t i n g a
pr o f i l e o f t h e c o m pu t i n g s y s t e m . D u r i n g r e g u l a r o pe r a t i o n
t h e s u b s y s t e m c o n t i n u o u s l y m o n i t o r s t h e r e s o u r c e s t a t u s o f
t h e c l u s t e r n o d e s s i n c e l o a d i n f o r m a t i o n pl a y a c r i t i c a l r o l e
i n m a ppi n g e v a l u a t i o n s . T h e s e c o n d s u b s y s t e m pr o v i d e s
t h e m e a n s f o r g e n e r a t i n g c o m pu t a t i o n a n d c o m m u n i c a t i o n
pr o f i l e s f o r a ppl i c a t i o n s , a n d f o r s u ppo r t i n g i n t e r n a l ( t r i g -
g e r e d b y t h e a ppl i c a t i o n ) a n d e x t e r n a l ( t r i g g e r e d b y s y s t e m
c o n d i t i o n s ) a ppl i c a t i o n r e m a ppi n g e v e n t s . T h e c o r e C B E S
m o d u l e a c c e pt s m a ppi n g c o m pa r i s o n r e q u e s t s f r o m e x t e r -
n a l c l i e n t s ( s u c h a s a s c h e d u l e r ) . As a r e s po n s e , t h e m o d u l e
o b t a i n s c u r r e n t i n f o r m a t i o n f r o m t h e t wo s u b s y s t e m s a n d
g e n e r a t e s e x e c u t i o n t i m e pr e d i c t i o n s c o r r e s po n d i n g t o e a c h
A m a ppi n g M i s a n a s s i g n m e n t o f a ppl i c a t i o n t a s k s o n
c l u s t e r n o d e s . I t i s e x pr e s s e d a s a s e t o f n r M pa i r s wi t h
f i r s t m e m b e r t h e i d e n t i t y o f a t a s k ( a pr o c e s s ) a n d s e c o n d
m e m b e r t h e i d e n t i t y o f a c l u s t e r n o d e . I f
P =
pi i
1=
. n 4 M}
i s t h e s e t o f pr o c e s s e s a n d
A, ' {=n j, j
=
I . . n M}
( 1)
( 2 )
t h e s e t o f n o d e s , t h e n
M
={( X , Y) k , k
=1. . n M, x e M, y e J V I } ( 3 )
F o r a g i v e n m a ppi n g M, t h e e x e c u t i o n t i m e S M i s e s t i -
m a t e d a s :
S M
=T a x
"
( R i + C i ) ( 4 )
wi t h R i a n d C i t h e c o n t r i b u t i o n s t o e x e c u t i o n t i m e o f
pr o c e s s i f r o m c o m pu t a t i o n a n d c o m m u n i c a t i o n r e s pe c -
t i v e l y . S i n c e S M r e pr e s e n t s t h e e x e c u t i o n t i m e o f t h e a p-
pl i c a t i o n , we h a v e t o c o n s i d e r t h e m a x i m u m R + C a s t h e
t i m e c o r r e s po n d i n g t o m a ppi n g M i n t h e s a m e wa y t h a t t h e
l o n g e s t e x e c u t i n g pr o c e s s d e f i n e s t h e e x e c u t i o n t i m e o f a n
a ppl i c a t i o n . We s y m b o l i z e t h e v a l u e o f i f o r wh i c h we o b -
t a i n S M a s
M. 4
T e r m R i r e pr e s e n t s t h e c o n t r i b u t i o n o f t h e
c o m pu t a t i o n pe r f o r m e d b y pr o c e s s i . T h e a ppl i c a t i o n pr o -
f i l e c o n t a i n s f o r e a c h pr o c e s s i t h e f o l l o wi n g q u a n t i t i e s :
*
X i t h e a c c u m u l a t e d t i m e pr o c e s s i wa s e x e c u t i n g i t s
o wn c o d e ,
*
O i t h e a c c u m u l a t e d t i m e pr o c e s s i wa s e x e c u t i n g m e s -
s a g e pa s s i n g i n t e r f a c e l i b r a r y c o d e ( o v e r h e a d t i m e ) ,
a n d
*
B i t h e a c c u m u l a t e d t i m e pr o c e s s i wa s b l o c k e d wa i t i n g
f o r m e s s a g e s i t s e n t t o o t h e r pr o c e s s e s t o r e a c h t h e i r
r e c i pi e n t s a n d / o r f o r m e s s a g e s s e n t b y o t h e r pr o c e s s e s
t o a r r i v e .
C l i e n t s
l i -
D i f f e r e n c e s b e t we e n t h e n o m i n a l ( pr o f i l e ) n o d e pr o c e s s -
i n g s pe e d a n d t h e pr o c e s s i n g s pe e d o f n o d e j a s s i g n e d t o
pr o c e s s i t h r o u g h m a ppi n g M d i r e c t l y a f f e c t t h e e x e c u t i o n
t i m e o f pr o c e s s i . T h e pr o c e s s i n g s pe e d s m a y d i f f e r d u e
t o h a r d wa r e a n d s o f t wa r e h e t e r o g e n e i t y b e t we e n t h e pr o f i l e
n o d e a n d n o d e j ( e . g . a r c h i t e c t u r e , c l o c k f r e q u e n c y , m e m -
o r y s i z e a n d s pe e d , L 2 c a c h e s i z e a n d s pe e d , v i r t u a l m e m o r y
l a y e r o pe r a t i o n ) a n d / o r d u e t o a l r e a d y e x i s t i n g l o a d o n n o d e
j. T e r m R i i s c a l c u l a t e d a s f o l l o ws :
R i
=
( X i + O i )
.
S pe e d pr o f
i l e j 1
S pe e d j Ac pu 3
( 5 )
S pe e d j
i s t h e pr o c e s s i n g s pe e d o f n o d e j a n d S pe e d pr o f
i i e j
t h e pr o c e s s i n g s pe e d o f t h e n o d e u s e d d u r i n g t h e pr o f i l i n g o f
t h e pr o g r a m . T h e r a t i o
S pe e d pr o f i e , j / S pe e d j
e x pr e s s e s t h e
i n c r e a s e o r d e c r e a s e i n pr o c e s s e x e c u t i o n t i m e d u e t o d i f f e r -
e n c e s b e t we e n t h e pr o f i l i n g n o d e a n d t h e a s s i g n e d n o d e ' .
Ac pu j
i s t h e c u r r e n t C P U a v a i l a b i l i t y f o r n o d e j ( 0 - 10 0 %)
a n d
1/ Ac pu 3
e x pr e s s e s t h e s l o wd o wn , t h e i n c r e a s e i n e x -
e c u t i o n t i m e d u e t o pr e - e x i s t i n g l o a d o n n o d e j, c a u s i n g
t i m e s h a r i n g o f t h e C P U .
I n e q u a t i o n 4 , t e r m C i r e pr e s e n t s t h e c o n t r i b u t i o n o f
t h e c o m m u n i c a t i o n pe r f o r m e d b y pr o c e s s i t o t h e e x e c u -
t i o n t i m e . T h e f i r s t s t e p t o o b t a i n t h i s c o n t r i b u t i o n i s t o
s u m t h e pa r t i a l c o n t r i b u t i o n s o f e a c h m e s s a g e t h a t pr o c e s s
i s e n t a n d / o r r e c e i v e d d u r i n g t h e c o u r s e o f i t s e x e c u t i o n ,
a s r e c o r d e d i n a pr o g r a m ' s pr o f i l e . T h e s u m r e pr e s e n t s t h e
t h e o r e t i c a l t o t a l t i m e t h a t t h e c o m m u n i c a t i o n pa r t t a k e s , a s -
s u m i n g b l o c k i n g , s t a n d a r d - m o d e s e n d s a n d r e c e i v e s . T h e
e n d - t o - e n d l a t e n c y m e a s u r e m e n t s u s e t h e s a m e k i n d o f
pr i m i t i v e s , h o we v e r , t h e s e m e a s u r e m e n t s t a k e pl a c e u n -
d e r o pt i m a l c o n d i t i o n s wi t h b e n c h m a r k s t h a t d o e v e r y e f -
f o r t t o m i n i m i z e o v e r h e a d ( e . g . b y pr e - po s t i n g r e c e i v e s ) .
Wh e n e x e c u t i n g u n d e r t y pi c a l s y s t e m c o n d i t i o n s , t h e r e a r e
n o g u a r a n t e e s t h a t pr o g r a m s c a n a c h i e v e t h e s a m e m i n i -
m a l o v e r h e a d . O n t h e o t h e r h a n d , c o m pu t a t i o n a n d c o m -
m u n i c a t i o n i n a pr o c e s s m a y o v e r l a p. T h u s , i t i s po s s i b l e
t o o b s e r v e a c t u a l t o t a l t i m e s - a l s o r e c o r d e d i n a pr o g r a m ' s
pr o f i l e - l o n g e r o r s h o r t e r t h a n t h e t h e o r e t i c a l t o t a l c o m m u -
n i c a t i o n t i m e . T o a c c o u n t f o r t h i s d i f f e r e n c e , t h e t h e o r e t i c a l
c o m m u n i c a t i o n t i m e o f t h e m a ppi n g u n d e r e v a l u a t i o n h a s
t o b e m u l t i pl i e d b y a c o r r e c t i o n f a c t o r Ai . L e t
S s ,
b e t h e
s e t o f pr o c e s s e s t h a t s e n d m e s s a g e s t o pr o c e s s i a n d
S R ,
t h e s e t o f pr o c e s s e s t h a t r e c e i v e m e s s a g e s f r o m pr o c e s s i .
F o r e v e r y pr o c e s s i , t h e pr o g r a m pr o f i l e g i v e s u s a n a n a l y s i s
o f h o w m a n y m e s s a g e s a n d o f wh a t s i z e we r e r e c e i v e d b y
t h a t pr o c e s s f r o m t h e o t h e r pr o c e s s e s o f t h e pr o g r a m . T h e
m e s s a g e s o f e a c h s e n d e r pr o c e s s t o pr o c e s s i d e f i n e a s e t o f
s a m e - s i z e m e s s a g e g r o u ps
m g s i ;
s i m i l a r l y , t h e m e s s a g e s r e -
c e i v e d b y pr o c e s s i d e f i n e t h e s e t
m g R i .
E a c h g r o u p o f t h e s e
s e t s h a s a m e s s a g e c o u n t
m ,
a n d a m e s s a g e s i z e m i . Al s o ,
' T h e a ppl i c a t i o n pr o f i l e a l s o i n c l u d e s e x pe r i m e n t a l l y m e a s u r e d s pe e d
r a t i o s f o r a l l c l u s t e r n o d e a r c h i t e c t u r e s .
f r o m t h e s y s t e m pr o f i l e , t h e l a t e n c y m o d e l , a n d t h e g i v e n
m a ppi n g M we c a n d e t e r m i n e t h e c u r r e n t l a t e n c y L C f o r
e v e r y m e s s a g e t o b e e x c h a n g e d b e t we e n t h e n o d e s a s s i g n e d
t o e a c h pa i r o f pr o c e s s e s a s t h e c o r r e s po n d i n g n o - l o a d l a -
t e n c y a d ju s t e d f o r t h e e f f e c t o f C P U a n d n e t wo r k l o a d . T h e
t h e o r e t i c a l c o m m u n i c a t i o n t i m e o f pr o c e s s i f o r m a ppi n g
M i s c a l c u l a t e d wi t h t h e f o l l o wi n g s u m m a t i o n :
S S m c j L c ( k , i , m s j) +
k C S s
jT g S k
S S m c j L c ( i , k , m T s j3 )
k C E S R i
j9 g R k
( 6 )
T h e f a c t o r Ai r e pr e s e n t s t h e e x pa n s i o n o r r e d u c t i o n o f t h e o -
r e t i c a l t i m e b a s e d o n t h e d i f f e r e n c e e s t a b l i s h e d f o r pr o c e s s i
u s i n g pr o f i l e i n f o r m a t i o n . I t i s c a l c u l a t e d a s t h e r a t i o o f B i ,
t h e c o m m u n i c a t i o n s t i m e r e c o r d e d i n t h e pr o f i l e f o r i , a n d
9 pr o f i l , t h e t h e o r e t i c a l t i m e o f t h e
pr o f i l e i t s e l f , c a l c u l a t e d
f r o m e q u a t i o n 6 f o r t h e m a ppi n g u s e d f o r pr o f i l i n g :
Ai
=
B i
(
P r o f
i l e
i
( 7 )
T h e s e t o f v a l u e s A =
( Ai , l . . n r t ) i s c o n s t a n t a n d
c h a r a c t e r i s t i c f o r e a c h pr o f i l e . T h e r a n g e o f v a l u e s f o r Ai i s
0 . 0 <
Ai < 1. 0 wh e n c o m m u n i c a t i o n o v e r l a ps wi t h c o m -
pu t a t i o n a n d 1. 0 <
Ai wh e n a d d i t i o n a l o v e r h e a d e x pa n d s
t h e c o m m u n i c a t i o n t i m e . F o r Ai
=1. 0 t h e t h e o r e t i c a l t i m e
i s e x a c t l y e q u a l wi t h t h e m e a s u r e d r e c o r d e d t i m e . F i n a l l y ,
t e r m C i i s c a l c u l a t e d a s f o l l o ws :
C i
=R
Ai ( 8 )
4 E x pe r i m e n t a l i m pl e m e n t a t i o n s o f C B E S
T wo b a s i c C B E S pr o t o t y pe s we r e i m pl e m e n t e d f o r
pr o o f - o f - c o n c e pt a n d f u r t h e r d e v e l o pm e n t a n d e x pe r i m e n t -
i n g pu r po s e s . As s u c h , t h e y o n l y s u ppo r t l e g a c y MP I pr o -
g r a m s wi t h o u t m o d i f i c a t i o n s . B o t h pr o t o t y pe s we r e d e v e l -
o pe d i n C a n d o pe r a t e i n a L AM/ MP I e n v i r o n m e n t . T h e
L AM/ MP I pa c k a g e [ 13 ] wa s s e l e c t e d f o r t wo b a s i c r e a s o n s :
* i t i s MP I - 2 c o m pl i a n t ( s u ppo r t s d y n a m i c pr o c e s s m a n -
a g e m e n t ) ,
* i t u t i l i z e s d a e m o n s f o r f o r m i n g , c o n t r o l l i n g , a n d m o n i -
t o r i n g v i r t u a l m a c h i n e s f o r r u n n i n g a ppl i c a t i o n s ; t h e s e
d a e m o n s s t o r e d e t a i l e d e x e c u t i o n t r a c e s f o r a n a ppl i c a -
t i o n ; u s i n g t h e X MP I t o o l [ 14 ] i t i s po s s i b l e t o e x a m i n e
a ppl i c a t i o n b e h a v i o r , e i t h e r "po s t m o r t e m " i n t h e f o r m
o f a pr o f i l e , o r e v e n wh i l e t h e a ppl i c a t i o n i s s t i l l r u n -
n i n g . T h e s t a n d a r d l i b r a r y s u ppo r t s e x e c u t i o n t r a c i n g ,
t h u s , n o l i n k i n g wi t h s pe c i a l l i b r a r i e s i s n e c e s s a r y .
C e n t u r i o n c l u s t e r - e x pe r i m e n t a l s e t u p- 12 8 MP I n o d e s
9 9 9 9 9 9 0 9 9 9 9 9
|C m s wi t c h # 0
|C m s wi t c h # 0 5 \
9 9 9 9 9 9 9 O 9
|C m s wi t c h # 0
v ; 9 9 9 9 9 9 ; 9 9 ( ; 9 9 9 9
|C m s wi t c h # 0
- 10 0 m b ps e t h e r n e t
_ 1 G b ps e t h e r n e t
* z
c t
.
0
V
E
Al ph a n o d e
S S P AR C n o d e
U 1
I n t e l n o d e
- 10 0 Mb ps e t h e r n e t
9 9 9 9 9 9 9 9 9 9
3 o m s wi t c h # 0 8
Al h a n d e r I r r I r
9 9 9 9 9 9 9 9 9 9
3 o m s wi t c h # 0 9
9 9 9 9 9 9 9 9 9 9
3 o m s wi t c h # 10
6 6 6 6 6 6 6 1T
r 1
9 9 9 9 9 9 9 9 9 9
3 o m s wi t c h # 1 1
( D A1l ph a n o d e
C 3 S pa r e Al ph a n o d e
Q I n t e l n o d e
0 s pa r e I n t e l n o d e
F i g u r e 3 . T h e e x pe r i m e n t a l c o n f i g u r a t i o n o f
t h e C e n t u r i o n c l u s t e r
T h e a ppl i c a t i o n pr o f i l i n g s u b s y s t e m o f C B E S i s b a s e d
m a i n l y o n t h e X MP I t o o l , a n e x e c u t i o n t r a c e v i s u a l i z a -
t i o n t o o l c o m pa t i b l e wi t h L AM/ MP I . L i k e o t h e r pu b l i c l y
o r c o m m e r c i a l l y a v a i l a b l e v i s u a l i z a t i o n t o o l s ( e . g . J u m p-
s h o t [ 15 ] , V a m pi r [ 16 ] , e t c . ) X MP I a n a l y z e s a n a ppl i c a -
t i o n ' s e x e c u t i o n t r a c e a n d d i s pl a y s a v i s u a l r e pr e s e n t a t i o n
o f s a i d e x e c u t i o n . We a d d e d a pr o f i l i n g m o d u l e t o X MP I .
T h i s m o d u l e t a k e s a d v a n t a g e o f t h e d a t a b a s e b u i l t d u r i n g
t h e a n a l y s i s o f t h e e x e c u t i o n t r a c e a n d g e n e r a t e s a pr o f i l e
a s d e s c r i b e d a b o v e . Al t h o u g h a n o n - s t a n d a r d MP I f e a t u r e ,
L AM/ MP I pr o v i d e s s t a t e m e n t s t h a t c a n b e u s e d t o m a r k t h e
b e g i n n i n g a n d e n d o f a n e x e c u t i o n ph a s e i n t h e a ppl i c a t i o n
c o d e . T h e s e s t a t e m e n t s pl a c e m a r k e r s i n t h e a ppl i c a t i o n ' s
e x e c u t i o n t r a c e a n d s e pa r a t e t h e t r a c e i n a n u m b e r o f s e g -
m e n t s . X MP I a n a l y z e s e a c h s u c h s e g m e n t s e pa r a t e l y ; t h e
m o d i f i e d v e r s i o n o f t h e t o o l we u s e i n t h e pr o f i l i n g s u b s y s -
t e m g e n e r a t e s a b a s i c pr o f i l e f o r e a c h s e g m e n t .
4 . 1 C e n t u r i o n P r o t o t y pe
T h e f i r s t pr o t o t y pe s y s t e m wa s i m pl e m e n t e d o n t h e C e n -
t u r i o n c l u s t e r a t t h e U n i v e r s i t y o f V i r g i n i a . C e n t u r i o n i s a
h e t e r o g e n e o u s c l u s t e r i n c l u d i n g 12 8 n o d e s wi t h s i n g l e Al -
ph a pr o c e s s o r s r u n n i n g Al ph a L i n u x a n d 12 8 n o d e s wi t h
t wi n I n t e l P e n t i u m I l s r u n n i n g x 8 6 L i n u x . T h e i n t e r c o n -
n e c t i n g n e t wo r k i s s wi t c h e d f a s t e t h e r n e t . T h e c o n f i g u r a t i o n
o f C e n t u r i o n u s e d t h r o u g h o u t t h e pr e s e n t wo r k c o n s i s t s o f a
s u b s e t o f t h e C e n t u r i o n n o d e s : 3 2 Al ph a 5 3 3 MH z ( A) a n d
9 6 I n t e l d u a l P I I 4 0 0 MH z ( I ) n o d e s s pr e a d o v e r e i g h t i d e n t i -
c a l 3 C o m 2 4 - po r t 10 0 MB ps s wi t c h e s c o n n e c t e d t o a 3 C o m
1. 2 G B ps s wi t c h c o n s t i t u t e a 12 8 - n o d e c l u s t e r ( s e e f i g u r e 3 ) .
E x c e pt t h e s e 12 8 pr i m a r y n o d e s , 15 m o r e n o d e s s t a n d b y i n
r e s e r v e , t o s u b s t i t u t e pr i m a r y n o d e s i n c a s e o f c r a s h e s , e t c .
F i g u r e 4 . T h e e x pe r i m e n t a l O r a n g e G r o v e
c l u s t e r .
T h e C B E S pr o t o t y pe o n C e n t u r i o n u s e s a m o d i f i e d v e r -
s i o n o f NWS f o r o f f - l i n e pr o f i l i n g o f t h e c l u s t e r a n d c r e a t -
i n g t h e c l u s t e r n e t wo r k l a t e n c y m o d e l a n d f o r pe r i o d i c a l l y
m e a s u r i n g t h e C P U a n d NI C a v a i l a b i l i t y o f e a c h c l u s t e r
n o d e . T h e s i m pl e m o d i f i c a t i o n s ( a d d i t i o n s ) n e c e s s a r y f o r
u s i n g NWS wi t h C B E S a r e t h e a d d i t i o n o f a n MP I e n d - t o -
e n d l a t e n c y b e n c h m a r k t o a s e n s o r ' s a v a i l a b l e b e n c h m a r k
o pt i o n s , t h e a d d i t i o n o f a n e t wo r k c o n n e c t i o n a v a i l a b i l i t y
s e n s o r , a n d t h e a d d i t i o n o f s c r i pt - b a s e d c l i q u e c o n t r o l . T h e
MP I s e n s o r a n d t h e n e t wo r k c o n n e c t i o n a v a i l a b i l i t y s e n s o r
pr o v i d e wi t h t h e n e c e s s a r y s y s t e m m o n i t o r i n g i n f o r m a t i o n ,
wh i l e t h e c l i q u e c o n t r o l s c r i pt s m a k e po s s i b l e t h e e x e c u t i o n
o f m u l t i pl e b e n c h m a r k s i n pa r a l l e l . T h e l a t t e r d r a s t i c a l l y
r e d u c e t h e O ( N2 ) r e q u i r e d i n i t i a l i z a t i o n t i m e wh i l e e n s u r -
i n g t h a t t h e b e n c h m a r k s d o n ' t i n t e r f e r e a n d i n v a l i d a t e e a c h
o t h e r ' s r e s u l t s .
4 . 2 O r a n g e G r o v e P r o t o t y pe
T h e s e c o n d C B E S pr o t o t y pe wa s i m pl e m e n t e d o n a r e -
a r r a n g e d O r a n g e G r o v e c l u s t e r a t S y r a c u s e U n i v e r s i t y . T h i s
v e r s i o n o f O r a n g e G r o v e ( s e e f i g u r e 4 ) i s a h i g h l y h e t e r o g e -
n e o u s c l u s t e r c o n s i s t i n g o f 2 8 t o t a l n o d e s wi t h 8 s i n g l e - C P U
5 3 3 MH z Al ph a n o d e s ( A) r u n n i n g Al ph a L i n u x , 8 s i n g l e -
C P U 5 0 0 MH z S P AR C n o d e s ( S ) r u n n i n g S o l a r i s a n d 12
d u a l C P U 4 0 0 MH z I n t e l P e n t i u m I I n o d e s ( I ) r u n n i n g x 8 6
L i n u x . T h e i n t e r c o n n e c t i n g n e t wo r k i s a l s o s wi t c h e d f a s t
e t h e r n e t a n d c o n s i s t s o f 5 i d e n t i c a l 3 C o m 2 4 - po r t 10 0 MB ps
s wi t c h e s ( 2 o f t h e m s t a c k e d a n d f u n c t i o n i n g a s o n e 4 8 - po r t
s wi t c h ) a n d 2 D L i n k 8 - po r t 10 0 MB ps s wi t c h e s . T h e n e t -
wo r k t o po l o g y o f t h i s c l u s t e r e m u l a t e s t h e t o po l o g y o f a
f e d e r a t i o n o f t wo e l e m e n t a r y c l u s t e r s wi t h a l i m i t e d c a pa c -
i t y l i n k .
O r a n g e g r o v e
c l u s t e r
e x pe r i m e n t a l s e t u p
E x c e pt f o r t h e d i f f e r e n c e s i n h a r d wa r e s u ppo r t , t h e O r -
a n g e G r o v e pr o t o t y pe a l s o d i f f e r s f r o m t h e C e n t u r i o n pr o -
t o t y pe i n t h a t i t d o e s n o t e m pl o y NWS f o r s y s t e m pr o f i l -
i n g a n d m o n i t o r i n g . T h i s pr o t o t y pe h a s b a s i c pr o f i l i n g a n d
m o n i t o r i n g s u ppo r t wi t h o u t t h e n e x t - pe r i o d f o r e c a s t i n g c a -
pa b i l i t y o f NWS a n d c o n s i d e r s t h e l a t e s t m e a s u r e d l o a d v a l -
u e s a s v a l i d f o r t h e n e x t t i m e pe r i o d . T h e G r o v e pr o t o t y pe
a l s o i n c l u d e s a s i m u l a t e d a n n e a l i n g - b a s e d s c h e d u l e r .
5 E x pe r i m e n t a l V a l i d a t i o n o f P r e d i c t i o n s
T o e v a l u a t e t h e v a l i d i t y o f t h e e x e c u t i o n t i m e pr e d i c t i o n
f o r m u l a t i o n , we e x pe r i m e n t a l l y e x pl o r e d t h e m a g n i t u d e o f
t h e pr e d i c t i o n e r r o r wh i l e c o n s i d e r i n g t h e f o l l o wi n g m a jo r
f a c t o r s ( pe r pr o g r a m ph a s e ) : c o m pu t a t i o n a n d c o m m u n i -
c a t i o n o v e r l a p, c o m m u n i c a t i o n g r a n u l a r i t y ( C P U - b o u n d v s .
c o m m u n i c a t i o n - b o u n d pr o g r a m s ) , a n d d u r a t i o n o f e x e c u -
t i o n . C o m pu t a t i o n a n d c o m m u n i c a t i o n o v e r l a p a f f e c t s t h e
c o n t r i b u t i o n o f t h e C i t e r m . O n t h e o t h e r h a n d , c o m m u n i c a -
t i o n g r a n u l a r i t y a f f e c t s t h e we i g h t - t h e i m po r t a n c e - o f t h e
R i v s . t h e C i t e r m . F i n a l l y , d u r a t i o n o f e x e c u t i o n e x po s e s
s m a l l e r r o r s t h a t m u s t a c c u m u l a t e t o b e c o m e n o t i c e a b l e .
We f o l l o we d a t h r e e - ph a s e e x pe r i m e n t a l pl a n a s f o l l o ws :
1. E x pe r i m e n t s wi t h a s y n t h e t i c b e n c h m a r k pr o g r a m f o -
c u s i n g o n t h e b e h a v i o r o f i n d i v i d u a l f o r m u l a t e r m s u n -
d e r t h e e f f e c t o f t h e t h r e e m a i n f a c t o r s , a s l i s t e d a b o v e .
2 . E x pe r i m e n t s u s i n g t h e NAS A pa r a l l e l b e n c h m a r k s
( NP B 2 . 4 ) [ 17 ] a n d t h e H P L b e n c h m a r k [ 18 ] .
3 . E x pe r i m e n t s u s i n g s e l e c t e d pr o g r a m s f r o m t h e s e c o n d
ph a s e b u t u n d e r v a r y i n g b a c k g r o u n d l o a d c o n d i t i o n s .
Al l e x pe r i m e n t s we r e c o n d u c t e d o n t h e C e n t u r i o n a n d t h e
O r a n g e G r o v e c l u s t e r s o n t h e c o n f i g u r a t i o n s d e s c r i b e d i n
s e c t i o n s 4 . 1 a n d 4 . 2 . I n e a c h i n d i v i d u a l c a s e , t h e a c t u a l e x -
e c u t i o n t i m e o f t h e pr o g r a m u n d e r c o n s i d e r a t i o n wa s m e a -
s u r e d a n d c o m pa r e d a g a i n s t t h e t i m e pr e d i c t e d b y C B E S .
T h e d i f f e r e n c e wa s e x pr e s s e d a s t h e e r r o r pe r c e n t a g e wi t h
r e g a r d t o t h e a c t u a l t i m e .
T h e f i r s t ph a s e o f e x pe r i m e n t s wa s e s s e n t i a l l y a pa r a m e -
t e r s we e p ( o v e r 16 , 0 0 0 c a s e s , 5 r u n s pe r c a s e ) c o v e r i n g a
wi d e v a l u e r a n g e f o r t h e t h r e e m a i n f a c t o r s a n d a l s o c o v -
e r i n g t h e m a ppi n g s pa c e o f t h e t wo c l u s t e r c o n f i g u r a t i o n s .
T h e pr o g r a m u s e d i n t h i s ph a s e wa s c o n f i g u r a b l e i n t e r m s o f
c o m pu t a t i o n a n d c o m m u n i c a t i o n o v e r l a p, c o m m u n i c a t i o n
g r a n u l a r i t y , a n d e x e c u t i o n d u r a t i o n ( i n d i r e c t l y ) , a n d wa s r u n
o n a s e t o f m a ppi n g s wi t h v a r y i n g n u m b e r o f n o d e s , h a r d -
wa r e a r c h i t e c t u r e m i x , a n d n e t wo r k c o n n e c t i v i t y m i x . O v e r
9 0 % o f t h e c a s e s e x h i b i t e d a pr e d i c t i o n e r r o r o f 4 % o r l e s s .
T h e o v e r a l l a v e r a g e e r r o r wa s f o u n d t o b e a ppr o x i m a t e l y
2 %0 . 7 5 % wi t h 9 5 % c o n f i d e n c e i n t e r v a l s .
P r e d i c t i o n E r r o r , NP B s u i t e / H P L
4 . 5
4 . 0
3 . 5
3 . 0
2 . 5
a )
0 2 . 0
1. 5
1. 0
0 . 5
0 . 0
_ m ~
_ +
L
~ -
X E
_ _
- A - _ '
x
I F x ~ e
I S - A E P - B S P - A S P - B MG - A MG - B C G - A B T - S B T - A B T - B L U - A L U - B H P L
B e n c h m a r k
# o f n o d e s
0 16
[ 16 ( 2 )
A 6 4
0 12 1
X 12 8
F i g u r e 5 . P r e d i c t i o n e r r o r s f o r t h e NP B 2 . 4
s u i t e a n d H P L .
T h e s e c o n d ph a s e o f e x pe r i m e n t s wa s a i m e d a t o b t a i n -
i n g s e v e r a l d a t a po i n t s f o r t h e b e h a v i o r o f t h e pr e d i c t i o n o p-
e r a t i o n wi t h r e g a r d t o pr o g r a m s wi t h m u c h m o r e c o m pl e x
c o m pu t a t i o n a n d c o m m u n i c a t i o n pa t t e r n s t h a n t h e s y n t h e t i c
t e s t s o f t h e f i r s t ph a s e . F i g u r e 5 pr e s e n t s t h e r e s u l t s f o r t h i s
ph a s e . We u s e d t h e I S , E P , S P , MG , C G , B T , a n d L U b e n c h -
m a r k s f r o m t h e NP B 2 . 4 b e n c h m a r k s u i t e f o r t h e A a n d B
i n pu t c l a s s e s a n d a l s o t h e H P L b e n c h m a r k wi t h a pr o b l e m
s i z e o f 10 , 0 0 0 , o n m a ppi n g s o f u p t o 12 8 n o d e s . E a c h po i n t
i n t h e f i g u r e i s t h e m e a n e r r o r o f 5 r u n s o f t h e c o r r e s po n d i n g
t e s t c a s e wh i l e t h e e r r o r b a r s i n d i c a t e t h e 9 5 % c o n f i d e n c e
i n t e r v a l s f o r t h e m e a n e r r o r . T h e o b s e r v e d m e a n e r r o r v a l -
u e s f o r t h e NP B b e n c h m a r k s a n d H P L a r e l e s s t h a n 3 . 5 %
( wi t h t h e e x c e pt i o n o f a s i n g l e c a s e t h a t e x h i b i t s a n e r r o r o f
s l i g h t l y l e s s t h a n 4 %) .
F i n a l l y , t h e t h i r d ph a s e o f e x pe r i m e n t s h a d a s pr i m a r y
g o a l t o i d e n t i f y h o w t o l e r a n t a pr e d i c t i o n i s t o b a c k g r o u n d
l o a d c h a n g e s . H e r e , we d i d n o t i g n o r e t h e l o a d e f f e c t s i n
t h e pr e d i c t i o n . H o we v e r , we m e a s u r e d t h e a c t u a l e x e c u -
t i o n t i m e a f t e r c h a n g i n g t h e l o a d c o n d i t i o n s . B e c a u s e a l l
o t h e r i n pu t s t o t h e pr e d i c t i o n o pe r a t i o n a r e s t a t i c , b a c k -
g r o u n d l o a d c h a n g e i s t h e o n l y d o m i n a n t f a c t o r i n r e s t r i c t i n g
t h e l i f e t i m e o f a pr e d i c t i o n . T h e pe r f o r m e d m e a s u r e m e n t s
i n d i c a t e d t h a t t h e pr e d i c t i o n s a r e h i g h l y s e n s i t i v e t o b a c k -
g r o u n d l o a d c h a n g e s . T h e r e s u l t s o f r e - r u n n i n g t h e L U , S P ,
a n d B T c a s e s o f t h e s e c o n d ph a s e , b u t wi t h t h e a d d i t i o n o f
a n a m o u n t o f l o a d o n o n e o r m o r e o f t h e n o d e s i n c l u d e d i n
e a c h i n v o l v e d m a ppi n g , i n d i c a t e a n u n a c c e pt a b l e i n c r e a s e
o f t h e pr e d i c t i o n e r r o r . T h e l o a d i n c r e a s e c a u s e s t h e e r r o r
t o e x c e e d t h e pr e v i o u s l y o b s e r v e d l e v e l s o f a ppr o x i m a t e l y
4 %, wh e n e v e n a s i n g l e n o d e o f t h e m a ppi n g i n u s e l o s e s
ju s t 10 % o f i t s C P U a v a i l a b i l i t y . O n l y l i g h t l o a d s ( l e s s t h a n
10 %) o r i n s t a n t a n e o u s o r s h o r t t e r m l o a d s ( s h o r t i n c o m -
pa r i s o n wi t h t h e d u r a t i o n o f e x e c u t i o n o f a n a l r e a d y s c h e d -
. T .
u l e d pr o g r a m ) s u c h a s l o a d s f r o m r o u t i n e o pe r a t i n g s y s t e m
pr o c e s s e s , we r e f o u n d t o n o t i n v a l i d a t e t h e pr e d i c t i o n s .
6 S c h e d u l i n g wi t h C B E S
T h e d e f a u l t C B E S s c h e d u l e r i s b a s e d o n a t y pi c a l s i m -
u l a t e d a n n e a l i n g a l g o r i t h m [ 19 ] [ 2 0 ] . T h e C B E S m a ppi n g
e v a l u a t i o n f o r m u l a ( e q u a t i o n 4 ) pl a y s t h e r o l e o f t h e e n -
e r g y f u n c t i o n i n v o k e d b y t h e a l g o r i t h m . T h e e n e r g y l e v e l o f
a s y s t e m c o n f i g u r a t i o n c o r r e s po n d s t o a n e s t i m a t i o n o f t h e
e x e c u t i o n t i m e ( c o s t ) o f a m a ppi n g , t h u s , t h e c o n f i g u r a t i o n
wi t h m i n i m a l e n e r g y - a s f o u n d b y t h e s i m u l a t e d a n n e a l i n g
a l g o r i t h m - c o r r e s po n d s t o t h e e s t i m a t e d f a s t e s t m a ppi n g .
We c o n d u c t e d a s e r i e s o f s c h e d u l i n g t e s t s o n t h e O r a n g e
G r o v e c l u s t e r , t o s t u d y t h e pe r f o r m a n c e o f t h e C B E S s c h e d -
u l e r ( C S ) . G i v e n t h e s i z e a n d c o n n e c t i v i t y o f t h e c l u s t e r , we
c h o s e t o u s e 8 - n o d e m a ppi n g s . Wi t h m a ppi n g s o f t h i s s i z e i t
i s po s s i b l e t o f o r m - a m o n g o t h e r s - m a ppi n g s wi t h n o d e s
b e l o n g i n g e x c l u s i v e l y t o t h e s a m e s wi t c h o r n o d e s o f o n l y
o n e h a r d wa r e a r c h i t e c t u r e . We c o m pa r e t h e r e s u l t s o f C S
a g a i n s t t h o s e o f t h e f o l l o wi n g t wo s c h e d u l e r s :
* a s i m pl e r a n d o m s c h e d u l e r ( R S ) ; R S pi c k s m a ppi n g s
a t r a n d o m f r o m a po o l o f n o d e s c o n s i d e r e d e q u i v a l e n t .
As s u c h , R S r e q u i r e s a n e g l i g i b l e a m o u n t o f t i m e t o
f i n d a m a ppi n g s o l u t i o n .
* a s i m u l a t e d a n n e a l i n g - b a s e d s c h e d u l e r t h a t t a k e s i n t o
a c c o u n t pr o g r a m c o m pu t a t i o n s pe e d s a n d C P U l o a d s
b u t i g n o r e s c o m m u n i c a t i o n l a t e n c y e f f e c t s ( NC S ) . T h e
c o s t f u n c t i o n o f NC S i s t h e s a m e o n e u s e d wi t h
C S ( e q u a t i o n 4 ) b u t wi t h o u t t h e c o m m u n i c a t i o n t e r m
( e q u a t i o n 8 ) . I n t h i s c a s e , t h e c o s t f u n c t i o n a s s i g n s a n
e v a l u a t i o n s c o r e t o e a c h m a ppi n g u n d e r c o n s i d e r a t i o n
b u t c a n n o t pr e d i c t e x e c u t i o n t i m e s .
T h e c o m pa r i s o n o f C S a g a i n s t R S i s a po i n t o f r e f e r e n c e
f o r d e m o n s t r a t i n g t h e m a x i m u m f e a s i b l e o v e r a l l s pe e d u p.
C o m pa r i n g C S a g a i n s t NC S r e v e a l s t h e s i g n i f i c a n c e o f
m a t c h i n g t h e c o m m u n i c a t i o n pa t t e r n o f a pr o g r a m t o t h e
c o m m u n i c a t i o n t o po l o g y o f a c l u s t e r , a s a n y d i f f e r e n c e b e n -
e f i t f r o m s c h e d u l i n g wi l l b e d u e t o t h e c o m m u n i c a t i o n t e r m
a l o n e . Wh e n t h e i n t e r c o n n e c t i n g n e t wo r k o f a c l u s t e r e x -
h i b i t s n o n - n e g l i g i b l e d i f f e r e n c e s a m o n g i n t e r n o d e l a t e n c i e s
d u e t o c o n n e c t i v i t y a n d h e t e r o g e n e i t y , t h e r e i s a po t e n t i a l l y
n o n - n e g l i g i b l e g a i n ( o r l o s s ) i n s pe e d t h a t a r u n n i n g a ppl i c a -
t i o n c a n b e s u b je c t e d t o . F o r t h e l a r g e l y h o m o g e n e o u s C e n -
t u r i o n c l u s t e r a t U V a , t h e s e l a t e n c y d i f f e r e n c e s we r e f o u n d
t o b e u p t o a ppr o x i m a t e l y 13 %. F o r t h e s t r o n g l y h e t e r o -
g e n e o u s e x pe r i m e n t a l O r a n g e G r o v e a t S y r a c u s e t h e d i f f e r -
e n c e s we r e a s h i g h a s 5 4 %. An a ppl i c a t i o n i s n o t g u a r a n t e e d
t o b e s e n s i t i v e t o t h e e f f e c t s o f c l u s t e r i n t e r n o d e l a t e n c y d i f -
f e r e n c e s . H o we v e r , t h e m a g n i t u d e o f l a t e n c y v a r i a t i o n s a n d
L U o n O r a n g e G r o v e - e x e c u t i o n t i m e r a n g e s
3 4 0
"n 3 2 0
0
8 3 0 0
( n
, 2 8 0
E
"
2 6 0
a
0
* 2 4 0
U
x 2 2 0
2 0 0
h i g h s pe e d n o d e m e d i u m s pe e d
g r o u p ( A) n o d e g r o u p ( A+I )
a r c h i t e c t u r e m i x
l o w s pe e d n o d e
g r o u p ( A+I +S )
F i g u r e 6 . L U o n 8 O r a n g e G r o v e n o d e s : m e a -
s u r e d e x e c u t i o n t i m e r a n g e s .
t h e i n t e n s i t y o f c o m m u n i c a t i o n - o r i e n t a t i o n o f t h e a ppl i c a -
t i o n pl a y a n i m po r t a n t r o l e t o t h e m a g n i t u d e o f t h e po t e n t i a l
g a i n ( o r l o s s ) f r o m a g o o d ( o r b a d ) m a ppi n g .
T h e pr o g r a m s s e l e c t e d f o r t h e s c h e d u l i n g t e s t s c o v e r a
wi d e r e g i o n o f t h e s pa c e o f pa r a l l e l s c i e n t i f i c a ppl i c a t i o n s
c o m m o n l y r u n o n c l u s t e r s :
* t h e L U c o d e f r o m t h e NP B 2 . 4 b e n c h m a r k s u i t e , a s i m -
u l a t e d c o m pu t a t i o n a l f l u i d d y n a m i c s a ppl i c a t i o n ,
* t h e H i g h P e r f o r m a n c e L i n pa c k ( H P L ) c o d e , a d e n s e
l i n e a r s y s t e m s o l v e r ,
* a s e l e c t i o n o f 5 pr o g r a m s f r o m t h e AS C I pu r pl e b e n c h -
m a r k s u i t e [ 2 1] : s we e p3 d , a s o l v e r f o r t h e 3 - D , t i m e
i n d e pe n d e n t , pa r t i c l e t r a n s po r t e q u a t i o n o n a n o r t h o g -
o n a l m e s h [ 2 2 ] , s m g 2 0 0 0 , a pa r a l l e l s e m i c o a r s e n i n g
m u l t i g r i d s o l v e r f o r l i n e a r s y s t e m s wi d e l y u s e d i n r a -
d i a t i o n d i f f u s i o n a n d f l o w t h r o u g h po r o u s m e d i a pr o b -
l e m s [ 2 3 ] , S AMR AI , a n o b je c t o r i e n t e d C ++ f r a m e -
wo r k f o r t h e d e v e l o pm e n t o f c o m pu t a t i o n a l ph y s i c s
a ppl i c a t i o n s u s i n g s t r u c t u r e d a d a pt i v e m e s h r e f i n e -
m e n t t e c h n o l o g y [ 2 4 ] , T o wh e e , a Mo n t e C a r l o m o l e -
c u l a r s i m u l a t i o n c o d e d e s i g n e d f o r c o m pu t i n g f l u i d
ph a s e e q u i l i b r i a u s i n g a t o m - b a s e d f o r c e f i e l d s [ 2 5 ] ,
a n d Az t e c , a m a s s i v e l y pa r a l l e l i t e r a t i v e s o l v e r l i b r a r y
f o r s o l v i n g s pa r s e l i n e a r s y s t e m s . T h e pa c k a g e g r e w
o u t o f t h e s pe c i f i c a ppl i c a t i o n o f m o d e l i n g r e a c t i n g
f l o ws ( MP S a l s a s o f t wa r e a t S a n d i a Na t i o n a l L a b o r a -
t o r i e s ) [ 2 6 ] .
T h e t e s t s f a l l i n t o t h e f o l l o wi n g t wo c a t e g o r i e s :
* Wo r s t c a s e v s . b e s t c a s e s c e n a r i o ; t h e s e t e s t s i n v e s t i -
g a t e t h e po t e n t i a l m a x i m u m d i f f e r e n c e i n pe r f o r m a n c e
b e t we e n C S , R S , a n d NC S ; t h e y a r e b a s e d o n t h e o b -
s e r v a t i o n t h a t R S c a n s e l e c t a n y m a ppi n g wi t h e q u a l
T
v
I
T a b l e 1. L U : wo r s t v s . b e s t c a s e s c e n a r i o .
L . ' L ) E O R
E 0 wE U ) ) U
C s NC S
M
L U ( 1) 2 12 . 1 1. 4 9 2 2 0 7 . 8 2 17 . 6 0 . 7 2 2 18 . 2 2 . 5 4 . 8 5 . 3
L U ( 2 ) 2 3 5 . 6 0 . 1 8 9 2 3 6 . 2 2 5 4 . 0 0 . 8 3 2 5 8 . 7 7 . 2 8 . 7 9 . 3
L U ( 3 ) 3 0 2 . 3 0 . 5 9 0 3 0 8 . 2 3 18 . 9 0 . 6 1 3 2 6 . 2 5 . 2 5 . 5 6 . 0
T a b l e 2 . L U : a v e r a g e c a s e s c e n a r i o .
pr o b a b i l i t y
wh i l e NC S b e h a v e s l i k e R S wh e n
s e l e c t i n g
f r o m a s e t o f n o d e s o f
e q u i v a l e n t c o m pu t a t i o n s pe e d s
wi t h
r e g a r d
t o a
pr o g r a m .
Av e r a g e
c a s e s c e n a r i o ; t h e s e t e s t s
i n v e s t i g a t e wh a t
l e v e l o f
pe r f o r m a n c e
c a n b e
e x pe c t e d
wh e n
s u b m i t t i n g
a
s c h e d u l i n g r e q u e s t
i n
pr a c t i c e .
C S i s n o t
a l wa y s g u a r -
a n t e e d t o f i n d t h e b e s t
m a ppi n g ,
n o r d o e s NC S ( o r e v e n
R S ) a l wa y s
s e l e c t t h e wo r s t
m a ppi n g .
We a l s o
d i s t i n g u i s h
b e t we e n t h e t e s t s wi t h L U a n d t h e t e s t s
wi t h t h e r e s t o f t h e s e l e c t e d
pr o g r a m s .
T h e L U t e s t s we r e
r u n o n
h e t e r o g e n e o u s
n o d e s e t s , wi t h
r e g a r d
t o h a r d wa r e
a r c h i t e c t u r e . Al l o t h e r c a s e s we r e r u n o n
h o m o g e n e o u s s e t s ,
t o f o c u s t h e
c o m pa r i s o n
o n t h e e f f e c t s o f c o m m u n i c a t i o n .
6 . 1 L U T e s t s
T h e L U t e s t s c o n s t i t u t e a
s a m pl i n g
o f e x e c u t i o n t i m e s
a c r o s s
O r a n g e
G r o v e ' s
m a ppi n g s pa c e .
T o c o v e r t h i s
m a p-
pi n g s pa c e
we s e l e c t e d
m a ppi n g s
wi t h v a r i o u s
a n a l o g i e s
i n
n o d e a r c h i t e c t u r e a n d
c o n n e c t i v i t y
m i x a s
r e pr e s e n t a t i v e s
o f
m a ppi n g g r o u ps wi t h
a ppr o x i m a t e l y
s i m i l a r
pr o pe r t i e s . T h e
s e l e c t i o n
pr o c e s s y i e l d e d a ppr o x i m a t e l y
10 0
r e pr e s e n t a t i v e
m a ppi n g
c a s e s . T h e m e a s u r e m e n t s r e v e a l t h e e x i s t e n c e o f
3 d i s t i n c t e x e c u t i o n t i m e z o n e s , a s s h o wn i n
f i g u r e 6 , e a c h
c o r r e s po n d i n g
t o a s u b s e t o f n o d e s
( h i g h , m e d i u m , a n d l o w
s pe e d s u b s e t s ) . T h e
m a jo r
d i f f e r e n c e s b e t we e n z o n e s a r e
d u e t o d i f f e r e n c e s i n n o d e
c o m pu t a t i o n s pe e d s , h o we v e r ,
t h e
r a n g e
c o v e r e d
b y
e a c h z o n e i s
m a i n l y
d u e t o t h e e f f e c t
o f c o m m u n i c a t i o n s .
2 0
0
3 0 0 3 0 5 3 10 3 15 3 2 0
pr e d i c t e d e x e c u t i o n t i m e ( s e c o n d s )
3 2 5
F i g u r e
7 . P r e d i c t e d t i m e d i s t r i b u t i o n s f o r t h e
L U ( 3 ) c a s e .
6 . 1. 1 Wo r s t v s . B e s t C a s e R e s u l t s
T a b l e
pr e s e n t s
t h e r e s u l t s f o r t h r e e t e s t s e t s wi t h L U , o n e
e a c h f o r t h e
h i g h , m e d i u m , a n d l o w
s pe e d
n o d e
g r o u ps .
L a c h l i n e o f t h e t a b l e
c o r r e s po n d s
t o t wo s e t s o f s c h e d u l -
i n g
t e s t s . T h e f i r s t s e t u s e s NC S wh i l e t h e s e c o n d u s e s
C S . Wi t h i n e a c h z o n e , C S
c o n s i s t e n t l y
s e l e c t s
m a ppi n g s
y i e l d i n g
t h e s h o r t e s t e x e c u t i o n t i m e s . O n t h e o t h e r h a n d ,
NC S c a n n o t
d i s t i n g u i s h
b e t we e n
m a ppi n g s
wi t h i n t h e s a m e
n o d e
g r o u p.
T h e m a x i m u m
po t e n t i a l s pe e d u p i s b e t we e n
5 . 3 % a n d 9 . 3 %, d e pe n d i n g
o n n o d e
g r o u p.
Wi t h
r e g a r d
t o R S , t h e m a x i m u m
po t e n t i a l s pe e d u p
i s 3 6 . 6 %, a s a r a n -
d o m s c h e d u l e r s e l e c t s
a n y m a ppi n g
wi t h
e q u a l pr o b a b i l i t y .
Wh i l e t h e s e
c o m pa r i s o n s
r e v e a l t h e
u ppe r
l i m i t i n
po t e n t i a l
g a i n ,
t h e
a v e r a g e c a s e s c e n a r i o o f f e r s a m o r e r e a l i s t i c c o m -
pa r i s o n .
6 . 1. 2 Av e r a g e C a s e R e s u l t s
T a b l e 2
pr e s e n t s
t h e
a v e r a g e
c a s e r e s u l t s f o r t h e s a m e t h r e e
L U c a s e s a s
pr e s e n t e d
i n t a b l e 1. F o r e a c h c a s e , t h e t a b l e
l i s t s t h e
a v e r a g e
o f t h e r e s u l t s o f 10 0 C S a n d NC S r u n s . T h e
a v e r a g e pr e d i c t e d
t i m e i s c a l c u l a t e d
b y
t h e C B E S
m a ppi n g
e v a l u a t i o n
o pe r a t i o n .
F o r NC S t h e t a b l e l i s t s t h e n o r m a l -
i z e d
pr e d i c t i o n ;
b e c a u s e NC S
i g n o r e s
t h e c o n t r i b u t i o n o f
c o m m u n i c a t i o n s t o t h e e x e c u t i o n t i m e , t h e r e s u l t o f a
m a p-
pi n g
e v a l u a t i o n i s n o t a t i m e
pr e d i c t i o n .
T o o b t a i n a n e s t i -
m a t i o n o f t h e c o r r e s po n d i n g e x e c u t i o n t i m e , we
pr o c e s s e d
e a c h
m a ppi n g
s e l e c t e d
b y
NC S wi t h t h e f u l l e v a l u a t i o n
o p-
e r a t i o n a s wi t h C S . T h e h i t
pe r c e n t a g e
s h o ws t h e
f r e q u e n c y
o f s u c c e s s f u l s e l e c t i o n s
b y
a s c h e d u l e r ( s e l e c t i o n s o f
m a p-
pi n g s
wi t h m i n i m u m e x e c u t i o n t i m e ) . T h e m e a s u r e d t i m e
i s t h e a c t u a l e x e c u t i o n t i m e o f L U o n t h e
m a ppi n g
s e l e c t e d
w W~ ~ ~ ~ O ~ ~ J O W 10
0
E
L O w
E
L U ( 1) 2 19 . 4 1. 3 2 0 7 . 8 1. 0 5 . 3 6 H i g h - s pe e d g r o u p
L U ( 2 ) 2 6 0 . 4 2 . 4 2 3 6 . 2 0 . 2 9 . 3 6 Me d i u m - s pe e d g r o u p
L U ( 3 ) 3 2 7 . 8 2 . 1 3 0 8 . 2 1. 1 6 . 0 6 L o w- s pe e d g r o u p
L U ( 3 )
10 0
8 0
6 0
a )
a ) 4 0
E QS
E l NC S
I
m
0
m
- - -
T a b l e 3 . O t h e r t e s t s : wo r s t v s . b e s t c a s e s c e -
n a r i o .
b y e a c h s c h e d u l e r . T h e e x pe c t e d s pe e d u p i s b a s e d o n t h e
pr e d i c t e d t i m e s a n d t h e m e a s u r e d s pe e d u p o n t h e a c t u a l
t i m e s . T h e m a x i m u m s pe e d u p i s l i s t e d f o r c o m pa r i s o n a n d
i s t h e s a m e a s i n t a b l e 1. C S i s a ppr o x i m a t e l y 9 0 % s u c c e s s -
f u l , wi t h t h e r e s t 10 % o f s e l e c t e d m a ppi n g s b e i n g s l i g h t l y
s l o we r . NC S h o we v e r i s l e s s t h a n 3 % s u c c e s s f u l a n d e v e n i n
t h o s e f e w c a s e s t h e f a s t e s t m a ppi n g s a r e s l o we r t h a n t h o s e
f o u n d i n t h e l a r g e m a jo r i t y o f t h e C S r u n s .
F i g u r e 7 pr e s e n t s t h e d i s t r i b u t i o n s o f t h e C S a n d NC S
r e s u l t s f o r t h e L U ( 3 ) c a s e . T h e d i s t r i b u t i o n s r e v e a l wh y C S
m a i n t a i n s i t s pe r f o r m a n c e wh i l e NC S s h o ws o n l y a m a r -
g i n a l i m pr o v e m e n t i n t h e a v e r a g e c a s e . F o r NC S , t h e n u m -
b e r o f m a ppi n g s wi t h m i n i m u m o r n e a r l y m i n i m u m t i m e
i s e s s e n t i a l l y n e g l i g i b l e c o m pa r e d t o t h e o v e r a l l n u m b e r o f
s e l e c t a b l e m a ppi n g s . T h i s r e s u l t s t o a n e a r z e r o pr o b a b i l -
i t y o f NC S s e l e c t i n g o n e o f t h e f a s t e r m a ppi n g s . Wh i l e t h e
C S r e s u l t s a r e s t r o n g l y s k e we d t o wa r d s t h e m i n i m u m - t i m e
m a ppi n g s , t h e NC S r e s u l t s a r e s t r o n g l y s k e we d t o wa r d s t h e
n e a r l y wo r s t - t i m e m a ppi n g s . As e x pe c t e d , R S pe r f o r m s
wo r s e t h a n NC S . T h e o v e r a l l a v e r a g e o f t h e m e a s u r e d t i m e s
o f a l l 10 0 m a ppi n g c a s e s e x a m i n e d i s 2 9 6 . 5 s e c o n d s . T h e
b e s t a c h i e v e d t i m e o f 2 0 7 . 8 s e c o n d s i s a ppr o x i m a t e l y 3 0 %
s h o r t e r .
6 . 2 O t h e r t e s t s
T h e t e s t s wi t h t h e r e m a i n i n g pr o g r a m s o f t h e s e l e c t i o n
f o c u s s t r i c t l y o n t h e e f f e c t o f c o m m u n i c a t i o n s . H e r e we
o n l y c o m pa r e t h e C S a g a i n s t t h e NC S r e s u l t s . T o i s o l a t e
t h e e f f e c t o f c o m m u n i c a t i o n s , i t i s n e c e s s a r y t o "l e v e l t h e
f i e l d " b y r e s t r i c t i n g t h e s e l e c t i o n s o f C S a n d NC S t o t h e
s a m e h o m o g e n e o u s s u b s e t o f n o d e s pe r c a s e ( t h e s u b s e t s
a '
0 0
- QC ) 0 ) t
E '
C S NC S ( m m
H P L I ( 2 ) 7 0 . 6 0 . 5 8 8 7 2 . 1 7 8 . 3 0 . 4 2 8 0 . 2 9 . 8 10 . 1 10 . 8
H P L ( 3 ) 4 4 5 . 5 0 . 3 9 4 4 3 5 . 9 4 6 6 . 7 0 . 5 2 4 6 0 . 0 4 . 5 5 . 2 5 . 9
s m g 2 0 0 0 ( 1) 16 . 6 0 . 1 8 5 16 . 4 17 . 5 0 . 1 2 17 . 3 5 . 1 5 . 2 5 . 6
s m g 2 0 0 0 ( 2 ) 6 7 . 1 0 . 1 9 8 6 6 . 7 7 2 . 1 0 . 2 1 7 1. 7 6 . 8 6 . 9 7 . 4
s m g 2 0 0 0 ( 3 ) 114 . 0 0 . 2 9 6 115 . 1 12 4 . 4 0 . 7 3 12 7 . 1 8 . 4 9 . 4 9 . 6
Az t e c 7 9 . 7 0 . 0 9 2 8 0 . 9 8 7 . 7 0 . 1 2 9 0 . 2 9 . 1 10 . 3 10 . 8
T a b l e 4 . O t h e r t e s t s : a v e r a g e c a s e s c e n a r i o .
m a y d i f f e r f r o m c a s e t o c a s e ) .
I n t h e e x a c t s a m e m a n n e r a s wi t h t h e L U c a s e , t a b l e 3
s h o ws t h e r e s u l t s f o r t h e wo r s t v s . b e s t c a s e s c e n a r i o t e s t s ,
wh i l e t a b l e 4 pr e s e n t s t h e a v e r a g e c a s e r e s u l t s . T h e e n -
c o u n t e r e d m a x i m u m s pe e d u ps r a n g e f r o m 5 . 6 % t o 10 . 8 %
wh i l e i n t h e a v e r a g e c a s e t h e s pe e d u ps a r e o n l y s l i g h t l y
l o we r , f r o m 5 . 2 % t o 10 . 3 %. T h a t i s , i n t h e a v e r a g e c a s e t h e
m a x i m u m s pe e d u ps a r e r e d u c e d b y l e s s t h a n 10 % a ppr o x i -
m a t e l y . F o u r o f t h e wo r s t v s . b e s t c a s e t e s t c a s e s ( s we e p3 d ,
S AMR AI , T o wh e e , a n d H P L ( 1) ) e x h i b i t e d a q u e s t i o n a b l e
po t e n t i a l s pe e d u p. A c l o s e r e x a m i n a t i o n o f t h e pr o g r a m
pr o f i l e s r e v e a l e d t h a t s we e p3 d a n d S AMR AI h a v e n e a r a l l -
t o - a l l c o m m u n i c a t i o n pa t t e r n s . Wi t h s u c h pa t t e r n s i t i s v i r -
t u a l l y i m po s s i b l e t o f i n d a m a ppi n g wh e r e t h e b e n e f i t s a r e
n o t c a n c e l l e d b y t h e pe n a l t i e s . T o wh e e i s a n e m b a r r a s s i n g l y
pa r a l l e l pr o g r a m wi t h i n s i g n i f i c a n t c o m m u n i c a t i o n b e t we e n
pr o c e s s e s . F i n a l l y , i n t h e H P L ( 1) c a s e t h e s h o r t e x e c u t i o n
d u r a t i o n e x a g g e r a t e s t h e d i f f e r e n c e s . F o r t h e s e f o u r c a s e s
we d i d n o t pe r f o r m t h e a v e r a g e c a s e t e s t s s i n c e t h e c o r r e -
s po n d i n g pr o g r a m s we r e f o u n d t o b e u n s u i t a b l e f o r C B E S -
s u ppo r t e d s c h e d u l i n g .
T o o b t a i n a n a ppr o x i m a t e i n d i c a t i o n o f t h e e f f i c i e n c y
o f C B E S - s u ppo r t e d s c h e d u l i n g , we e x a m i n e h o w m u c h o f
t h e a v a i l a b l e s pe e d u p i t wa s po s s i b l e t o a c h i e v e . I n t h e
pr e s e n t e d t e s t s t h e s pe e d u p i s a c h i e v e d s o l e l y t h r o u g h t h e
e x pl o i t a t i o n o f c o m m u n i c a t i o n pa t t e r n s . Al s o , we k n o w
a n a ppl i c a t i o n ' s c o m pu t a t i o n t o c o m m u n i c a t i o n r a t i o f r o m
t h a t a ppl i c a t i o n ' s pr o f i l e . I t i s n o w po s s i b l e t o e x pr e s s t h e
s pe e d u p a s a d e c r e a s e o f t h e c o m m u n i c a t i o n t i m e . T h e
m a x i m u m d e c r e a s e we e n c o u n t e r e d i s 4 6 . 4 % f o r t h e L U ( 2 )
c a s e wh i c h h a s a n 8 0 %/ 2 0 % c o m pu t a t i o n t o c o m m u n i c a -
t i o n r a t i o . G i v e n t h a t t h e l a t e n c y d i f f e r e n c e s f o r O r a n g e
G r o v e we r e f o u n d t o b e u p t o 5 4 %, u n d e r t h e m o s t f a v o r a b l e
c o n d i t i o n s t h e t h e o r e t i c a l l y a v a i l a b l e s pe e d u p wo u l d c a u s e
a 5 4 % d e c r e a s e o f t h e c o m m u n i c a t i o n t i m e . T h u s , C B E S
a c h i e v e d u p t o 8 5 % o f t h e t h e o r e t i c a l l y a v a i l a b l e s pe e d u p.
I 1 1 1~ 0 ' 1 W 0 w
0 0 ~ 2 .
~ ~ ~ ~ ~ ~ ~ E ~ ~ ~
H P L ( 1) 1. 2 0 . 3 0 . 9 0 . 3 2 4 . 6 5 5 0 0 pr o b l e m s i z e
H P L ____
1. 2 0 . 3
0 __9 0 __3
2 4 . 6
u n c e r t a i n S D e e d U D
H P L ( 2 ) 8 0 . 9 0 . 4 7 2 . 1 0 . 3 10 . 8 6 5 5 , 0 0 0 pr o b l e m s i z e
H P L ( 3 ) 4 6 3 . 3 1. 9 4 3 5 . 9 1. 9 5 . 9 13 8 10 , 0 0 0 pr o b l e m s i z e
s we e p3 d 9 . 4 1. 2 9 . 3 1. 2 1. 1 2 u n c e r t a i n s pe e d u p
s m g 2 0 0 0 ( 1) 17 . 3 0 . 1 16 . 4 0 . 1 5 . 6 2 10 12 x 12 x 12 pr o b l e m s i z e
s m g 2 0 0 0 ( 2 ) 7 2 . 0 0 . 1 6 6 . 7 0 . 1 7 . 4 7 8 0 5 O x 5 O x 5 O pr o b l e m s i z e
s m g 2 0 0 0 ( 3 ) 12 7 . 3 1. 3 115 . 1 1. 0 9 . 6 9 5 0 6 0 x 6 0 x 6 0 pr o b l e m s i z e
S AMR AI 7 . 7 0 . 2 7 . 6 0 . 1 1. 3 19 u n c e r t a i n s pe e d u p
T o wh e e 4 6 . 4 0 . 4 4 6 . 4 0 . 4 0 . 2 1 u n c e r t a i n s pe e d u p
Az t e c 9 0 . 7 0 . 5 8 0 . 9 0 . 4 10 . 8 6 P o i s s o n s o l v e r
As t a b l e 3 s h o ws , i n s o m e c a s e s ( e . g . s m g 2 0 0 0 ) t h e
s c h e d u l e r t i m e ( o v e r h e a d ) e x c e e d s t h e e x e c u t i o n t i m e o f t h e
pr o g r a m i t s e l f . O n e o f t h e
m a jo r
f a c t o r s a f f e c t i n g s c h e d u l e r
t i m e i s t h e c o m pl e x i t y o f a n a ppl i c a t i o n ' s c o m m u n i c a t i o n
pa t t e r n , a s r e f l e c t e d i n t h a t a ppl i c a t i o n ' s pr o f i l e . T h e h i g h e r
t h e c o m pl e x i t y , t h e l o n g e r i t t a k e s t o e v a l u a t e a m a ppi n g .
B e c a u s e t h e s i m u l a t e d a n n e a l i n g a l g o r i t h m g o e s t h r o u g h
l a r g e n u m b e r s o f m a ppi n g e v a l u a t i o n s , t h e t i m e r e q u i r e d
f o r e a c h e v a l u a t i o n i s c r i t i c a l f o r t h e o v e r a l l d u r a t i o n o f
s c h e d u l e r e x e c u t i o n . C l e a r l y , t h e o v e r h e a d c a n b e pr o -
h i b i t i v e f o r s h o r t - d u r a t i o n a ppl i c a t i o n s . H o we v e r , a n a p-
pl i c a t i o n r u n m a y c o n s i s t o f a c o r e s e g m e n t r e pe a t e d a n y
n u m b e r o f t i m e s . I n s u c h a c a s e , o n e wo u l d n e e d t o pa y t h e
o v e r h e a d f o r f i n d i n g a m a ppi n g f o r t h i s c o r e s e g m e n t o n l y
o n c e , t h e n s a v e a pe r c e n t a g e o f t i m e o u t o f e a c h r e pe t i t i o n .
T h e s a m e h o l d s f o r s h o r t - l i v e d a ppl i c a t i o n s t h a t wi l l b e r u n
m a n y t i m e s wh i l e s y s t e m c o n d i t i o n s a l l o w t h e r e - u s e o f t h e
s a m e m a ppi n g o v e r a n d o v e r a g a i n .
7 R e l a t e d Wo r k
S e v e r a l r e s e a r c h e f f o r t s h a v e s i m i l a r i t i e s a n d / o r t h e s a m e
g o a l s a s C B E S . S c h o pf [ 2 7 ] pr e s e n t s a n a ppr o a c h t o t h e
pr o b l e m o f s c h e d u l i n g pa r a l l e l a ppl i c a t i o n s o n c l u s t e r s
b a s e d o n s t r u c t u r a l m o d e l i n g . S t r u c t u r a l m o d e l i n g d e f i n e s
d i s t r i b u t e d pa r a l l e l a ppl i c a t i o n pe r f o r m a n c e m o d e l s pa r a -
m e t e r i z e d wi t h s t o c h a s t i c v a l u e s i n o r d e r t o pr e d i c t a ppl i -
c a t i o n pe r f o r m a n c e i n t h e d y n a m i c e n v i r o n m e n t o f c l u s t e r s .
F u r t h e r m o r e , t h e a ppr o a c h u s e s a s t o c h a s t i c s c h e d u l i n g po l -
i c y t h a t m a k e s u s e o f t h e s t o c h a s t i c pr e d i c t i o n t o a c h i e v e
e f f i c i e n t a ppl i c a t i o n e x e c u t i o n . C l o s e l y r e l a t e d t o S c h o pf ' s
wo r k i s AppL e S - Appl i c a t i o n L e v e l S c h e d u l i n g [ 2 8 ] . T h i s
a ppr o a c h b u i l d s s c h e d u l i n g a g e n t s t i g h t l y - c o u pl e d t o t h e a p-
pl i c a t i o n . T h e a g e n t s c r e a t e s c h e d u l e s s pe c i a l l y t u n e d t o
t h e n e e d s o f t h e a ppl i c a t i o n a n d wi t h t h e h e l p o f d y n a m i c
i n f o r m a t i o n a n d a d a pt i v e s c h e d u l i n g t e c h n i q u e s m a x i m i z e
a ppl i c a t i o n pe r f o r m a n c e .
P r o ph e t [ 2 9 ] i s a n a u t o m a t e d s c h e d u l e r f o r pa r a l l e l c o m -
pu t a t i o n s i n a h e t e r o g e n e o u s e n v i r o n m e n t . T h e P r o ph e t
f r a m e wo r k i s i n t e g r a t e d i n t o t h e Me n t a t - L e g i o n pa r a l l e l
pr o c e s s i n g s y s t e m a n d u s e s r u n t i m e g r a n u l a r i t y i n f o r m a -
t i o n f o r s e l e c t i n g t h e b e s t n u m b e r o f pr o c e s s o r s t o a ppl y t o
t h e a ppl i c a t i o n . P r o ph e t u s e s a c a l l b a c k m e c h a n i s m t o o b -
t a i n a ppl i c a t i o n - s pe c i f i c i n f o r m a t i o n , a n d u t i l i z e s d y n a m i c
s y s t e m i n f o r m a t i o n a b o u t C P U a n d n e t wo r k u s a g e a t r u n -
t i m e . T h e s y s t e m i n f o r m a t i o n i s s u ppl i e d b y P r o ph e t ' s o wn
a u x i l i a r y s y s t e m , t h e Ne t wo r k R e s o u r c e Mo n i t o r i n g S y s t e m
( NR MS ) , wi t h f u n c t i o n a l i t y s i m i l a r t o t h e Ne t wo r k We a t h e r
S e r v i c e .
S u b h l o k e t a l . [ 3 0 ] pr e s e n t a f r a m e wo r k f o r a u t o m a t i c
n o d e s e l e c t i o n f o r h i g h pe r f o r m a n c e a ppl i c a t i o n s o n s h a r e d
n e t wo r k s . T h i s f r a m e wo r k u s e s a n a ppl i c a t i o n s pe c i f i c a -
t i o n i n t e r f a c e , t h r o u g h wh i c h a ppl i c a t i o n s c a n s pe c i f y t h e i r
c o m pu t a t i o n a n d c o m m u n i c a t i o n r e q u i r e m e n t s , a n d r e l i e s
o n R e Mo S [ 3 1] f o r n e t wo r k i n f o r m a t i o n . T h e f r a m e wo r k
c a n i n v o k e n o d e s e l e c t i o n a l g o r i t h m s t h a t m a x i m i z e c o m -
pu t a t i o n c a pa c i t y , m a x i m i z e c o m m u n i c a t i o n c a pa c i t y , a n d
o b t a i n t h e m a x i m u m f r a c t i o n o f c o m pu t a t i o n a n d c o m m u -
n i c a t i o n c a pa c i t y t h a t c a n b e a c h i e v e d s i m u l t a n e o u s l y .
Ya r k h a n a n d D o n g a r r a [ 3 2 ] pe r f o r m s c h e d u l i n g e x pe r i -
m e n t s wi t h a S c a L AP AC K L U n u m e r i c a l s o l v e r i n a g r i d
e n v i r o n m e n t u s i n g s i m u l a t e d a n n e a l i n g [ 3 3 ] . T o e v a l u a t e
t h e s c h e d u l e s g e n e r a t e d b y t h e s i m u l a t e d a n n e a l i n g a l g o -
r i t h m t h e y u s e a P e r f o r m a n c e Mo d e l , a f u n c t i o n s pe c i f i c a l l y
c r e a t e d t o pr e d i c t t h e e x e c u t i o n t i m e o f t h e pr o g r a m . G e n e r -
a t i n g s u c h a P e r f o r m a n c e Mo d e l r e q u i r e s d e t a i l e d a n a l y s i s
o f t h e pr o g r a m t o b e s c h e d u l e d .
D e c k e r a n d D i e k m a n n [ 3 4 ] d e s c r i b e C o P A, a n e n v i r o n -
m e n t f o r m a ppi n g c o a r s e - g r a i n e d a ppl i c a t i o n s o n t o wo r k -
s t a t i o n c l u s t e r s . C o P A u s e s a s pe c i a l l i b r a r y o n t o p o f
P V M t o t r a c e t h e e x e c u t i o n o f a n a ppl i c a t i o n a n d a n a l y z e
i t s b e h a v i o r "po s t - g a m e ". U s i n g h e u r i s t i c s o r s i m u l a t e d a n -
n e a l i n g C o P A s e a r c h e s f o r e f f e c t i v e a ppl i c a t i o n m a ppi n g s .
H o we v e r , C o P A o n l y h a n d l e s c o a r s e - g r a i n e d a ppl i c a t i o n s
wi t h i n f r e q u e n t c o m m u n i c a t i o n a n d d o e s n o t i n c o r po r a t e
d y n a m i c s y s t e m i n f o r m a t i o n wh e n s e a r c h i n g f o r m a ppi n g s .
F i n a l l y , T I T AN [ 3 5 ] i s a m u l t i - t i e r e d s c h e d u l i n g a r c h i -
t e c t u r e t h a t e m pl o y s t h e P AC E [ 3 6 ] [ 3 7 ] pe r f o r m a n c e pr e -
d i c t i o n s y s t e m t o i m pr o v e r e s o u r c e u s a g e e f f i c i e n c y . P AC E
u s e s a P e r f o r m a n c e S pe c i f i c a t i o n L a n g u a g e ( P S L ) t o d e -
s c r i b e wo r k l o a d s f o r b o t h s e q u e n t i a l a n d pa r a l l e l pa r t s o f
a n a ppl i c a t i o n . Al s o , P AC E u s e s a H a r d wa r e Mo d e l C o n -
f i g u r a t i o n L a n g u a g e ( H MC L ) t o d e s c r i b e h a r d wa r e c h a r a c -
t e r i s t i c s . F u r t h e r m o r e , P AC E u s e s a pa r a m e t r i c e v a l u a t i o n
e n g i n e a n d wo r k l o a d a n d h a r d wa r e d e s c r i pt i o n s t o pr o v i d e
e x e c u t i o n t i m e e s t i m a t e s . T I T AN u s e s t h e s e e s t i m a t e s f o r
s c h e d u l i n g pu r po s e s , e . g . a s f i t n e s s f u n c t i o n v a l u e s f o r a
g e n e t i c a l g o r i t h m - b a s e d s c h e d u l e r .
8 C o n c l u s i o n s a n d F u t u r e Wo r k
We h a v e d e s c r i b e d t h e d e s i g n , t h e o r e t i c a l b a c k g r o u n d ,
a n d pr o t o t y pe i m pl e m e n t a t i o n s o f C B E S , a s we l l a s a s e -
r i e s o f e x pe r i m e n t a l e v a l u a t i o n t e s t s . C B E S i s a n a u x i l i a r y
r u n t i m e s y s t e m s e r v i c e f o r f a c i l i t a t i n g t h e e f f e c t i v e m a ppi n g
o f pa r a l l e l a ppl i c a t i o n t a s k s o n h e t e r o g e n e o u s c l u s t e r n o d e s .
C B E S u t i l i z e s s t a t i c a n d d y n a m i c i n f o r m a t i o n f r o m b o t h t h e
c o m pu t i n g s y s t e m a n d t h e a ppl i c a t i o n t o c o m pa r e d i f f e r e n t
m a ppi n g s b y pr e d i c t i n g t h e pe r f o r m a n c e a n a ppl i c a t i o n c a n
a c h i e v e wi t h e a c h s u c h m a ppi n g .
D u e t o h e t e r o g e n e i t y a n d n e t wo r k c o n n e c t i v i t y o f a c l u s -
t e r , t h e r e a r e n o n - n e g l i g i b l e d i f f e r e n c e s i n C P U s pe e d s a n d
i n t e r n o d e c o m m u n i c a t i o n l a t e n c i e s . C B E S e x pl o i t s t h e s e
d i f f e r e n c e s t o t h e b e n e f i t o f a n a ppl i c a t i o n b y m a t c h i n g
t h e m t o t h e c o m pu t a t i o n a n d c o m m u n i c a t i o n pa t t e r n s o f t h a t
a ppl i c a t i o n . H o we v e r , t h e l e v e l o f e x pl o i t a t i o n g r e a t l y d e -
pe n d s o n t h e a ppl i c a t i o n i t s e l f . I n pr i n c i pl e , n o t a l l s c i e n t i f i c
a ppl i c a t i o n s c a n b e n e f i t f r o m t h e C B E S s c h e d u l i n g m e c h a -
n i s m s . T h e d e g r e e o f c l u s t e r h e t e r o g e n e i t y , t h e pe r c e n t a g e
o f a ppl i c a t i o n e x e c u t i o n t i m e s pe n t o n c o m m u n i c a t i o n , a n d
t h e a d a pt a b i l i t y o f a n a ppl i c a t i o n ' s c o m m u n i c a t i o n pa t t e r n
o n t h e n e t wo r k t o po l o g y o f a c l u s t e r a r e s t r o n g i n d i c a t i o n s
f o r t h e s i z e o f b e n e f i t s f r o m C B E S - s u ppo r t e d s c h e d u l i n g .
T h e C B E S - s u ppo r t e d s c h e d u l e r a c h i e v e d s pe e d u ps
h i g h e r t h a n 10 % f o r s e v e r a l i m po r t a n t s c i e n t i f i c a ppl i -
c a t i o n s , b y e x pl o i t a t i o n o f t h e i r c o m m u n i c a t i o n pa t t e r n s
a l o n e . T h e t i m e c o s t o f r u n n i n g t h e C B E S - s u ppo r t e d s i m u -
l a t e d a n n e a l i n g s c h e d u l e r c a n b e pr o h i b i t i v e f o r s h o r t - l i v e d
pr o g r a m s . H o we v e r , i n t h e c a s e o f l o n g - d u r a t i o n a ppl i c a -
t i o n s t h e r e i s a wi d e m a r g i n t o o f f s e t t h e c o s t o f r u n n i n g
t h e s c h e d u l e r b y t h e t o t a l g a i n o f a n a ppl i c a t i o n r u n o r t h e
c u m u l a t i v e g a i n o f s e v e r a l s u c h r u n s .
I n t h e f u t u r e , we ' r e pl a n n i n g t o e x pa n d t h e C B E S i n -
f r a s t r u c t u r e wi t h a ppl i c a t i o n m o n i t o r i n g a n d r e m a ppi n g c a -
pa b i l i t i e s , a s we l l a s r u n t i m e s c h e d u l i n g s u ppo r t f o r d y -
n a m i c a l l y pr o c e s s e s - s pa wn i n g MP I - 2 pr o g r a m s . We f u r -
t h e r i n t e n d t o i n v e s t i g a t e t h e s u i t a b i l i t y o f o t h e r s c h e d u l i n g
a l g o r i t h m s , e . g . g e n e t i c a l g o r i t h m s , f o r C B E S - s u ppo r t e d
s c h e d u l i n g , a n d t h e r e s u l t i n g pe r f o r m a n c e . F i n a l l y , we wi l l
c o n d u c t f u r t h e r t e s t i n g u s i n g a l a r g e r v a r i e t y o f pa r a l l e l a p-
pl i c a t i o n s , i n c l u d i n g a ppl i c a t i o n s wi t h i r r e g u l a r c o m pu t a -
t i o n a n d / o r c o m m u n i c a t i o n pa t t e r n s .
R e f e r e n c e s
[ 1] P V M: P a r a l l e l V i r t u a l Ma c h i n e .
www. c s m . o r n l . g o v / pv m / pv m i h o m e . h t m l
[ 2 ] Me s s a g e P a s s i n g I n t e r f a c e F o r u m .
www. m pi - f o r u m . o r g
[ 3 ] C o n d o r : H i g h T h r o u g h pu t C o m pu t i n g .
www. c s . wi s c . e d u / c o n d o r
[ 4 ] A. B a y u c a n , R . L . H e n d e r s o n , C . L e s i a k , N. Ma n n ,
T . P r o e t t , a n d D . T we t e n . P o r t a b l e B a t c h S y s t e m : E x -
t e r n a l R e f e r e n c e S pe c i f i c a t i o n . MR J T e c h n o l o g y S o -
l u t i o n s , No v 19 9 9 .
[ 5 ] L o a d
S h a r i n g F a c i l i t y .
a c c l . g r c . n a s a . g o v / l s f
[ 6 ] L e g i o n : Wo r l d wi d e V i r t u a l C o m pu t e r .
l e g i o n . v i r g i n i a . e d u
[ 7 ] T h e G l o b u s Al l i a n c e .
www. g l o b u s . o r g
[ 8 ] D . K a t r a m a t o s , D . S a x e n a , D . Me h t a , a n d S . J . C h a pi n .
A C o s t / B e n e f i t Mo d e l f o r D y n a m i c R e s o u r c e S h a r i n g .
I n P r o c e e d i n g s o f t h e 9 t h H e t e r o g e n e o u s C o m pu t i n g
Wo r k s h o p, C a n c u n , Me x i c o , 2 0 0 0 .
[ 9 ] D . K a t r a m a t o s , M. H u m ph r e y , C . H wa n g , a n d S . J .
C h a pi n . D e v e l o pi n g A C o s t / B e n e f i t Mo d e l f o r D y -
n a m i c R e s o u r c e S h a r i n g i n H e t e r o g e n e o u s C l u s t e r s :
E x pe r i e n c e wi t h S NL C l u s t e r s . I n P r o c e e d i n g s o f t h e
1s t I E E E / AC M I n t e r n a t i o n a l S y m po s i u m o n C l u s t e r
C o m pu t i n g a n d t h e G r i d ( C C G r i d 2 0 0 1) , pp. 3 5 5 - 3 6 2 ,
B r i s b a n e , Au s t r a l i a , Ma y 15 - 1 8 , 2 0 0 1.
[ 10 ] T h e C e n t u r i o n C l u s t e r .
l e g i o n . v i r g i n i a . e d u / c e n t u r i o n / C e n t u r i o n . h t m l
[ I 1] T h e Ne t wo r k We a t h e r S e r v i c e .
n ws . c s . u c s b . e d u
[ 12 ] D . K a t r a m a t o s . D y n a m i c R e s o u r c e S h a r i n g Me c h a -
n i s m s f o r H i g h - P e r f o r m a n c e H e t e r o g e n e o u s C l u s t e r s .
P h . D . d i s s e r t a t i o n , U n i v e r s i t y o f V i r g i n i a , J a n 2 0 0 5 .
[ 13 ] L AM/ MP I P a r a l l e l
C o m pu t i n g .
www. l a m - m pi . o r g
[ 14 ] X MP I - A R u n / D e b u g G U I f o r MP I .
www. l a m - m pi . o r g / s o f t wa r e / x m pi
[ 15 ] P e r f o r m a n c e V i s u a l i z a t i o n f o r P a r a l l e l P r o g r a m s .
www- u n i x . m c s . a n l . g o v / pe r f v i s / s o f t wa r e / v i e we r s
[ 16 ] V i s u a l i z a t i o n a n d An a l y s i s o f MP I P r o g r a m s .
h t t p: / / www. pa l l a s . c o m / e / pr o d u c t s / v a m pi r / i n d e x . h t m
[ 17 ] T h e NAS A P a r a l l e l B e n c h m a r k s .
www. n a s . n a s a . g o v / S o f t wa r e / NP B
[ 18 ] H P L - A P o r t a b l e I m pl e m e n t a t i o n o f t h e H i g h -
P e r f o r m a n c e L i n pa c k B e n c h m a r k f o r D i s t r i b u t e d -
Me m o r y C o m pu t e r s . www. n e t l i b . o r g / b e n c h m a r k / h pl
[ 19 ] N. Me t r o po l i s , A. W. R o s e n b l u t h , a n d M. N. R o s e n -
b l u t h , A. H . T e l l e r , E . T e l l e r . E q u a t i o n s o f S t a t e C a l -
c u l a t i o n s b y F a s t C o m pu t i n g Ma c h i n e s . J o u r n a l o f
C h e m i c a l P h y s i c s , v o l . 2 1, pp. l 0 8 7 - l 0 9 2 , 19 5 3 .
[ 2 0 ] W. H . P r e s s , S . A. T e u k o l s k y , W. T . V e t t e r l i n g , a n d B .
P . F l a n n e r y . Nu m e r i c a l R e c i pe s i n C . T h e Ar t o f S c i -
e n t i f i c C o m pu t i n g , C a m b r i d g e U n i v e r s i t y P r e s s , 2 n d
E d i t i o n , 19 9 2 , I S B N: 0 - 5 2 1- 4 3 10 8 - 5 .
[ 2 1] T h e AS C I
pu r pl e
b e n c h m a r k s .
www. l l n l . g o v / l s c i / pu r pl e / b e n c h m a r k s
[ 2 2 ] T h e AS C I s we e p3 d b e n c h m a r k .
www. l l n l . g o v / l s c i - b e n c h m a r k s / l s c i / l i m i t e d / s we e p3 d
[ 2 3 ]
s m g 2 0 0 0 .
www. l l n l . g o v / l s c i / pu r pl e / b e n c h m a r k s / l i m i t e d / s m g
[ 2 4 ] S AMR AI .
www. l l n l . g o v / C AS C / S AMR AI / s a m r a i - h o m e . h t m l
[ 2 5 ] MC C C S T o wh e e .
www. c s . s a n d i a . g o v / pr o je c t s / t o wh e e
[ 2 6 ] Az t e c .
www. c s . s a n d i a . g o v / C R F / Az t e c R D I O O . h t m l
[ 2 7 ] J . M. S c h o pf . P e r f o r m a n c e P r e d i c t i o n a n d S c h e d u l -
i n g f o r P a r a l l e l Appl i c a t i o n s o n Mu l t i - U s e r C l u s t e r s .
P h . D . d i s s e r t a t i o n , U C S D , 19 9 8 .
[ 2 8 ] E B e r m a n , R . Wo l s k i , S . F i g u e i r a , J . S c h o pf , a n d G .
S h a o . Appl i c a t i o n - l e v e l s c h e d u l i n g o n d i s t r i b u t e d h e t -
e r o g e n e o u s n e t wo r k s . I n P r o c e e d i n g s o f S u pe r C o m -
pu t i n g ' 9 6 , 19 9 6 .
[ 3 6 ] S . A. J a r v i s , D . P . S po o n e r , H . N. L i m C h o i K e u n g , J .
R . D . D y s o n , L . Z h a o , a n d G . R . Nu d d . P e r f o r m a n c e -
b a s e d Mi d d l e wa r e S e r v i c e s f o r G r i d C o m pu t i n g . Au -
t o n o m i c C o m pu t i n g Wo r k s h o p, F i f t h An n u a l I n t e r -
n a t i o n a l Wo r k s h o p o n Ac t i v e Mi d d l e wa r e S e r v i c e s
( AMS ' 0 3 ) , S e a t t l e , Wa s h i n g t o n , J u n 2 5 , 2 0 0 3 .
[ 3 7 ] J . C a o , D . J . K e r b y s o n , E . P a pa e f s t a t h i o u , a n d G .
R . Nu d d . Mo d e l i n g o f AS C I H i g h P e r f o r m a n c e Ap-
pl i c a t i o n s U s i n g P AC E . I n P r o c e e d i n g s 15 t h An n u a l
U K P e r f o r m a n c e E n g i n e e r i n g Wo r k s h o p, B r i s t o l , U K ,
pp. 4 13 - 4 2 4 , 19 9 9 .
[ 2 9 ] J . B . We i s s m a n a n d X . Z h a o . S c h e d u l i n g pa r a l l e l a p-
pl i c a t i o n s i n d i s t r i b u t e d n e t wo r k s . J o u r n a l o f C l u s t e r
C o m pu t i n g , 19 9 8 .
[ 3 0 ] J . S u b h l o k , P . L i e u , a n d B . L o we k a m p. Au t o m a t i c
No d e S e l e c t i o n f o r H i g h P e r f o r m a n c e Appl i c a t i o n s o n
Ne t wo r k s . I n P r o c e e d i n g s o f t h e 7 t h AC M S I G P L AN
S y m po s i u m o n P r i n c i pl e s a n d P r a c t i c e o f P a r a l l e l
P r o g r a m m i n g ( P P o P P ' 9 9 ) , At l a n t a , G e o r g i a , pp. 16 3 -
17 2 , AC M P r e s s , Ma y 19 9 9 .
[ 3 1] T . D e wi t t , T . G r o s s , B . L o we k a m p, N. Mi l l e r , P .
S t e e n k i s t e , J . S u b h l o k , a n d D . S u t h e r l a n d . R e Mo S : A
r e s o u r c e m o n i t o r i n g s y s t e m f o r n e t wo r k a wa r e a ppl i -
c a t i o n s . T e c h n i c a l R e po r t C MU - C S - 9 7 - 19 4 , S c h o o l
o f C o m pu t e r S c i e n c e , C a r n e g i e Me l l o n U n i v e r s i t y ,
D e c 19 9 7 .
[ 3 2 ] A. Ya r k h a n a n d J . D o n g a r r a . E x pe r i m e n t s wi t h
S c h e d u l i n g U s i n g S i m u l a t e d An n e a l i n g i n a G r i d
E n v i r o n m e n t . I n M. P a r a s h a r , e d i t o r , L e c t u r e n o t e s
i n c o m pu t e r s c i e n c e G r i d C o m pu t i n g - G R I D 2 0 0 2 ,
T h i r d I n t e r n a t i o n a l Wo r k s h o p, V o l . 2 5 3 6 , pp. 2 3 2 - 2 4 2 ,
S pr i n g e r V e r l a g , B a l t i m o r e , MD , U S A, No v 2 0 0 2 .
[ 3 3 ] A. P e t i t e t , S . B l a c k f o r d , J . D o n g a r r a , B . E l l i s , G . F a g g ,
K . R o c h e , a n d S . V a d h i y a r . Nu m e r i c a l l i b r a r i e s a n d t h e
G r i d . T h e I n t e r n a t i o n a l J o u r n a l o f H i g h P e r f o r m a n c e
C o m pu t i n g Appl i c a t i o n s , 15 ( 4 ) : 3 5 9 - 3 7 4 , No v 2 0 0 1.
[ 3 4 ] T . D e c k e r a n d R . D i e k m a n n . Ma ppi n g o f C o a r s e -
G r a i n e d Appl i c a t i o n s o n t o Wo r k s t a t i o n C l u s t e r s . I n
P r o c e e d i n g s o f t h e 5 t h E U R O MI C R O Wo r k s h o p o n
P a r a l l e l a n d D i s t r i b u t e d P r o c e s s i n g , P D P ' 9 7 , 19 9 7 .
[ 3 5 ] D . P . S po o n e r , S . A. J a r v i s , J . C a o , S . S a i n i a n d G .
R . Nu d d . L o c a l G r i d S c h e d u l i n g T e c h n i q u e s u s i n g
P e r f o r m a n c e P r e d i c t i o n . I n I E E E P r o c . C o m p. D i g i t .
T e c h . , 15 0 ( 2 ) : 8 7 - 9 6 , 2 0 0 3 .