dynamic load balancing in computational mechanics survey

8/9/2019 Dynamic load balancing in computational mechanics Survey

1/20

D Y N A M I C L O A D B A L A N C I N G

I N C O M P U T A T I O N A L M E C H A N I C S

B R U C E H E N D R I C K S O N A N D K A R E N D E V I N E

y

A b s t r a c t .

I n m a n y i m p o r t a n t c o m p u t a t i o n a l m e c h a n i c s a p p l i c a t i o n s , t h e c o m p u t a t i o n a d a p t s d y n a m i c a l l y

d u r i n g t h e s i m u l a t i o n . E x a m p l e s i n c l u d e a d a p t i v e m e s h r e n e m e n t , p a r t i c l e s i m u l a t i o n s a n d t r a n -

s i e n t d y n a m i c s c a l c u l a t i o n s . W h e n r u n n i n g t h e s e k i n d s o f s i m u l a t i o n s o n a p a r a l l e l c o m p u t e r , t h e

w o r k m u s t b e a s s i g n e d t o p r o c e s s o r s i n a d y n a m i c f a s h i o n t o k e e p t h e c o m p u t a t i o n a l l o a d b a l a n c e d .

A n u m b e r o f a p p r o a c h e s h a v e b e e n p r o p o s e d f o r t h i s d y n a m i c l o a d b a l a n c i n g p r o b l e m . T h i s p a p e r

r e v i e w s t h e m a j o r c l a s s e s o f a l g o r i t h m s , a n d d i s c u s s e s t h e i r r e l a t i v e m e r i t s o n p r o b l e m s f r o m c o m -

p u t a t i o n a l m e c h a n i c s . S h o r t c o m i n g s i n t h e s t a t e - o f - t h e - a r t a r e i d e n t i e d a n d s u g g e s t i o n s a r e m a d e

f o r f u t u r e r e s e a r c h d i r e c t i o n s .

K e y w o r d s . d y n a m i c l o a d b a l a n c i n g , p a r a l l e l c o m p u t e r , a d a p t i v e m e s h r e n e m e n t

1 . I n t r o d u c t i o n . T h e e c i e n t u s e o f a p a r a l l e l c o m p u t e r r e q u i r e s t w o , o f t e n

c o m p e t i n g , o b j e c t i v e s t o b e a c h i e v e d . F i r s t , t h e p r o c e s s o r s m u s t b e k e p t b u s y d o i n g

u s e f u l w o r k . A n d s e c o n d , t h e a m o u n t o f i n t e r p r o c e s s o r c o m m u n i c a t i o n m u s t b e k e p t

s m a l l . F o r m a n y p r o b l e m s i n s c i e n t i c c o m p u t i n g , t h e s e o b j e c t i v e s c a n b e o b t a i n e d

b y a s i n g l e a s s i g n m e n t o f t a s k s t o p r o c e s s o r s t h a t d o e s n ' t c h a n g e o v e r t h e c o u r s e o f

a s i m u l a t i o n . C a l c u l a t i o n s a m e n a b l e t o s u c h a s t a t i c d i s t r i b u t i o n i n c l u d e t r a d i t i o n a l

n i t e e l e m e n t a n d n i t e d i e r e n c e m e t h o d s , d e n s e l i n e a r s o l v e r s a n d m o s t i t e r a t i v e

s o l v e r s .

H o w e v e r , a n u m b e r o f i m p o r t a n t a p p l i c a t i o n s h a v e c o m p u t a t i o n a l r e q u i r e m e n t s

t h a t v a r y o v e r t i m e i n a n u n p r e d i c t a b l e w a y . F o r s u c h a p p l i c a t i o n s , h i g h p e r f o r -

m a n c e c a n o n l y b e o b t a i n e d i f t h e w o r k l o a d i s d i s t r i b u t e d a m o n g p r o c e s s o r s i n a

t i m e - v a r y i n g , d y n a m i c f a s h i o n . T h e s e k i n d s o f c o m p u t a t i o n s s e e m t o b e p a r t i c u l a r l y

p r e v a l e n t i n c o m p u t a t i o n a l m e c h a n i c s a n d i n c l u d e t h e f o l l o w i n g a p p l i c a t i o n s .

A d a p t i v e m e s h r e n e m e n t ( A M R ) . A M R i s a r a p i d l y m a t u r i n g t e c h n o l -

o g y i n w h i c h t h e c o m p u t a t i o n a l m e s h i s l o c a l l y r e n e d t o m i n i m i z e t h e e r r o r

i n a c a l c u l a t i o n . E l e m e n t s a r e a d d e d o r r e m o v e d ( h - r e n e m e n t ) a n d / o r t h e

d e g r e e o f t h e a p p r o x i m a t i o n o n i n d i v i d u a l e l e m e n t s i s v a r i e d ( p - r e n e m e n t ) t o

o b t a i n a d e s i r e d a c c u r a c y . D u r i n g t h e c o u r s e o f a s i m u l a t i o n , t h e a m o u n t a n d

l o c a t i o n o f r e n e m e n t c a n v a r y , s o w o r k m u s t b e m i g r a t e d b e t w e e n p r o c e s s o r s

t o m a i n t a i n l o a d b a l a n c e .

C o n t a c t d e t e c t i o n i n t r a n s i e n t d y n a m i c s . A s i m u l a t i o n o f a c a r c r a s h

i s a p r o t o t y p i c a l t r a n s i e n t d y n a m i c s c a l c u l a t i o n . A c r i t i c a l s t e p i n s u c h a

c a l c u l a t i o n i s d e t e c t i n g w h e n t h e d e f o r m i n g m e s h i n t e r s e c t s i t s e l f , e . g . , w h e n

t h e b u m p e r h a s c r u m p l e d i n t o t h e r a d i a t o r . T h i s s t e p r e q u i r e s a g e o m e t r i c

s e a r c h o v e r a s t e a d i l y e v o l v i n g g e o m e t r y . A s t h e m e s h m o v e s , t h e w o r k n e e d s

t o b e d i v i d e d a m o n g p r o c e s s o r s i n a d i e r e n t w a y .

A d a p t i v e p h y s i c s m o d e l s . I n m a n y c o m p u t a t i o n s , t h e c o m p u t a t i o n a l e f -

f o r t a s s o c i a t e d w i t h a d a t a p o i n t v a r i e s o v e r t i m e . F o r i n s t a n c e , a c o n s t i t u t i v e

m o d e l f o r a h i g h s t r a i n r e g i o n m a y b e m o r e e x p e n s i v e t h a n o n e f o r l o w s t r a i n .

T o a p p e a r i n C o m p . M e t h . A p p l i e d M e c h a n i c s & E n g i n e e r i n g .

T h i s w o r k w a s s u p p o r t e d b y t h e A p p l i e d M a t h e m a t i c a l S c i e n c e s p r o g r a m , U . S . D O E , O c e o f E n e r g y

R e s e a r c h , a n d w a s p e r f o r m e d a t S a n d i a N a t i o n a l L a b s , o p e r a t e d f o r t h e U . S . D O E u n d e r c o n t r a c t

N o . D E - A C 0 4 - 9 4 A L 8 5 0 0 0 .

y

S a n d i a N a t i o n a l L a b s ; A l b u q u e r q u e , N M 8 7 1 8 5 - 1 1 1 1 , f b a h , k d d e v i n g @ c s . s a n d i a . g o v .

1


2/20

2 H e n d r i c k s o n a n d D e v i n e

A s t h e s i m u l a t i o n e v o l v e s , t h e c o m p u t a t i o n a l w o r k a s s o c i a t e d w i t h a p o i n t

c a n v a r y , s o t h e p o i n t s m a y n e e d t o b e r e d i s t r i b u t e d a m o n g p r o c e s s o r s t o

b a l a n c e t h e w o r k .

P a r t i c l e s i m u l a t i o n s . W h e n s i m u l a t i n g p a r t i c l e s u n d e r t h e i n u e n c e o f

s h o r t - r a n g e f o r c e s ( e . g . , s m o o t h e d p a r t i c l e h y d r o d y n a m i c s o r m o l e c u l a r d y -

n a m i c s w i t h v a n d e r W a a l s f o r c e s ) , t h e p a r t i c l e s i n t e r a c t o n l y w i t h g e o m e t r i -

c a l l y n e a r n e i g h b o r s . A s t h e s e n e i g h b o r s v a r y o v e r t i m e , r e d i s t r i b u t i o n o f t h e

p a r t i c l e s a m o n g p r o c e s s o r s c a n k e e p t h e c o m m u n i c a t i o n c o s t l o w .

M u l t i p h y s i c s s i m u l a t i o n s . I t i s i n c r e a s i n g l y c o m m o n t o c o u p l e m u l t i p l e

p h y s i c a l p h e n o m e n a ( e . g . , c r a s h a n d b u r n ) i n t o a s i n g l e s i m u l a t i o n i n s t e a d

o f i s o l a t i n g t h e m . W h i l e t h e s i m u l a t i o n o f i s o l a t e d p h e n o m e n a m a y b e p o s -

s i b l e w i t h a s i n g l e d i s t r i b u t i o n o f d a t a , c o u p l e d p h y s i c s c a n r e q u i r e m u l t i p l e

d i s t r i b u t i o n s .

D i e r e n t a p p l i c a t i o n s i m p o s e d i e r e n t r e q u i r e m e n t s u p o n d y n a m i c l o a d b a l a n c i n g

a l g o r i t h m s a n d s o f t w a r e . S o m e a p p l i c a t i o n s a r e f u n d a m e n t a l l y g e o m e t r i c i n n a t u r e

( e . g . , c o n t a c t d e t e c t i o n a n d p a r t i c l e s i m u l a t i o n s ) , w h i l e o t h e r s a r e b e t t e r d e s c r i b e d i n

t e r m s o f m e s h c o n n e c t i v i t y ( e . g . , A M R ) . T h e r e a r e a l s o c o m p l i c a t e d t r a d e o s b e t w e e n

t h e c o s t o f t h e l o a d b a l a n c e r , t h e q u a l i t y o f t h e p a r t i t i o n i t p r o d u c e s a n d t h e a m o u n t

o f d a t a t h a t n e e d s t o b e r e d i s t r i b u t e d . T h e o p t i m a l t r a d e o b e t w e e n t h e s e m e t r i c s

d e p e n d s o n t h e p r o p e r t i e s o f t h e a p p l i c a t i o n a s w e l l a s t h o s e o f t h e p a r a l l e l m a c h i n e ,

a s w e d i s c u s s i n d e t a i l i n x 2 . F o r a l l t h e s e r e a s o n s , t h e r e i s n o s i n g l e d y n a m i c l o a d

b a l a n c i n g a l g o r i t h m t h a t i s s u i t a b l e i n a l l s e t t i n g s . A n u m b e r o f d i e r e n t m e t h o d s

h a v e b e e n b e e n d e v i s e d f o r s p e c i c p r o b l e m s o r p r o b l e m c l a s s e s . I n x 3 w e r e v i e w t h e

m a j o r c a t e g o r i e s o f a p p r o a c h e s a n d c r i t i c a l l y e v a l u a t e t h e i r s t r e n g t h s a n d w e a k n e s s e s

f o r t h e v a r i o u s p r o b l e m s i n c o m p u t a t i o n a l m e c h a n i c s , u s i n g t h e m e t r i c s d i s c u s s e d

i n x 2 .

I n g e n e r a l , d y n a m i c p a r t i t i o n e r s a r e s i g n i c a n t l y m o r e c o m p l e x t o p a r a l l e l i z e t h a n

s t a t i c o n e s . T h e r e a s o n s f o r t h i s a r e n o t f u n d a m e n t a l l y a l g o r i t h m i c , b u t i n s t e a d

h a v e t o d o w i t h s o f t w a r e c o m p l e x i t y . W h i l e s t a t i c p a r t i t i o n i n g t o o l s c a n b e r u n a s a

s e q u e n t i a l p r e p r o c e s s i n g s t e p , d y n a m i c p a r t i t i o n i n g m u s t b e p e r f o r m e d o n t h e p a r a l l e l

m a c h i n e . T h e l o a d b a l a n c e r m u s t b e c a l l e d a s a s u b r o u t i n e f r o m t h e s i m u l a t i o n c o d e ,

s o t h e t w o m u s t a g r e e o n s o m e d a t a s t r u c t u r e s . T h e t i m e a n d m e m o r y c o n s u m e d

b y t h e p a r t i t i o n i n g a l g o r i t h m t a k e r e s o u r c e s a w a y f r o m t h e s i m u l a t i o n . D e t e r m i n i n g

w h e n i t i s a d v a n t a g e o u s t o r e d i s t r i b u t e t h e d a t a a n d t a s k s r e q u i r e s a c o d e t o m o n i t o r

a n d p r e d i c t i t s p e r f o r m a n c e . I f d a t a a r e m o v e d b e t w e e n p r o c e s s o r s , t h e d a t a s t r u c t u r e s

m u s t b e r e b u i l t a n d t h e i n t e r p r o c e s s o r c o m m u n i c a t i o n p a t t e r n s n e e d t o b e u p d a t e d .

A l l o f t h e s e i s s u e s a d d c o n s i d e r a b l e c o m p l e x i t y t o t h e a p p l i c a t i o n c o d e . W e w i l l d i s c u s s

t h i s s o f t w a r e p r o b l e m i n m o r e d e t a i l i n x 4 . W e t h e n d r a w s o m e g e n e r a l c o n c l u s i o n s

a n d s u g g e s t s o m e f u t u r e r e s e a r c h d i r e c t i o n s i n x 5 .

2 . L o a d B a l a n c i n g I s s u e s a n d O b j e c t i v e s . T h e u l t i m a t e g o a l o f a n y l o a d

b a l a n c i n g s c h e m e , s t a t i c o r d y n a m i c , i s t o i m p r o v e t h e p e r f o r m a n c e o f a p a r a l l e l

a p p l i c a t i o n c o d e . T o a c h i e v e t h i s o b j e c t i v e , p a r t i t i o n e r s s p e c i f y h o w t h e o b j e c t s c o m -

p r i s i n g a c o m p u t a t i o n a r e d i v i d e d a m o n g p r o c e s s o r s . O b j e c t s c a n b e m e s h p o i n t s o r

e l e m e n t s , a t o m s , s m o o t h e d p a r t i c l e s , m a t r i x e l e m e n t s o r a n y o t h e r e n t i t y t h a t t h e a p -

p l i c a t i o n t r e a t s a s i n d i v i s i b l e . F o r m o s t a p p l i c a t i o n s i n m e c h a n i c s , t h e n a t u r a l o b j e c t s

a r e c o m p o n e n t s o f a c o m p u t a t i o n a l m e s h o r s o m e s o r t o f p a r t i c l e . A l o a d b a l a n c e r

w i l l d e t e r m i n e h o w t o a s s i g n t h e s e o b j e c t s t o p r o c e s s o r s t o e n a b l e e c i e n t p a r a l l e l

c o m p u t a t i o n . I n g e n e r a l , a p a r a l l e l c o d e w i l l p e r f o r m w e l l i f t h i s a s s i g n m e n t o f o b j e c t s

h a s t h e f o l l o w i n g t w o p r o p e r t i e s .


3/20

D y n a m i c L o a d B a l a n c i n g 3

A . T h e c o m p u t a t i o n a l w o r k i s w e l l b a l a n c e d a c r o s s p r o c e s s o r s .

B . T h e t i m e s p e n t p e r f o r m i n g i n t e r p r o c e s s o r c o m m u n i c a t i o n i s s m a l l .

T o s a t i s f y t h e s e p r o p e r t i e s , s e v e r a l q u e s t i o n s m u s t r s t b e a d d r e s s e d .

W h a t w o r k n e e d s t o b e b a l a n c e d ? M o s t r e a l a p p l i c a t i o n s h a v e s e v e r a l t i m e

c o n s u m i n g s e c t i o n s o f c o d e ( o r p h a s e s ) s u c h a s c o n s t r u c t i n g a m a t r i x a n d s o l v -

i n g t h e r e s u l t i n g l i n e a r s y s t e m , o r c o m p u t i n g f o r c e s a n d i n t e g r a t i n g f o r w a r d

i n t i m e , o r f o r t r a n s i e n t d y n a m i c s t h e f o r c e c a l c u l a t i o n , t i m e i n t e g r a t i o n a n d

c o n t a c t d e t e c t i o n . M u l t i p h y s i c s s i m u l a t i o n s c a n h a v e a n e v e n l a r g e r n u m b e r

o f c o m p u t a t i o n a l p h a s e s . U n f o r t u n a t e l y , a g o o d d i v i s i o n o f o b j e c t s f o r o n e

p h a s e m a y b e p o o r f o r a n o t h e r . T h i s p r o b l e m c a n b e h a n d l e d i n o n e o f t h r e e

w a y s . F i r s t , t h e l o a d b a l a n c e r c a n f o c u s o n t h e m o s t t i m e c o n s u m i n g p h a s e .

S e c o n d , t h e l o a d b a l a n c e r c a n t r y t o b a l a n c e a n a g g r e g a t e m o d e l o f w o r k ,

a l l o w i n g n o n - o p t i m a l p e r f o r m a n c e i n e a c h p h a s e . O r t h i r d , e a c h p h a s e c a n

b e i n d e p e n d e n t l y l o a d b a l a n c e d . T h e r i g h t a p p r o a c h w i l l d e p e n d u p o n t h e

a p p l i c a t i o n .

H o w i s w o r k l o a d m e a s u r e d ? A s i m p l e a p p r o a c h i s t o c o u n t t h e n u m b e r o f

o b j e c t s a s s i g n e d t o e a c h p r o c e s s o r . B u t i f o b j e c t s h a v e v a r y i n g c o m p u t a t i o n a l

c o s t s , t h e n m o r e r e n e d e s t i m a t e s a r e n e e d e d . E x a m p l e s i n c l u d e t h e n u m b e r

o f m a t r i x e l e m e n t s a s s o c i a t e d w i t h a m e s h o b j e c t , t h e n u m b e r o f i n t e r a c t i o n s

a p a r t i c l e p a r t i c i p a t e s i n , o r t h e n u m b e r o f d e g r e e s o f f r e e d o m f o r a p - r e n e d

n i t e e l e m e n t . A s t a t i c l o a d b a l a n c e r i s f o r c e d t o u s e s o m e s u c h m o d e l o f

w o r k l o a d , b u t a d y n a m i c l o a d b a l a n c e r c a n u s e a c t u a l m e a s u r e m e n t s o f r u n -

t i m e .

W h a t d e t e r m i n e s t h e c o s t o f i n t e r p r o c e s s o r c o m m u n i c a t i o n ? O n m o s t p a r a l l e l

m a c h i n e s , t h e c o m m u n i c a t i o n c o s t g r o w s w i t h m e s s a g e v o l u m e a n d w i t h t h e

n u m b e r o f m e s s a g e s . B u t i s i t m o r e i m p o r t a n t t o m i n i m i z e t h e s u m o f t h e s e ,

o r t h e m a x i m u m a m o n g a l l p r o c e s s o r s ? H o w i m p o r t a n t i s m e s s a g e c o n g e s t i o n

o r c o m p e t i t i o n f o r w i r e s ? I s i t w o r t h w h i l e t o a l l o w s o m e l o a d i m b a l a n c e i f i t

r e d u c e s t h e c o m m u n i c a t i o n c o s t ? T h e a n s w e r s t o t h e s e k i n d s o f q u e s t i o n s a r e

h i g h l y s p e c i c t o t h e p a r a l l e l m a c h i n e a n d t h e a p p l i c a t i o n , b u t l o a d b a l a n c e r s

m u s t h a v e s o m e m o d e l o f c o m m u n i c a t i o n c o s t .

T h e s e i s s u e s a r e r e l e v a n t t o b o t h s t a t i c a n d d y n a m i c l o a d b a l a n c i n g . B u t t h e

d y n a m i c l o a d b a l a n c i n g p r o b l e m h a s s o m e a d d i t i o n a l r e q u i r e m e n t s . I n t h e s t a t i c

c a s e , t h e d e c o m p o s i t i o n o f t h e p r o b l e m c a n b e p e r f o r m e d b y a s t a n d - a l o n e c o d e o n a

s e q u e n t i a l m a c h i n e . B u t a d y n a m i c l o a d b a l a n c e r h a s t o r u n o n a p a r a l l e l m a c h i n e ,

a n d m u s t b e i n v o k e d b y t h e a p p l i c a t i o n c o d e . A n y m e m o r y o r t i m e c o n s u m e d b y t h e

l o a d b a l a n c e r i s l o s t t o t h e a p p l i c a t i o n . T h u s , a d y n a m i c l o a d b a l a n c e r m u s t s a t i s f y

a l a r g e r l i s t o f r e q u i r e m e n t s t h a n a s t a t i c o n e . I n a d d i t i o n t o p r o p e r t i e s ( A ) a n d ( B )

a b o v e , a d y n a m i c l o a d b a l a n c e r s h o u l d s t r i v e t o a c h i e v e t h e f o l l o w i n g .

C . I t s h o u l d r u n f a s t i n p a r a l l e l .

D . M e m o r y u s a g e s h o u l d b e m o d e s t .

A n o t h e r k e y d i e r e n c e i s t h a t i n t h e d y n a m i c s i t u a t i o n t h e o b j e c t s a r e a l r e a d y

a s s i g n e d t o p r o c e s s o r s . W h e n t h e l o a d b a l a n c e r s u g g e s t s a n e w a s s i g n m e n t , s o m e

o b j e c t s m u s t b e m o v e d t o n e w p r o c e s s o r s . T h e t i m e s p e n t m o v i n g o b j e c t s c a n b e

v e r y s i g n i c a n t , s o i t i s i m p o r t a n t t o h a v e t h e n e w p a r t i t i o n b e a n i n c r e m e n t a l m o d i -

c a t i o n t o t h e e x i s t i n g o n e . O n c e t h e o b j e c t s h a v e b e e n m o v e d , d a t a s t r u c t u r e s m u s t

b e u p d a t e d . T h e m o d i e d d a t a s t r u c t u r e s i n c l u d e t h o s e d e s c r i b i n g t h e o b j e c t s o w n e d

b y a p r o c e s s o r a n d a l s o t h o s e d e p i c t i n g t h e c o m m u n i c a t i o n p a t t e r n s f o r t h e a p p l i c a -

t i o n . T h e s e c o n s i d e r a t i o n s s u g g e s t t w o m o r e d e s i r a b l e p r o p e r t i e s f o r a d y n a m i c l o a d


4/20


b a l a n c e r .

E . A s m a l l c h a n g e i n t h e p r o b l e m s h o u l d i n d u c e o n l y a s m a l l c h a n g e i n t h e

d e c o m p o s i t i o n . A l g o r i t h m s t h a t h a v e t h i s p r o p e r t y w i l l b e c a l l e d i n c r e m e n t a l .

F . I t s h o u l d b e e a s y t o d e t e r m i n e t h e n e w c o m m u n i c a t i o n p a t t e r n . F o r e x a m p l e ,

s i m p l e g e o m e t r i c r e g i o n s m a y b e b e t t e r t h a n c o m p l e x o n e s .

T h e n e e d f o r i n c r e m e n t a l i t y m a k e s m o s t s t a t i c l o a d b a l a n c i n g a l g o r i t h m s i n a p p r o -

p r i a t e f o r t h e d y n a m i c p r o b l e m . A l g o r i t h m s c a n b e e x p l i c i t l y i n c r e m e n t a l b y s p e c i f -

i c a l l y s t r i v i n g t o l i m i t d a t a m o v e m e n t . O r , t h e y c a n b e i m p l i c i t l y i n c r e m e n t a l b y

a c h i e v i n g t h i s p r o p e r t y a u t o m a t i c a l l y . S e v e r a l o f t h e g e o m e t r i c a l a l g o r i t h m s d i s c u s s e d

i n x 3 . 2 a n d x 3 . 3 a r e i m p l i c i t l y i n c r e m e n t a l .

D u r i n g a s i m u l a t i o n , t h e s e t o f o b j e c t s c a n c h a n g e i n s e v e r a l w a y s . T h e r s t p o s -

s i b i l i t y i s f o r n e w o b j e c t s t o b e c r e a t e d a n d e x i s t i n g o n e s t o d i s a p p e a r . I f t h e o b j e c t s

a r e g r i d p o i n t s i n a d a p t i v e m e s h r e n e m e n t , t h i s t y p e o f t r a n s i t i o n i s o b s e r v e d . A s e c -

o n d p o s s i b i l i t y i s t h a t t h e s e t o f o b j e c t s r e m a i n s u n c h a n g e d , b u t t h e w o r k a s s o c i a t e d

w i t h e a c h o b j e c t v a r i e s o v e r t i m e . T h i s k i n d o f b e h a v i o r o c c u r s i n A M R i f t h e o b j e c t s

a r e e l e m e n t s w e i g h t e d b y t h e i r p o l y n o m i a l d e g r e e o r n u m b e r o f c h i l d e l e m e n t s . A

t h i r d p o s s i b i l i t y i s t h a t i n t e r a c t i o n s b e t w e e n o b j e c t s a p p e a r a n d d i s a p p e a r . O b j e c t s

r e p r e s e n t i n g m o v i n g p a r t i c l e s t y p i c a l l y h a v e t h i s p r o p e r t y . D i e r e n t l o a d b a l a n c i n g

a l g o r i t h m s v a r y i n t h e i r c a p a c i t y f o r h a n d l i n g t h e s e d i e r e n t k i n d s o f c h a n g e s .

S i n c e t h e d y n a m i c l o a d b a l a n c e r i s c a l l e d a s a s u b r o u t i n e , i t s i n t e r f a c e s h o u l d

b e c a r e f u l l y d e s i g n e d . T h i s d e s i g n i n c l u d e s t h e m u n d a n e q u e s t i o n o f t h e a r g u m e n t

l i s t s , b u t a d e e p e r i s s u e i s h o w w e l l t h e a b s t r a c t i o n i n t h e t o o l r e e c t s t h e n e e d s o f

t h e a p p l i c a t i o n . O n e a s p e c t o f t h i s p r o b l e m r e l a t e s t o d a t a s t r u c t u r e s . I f t h e t o o l

r e q u i r e s a d a t a s t r u c t u r e t h a t i s n ' t n a t i v e t o t h e a p p l i c a t i o n , t h e s t r u c t u r e m u s t b e

c r e a t e d . T h i s c o n s t r u c t i o n t a k e s t i m e , m e m o r y a n d a d d i t i o n a l s o f t w a r e d e v e l o p m e n t .

A l t h o u g h g e n e r a l l y n o t c o n s i d e r e d a s p a r t o f t h e l o a d b a l a n c i n g p r o b l e m , t h i s o v e r h e a d

i s a s i g n i c a n t d e t e r r e n t t o u s i n g n e w t o o l s . W e f e e l t h a t o b j e c t - o r i e n t e d s o f t w a r e

t e c h n i q u e s c a n p l a y a s i g n i c a n t r o l e i n a d d r e s s i n g s o m e o f t h e s e p r o b l e m s . W e w i l l

d i s c u s s t h e s e i s s u e s f u r t h e r i n x 4 , b u t f o r n o w w e s i m p l y a d d o n e m o r e p r o p e r t y t o

o u r l i s t .

G . T h e t o o l s h o u l d b e e a s y t o u s e .

3 . A l g o r i t h m s f o r D y n a m i c L o a d B a l a n c i n g . I n t h i s s e c t i o n , w e d e s c r i b e

t h e m a j o r c l a s s e s o f d y n a m i c l o a d b a l a n c i n g a l g o r i t h m s a n d c r i t i c a l l y e v a l u a t e t h e m

u s i n g t h e c r i t e r i a d i s c u s s e d i n x 2 . I n x 3 . 1 w e i n t r o d u c e m a s t e r / s l a v e t e c h n i q u e s , w h i c h

a r e p o w e r f u l w h e n a p p r o p r i a t e , b u t a r e o n l y s u i t a b l e t o a s m a l l m i n o r i t y o f s c i e n t i c

c o m p u t i n g a p p l i c a t i o n s .

M o s t d y n a m i c l o a d b a l a n c i n g a l g o r i t h m s c a n p l a c e d i n o n e o f t w o g e n e r a l c l a s s e s :

g e o m e t r i c a n d t o p o l o g i c a l . G e o m e t r i c m e t h o d s d i v i d e t h e c o m p u t a t i o n a l d o m a i n b y

e x p l o i t i n g t h e l o c a t i o n o f t h e o b j e c t s i n t h e s i m u l a t i o n . N o t s u r p r i s i n g l y , g e o m e t r i c

m e t h o d s a r e w e l l s u i t e d t o p r o b l e m s i n w h i c h i n t e r a c t i o n s a r e i n h e r e n t l y g e o m e t r i c

l i k e p a r t i c l e s i m u l a t i o n s o r c o n t a c t d e t e c t i o n . B u t g e o m e t r i c m e t h o d s c a n a l s o b e

a p p l i e d t o d i v i d e m e s h e s , w h e r e n e a r n e s s i s a n a p p r o x i m a t i o n t o c o n n e c t i v i t y . W e

d i s c u s s t h e t w o m a j o r k i n d s o f g e o m e t r i c p a r t i t i o n e r s i n x 3 . 2 a n d x 3 . 3 .

T o p o l o g i c a l m e t h o d s w o r k w i t h t h e c o n n e c t i v i t y o f i n t e r a c t i o n s i n s t e a d o f w i t h

g e o m e t r i c c o o r d i n a t e s . T h e c o n n e c t i v i t y i s g e n e r a l l y d e s c r i b e d a s a g r a p h . T h e s e

m e t h o d s a r e b e s t s u i t e d t o p a r t i t i o n i n g c o m p u t a t i o n a l m e s h e s , w h e r e t h e c o n n e c t i v i t y

i s i m p l i c i t i n t h e m e s h , b u t t h e y c a n a l s o b e a p p l i e d t o p a r t i c l e s y s t e m s . T o p o l o g i c a l

m e t h o d s c a n l e a d t o b e t t e r p a r t i t i o n s t h a n g e o m e t r i c a l g o r i t h m s , b u t a r e u s u a l l y m o r e

e x p e n s i v e . W e d e s c r i b e t w o c l a s s e s o f t o p o l o g i c a l a p p r o a c h e s i n x 3 . 4 a n d x 3 . 5 . I n x 3 . 6


5/20


w e p r e s e n t s o m e h y b r i d a l g o r i t h m s t h a t c a n c o m b i n e f e a t u r e s o f b o t h g e o m e t r i c a n d

t o p o l o g i c a l m e t h o d s .

3 . 1 . M a s t e r / S l a v e . T h e m a s t e r / s l a v e a p p r o a c h i s a v e r y s i m p l e p a r a l l e l c o m -

p u t i n g p a r a d i g m . A t i t s m o s t b a s i c , o n e p r o c e s s o r , t h e m a s t e r , m a i n t a i n s a p o o l o f

t a s k s w h i c h i t d o l e s o u t t o t h e r e m a i n i n g s l a v e p r o c e s s o r s . S l a v e s p e r f o r m a c o m p u t a -

t i o n a n d t h e n a s k t h e m a s t e r f o r m o r e w o r k . T h i s i s a v e r y e x i b l e m o d e l , a n d m a n y

v a r i a t i o n s a r e p o s s i b l e i n c l u d i n g m u l t i p l e m a s t e r s , a h i e r a r c h y o f s l a v e s a n d v a r i a t i o n

i n t h e u n i t s o f w o r k 1 6 , 4 4 ] .

T h e m a s t e r / s l a v e a p p r o a c h h a s s o m e a t t r a c t i v e f e a t u r e s t h a t m a k e i t w e l l s u i t e d

f o r m a n y c o m p u t a t i o n a l p r o b l e m s . I t i s q u i t e s i m p l e t o i m p l e m e n t . I t t r a n s p a r e n t l y

h a n d l e s w i d e v a r i a t i o n i n t h e c o s t o f i n d i v i d u a l t a s k s , a n d e v e n w o r k s o n h e t e r o g e n e o u s

n e t w o r k s o f w o r k s t a t i o n s . U n f o r t u n a t e l y , i t i s n o t a g o o d m a t c h f o r m o s t p r o b l e m s i n

s c i e n t i c c o m p u t i n g . M a s t e r / s l a v e a p p r o a c h e s a r e o n l y a p p r o p r i a t e i f t h e t a s k s c a n

b e p e r f o r m e d i n d e p e n d e n t l y a n d a s y n c h r o n o u s l y b y a s i n g l e p r o c e s s o r . F u r t h e r m o r e ,

i t m u s t b e p o s s i b l e t o d e s c r i b e a t a s k w i t h a s m a l l a m o u n t o f i n f o r m a t i o n s o t h a t t h e

m e s s a g e s b e t w e e n m a s t e r a n d s l a v e a r e s m a l l . T h e s e a s s u m p t i o n s a r e n o t s a t i s e d

b y m o s t s c i e n t i c c o m p u t a t i o n s . B u t w h e n t h e y a r e , m a s t e r / s l a v e a p p r o a c h e s a r e

h i g h l y e e c t i v e . E x a m p l e s i n c l u d e M o n t e C a r l o c a l c u l a t i o n s 1 ] , r a y t r a c i n g 2 1 ] ,

v i s u a l i z a t i o n 5 1 ] , a n d p a r a m e t e r s t u d i e s i n w h i c h a s e q u e n t i a l c o d e n e e d s t o b e r u n

r e p e a t e d l y w i t h d i e r e n t i n p u t s 1 5 ] .

3 . 2 . S i m p l e G e o m e t r i c . M o s t m e c h a n i c s c a l c u l a t i o n s h a v e a n u n d e r l y i n g g e -

o m e t r y . A n d f o r m a n y p h y s i c a l s i m u l a t i o n s , o b j e c t s ( e . g . , m e s h p o i n t s , p a r t i c l e s , e t c . )

i n t e r a c t o n l y i f t h e y a r e g e o m e t r i c a l l y n e a r e a c h o t h e r . T h e s e p r o p e r t i e s e n a b l e t h e

u s e o f g e o m e t r i c m e t h o d s t o d i v i d e t h e w o r k a m o n g p r o c e s s o r s . H e r e w e r e v i e w s o m e

s i m p l e b u t e e c t i v e g e o m e t r i c p a r t i t i o n e r s . A d i e r e n t c l a s s o f m e t h o d s t h a t a l s o

r e l i e s o n g e o m e t r y i s d e s c r i b e d i n x 3 . 3 .

C o n s i d e r t h e p r o b l e m o f d i v i d i n g a m e s h i n t o t w o p i e c e s . A s i m p l e w a y t o d o t h i s

i s t o s l i c e t h e m e s h w i t h a l i n e ( i n 2 D ) o r a p l a n e ( i n 3 D ) . L e t a l l t h e m e s h p o i n t s

o r e l e m e n t s o n o n e s i d e o f t h e p l a n e c o m p r i s e t h e r s t p a r t i t i o n a n d t h o s e o n t h e

o t h e r s i d e c o m p r i s e t h e s e c o n d . D e p e n d i n g o n w h e r e t h e c u t i s m a d e , p a r t i t i o n s o f

v a r y i n g s i z e s c a n b e c r e a t e d . W h e n p e r f o r m i n g a c o m p u t a t i o n , c o m m u n i c a t i o n w i l l

b e r e q u i r e d f o r e a c h m e s h e l e m e n t w h i c h h a s a n e i g h b o r o n t h e o t h e r s i d e o f t h e p l a n e ,

s o i d e a l l y , t h e n u m b e r o f s u c h e l e m e n t s w i l l b e s m a l l . I n t u i t i v e l y , t h e u s e o f a l i n e

o r p l a n e t o c u t t h e m e s h s h o u l d h e l p k e e p t h e a m o u n t o f c o m m u n i c a t i o n s m a l l , a t

l e a s t f o r w e l l s h a p e d m e s h e s . T h i s i n t u i t i o n h a s b e e n p r o v e d c o r r e c t b y C a o , G i l b e r t

a n d T e n g 7 ] , a s l o n g a s t h e r a t i o b e t w e e n t h e s i z e s o f t h e l a r g e s t a n d s m a l l e s t m e s h

e l e m e n t s i s b o u n d e d .

S e v e r a l p a r t i t i o n i n g a l g o r i t h m s h a v e b e e n p r o p o s e d t h a t e x p l o i t t h i s i d e a o f r e -

c u r s i v e l y d i v i d i n g t h e d o m a i n u s i n g l i n e s o r p l a n e s . T h e s i m p l e s t s u c h m e t h o d i s

k n o w n a s R e c u r s i v e C o o r d i n a t e B i s e c t i o n ( R C B ) , a n d w a s r s t p r o p o s e d a s a s t a t i c

l o a d b a l a n c i n g a l g o r i t h m b y B e r g e r a n d B o k h a r i 5 ] . T h e n a m e o f t h e a l g o r i t h m i s

d u e t o t h e u s e o f c u t t i n g p l a n e s t h a t a r e o r t h o g o n a l t o o n e o f t h e c o o r d i n a t e a x e s .

T h e a l g o r i t h m t a k e s t h e g e o m e t r i c l o c a t i o n s o f a l l t h e o b j e c t s , d e t e r m i n e s i n w h i c h

c o o r d i n a t e d i r e c t i o n t h e s e t o f o b j e c t s i s m o s t e l o n g a t e d , a n d t h e n d i v i d e s t h e o b j e c t s

b y s p l i t t i n g b a s e d u p o n t h a t l o n g d i r e c t i o n . T h e t w o h a l v e s a r e t h e n f u r t h e r d i v i d e d

b y a p p l y i n g t h e s a m e a l g o r i t h m r e c u r s i v e l y .

A l t h o u g h t h i s a l g o r i t h m w a s r s t d e v i s e d t o c u t i n t o a n u m b e r o f s e t s w h i c h i s

a p o w e r o f t w o , t h e s e t s i z e s i n a p a r t i c u l a r c u t n e e d n ' t b e e q u a l . B y a d j u s t i n g t h e

p a r t i t i o n s i z e s a p p r o p r i a t e l y , a n y n u m b e r o f e q u a l l y - s i z e d s e t s c a n b e c r e a t e d .


6/20


T h i s f r e e d o m t o a d j u s t s e t s i z e s w a s e x p l o i t e d b y J o n e s a n d P l a s s m a n n 2 9 ] t o

i m p r o v e t h e b a s i c a l g o r i t h m i n t h e i r w o r k o n a d a p t i v e m e s h r e n e m e n t . T h e y c a l l t h e i r

a p p r o a c h U n b a l a n c e d R e c u r s i v e B i s e c t i o n , o r U R B . T h e b a s i c R C B a l g o r i t h m d i v i d e s

t h e s e t o f o b j e c t s i n t o h a l v e s , w i t h o u t p a y i n g a t t e n t i o n t o t h e g e o m e t r i c p r o p e r t i e s

o f t h e r e s u l t i n g s u b - r e g i o n s . I f t h e r e i s a l a r g e v a r i a t i o n i n o b j e c t d e n s i t y , o n e o f t h e

t w o s u b - r e g i o n s c o u l d h a v e a l a r g e a s p e c t r a t i o . S i n c e t h e c o m m u n i c a t i o n v o l u m e i s

r e l a t e d t o t h e s i z e o f t h e r e g i o n b o u n d a r y , l a r g e a s p e c t r a t i o s a r e u n d e s i r a b l e . U R B

a v o i d s l a r g e a s p e c t r a t i o s b y c o n s i d e r i n g g e o m e t r i c s h a p e a s i t c h o o s e s a c u t t i n g p l a n e .

I n s t e a d o f d i v i d i n g t h e o b j e c t s i n h a l f , i t t r i e s t o d i v i d e t h e g e o m e t r y i n h a l f u s i n g

t h e o b s e r v a t i o n t h a t , i f t h e s e t o f o b j e c t s i s t o b e d i v i d e d a m o n g q p r o c e s s o r s , i t i s

O K f o r t h i s c u t t o p r o d u c e s u b s e t s w i t h r e l a t i v e s i z e s 1 : ( q 1 ) , o r 2 : ( q 2 ) , o r . . . .

U R B s e l e c t s w h i c h e v e r r a t i o l e a d s t o t h e m o s t n e a r l y e q u a l d i v i s i o n o f t h e g e o m e t r y .

J o n e s a n d P l a s s m a n n r e p o r t t h a t t h i s l e a d s t o a m o d e s t r e d u c t i o n i n c o m m u n i c a t i o n

c o s t .

T h e k e y c o m p u t a t i o n a l s t e p i n t h e s e a l g o r i t h m s i s t h e d e t e r m i n a t i o n o f t h e p l a c e -

m e n t o f t h e c u t t i n g p l a n e . S a y , f o r e x a m p l e , w e h a v e c h o s e n t o d i v i d e i n t h e d i r e c t i o n

o r t h o g o n a l t o t h e x - a x i s . W e n o w n e e d t o n d a v a l u e x

0

s o t h a t a s p e c i e d f r a c t i o n

o f t h e o b j e c t s ' x - c o o r d i n a t e s a r e l a r g e r t h a n x

0

. W e a l s o n e e d t o s o l v e t h i s s e l e c t i o n

p r o b l e m i n p a r a l l e l . O n e o b v i o u s a p p r o a c h w o u l d b e t o s o r t a l l t h e x - c o o r d i n a t e v a l -

u e s , b u t t h i s i s u n n e c e s s a r i l y e x p e n s i v e . A b e t t e r m e t h o d i s t o g u e s s a v a l u e f o r x

0

,

c o u n t t h e n u m b e r o f o b j e c t s t o t h e l e f t a n d r i g h t , a n d u s e t h e r e s u l t t o m a k e a b e t t e r

g u e s s . T h e c o u n t i n g p r o c e s s i s p e r f o r m e d i n p a r a l l e l , a n d t h e r e s u l t s a r e s u m m e d v i a

a c o m m u n i c a t i o n o p e r a t i o n . T h e a p p r o a c h r u n s q u i t e q u i c k l y , a n d i s f a i r l y s i m p l e t o

i m p l e m e n t .

A n a l t e r n a t i v e a p p r o a c h w h i c h a l s o u s e s c u t t i n g p l a n e s i s t h e R e c u r s i v e I n e r t i a l

B i s e c t i o n ( R I B ) a l g o r i t h m d e s c r i b e d b y S i m o n 4 8 ] . T h i s a l g o r i t h m d o e s n ' t c o n n e

i t s c u t t i n g p l a n e s t o b e o r t h o g o n a l t o a n a x i s . I n s t e a d , i t t r i e s t o n d a n a t u r a l l y

l o n g d i r e c t i o n i n t h e o b j e c t d i s t r i b u t i o n a u t o m a t i c a l l y , u s i n g a m e c h a n i c a l p r i n c i p l e .

T h e o b j e c t s a r e t r e a t e d a s p o i n t m a s s e s , a n d t h e d i r e c t i o n o f p r i n c i p l e i n e r t i a l i s

i d e n t i e d . T h e c u t t i n g p l a n e i s t h e n c h o s e n t o b e o r t h o g o n a l t o t h i s d i r e c t i o n . T h e

i n e r t i a l d i r e c t i o n c a n b e f o u n d b y c o m p u t i n g e i g e n v e c t o r s o f a 3 3 m a t r i x , b u t t h e

m a t r i x c o n s t r u c t i o n r e q u i r e s s u m m a t i o n o f c o n t r i b u t i o n s f r o m a l l t h e o b j e c t s . T h u s ,

t h i s a l g o r i t h m i s s o m e w h a t m o r e e x p e n s i v e t h a n t h o s e t h a t u s e c o o r d i n a t e d i r e c t i o n s ,

b u t i t g e n e r a l l y p r o d u c e s s l i g h t l y b e t t e r p a r t i t i o n s .

T h e q u a l i t y o f p a r t i t i o n s g e n e r a t e d b y t h e s e c u t t i n g p l a n e a l g o r i t h m s a r e g e n e r -

a l l y m u c h p o o r e r t h a n t h o s e p r o d u c e d b y s o m e o f t h e g r a p h p a r t i t i o n i n g a l g o r i t h m s

d i s c u s s e d i n x 3 . 5 . H o w e v e r , t h e i r s i m p l i c i t y a n d s p e e d a r e a p p e a l i n g . A l s o , f o r m e s h -

l e s s p r o b l e m s w h i c h l a c k a s t a t i c c o n n e c t i v i t y , t h e g r a p h t o p a r t i t i o n c a n b e d i c u l t

o r e x p e n s i v e t o c o n s t r u c t , s o g e o m e t r i c m e t h o d s a r e p r e f e r a b l e . A l t h o u g h R C B a n d

U R B g e n e r a l l y p r o d u c e s l i g h t l y w o r s e p a r t i t i o n s , t h e y h a v e t w o c o m p e l l i n g a d v a n -

t a g e s r e l a t i v e t o R I B . F i r s t , w i t h R C B a n d U R B t h e g e o m e t r i c r e g i o n s o w n e d b y a

p r o c e s s o r a r e s i m p l e r e c t a n g u l a r p a r a l l e l e p i p e d s . T h i s g e o m e t r i c s i m p l i c i t y c a n b e

v e r y u s e f u l . F o r i n s t a n c e , i n 4 2 ] i t i s u s e d t o s p e e d u p t h e d e t e r m i n a t i o n o f w h i c h

p r o c e s s o r s ' r e g i o n s i n t e r s e c t a n e x t e n d e d o b j e c t .

S e c o n d , a n d m o r e u n i v e r s a l l y , R C B a n d U R B p a r t i t i o n s a r e i n c r e m e n t a l . I f t h e

o b j e c t s m o v e a s m a l l a m o u n t , t h e n t h e c u t t i n g p l a n e s w i l l o n l y c h a n g e s l i g h t l y a n d

t h e n e w p a r t i t i o n w i l l b e v e r y s i m i l a r t o t h e p r e v i o u s o n e . T h i s i s n o t t r u e o f R I B

p a r t i t i o n s s i n c e t h e d i r e c t i o n o f t h e i n e r t i a l a x e s i s m o r e s e n s i t i v e t o p e r t u r b a t i o n s .

T h i s m i x t u r e o f s i m p l i c i t y , s p e e d a n d i n c r e m e n t a l i t y m a k e R C B a n d U R B v e r y


7/20


a t t r a c t i v e a l g o r i t h m s f o r d y n a m i c l o a d b a l a n c i n g . I n a d d i t i o n t o t h e a d a p t i v e m e s h

r e n e m e n t a p p l i c a t i o n s m e n t i o n e d a b o v e , t h e y h a v e b e e n a p p l i e d w i t h s u c c e s s t o t h e

c o n t a c t d e t e c t i o n p r o b l e m 4 2 ] a n d p a r t i c l e s i m u l a t i o n s 5 0 , 4 2 ] . T h e s h o r t c o m i n g s o f

t h e s e a l g o r i t h m s a r e t h e m e d i o c r e p a r t i t i o n q u a l i t y a n d t h e l i m i t a t i o n t o a p p l i c a t i o n s

w h i c h p o s s e s s g e o m e t r i c l o c a l i t y .

A m o r e s o p h i s t i c a t e d p a r t i t i o n i n g a p p r o a c h d e v e l o p e d b y M i l l e r , T e n g a n d V a v a s i s

u s e s c i r c l e s o r s p h e r e s i n s t e a d o f p l a n e s t o d i v i d e t h e g e o m e t r y 3 5 ] . T h e i n t e r i o r

o f t h e s p h e r e i s o n e p a r t i t i o n w h i l e t h e e x t e r i o r i s t h e o t h e r . T h i s a l g o r i t h m h a s

v e r y a t t r a c t i v e t h e o r e t i c a l p r o p e r t i e s { i t c o m e s w i t h i n a c o n s t a n t f a c t o r o f t h e b e s t

p o s s i b l e b o u n d f o r a l l w e l l - s h a p e d m e s h e s . U n l i k e t h e r e s u l t f o r c u t t i n g w i t h p l a n e s ,

t h i s p r o o f d o e s n o t r e q u i r e a n y a d d i t i o n a l c o n s t r a i n t s o n t h e s i z e s o f m e s h e l e m e n t s .

E x p e r i m e n t s b y G i l b e r t , M i l l e r a n d T e n g 2 8 ] s h o w t h a t t h i s a p p r o a c h c a n g e n e r a t e

p a r t i t i o n s o f q u a l i t y c o m p a r a b l e t o t h o s e p r o d u c e d b y g r a p h p a r t i t i o n i n g a l g o r i t h m s .

H o w e v e r , t h i s a l g o r i t h m i s c o n s i d e r a b l y m o r e c o m p l e x a n d e x p e n s i v e t h a n t h e s i m p l e

a p p r o a c h e s t h a t u s e c u t t i n g p l a n e s . A l t h o u g h t h i s a l g o r i t h m h a s n o t y e t b e e n a p p l i e d

t o t h e d y n a m i c p a r t i t i o n i n g p r o b l e m , w e f e e l i t d e s e r v e s c o n s i d e r a t i o n . I t w o u l d b e

e a s i e r t o p a r a l l e l i z e t h a n t h e m o r e s o p h i s t i c a t e d g r a p h p a r t i t i o n i n g a l g o r i t h m s . A n d

i n c r e m e n t a l i t y c a n b e e n f o r c e d b y n o t a l l o w i n g t h e c e n t e r s o f t h e c u t t i n g s p h e r e s t o

m o v e ( a l t h o u g h t h i s r e s t r i c t i o n m i g h t i n v a l i d a t e t h e t h e o r e t i c a l a n a l y s i s ) .

3 . 3 . O c t r e e s a n d S p a c e F i l l i n g C u r v e s . A v e r y d i e r e n t t y p e o f g e o m e t r i c

p a r t i t i o n i n g a p p r o a c h i s b a s e d u p o n a n e - g r a i n e d d i v i s i o n o f t h e g e o m e t r y . T h e s m a l l

p i e c e s a r e t h e n c o m b i n e d t o f o r m t h e r e g i o n o w n e d b y a p r o c e s s o r . T h e n e - g r a i n e d

s p a t i a l d i v i s i o n i s p e r f o r m e d b y s i m u l t a n e o u s l y d i v i d i n g e a c h o f t h e c o o r d i n a t e a x e s

i n h a l f . T h i s p r o d u c e s f o u r s u b r e g i o n s i n 2 D a n d e i g h t s u b r e g i o n s i n 3 D . N o t e t h a t

u n l i k e t h e c u t t i n g p l a n e a l g o r i t h m s d i s c u s s e d i n x 3 . 2 , t h i s d i v i s i o n i s e n t i r e l y g e o m e t r i c

a n d t a k e s n o a c c o u n t o f t h e l o c a t i o n s o f o b j e c t s . E a c h o f t h e s e s u b r e g i o n s i s d i v i d e d

f u r t h e r i f i t c o n t a i n s m u l t i p l e o b j e c t s . A s i m p l e d a t a s t r u c t u r e k n o w n a s a n o c t r e e ( o r

q u a d t r e e i n t w o d i m e n s i o n s ) k e e p s t r a c k o f t h e r e l a t i o n s h i p s b e t w e e n t h e s e g e o m e t r i c

r e g i o n s . T h e r o o t o f t h e o c t r e e r e p r e s e n t s t h e e n t i r e g e o m e t r y . W h e n a g e o m e t r i c

r e g i o n i s d i v i d e d , e a c h o f t h e e i g h t o c t a n t s b e c o m e s a c h i l d o f t h e v e r t e x r e p r e s e n t i n g

t h e r e g i o n . T h i s d a t a s t r u c t u r e i s w i d e l y u s e d f o r m e s h g e n e r a t i o n a n d a d a p t i v e m e s h

r e n e m e n t 2 , 1 1 , 3 6 , 4 7 ] .

O c t r e e s c a n a l s o b e u s e d f o r p a r t i t i o n i n g . A t r a v e r s a l o f t h e t r e e d e n e s a g l o b a l

o r d e r i n g o n t h e t r e e l e a v e s , w h i c h c o r r e s p o n d t o i n d i v i d u a l o b j e c t s . T h i s o r d e r e d l i s t

c a n t h e n b e s l i c e d t o g e n e r a t e a n y n u m b e r o f p a r t i t i o n s . T h i s b a s i c a l g o r i t h m i s c a l l e d

O c t r e e P a r t i t i o n i n g 1 0 , 1 9 ] , o r S p a c e - F i l l i n g C u r v e ( S F C ) P a r t i t i o n i n g . T h i s a p p r o a c h

w a s r s t u s e d b y W a r r e n a n d S a l m o n f o r g r a v i t a t i o n a l s i m u l a t i o n s 5 7 ] . P a t r a a n d

O d e n w e r e t h e r s t t o a p p l y i t t o a d a p t i v e m e s h r e n e m e n t 3 8 , 4 0 ] . P i l k i n g t o n a n d

B a d e n u s e d t h i s a p p r o a c h f o r s m o o t h e d p a r t i c l e h y d r o d y n a m i c s a n d r e p o r t e d r e s u l t s

s i m i l a r t o u s i n g R e c u r s i v e C o o r d i n a t e B i s e c t i o n 4 1 ] .

F o r a p p l i c a t i o n s t h a t d o n ' t a l r e a d y h a v e a n o c t r e e , a b i n n i n g a l g o r i t h m b a s e d o n

c o o r d i n a t e i n f o r m a t i o n c a n b e u s e d t o b u i l d a n o c t r e e f o r t h e l o a d b a l a n c e r . E a c h

p r o c e s s o r s t o r e s a p a r t o f t h e g l o b a l o c t r e e . T w o p a s s e s t h r o u g h t h e l o c a l o c t r e e s

a r e n e e d e d . T h e r s t p a s s s u m s i n t o e a c h n o d e o f t h e o c t r e e s t h e a m o u n t o f w o r k

c o n t a i n e d i n t h e n o d e a n d i t s s u b t r e e s . A p a r a l l e l p r e x o p e r a t i o n i s p e r f o r m e d o n

t h e p r o c e s s o r w o r k l o a d s t o o b t a i n a c o s t s t r u c t u r e f o r t h e s e t o f a l l p r o c e s s o r s . T h u s ,

t h e t o t a l c o s t a n d o p t i m a l c o s t p e r p a r t i t i o n a r e k n o w n t o a l l p r o c e s s o r s . A p a r t i a l

d e p t h - r s t s e a r c h o f t h e o c t r e e s t h e n u s e s t h e c o s t i n f o r m a t i o n t o d e t e r m i n e w h i c h

p r o c e s s o r s h o u l d o w n t h e s u b t r e e s i n t h e n e w d e c o m p o s i t i o n . A n e n t i r e s u b t r e e i s


8/20


a d d e d t o a p a r t i t i o n i f i t s c o s t s d o n o t e x c e e d t h e o p t i m a l p a r t i t i o n s i z e ; o t h e r w i s e ,

t h e t r a v e r s a l r e c u r s i v e l y d e s c e n d s t h e t r e e a n d e v a l u a t e s e a c h c h i l d n o d e .

T h e p a r t i t i o n s p r o d u c e d b y S F C a r e s l i g h t l y w o r s e t h a n t h o s e p r o d u c e d b y t h e

s i m p l e g e o m e t r i c a l g o r i t h m s d i s c u s s e d i n x 3 . 2 1 9 ] . T h i s i s b e c a u s e t h e g e o m e t r i c r e -

g i o n a s s i g n e d t o a p r o c e s s o r i s n o t a s i m p l e b o x , b u t r a t h e r a u n i o n o f b o x e s w h i c h

i n c r e a s e s t h e b o u n d a r y s i z e . B u t S F C h a s s e v e r a l n i c e p r o p e r t i e s . I t i s f a s t ; F l a h e r t y

a n d L o y r e p o r t i t t o b e f a s t e r t h a n R e c u r s i v e I n e r t i a l B i s e c t i o n 1 9 ] , a n d P i l k i n g t o n

a n d B a d e n o b s e r v e i t t o b e c o m p a r a b l e i n r u n t i m e t o R e c u r s i v e C o o r d i n a t e B i s e c -

t i o n 4 1 ] . I t i s a l s o i n c r e m e n t a l . I n t h e c o m p a r i s o n s o f F l a h e r t y a n d L o y , i t r e q u i r e s

l e s s d a t a m i g r a t i o n t h a n R I B ( b u t r e c a l l t h a t R I B i s n o t i n c r e m e n t a l ) .

A l t h o u g h t h e p a r t i t i o n s c a n b e g e n e r a t e d w i t h o u t e x p l i c i t l y s o r t i n g t h e v e r t i c e s ,

t h e g l o b a l o r d e r i n g i n d u c e d b y a s o r t c a n b e u s e f u l . T h e o r d e r i n g e x h i b i t s g e o m e t r i c

l o c a l i t y w h i c h c a n i m p r o v e c a c h e p e r f o r m a n c e i n t h e c o m p u t a t i o n . A g l o b a l n u m b e r -

i n g a l s o s i m p l i e s t o o l s w h i c h a u t o m a t e a t r a n s l a t i o n f r o m a g l o b a l n u m b e r i n g s c h e m e

t o a p e r - p r o c e s s o r s c h e m e . T h i s c a n s i m p l i f y a p p l i c a t i o n d e v e l o p m e n t 1 7 , 3 9 ] .

T o s u m m a r i z e , t h e r u n t i m e a n d q u a l i t y o f S p a c e F i l l i n g C u r v e P a r t i t i o n i n g a r e

r o u g h l y c o m p a r a b l e t o t h e s i m p l e g e o m e t r i c a p p r o a c h e s d e s c r i b e d e a r l i e r . S F C i s

p e r h a p s a b i t f a s t e r , b u t a b i t l o w e r q u a l i t y . I t i s m o r e c o m p l e x t o u n d e r s t a n d a n d t o

i m p l e m e n t t h a n s i m p l e g e o m e t r i c a l g o r i t h m s , b u t s i m p l e r t h a n t h e g r a p h p a r t i t i o n i n g

a p p r o a c h e s d i s c u s s e d i n x 3 . 5 . I n o u r o p i n i o n , a s a d y n a m i c l o a d b a l a n c i n g t o o l , S F C

h a s l i t t l e a d v a n t a g e o v e r t h e s i m p l e r R e c u r s i v e C o o r d i n a t e B i s e c t i o n . H o w e v e r , t h e

g l o b a l n u m b e r i n g i t e n a b l e s c a n s i m p l i f y s o m e o t h e r a s p e c t s o f c o d e d e v e l o p m e n t a n d

p e r f o r m a n c e t u n i n g .

3 . 4 . L o c a l I m p r o v e m e n t . L o c a l l o a d - b a l a n c i n g m e t h o d s u s e m e a s u r e s o f w o r k

w i t h i n s m a l l s e t s , o r n e i g h b o r h o o d s , o f c l o s e l y - c o n n e c t e d p r o c e s s o r s t o i m p r o v e l o a d

b a l a n c e w i t h i n e a c h n e i g h b o r h o o d . T h e n e i g h b o r h o o d s a r e c h o s e n t o o v e r l a p , s o t h a t ,

o v e r s e v e r a l i t e r a t i o n s o f t h e l o c a l l o a d - b a l a n c i n g , w o r k c a n b e s p r e a d f r o m n e i g h b o r -

h o o d t o n e i g h b o r h o o d , a n d e v e n t u a l l y a c r o s s t h e g l o b a l p r o c e s s o r a r r a y . T o p o l o g i c a l

c o n n e c t i o n s o f t h e d a t a a r e u s e d t o s e l e c t o b j e c t s f o r m i g r a t i o n i n a w a y t h a t a t t e m p t s

t o m i n i m i z e c o m m u n i c a t i o n c o s t s f o r t h e a p p l i c a t i o n .

U n l i k e g l o b a l m e t h o d s , e a c h i t e r a t i o n o f a l o c a l m e t h o d i s u s u a l l y q u i t e f a s t a n d

i n e x p e n s i v e . B e c a u s e a l l o f t h e i n f o r m a t i o n a n d c o m m u n i c a t i o n i s p e r f o r m e d w i t h i n

s m a l l s e t s o f p r o c e s s o r s , t h e m e t h o d s s c a l e w e l l w i t h t h e n u m b e r o f p r o c e s s o r s . B y

d e s i g n , l o c a l m e t h o d s a r e i n c r e m e n t a l , a s t h e y m o v e o b j e c t s o n l y w i t h i n a s m a l l g r o u p

o f p r o c e s s o r s . M o r e o v e r , t h e y c a n b e i n v o k e d t o o n l y i m p r o v e l o a d b a l a n c e , r a t h e r

t h a n r e q u i r i n g t h a t a g l o b a l b a l a n c e b e r e a c h e d b e f o r e t e r m i n a t i o n . O n e i t e r a t i o n o f

a l o c a l m e t h o d c a n r e d u c e a s i n g l e h e a v i l y l o a d e d p r o c e s s o r ' s w o r k l o a d s i g n i c a n t l y .

S i n c e t h e t o t a l c o m p u t a t i o n t i m e i s d e t e r m i n e d b y t h e t i m e r e q u i r e d b y t h e m o s t

h e a v i l y l o a d e d p r o c e s s o r , a s m a l l n u m b e r o f i t e r a t i o n s m a y b e a l l t h a t i s n e e d e d t o

r e d u c e i m b a l a n c e t o a n a c c e p t a b l e l e v e l .

W h e n g l o b a l b a l a n c e i s d e s i r e d , h o w e v e r , m a n y i t e r a t i o n s o f a l o c a l m e t h o d m a y b e

r e q u i r e d t o s p r e a d w o r k f r o m a f e w h e a v i l y l o a d e d p r o c e s s o r s t o t h e o t h e r l e s s - l o a d e d

p r o c e s s o r s . T h e c o n v e r g e n c e r a t e t o g l o b a l b a l a n c e i s d e t e r m i n e d b y t h e p a r t i c u l a r

l o c a l a l g o r i t h m u s e d t o c o m p u t e t h e a m o u n t o f w o r k t o m i g r a t e . A n u m b e r o f m e t h o d s

w i l l b e d i s c u s s e d b e l o w . I n a d d i t i o n , s i n c e g l o b a l i n f o r m a t i o n i s n o t u s e d b y l o c a l

m e t h o d s , m a i n t a i n i n g h i g h p a r t i t i o n q u a l i t y i s m o r e d i c u l t w i t h l o c a l m e t h o d s .

L o c a l m e t h o d s t y p i c a l l y u s e s i m p l e h e u r i s t i c s t o d e t e r m i n e w h i c h o b j e c t s s h o u l d b e

m i g r a t e d . T h e s e h e u r i s t i c s a t t e m p t t o m i n i m i z e p a r a m e t e r s s u c h a s c u t e d g e s o r

d o m a i n i n t e r f a c e s i z e . A n u m b e r o f s e l e c t i o n s t r a t e g i e s w i l l b e d i s c u s s e d b e l o w .


9/20


I n g e n e r a l , l o c a l m e t h o d s a r e e x t r e m e l y e e c t i v e a t d e a l i n g w i t h s m a l l c h a n g e s

i n l o a d b a l a n c e , s u c h a s t h o s e c a u s e d b y l o c a l r e n e m e n t i n a d a p t i v e n i t e e l e m e n t

m e t h o d s . H o w e v e r , l a r g e c h a n g e s i n t h e p r o c e s s o r w o r k l o a d s m a y m o r e a p p r o p r i a t e l y

b e h a n d l e d b y a g l o b a l m e t h o d t h a t w o u l d p r o d u c e h i g h e r q u a l i t y p a r t i t i o n s .

G l o b a l l o a d - b a l a n c i n g s t r a t e g i e s a r e n e c e s s a r i l y s y n c h r o n o u s . A l l p r o c e s s o r s p e r -

f o r m s o m e c o m p u t a t i o n , s y n c h r o n i z e , a n d t h e n e n t e r t h e l o a d - b a l a n c i n g p h a s e . T h u s ,

l i g h t l y l o a d e d p r o c e s s o r s m u s t w a i t i d l y f o r m o r e h e a v i l y l o a d e d p r o c e s s o r s t o c o m p l e t e

t h e i r c o m p u t a t i o n b e f o r e p e r f o r m i n g t h e l o a d b a l a n c i n g . L o c a l m e t h o d s c a n a l s o b e

e x e c u t e d s y n c h r o n o u s l y , f o l l o w i n g t h e s a m e m o d e l a s g l o b a l m e t h o d s ( e . g . , 1 0 , 1 1 , 5 5 ,

6 1 ] ) . S o m e l o c a l m e t h o d s , h o w e v e r , c a n b e p e r f o r m e d a s y n c h r o n o u s l y . P r o c e s s o r s c a n

i n i t i a t e l o a d b a l a n c i n g w h e n t h e y b e c o m e i d l e , r e q u e s t i n g w o r k a s t h e y n e e d i t . S i n g l e

n e i g h b o r h o o d s m a y p e r f o r m l o a d b a l a n c i n g w h i l e o t h e r p r o c e s s o r s a r e c o m p u t i n g .

T h e s y n c h r o n o u s m o d e l i s s t r a i g h t f o r w a r d t o i m p l e m e n t , p o r t a b l e , a n d d o e s n o t

r e q u i r e o p e r a t i n g s y s t e m o r a p p l i c a t i o n s u p p o r t f o r h a n d l i n g i n t e r r u p t s t o i n i t i a t e b a l -

a n c i n g . H o w e v e r , c o m p u t i n g t i m e i s l o s t w h e n l i g h t l y l o a d e d p r o c e s s o r s w a i t t o s y n -

c h r o n i z e w i t h h e a v i l y l o a d e d p r o c e s s o r s . T h e a s y n c h r o n o u s m o d e l a l l o w s p r o c e s s o r s

t o a c q u i r e w o r k a s s o o n a s t h e y b e c o m e i d l e . H o w e v e r , i t i s s i g n i c a n t l y m o r e d i c u l t

t o p r o g r a m . L o g i c m u s t b e i n c l u d e d t o h a n d l e i n t e r r u p t s o r c h e c k f o r l o a d - b a l a n c i n g

m e s s a g e s d u r i n g t h e c o m p u t a t i o n . S o m e i m p l e m e n t a t i o n s u s e t h r e a d s t o i m p l e m e n t

a s y n c h r o n o u s l o a d - b a l a n c i n g 8 , 5 9 , 6 3 ] ; t h e s e i m p l e m e n t a t i o n s m a y r e q u i r e o p e r a t -

i n g s y s t e m s u p p o r t a n d b e l e s s p o r t a b l e t h a n s y n c h r o n o u s i m p l e m e n t a t i o n s . O t h e r

i m p l e m e n t a t i o n s i n c l u d e m e s s a g e c h e c k i n g w i t h i n t h e a p p l i c a t i o n , c o m p l i c a t i n g t h e

l o g i c o f t h e a p p l i c a t i o n 1 8 , 6 2 ] . S i n c e m a n y p a r a l l e l s c i e n t i c a p p l i c a t i o n s h a v e n a t -

u r a l s y n c h r o n i z a t i o n p o i n t s , s y n c h r o n o u s a l g o r i t h m s c a n o f t e n b e u s e d s u c c e s s f u l l y ,

w i t h o u t t h e a d d e d c o m p l i c a t i o n o f a s y n c h r o n o u s a l g o r i t h m s .

M a n y l o c a l m e t h o d s h a v e t w o s e p a r a t e s t e p s . I n t h e r s t s t e p , t h e a l g o r i t h m

d e c i d e s h o w m u c h w o r k s h o u l d b e m o v e d f r o m a p r o c e s s o r t o e a c h o f i t s n e i g h b o r s

i n o r d e r t o b a l a n c e t h e l o a d . I n t h e s e c o n d s t e p , t h e a l g o r i t h m s e l e c t s t h e o b j e c t s

( e . g . , e l e m e n t s , n o d e s , p a r t i c l e s , s u r f a c e s ) t h a t w i l l b e m i g r a t e d t o s a t i s f y t h e w o r k

t r a n s f e r s d e t e r m i n e d i n t h e r s t s t e p . T h e q u a l i t y o f t h e p a r t i t i o n d e p e n d s u p o n

t h i s s e l e c t i o n p r o c e s s . F o r b o t h s t e p s o f t h e a l g o r i t h m , m a n y m e t h o d s h a v e b e e n

s u g g e s t e d .

3 . 4 . 1 . D e t e r m i n i n g W o r k F l o w . T o d e t e r m i n e t h e o w o f w o r k b e t w e e n p r o -

c e s s o r s , a d i u s i v e a l g o r i t h m i s o f t e n u s e d . T h e s e a l g o r i t h m s w e r e r s t p r o p o s e d b y

C y b e n k o 9 ] . I n t h e i r s i m p l e s t f o r m , t h e y m o d e l t h e p r o c e s s o r w o r k l o a d s b y t h e h e a t

e q u a t i o n

@ u = @ t = r

2

u( 3 . 1 )

w h e r e u i s t h e w o r k l o a d a n d i s a d i u s i o n c o e c i e n t . U s i n g t h e p r o c e s s o r s ' h a r d -

w a r e c o n n e c t i o n s o r t h e a p p l i c a t i o n ' s c o m m u n i c a t i o n p a t t e r n s t o d e s c r i b e t h e c o m p u -

t a t i o n a l m e s h , E q . ( 3 . 1 ) i s s o l v e d u s i n g a r s t - o r d e r n i t e d i e r e n c e s c h e m e . S i n c e t h e

s t e n c i l o f t h e d i e r e n c e s c h e m e i s c o m p a c t ( u s i n g i n f o r m a t i o n f r o m o n l y n e i g h b o r i n g

p r o c e s s o r s ) , t h e m e t h o d i s l o c a l . T h e r e s u l t i n g m e t h o d t a k e s t h e f o r m

u

t + 1

i

= u

t

i

+

X

j

i j

( u

t

j

u

t

i

)( 3 . 2 )

w h e r e u

t

i

i s p r o c e s s o r i ' s w o r k l o a d a f t e r i t e r a t i o n t , a n d t h e s u m i s t a k e n o v e r a l l

p r o c e s s o r s j . T h e w e i g h t s

i j

0 a r e z e r o i f p r o c e s s o r s i a n d j a r e n o t c o n n e c t e d


10/20

1 0 H e n d r i c k s o n a n d D e v i n e

i n t h e p r o c e s s o r g r a p h , a n d 1

P

j

i j

0 f o r e v e r y i . T h e c h o i c e o f

i j

a e c t s t h e

c o n v e r g e n c e r a t e o f t h e m e t h o d . I t d e p e n d s o n t h e p r o c e s s o r c o n n e c t i v i t y d u e t o t h e

a r c h i t e c t u r e o r a p p l i c a t i o n c o m m u n i c a t i o n p a t t e r n ; s e e 9 , 1 4 ] f o r d e t a i l s .

S e v e r a l m e t h o d s h a v e b e e n p r o p o s e d t o a c c e l e r a t e t h e c o n v e r g e n c e o f d i u s i o n

m e t h o d s . F o r e x a m p l e , d i u s i o n m e t h o d s h a v e b e e n u s e d w i t h p a r a l l e l m u l t i l e v e l

m e t h o d s 2 6 , 4 6 , 5 4 , 5 6 ] , a s d e s c r i b e d i n x 3 . 5 . W a t t s , e t a l . 5 8 , 5 9 ] p r o p o s e u s i n g

a s e c o n d - o r d e r i m p l i c i t n i t e d i s c r e t i z a t i o n o f E q . ( 3 . 1 ) t o c o m p u t e w o r k t r a n s f e r s .

T h i s s c h e m e c o n v e r g e s t o g l o b a l b a l a n c e i n f e w e r i t e r a t i o n s , b u t r e q u i r e s a b i t m o r e

w o r k a n d c o m m u n i c a t i o n p e r i t e r a t i o n .

T h e m e t h o d o f H u a n d B l a k e 2 7 ] i s u s e d i n s e v e r a l p a r a l l e l d e c o m p o s i t i o n p a c k -

a g e s 4 6 , 5 5 ] . T h e y c o m p u t e a d i u s i o n s o l u t i o n w h i l e m i n i m i z i n g t h e o w o f w o r k

o v e r t h e e d g e s o f t h e p r o c e s s o r g r a p h , e n f o r c i n g i n c r e m e n t a l i t y . T o c o m p u t e w o r k

t r a n s f e r s , t h e y u s e a m o r e g l o b a l v i e w o f t h e p r o c e s s o r s ' l o a d d i s t r i b u t i o n s . T h e y

s o l v e a l i n e a r s y s t e m L x = b , w h e r e x i s t h e d i u s i o n s o l u t i o n a n d b c o n t a i n s t h e

d i e r e n c e b e t w e e n t h e p r o c e s s o r s ' w o r k l o a d s a n d t h e a v e r a g e l o a d . L i s a L a p l a c i a n

m a t r i x . E a c h d i a g o n a l e n t r y l

i i

i s t h e d e g r e e o f p r o c e s s o r i i n t h e p r o c e s s o r g r a p h ;

n o n - d i a g o n a l e n t r i e s l

i j

a r e - 1 i f p r o c e s s o r s i a n d j a r e c o n n e c t e d i n t h e p r o c e s s o r

g r a p h a n d z e r o o t h e r w i s e . T h e s y s t e m i s s o l v e d b y a c o n j u g a t e g r a d i e n t m e t h o d . T h e

m e t h o d d e t e r m i n e s t h e d i u s i o n c o e c i e n t s i t e r a t i v e l y r a t h e r t h a n k e e p i n g t h e m x e d

a s i n t h e d i u s i o n m e t h o d s a b o v e . T h i s m e t h o d m a y i n c r e a s e t h e a m o u n t o f g l o b a l

c o m m u n i c a t i o n t o o b t a i n g l o b a l b a l a n c e , b u t t h e a d d i t i o n a l c o s t c a n b e w o r t h w h i l e

s i n c e t h e a m o u n t o f l o a d m o v e m e n t i s m i n i m i z e d .

A v a r i a t i o n o f t h e d i u s i o n m o d e l i s a d e m a n d - d r i v e n m o d e l , w h e r e u n d e r - l o a d e d

p r o c e s s o r s r e q u e s t w o r k o r o v e r l o a d e d p r o c e s s o r s e x p o r t w o r k w h e n t h e y d e t e c t t h a t

t h e i r n e i g h b o r s h a v e b e c o m e i d l e . T h e r e s u l t i s s i m i l a r t o d i u s i o n a l g o r i t h m s , e x c e p t

t h a t w o r k i s t r a n s f e r r e d t o o n l y a s u b s e t o f n e i g h b o r s r a t h e r t h a n d i s t r i b u t e d t o a l l

n e i g h b o r s a s i n t h e d i u s i o n m o d e l . I t c a n i n c r e a s e t h e s i z e o f t h e m a x i m u m w o r k

t r a n s f e r , b u t c a n r e d u c e t h e t o t a l n u m b e r o f w o r k t r a n s f e r s p e r i t e r a t i o n .

T h e r e a r e s e v e r a l i m p l e m e n t a t i o n s o f t h e d e m a n d - d r i v e n m o d e l 1 8 , 3 4 , 6 0 , 6 1 , 6 2 ] .

F o r e x a m p l e , L e i s s a n d R e d d y 3 4 ] u s e a d e m a n d - d r i v e n m o d e l i n n e i g h b o r h o o d s t h a t

f o l l o w t h e h a r d w a r e c o n n e c t i v i t y o f t h e p a r a l l e l m a c h i n e . W h e a t , e t a l . 6 1 ] e x t e n d

t h e i r d e n i t i o n o f a n e i g h b o r h o o d t o i n c l u d e a l l p r o c e s s o r s w i t h i n t h e c o m m u n i c a t i o n

c o n n e c t i v i t y o f t h e a p p l i c a t i o n . E a c h p r o c e s s o r r e q u e s t s w o r k f r o m t h e m o s t h e a v -

i l y l o a d e d p r o c e s s o r i n i t s n e i g h b o r h o o d . P r o c e s s o r s t h e n s a t i s f y r e q u e s t s b a s e d o n

r e q u e s t s i z e , s a t i s f y i n g t h e l a r g e s t r e q u e s t s r s t u n t i l a l l w o r k a v a i l a b l e f o r e x p o r t i s

e x h a u s t e d . P r o c e s s o r s m a y n o t e x p o r t s o m u c h w o r k t h a t t h e i r o w n w o r k l o a d s f a l l

b e l o w t h e n e i g h b o r h o o d a v e r a g e ; t h i s r e s t r i c t i o n p r e v e n t s o s c i l l a t i o n s o f w o r k b e t w e e n

p r o c e s s o r s i n s u b s e q u e n t b a l a n c i n g s t e p s . T o p r e v e n t c o n v e r g e n c e t o a n i m b a l a n c e d

s t a t e ( w h i c h c a n h a p p e n i n t h e d i u s i o n a l g o r i t h m s i n 9 , 2 6 ] ) , e v e r y p r o c e s s o r t h a t

r e c e i v e s a r e q u e s t f o r w o r k m u s t e x p o r t a t l e a s t o n e o b j e c t .

I n 6 2 ] , a s e n d e r - i n i t i a t e d m o d e l i s c o m p a r e d w i t h a r e c e i v e r - i n i t i a t e d m o d e l . B o t h

m o d e l s a r e a s y n c h r o n o u s . I n t h e s e n d e r - i n i t i a t e d m o d e l , a n o v e r l o a d e d p r o c e s s o r

d e t e r m i n e s w h i c h o f i t s n e i g h b o r s a r e l e s s l o a d e d a n d s e n d s a p o r t i o n o f i t s e x c e s s

w o r k t o t h o s e n e i g h b o r s . I n t h e r e c e i v e r - i n i t i a t e d m o d e l , a n u n d e r - l o a d e d p r o c e s s o r

d e t e r m i n e s w h i c h o f i t s n e i g h b o r s a r e m o r e h e a v i l y l o a d e d a n d r e q u e s t s w o r k f r o m

t h o s e n e i g h b o r s . T h e n e i g h b o r s c a n s a t i s f y w o r k r e q u e s t s w i t h u p t o h a l f o f t h e i r

w o r k l o a d s . T h e r e c e i v e r - i n i t i a t e d m o d e l h o l d s s e v e r a l a d v a n t a g e s o v e r t h e s e n d e r -

i n i t i a t e d m o d e l 6 2 ] . F i r s t , t h e m a j o r i t y o f t h e l o a d - b a l a n c i n g o v e r h e a d i s a s s u m e d

b y t h e l i g h t l y l o a d e d r e c e i v e r s . S e c o n d , s i n c e t h e m o d e l s a r e a s y n c h r o n o u s , w o r k l o a d


11/20

D y n a m i c L o a d B a l a n c i n g 1 1

i n f o r m a t i o n m a y b e o u t - o f - d a t e b y t h e t i m e i t i s u s e d . T h u s , i n t h e s e n d e r - i n i t i a t e d

m o d e l , a p r o c e s s o r m a y t r a n s f e r e x c e s s i v e o r i n s u c i e n t a m o u n t s o f d a t a t o u n d e r -

l o a d e d p r o c e s s o r s . I n t h e r e c e i v e r - i n i t i a t e d m o d e l , a p r o c e s s o r m a y r e q u e s t e x c e s s o r

i n s u c i e n t w o r k , b u t i t s n e i g h b o r w i l l t r a n s f e r n o m o r e t h a n h a l f i t s o w n w o r k , t h u s

u s i n g u p - t o - d a t e i n f o r m a t i o n i n t h e t r a n s f e r a n d r e d u c i n g t h e e e c t s o f a g i n g .

A n o t h e r d i u s i o n - l i k e a l g o r i t h m i s d i m e n s i o n a l e x c h a n g e , i n t r o d u c e d i n 9 ] a n d

a n a l y z e d f u r t h e r i n 1 3 , 6 2 , 6 3 ] . A h y p e r c u b e a r c h i t e c t u r e i s a s s u m e d t o d e s c r i b e t h e

a l g o r i t h m . I n a l o o p o v e r h y p e r c u b e d i m e n s i o n s i , a p r o c e s s o r p e r f o r m s l o a d b a l a n c i n g

w i t h i t s n e i g h b o r i n t h a t d i m e n s i o n , i . e . , w i t h t h e p r o c e s s o r w h o s e p r o c e s s o r n u m b e r

m a t c h e s t h a t o f t h e g i v e n p r o c e s s o r e x c e p t i n b i t i . T h e t w o p r o c e s s o r s d i v i d e t h e

s u m o f t h e i r l o a d s e q u a l l y a m o n g t h e m s e l v e s . A f t e r i t e r a t i n g o v e r a l l d i m e n s i o n s o f

t h e h y p e r c u b e , t h e s y s t e m i s c o m p l e t e l y b a l a n c e d .

A l t h o u g h t h e d i m e n s i o n a l e x c h a n g e a l g o r i t h m i s d e s c r i b e d i n t e r m s o f a h y p e r -

c u b e , i t c a n b e a p p l i e d t o o t h e r a r c h i t e c t u r e s s u c h a s m e s h e s . H o w e v e r , c o m m u n i c a -

t i o n f o r n o n - h y p e r c u b e a r c h i t e c t u r e s i s n o n - l o c a l , a s l o g i c a l n e i g h b o r s w i l l n o t n e c e s -

s a r i l y b e p h y s i c a l n e i g h b o r s . T h e g e n e r a l i z e d d i m e n s i o n e x c h a n g e m e t h o d 6 3 ] s u g -

g e s t s u s i n g a n e d g e - c o l o r i n g t o m a i n t a i n n e a r e s t - n e i g h b o r e x c h a n g e s i n n o n - h y p e r c u b e

a r c h i t e c t u r e s ; h o w e v e r , i t r e q u i r e s m o r e i t e r a t i o n s t o r e a c h c o n v e r g e n c e . M o r e i m p o r -

t a n t l y , d i m e n s i o n a l e x c h a n g e m a y m i g r a t e w o r k t o d i s t a n t p r o c e s s o r s a n d p r o c e s s o r s

w i t h n o n - c o n t i g u o u s d a t a r e g i o n s , i n c r e a s i n g c o m m u n i c a t i o n c o s t s f o r t h e a p p l i c a t i o n

c o d e . T h i s d i s a d v a n t a g e o u t w e i g h s t h e i m p r o v e d c o n v e r g e n c e o f t h e m e t h o d o v e r

o t h e r d i u s i o n m e t h o d s .

3 . 4 . 2 . S e l e c t i n g O b j e c t s t o M i g r a t e . T h e s e c o n d s t e p o f a l o c a l m e t h o d i s

d e c i d i n g w h i c h o b j e c t s t o m i g r a t e t o s a t i s f y t h e w o r k t r a n s f e r s c o m p u t e d i n t h e r s t

s t e p . A n u m b e r o f h e u r i s t i c s h a v e b e e n u s e d t o d e t e r m i n e w h i c h o b j e c t s s h o u l d b e

t r a n s f e r r e d . T y p i c a l g o a l s i n c l u d e m i n i m i z i n g c o m m u n i c a t i o n c o s t s ( t h r o u g h m i n i m i z -

i n g t h e n u m b e r o f e d g e c u t s i n t h e a p p l i c a t i o n ' s c o m m u n i c a t i o n g r a p h ) , m i n i m i z i n g

t h e a m o u n t o f d a t a m i g r a t e d , m i n i m i z i n g t h e n u m b e r o f n e i g h b o r i n g p r o c e s s o r s , o p -

t i m i z i n g t h e s h a p e s o f t h e s u b d o m a i n s , o r c o m b i n a t i o n s o f t h e s e g o a l s .

M a n y l o a d - b a l a n c i n g a l g o r i t h m s u s e a v e r s i o n o f t h e g a i n c r i t e r i a f r o m t h e a l -

g o r i t h m b y K e r n i g h a n a n d L i n ( K L ) 3 3 ] t o s e l e c t o b j e c t s t o t r a n s f e r ( e . g . , 1 1 , 2 4 ,

5 5 , 6 1 , 6 3 ] ) . F o r e a c h o f a p r o c e s s o r ' s o b j e c t s , t h e g a i n o f t r a n s f e r r i n g t h e o b j e c t s t o

a n o t h e r p r o c e s s o r i s c o m p u t e d . F o r e x a m p l e , t o m i n i m i z e e d g e - c u t s , t h e g a i n c a n b e

t a k e n a s t h e n e t r e d u c t i o n o f c u t e d g e s i f t h e o b j e c t i s t r a n s f e r r e d t o t h e n e w t a r g e t

p r o c e s s o r . T h e s e t o f o b j e c t s w i t h t h e h i g h e s t t o t a l g a i n i s s e l e c t e d f o r m i g r a t i o n .

O b j e c t s a r e s e l e c t e d u n t i l t h e s u m o f t h e i r w o r k l o a d s i s a p p r o x i m a t e l y e q u a l t o t h e

w o r k t r a n s f e r c o m p u t e d b y t h e r s t l o a d - b a l a n c i n g p h a s e . I n s o m e v a r i a n t s o f t h e K L

a l g o r i t h m o n l y o b j e c t s o n s u b d o m a i n b o u n d a r i e s a r e e x a m i n e d f o r t r a n s f e r .

T h e e l e m e n t s e l e c t i o n p r i o r i t y s c h e m e o f W h e a t 6 0 ] i s a n e x a m p l e o f a K L - l i k e

a l g o r i t h m w i t h u n i f o r m o b j e c t a n d e d g e w e i g h t s . G a i n i s m e a s u r e d b y e d g e - c u t s i n

t h e g r a p h . A l l t r a n s f e r s o f o b j e c t s a r e o n e - d i r e c t i o n a l , s o c o l l i s i o n s ( t h e s i m u l t a n e o u s

s w a p p i n g o f a d j a c e n t o b j e c t s b e t w e e n t w o p r o c e s s o r s w h i c h c o u n t e r a c t s t h e i r i n d i v i d -

u a l g a i n s ) d o n o t a r i s e . I n 1 1 ] , W h e a t ' s w o r k i s e x t e n d e d b y w e i g h t i n g t h e e d g e s b y

f r e q u e n c y o f c o m m u n i c a t i o n a n d t h e o b j e c t s b y t h e i r c o m p u t a t i o n a l l o a d . T o r e d u c e

m i g r a t i o n c o s t s , h i g h - g a i n o b j e c t s w i t h t h e l a r g e s t c o m p u t a t i o n a l l o a d s a r e s e l e c t e d

f o r m i g r a t i o n .

W a l s h a w , e t a l . 5 5 ] m o d i f y t h e d e n i t i o n o f g a i n t o d e s c r i b e a r e l a t i v e g a i n . T h e

r e l a t i v e g a i n o f a n o b j e c t w i t h r e s p e c t t o a n e i g h b o r i n g p r o c e s s o r i s t h e o b j e c t ' s g a i n

m i n u s t h e a v e r a g e g a i n o f i t s n e i g h b o r i n g o b j e c t s i n t h e n e i g h b o r i n g p r o c e s s o r . T h i s


12/20


r e l a t i v e g a i n m e a s u r e s t h e l i k e l i h o o d o f n e i g h b o r i n g o b j e c t s m i g r a t i n g t o t h e o b j e c t ' s

p r o c e s s o r , t h u s r e d u c i n g t h e n u m b e r o f c o l l i s i o n s . H o w e v e r , t h r a s h i n g m a y o c c u r o v e r

s e v e r a l i t e r a t i o n s ; a d d i t i o n a l s t o p p i n g c r i t e r i a a r e n e e d e d t o e n d t h e i t e r a t i o n s w h e n

t h e c o s t o f t h e p a r t i t i o n h a s n o t d e c r e a s e d .

H a m m o n d 2 2 ] p e r f o r m s p a i r w i s e e x c h a n g e s o f o b j e c t s b e t w e e n p a i r s o f p r o c e s s o r s

t o i m p r o v e a n e x i s t i n g d e c o m p o s i t i o n . T h e p r o c e s s o r g r a p h i s e d g e - c o l o r e d t o a l l o w

p a r a l l e l c o m p u t a t i o n b e t w e e n p a i r s o f a d j a c e n t p r o c e s s o r s t h r o u g h o u t t h e g r a p h . F o r

e a c h p a i r o f p r o c e s s o r s , t h e b e s t o b j e c t t o b e m o v e d i n e a c h d i r e c t i o n i s s e l e c t e d . I f

t h e t o t a l g a i n o f m o v i n g b o t h o b j e c t s i s p o s i t i v e , t h e o b j e c t s a r e e x c h a n g e d b e t w e e n

t h e p r o c e s s o r s . T h i s p r o c e s s i s r e p e a t e d f o r e a c h c o l o r i n t h e p r o c e s s o r g r a p h .

S t i l l o t h e r v a r i a t i o n s o n K L - b a s e d s e l e c t i o n s t r a t e g i e s a r e p o s s i b l e . I n S c h l o e g e l , e t

a l . 4 6 ] , o b j e c t s t h a t d e c r e a s e t h e e d g e c u t w h i l e m a i n t a i n i n g g r a p h b a l a n c e , m a i n t a i n

t h e e d g e c u t w h i l e i m p r o v i n g g r a p h b a l a n c e , o r m a i n t a i n b o t h e d g e c u t a n d b a l a n c e

w h i l e m o v i n g t h e o b j e c t t o i t s i n i t i a l p r o c e s s o r a r e c h o s e n f o r m i g r a t i o n . T h i s t h i r d

c o n d i t i o n l o w e r s m i g r a t i o n c o s t s b y a s s i g n i n g o b j e c t s t o t h e i r o r i g i n a t i n g p r o c e s s o r

w h e n e v e r p o s s i b l e . W a l s h a w , e t a l . 5 5 ] m i g r a t e o b j e c t s t h a t i m p r o v e t h e e d g e - c u t

w h i l e m a i n t a i n i n g t h e b a l a n c e o r i m p r o v e t h e b a l a n c e w h i l e m a i n t a i n i n g t h e e d g e c u t .

U n l i k e S c h l o e g e l , e t a l . , t h e y a l s o m i g r a t e a n y o b j e c t t h a t i m p r o v e s t h e b a l a n c e , e v e n

i f i t r e s u l t s i n a h i g h e r e d g e c u t .

M o s t s e l e c t i o n m e t h o d s o p t i m i z e s o m e m e a s u r e o f t h e s u b d o m a i n i n t e r f a c e s i z e i n

a n a t t e m p t t o m i n i m i z e t h e a p p l i c a t i o n ' s c o m m u n i c a t i o n c o s t s . I n s o m e a p p l i c a t i o n s ,

h o w e v e r , c r i t e r i a o t h e r t h a n s u b d o m a i n i n t e r f a c e s i z e b e c o m e i m p o r t a n t . F o r d o m a i n

d e c o m p o s i t i o n l i n e a r s o l v e r s , f o r e x a m p l e , t h e a s p e c t r a t i o o f t h e s u b d o m a i n s a e c t s

t h e c o n v e r g e n c e o f t h e s o l v e r s . I n 1 2 , 5 3 ] , t h e c o s t f u n c t i o n t o b e m i n i m i z e d i s a

w e i g h t e d c o m b i n a t i o n o f t h e l o a d i m b a l a n c e a n d t h e s u b d o m a i n a s p e c t r a t i o . T h u s ,

o b j e c t s w h o s e c o o r d i n a t e s a r e f a r t h e s t f r o m t h e a v e r a g e c o o r d i n a t e s o f a l l t h e p r o c e s -

s o r ' s o b j e c t s a r e s e l e c t e d f o r m i g r a t i o n . W h i l e t h i s c r i t e r i o n i s s p e c i c t o a p a r t i c u l a r

a p p l i c a t i o n , i t d e m o n s t r a t e s t h a t , j u s t a s n o o n e l o a d b a l a n c i n g m e t h o d i s s u i t a b l e

f o r a l l a p p l i c a t i o n s , n o o n e o b j e c t s e l e c t i o n c r i t e r i o n i s o p t i m a l f o r a l l a p p l i c a t i o n s .

3 . 5 . G r a p h p a r t i t i o n e r s . A n u m b e r o f a l g o r i t h m s a n d s o f t w a r e t o o l s h a v e

b e e n d e v e l o p e d f o r t h e p r o b l e m o f s t a t i c a l l y p a r t i t i o n i n g a c o m p u t a t i o n a l m e s h . T h e

m o s t p o w e r f u l o f t h e s e a l g o r i t h m s u s e a g r a p h m o d e l o f t h e c o m p u t a t i o n , a n d a p p l y

g r a p h p a r t i t i o n i n g t e c h n i q u e s t o d i v i d e i t a m o n g p r o c e s s o r s . I n p r i n c i p l e , a g r a p h

c o u l d b e c o n s t r u c t e d f o r a n y c o m p u t a t i o n , b u t t h i s m o d e l i s m o s t c o m m o n l y u s e d

f o r m e s h - b a s e d a p p l i c a t i o n s w h e r e t h e g r a p h i s c l o s e l y r e l a t e d t o t h e m e s h . U n l i k e

t h e a p p r o a c h e s d e s c r i b e d i n x 3 . 4 , t h e s t a t i c p a r t i t i o n i n g a l g o r i t h m s a r e g l o b a l { t h e y

e x a m i n e a l l o f t h e d a t a a t o n c e a n d t r y t o n d t h e b e s t p o s s i b l e p a r t i t i o n .

T h e s e s t a t i c p a r t i t i o n e r s g e n e r a l l y r u n o n s e q u e n t i a l m a c h i n e s a s a p r e p r o c e s s -

i n g s t e p . A s a c o n s e q u e n c e , m o s t o f t h e s t a t i c a l g o r i t h m s a r e i n a p p r o p r i a t e f o r t h e

d y n a m i c l o a d b a l a n c i n g p r o b l e m . T h e y a r e e i t h e r t o o e x p e n s i v e o r t o o d i c u l t t o

p a r a l l e l i z e , a n d t h e y h a v e n o n o t i o n o f i n c r e m e n t a l i t y . D e s p i t e t h e s e p r o b l e m s , t h e r e

h a v e b e e n s e v e r a l a t t e m p t s t o a p p l y g r a p h p a r t i t i o n i n g i d e a s t o t h e d y n a m i c l o a d b a l -

a n c i n g p r o b l e m . A l t h o u g h t h e s e a l g o r i t h m s t e n d t o b e e x p e n s i v e , t h e y c a n g e n e r a t e

h i g h q u a l i t y p a r t i t i o n s . I n s i t u a t i o n s w h e r e t h e y a r e a p p l i e d i n f r e q u e n t l y , t h e y c a n b e

v e r y u s e f u l p a r t i t i o n e r s .

O n e o f t h e m o r e p o p u l a r s t a t i c p a r t i t i o n i n g a l g o r i t h m s i s k n o w n a s R e c u r s i v e

S p e c t r a l B i s e c t i o n ( R S B ) 4 3 , 4 8 ] . T h i s a p p r o a c h u s e s a n e i g e n v e c t o r o f a m a t r i x

a s s o c i a t e d w i t h t h e g r a p h t o p a r t i t i o n t h e v e r t i c e s . A l t h o u g h i t u s u a l l y p r o d u c e s

h i g h q u a l i t y p a r t i t i o n s , t h e e i g e n v e c t o r c a l c u l a t i o n i s v e r y e x p e n s i v e . B a r n a r d t r i e d


13/20

D y n a m i c L o a d B a l a n c i n g 1 3

t o c i r c u m v e n t t h i s p r o b l e m v i a a p a r a l l e l i m p l e m e n t a t i o n 3 ] . T h e r e s u l t i s p r i m a r i l y

u s e f u l f o r s t a t i c p a r t i t i o n i n g , b u t i t c a n a l s o b e u s e d i n a d y n a m i c s e t t i n g . H o w e v e r ,

t h e e i g e n v e c t o r c a l c u l a t i o n i s v e r y e x p e n s i v e r e l a t i v e t o t h e g e o m e t r i c m e t h o d s a n d

t h e l o c a l i m p r o v e m e n t s c h e m e s d i s c u s s e d a b o v e . A l s o , t h e b a s i c R S B a l g o r i t h m h a s

n o m e c h a n i s m f o r e n c o u r a g i n g a n e w p a r t i t i o n t o b e a n i n c r e m e n t a l m o d i c a t i o n o f

t h e c u r r e n t o n e .

I n 5 2 ] , V a n D r i e s s c h e a n d R o o s e s h o w h o w R S B c a n b e m o d i e d t o i n c l u d e i n c r e -

m e n t a l i t y . I n 2 5 ] , t h i s i n s i g h t i s g e n e r a l i z e d t o a p p l y t o a c l a s s o f g r a p h p a r t i t i o n i n g

a l g o r i t h m s , i n c l u d i n g t h e m u l t i l e v e l m e t h o d s d e s c r i b e d b e l o w .

T h e m o s t p o p u l a r s t a t i c p a r t i t i o n i n g a l g o r i t h m s a r e m u l t i l e v e l t e c h n i q u e s 6 , 2 4 ,

3 0 ] . T h e s e m e t h o d s c o n s t r u c t a s e q u e n c e o f s m a l l e r a n d s m a l l e r a p p r o x i m a t i o n s t o t h e

g r a p h . T h e s m a l l e s t g r a p h i n t h i s s e q u e n c e i s p a r t i t i o n e d . T h e n t h i s p a r t i t i o n i s p r o p -

a g a t e d b a c k t h r o u g h t h e i n t e r m e d i a t e g r a p h s , p e r i o d i c a l l y b e i n g r e n e d . A l t h o u g h

g o o d s e q u e n t i a l i m p l e m e n t a t i o n s o f t h i s a l g o r i t h m h a v e b e e n d e v e l o p e d 2 3 , 3 0 ] , p a r -

a l l e l i m p l e m e n t a t i o n s h a v e p r o v e d t o b e q u i t e d i c u l t . B o t h t h e c o n s t r u c t i o n o f t h e

s m a l l e r a p p r o x i m a t i o n s a n d t h e r e n e m e n t o p e r a t i o n a r e c h a l l e n g i n g t o p a r a l l e l i z e .

T h e s e c h a l l e n g e s h a v e b e e n a d d r e s s e d i n t w o r e c e n t e o r t s : P a r M E T I S 3 1 , 3 2 , 4 6 ]

a n d J O S T L E 5 4 , 5 6 ] . T h e s e t o o l s e s s e n t i a l l y p e r f o r m a l o c a l i m p r o v e m e n t l i k e t h o s e

d e s c r i b e d i n x 3 . 4 , b u t t h e y u s e a m u l t i l e v e l a p p r o a c h t o s e l e c t w h i c h o b j e c t s t o m o v e .

T h i s m a k e s t h e m m o r e p o w e r f u l t h a n o t h e r l o c a l i m p r o v e m e n t a l g o r i t h m s , b u t t h e y

a r e a l s o m o r e e x p e n s i v e i n b o t h r u n t i m e a n d m e m o r y .

I n s u m m a r y , g r a p h p a r t i t i o n i n g a l g o r i t h m s g i v e t h e h i g h e s t q u a l i t y p a r t i t i o n s o f

a n y c l a s s o f d y n a m i c l o a d b a l a n c i n g a l g o r i t h m s , a l b e i t a t a h i g h c o m p u t a t i o n a l c o s t .

I n p r a c t i c e , t h e y a r e r e s t r i c t e d t o m e s h - b a s e d c a l c u l a t i o n s . T h e s t a n d a r d f o r m u l a t i o n s

a r e g e n e r a l l y n o t i n c r e m e n t a l , b u t t h e y c a n o f t e n b e m o d i e d t o b e c o m e s o . T h e i n -

t e r f a c e t o a g r a p h p a r t i t i o n i n g r o u t i n e i s u s u a l l y s i g n i c a n t l y m o r e c o m p l e x t h a n t h e

i n t e r f a c e t o a g e o m e t r i c p a r t i t i o n e r . T h e c o n s t r u c t i o n o f t h e g r a p h t a k e s t i m e a n d

s p a c e . W e w i l l d i s c u s s t h i s i s s u e f u r t h e r i n x 4 . I t i s o u r o p i n i o n t h a t t h e s e l i m i t a t i o n s ,

p a r t i c u l a r l y t h e r u n t i m e , w i l l l i m i t t h e u s e o f g r a p h p a r t i t i o n i n g a l g o r i t h m s t o a p p l i -

c a t i o n s i n w h i c h t h e y a r e i n v o k e d o n l y i n f r e q u e n t l y . O n e i m p o r t a n t s e t t i n g f o r s u c h

u s a g e i s h y b r i d m e t h o d s a s d i s c u s s e d i n x 3 . 6 .

3 . 6 . H y b r i d M e t h o d s . S e v e r a l d y n a m i c l o a d b a l a n c i n g a l g o r i t h m s d o n ' t c o n -

v e n i e n t l y f a l l i n t o a n y o f t h e p r e v i o u s s e c t i o n s . O n e s u c h m e t h o d i s t h e d y n a m i c

s p e c t r a l a l g o r i t h m o f S i m o n , S o h n a n d B i s w a s 4 9 ] . T h i s a p p r o a c h i s a h y b r i d o f

s p e c t r a l m e t h o d s a n d s i m p l e g e o m e t r i c t e c h n i q u e s . A s a p r e p r o c e s s i n g s t e p , a f e w

e i g e n v e c t o r s o f a m a t r i x a s s o c i a t e d w i t h t h e g r a p h a r e c o m p u t e d . T h e s e k e i g e n v e c -

t o r s p r o v i d e a m a p p i n g f r o m e a c h v e r t e x i n t h e g r a p h t o a p o i n t i n a k d i m e n s i o n a l

E u c l i d e a n s p a c e . D u r i n g t h e p a r a l l e l s i m u l a t i o n , t h i s E u c l i d e a n r e p r e s e n t a t i o n i s

u s e d t o p a r t i t i o n t h e g r a p h u s i n g t h e R e c u r s i v e I n e r t i a l B i s e c t i o n a l g o r i t h m d e s c r i b e d

i n x 3 . 2 . T h e p a r t i t i o n w i l l c h a n g e a s w e i g h t s a s s o c i a t e d w i t h t h e v e r t i c e s e v o l v e .

T h i s a p p r o a c h l e a d s t o p a r t i t i o n q u a l i t y t h a t i s n e a r l y a s g o o d a s R e c u r s i v e S p e c -

t r a l B i s e c t i o n , b u t a t a m u c h l o w e r c o s t . H o w e v e r , i t h a s t h r e e s h o r t c o m i n g s . O n e

o b v i o u s d i s a d v a n t a g e i s t h e e x p e n s e o f t h e u p - f r o n t c a l c u l a t i o n o f e i g e n v e c t o r s . A

s e c o n d l i m i t a t i o n i s t h e r e s t r i c t i o n o f t h e m e t h o d t o p r o b l e m s i n w h i c h v e r t e x w e i g h t s

c h a n g e , b u t v e r t e x c o n n e c t i v i t y d o e s n o t . A t h i r d , m o r e m i n o r , p r o b l e m i s t h a t t h e

i n e r t i a l p a r t i t i o n i n g t e c h n i q u e i s n o t i n c r e m e n t a l . T h i s c o u l d b e a l l e v i a t e d b y u s i n g

a d i e r e n t g e o m e t r i c p a r t i t i o n e r l i k e R e c u r s i v e C o o r d i n a t e B i s e c t i o n .

A b r o a d e r c l a s s o f h y b r i d m e t h o d s c a n b e c o n s t r u c t e d b y c o m b i n i n g g l o b a l m e t h -

o d s w i t h l o c a l o n e s . E x p e n s i v e , h i g h - q u a l i t y a l g o r i t h m s ( l i k e g r a p h p a r t i t i o n i n g ) c a n


14/20


b e u s e d i n f r e q u e n t l y , w h i l e c h e a p e r m e t h o d s ( l i k e l o c a l i m p r o v e m e n t ) c a n b e a p p l i e d

m o r e o f t e n . C o m b i n i n g t h e m e t h o d s g i v e s s o m e o f t h e a d v a n t a g e s o f b o t h . T h e h i g h -

q u a l i t y m e t h o d s w i l l e n s u r e t h a t g o o d p a r t i t i o n s a r e m a i n t a i n e d . B u t t h e i r c o s t w i l l

b e c o n t r o l l e d b y u s i n g c h e a p e r m e t h o d s m o s t o f t h e t i m e .

T h i s e x i b l e a p p r o a c h a l l o w s a u s e r t o t r a d e o q u a l i t y f o r p a r t i t i o n r u n t i m e

t o o p t i m i z e t h e o v

dynamic load balancing in computational mechanics survey

Documents