on the use of non-stationary p enalt y functions to solve nonlinear constrained optimizati on...

7/23/2019 On the Use of Non-Stationary P enalt y Functions to Solve Nonlinear Constrained Optimizati on Problems with GA's

1/6

O n t h e U s e o f N o n - S t a t i o n a r y P e n a l t y F u n c t i o n s t o S o l v e

N o n l i n e a r C o n s t r a i n e d O p t i m i z a t i o n P r o b l e m s w i t h G A ' s

J e r e y A . J o i n e s a n d C h r i s t o p h e r R . H o u c k

j j o i n e @ e o s n c s u e d u c h o u c k @ e o s n c s u e d u

D e p a r t m e n t o f I n d u s t r i a l E n g i n e e r i n g

N o r t h C a r o l i n a S t a t e U n i v e r s i t y , N C 2 7 6 9 5 - 7 9 0 6

A b s t r a c t

I n t h i s p a p e r w e d i s c u s s t h e u s e o f n o n - s t a t i o n a r y p e n a l t y f u n c t i o n s t o s o l v e g e n e r a l n o n l i n e a r p r o g r a m m i n g

p r o b l e m s ( N P ) u s i n g r e a l - v a l u e d G A s . T h e n o n - s t a t i o n a r y p e n a l t y i s a f u n c t i o n o f t h e g e n e r a t i o n n u m b e r ;

a s t h e n u m b e r o f g e n e r a t i o n s i n c r e a s e s s o d o e s t h e p e n a l t y . T h e r e f o r e , a s t h e p e n a l t y i n c r e a s e s i t p u t s m o r e

a n d m o r e s e l e c t i v e p r e s s u r e o n t h e G A t o n d a f e a s i b l e s o l u t i o n . T h e i d e a s p r e s e n t e d i n t h i s p a p e r c o m e

f r o m t w o b a s i c a r e a s : c a l c u l u s - b a s e d n o n l i n e a r p r o g r a m m i n g a n d s i m u l a t e d a n n e a l i n g . T h e n o n - s t a t i o n a r y

p e n a l t y m e t h o d s a r e t e s t e d o n f o u r N P t e s t c a s e s a n d t h e e e c t i v e n e s s o f t h e s e m e t h o d s a r e r e p o r t e d . .

1 I n t r o d u c t i o n

C o n s t r a i n e d f u n c t i o n o p t i m i z a t i o n i s a n e x t r e m e l y i m p o r t a n t t o o l u s e d i n a l m o s t e v e r y f a c e t o f e n g i n e e r i n g ,

o p e r a t i o n s r e s e a r c h , m a t h e m a t i c s , a n d e t c . C o n s t r a i n e d o p t i m i z a t i o n c a n b e r e p r e s e n t e d a s a n o n l i n e a r

p r o g r a m m i n g p r o b l e m . T h e g e n e r a l n o n l i n e a r p r o g r a m m i n g p r o b l e m i s d e n e d a s f o l l o w s :

( N P ) m i n i m i z e f ( X )

s u b j e c t t o ( n o n l i n e a r a n d l i n e a r ) c o n s t r a i n t s :

g

i

( X ) 0 0 i = 1 ; : : : ; m

h

j

( X ) = 0 0 j = 1 ; : : : ; p

I n t h e l a s t f e w y e a r s , t h e r e h a s b e e n a g r o w i n g e o r t t o a p p l y g e n e t i c a l g o r i t h m s ( G A ) t o g e n e r a l c o n -

s t r a i n e d o p t i m i z a t i o n p r o b l e m s 5 , 6 , 7 ] . G A s h a v e b e e n w i d e l y a p p l i e d t o u n c o n s t r a i n e d o p t i m i z a t i o n w h e r e

t h e i r a p p e a l i s t h e i r a b i l i t y t o s o l v e i l l - c o n d i t i o n e d p r o b l e m s . T r a d i t i o n a l c a l c u l u s - b a s e d o r d e t e r m i n i s t i c

g l o b a l s e a r c h m e t h o d s t y p i c a l l y m a k e s t r o n g a s s u m p t i o n s r e g a r d i n g t h e o b j e c t i v e f u n c t i o n , i . e . , c o n t i n u i t y ,

d i e r e n t i a b i l i t y , s a t i s f a c t i o n o f t h e L i p s c h i t z C o n d i t i o n , e t c . , i n o r d e r t o m a k e t h e s e a r c h m e t h o d j u s t i a b l e .

T h e s e c o n d i t i o n s a l s o h o l d f o r a n y l i n e a r a n d n o n l i n e a r c o n s t r a i n t s o f a c o n s t r a i n e d o p t i m i z a t i o n p r o b l e m .

I t i s o u r e x p e c t a t i o n t h a t G A s c a n o v e r c o m e t h e s e l i m i t a t i o n s a s w e l l .

T h i s p a p e r i s o r g a n i z e d i n t o f o u r s e c t i o n s . T h e f o l l o w i n g s e c t i o n , S e c t i o n 2 , d e s c r i b e s e x i s t i n g m e t h o d s

u s e d t o s o l v e c o n s t r a i n t o p t i m i z a t i o n p r o b l e m s w i t h G A s . S e c t i o n 3 i n t r o d u c e s a n d e x p l a i n s t h e c o n c e p t s o f

n o n - s t a t i o n a r y p e n a l t y f u n c t i o n s u s e d i n s o l v i n g g e n e r a l n o n l i n e a r p r o g r a m m i n g p r o b l e m s . S e c t i o n 4 d e t a i l s

t h e r e s u l t s o b t a i n e d f r o m a p p l y i n g t h e s e t e c h n i q u e s t o f o u r t e s t c a s e s . T h e l a s t s e c t i o n o f t h i s p a p e r w i l l

s t a t e t h e c o n c l u s i o n s d e v e l o p e d f r o m t h e e x p e r i m e n t s a n d t h e d i r e c t i o n o f f u t u r e r e s e a r c h .

2 P r e v i o u s G A C o n s t r a i n e d O p t i m i z a t i o n M e t h o d s

T r a d i t i o n a l G A s h a v e e n c o m p a s s e d c o n s t r a i n t s i n t h e f o r m o f b o u n d s o n t h e v a r i a b l e s . H o w e v e r , o n l y r e c e n t l y

h a v e r e s e a r c h e r s b e g u n t o a t t a c k g e n e r a l c o n s t r a i n e d o p t i m i z a t i o n p r o b l e m s . T h e d i c u l t y o f u s i n g G A s i n

c o n s t r a i n t o p t i m i z a t i o n i s t h a t t h e g e n e t i c o p e r a t o r s u s e d t o m a n i p u l a t e t h e c h r o m o s o m e s o f t h e p o p u l a t i o n

o f t e n p r o d u c e s o l u t i o n s w h i c h a r e n o t f e a s i b l e . P r e s e n t l y , t h e r e a r e f o u r m e t h o d s u s e d t o h a n d l e c o n s t r a i n t s

w i t h G A s : r e j e c t i o n o f t h e o s p r i n g , r e p a i r a l g o r i t h m s , m o d i e d g e n e t i c o p e r a t o r s , a n d p e n a l t y f u n c t i o n s .

W h e n i n f e a s i b l e o s p r i n g h a v e b e e n c r e a t e d , t h e s e o s p r i n g c a n b e r e j e c t e d f r o m e n t e r i n g t h e p o p u l a t i o n .

T h i s t e c h n i q u e c a n s p e n d a g r e a t d e a l o f t i m e i n t h e e v a l u a t i o n a n d r e j e c t i o n o f t h e s e i n f e a s i b l e s o l u t i o n s .

W h e n a n i n f e a s i b l e s o l u t i o n h a s b e e n c r e a t e d b y a n o p e r a t o r , s p e c i a l r e p a i r a l g o r i t h m s f o r t h a t o p e r a t o r c a n


2/6

b e e m p l o y e d t o r e s t o r e f e a s i b i l i t y . H o w e v e r , r e p a i r a l g o r i t h m s a r e p r o b l e m s p e c i c , t h e c h i l d r e n o f t e n d o n o t

r e s e m b l e t h e i r p a r e n t s , a n d r e s t o r i n g f e a s i b i l i t y m a y b e a s d i c u l t a s t h e o p t i m i z a t i o n p r o b l e m 5 ] .

M i c h a l e w i c z h a s d e v e l o p e d a s y s t e m , G E N O C O P , t h a t c a n s o l v e a n y l i n e a r c o n s t r a i n e d p r o b l e m u s i n g

a s e t o f s p e c i a l g e n e t i c o p e r a t o r s . T h e o p e r a t o r s d e s i g n e d i n t h e s y s t e m a r e d e s i g n e d t o e x p l o i t t h e c o n v e x

r e g i o n p r o d u c e d b y t h e l i n e a r c o n s t r a i n t s . A n y l i n e a r c o m b i n a t i o n o f t w o f e a s i b l e p o i n t s i n a c o n v e x r e g i o n

w i l l p r o d u c e a n o t h e r f e a s i b l e p o i n t 5 , 6 ] . T h e l i m i t a t i o n o f t h i s s y s t e m i s t h a t i t c a n n o t h a n d l e n o n l i n e a r

c o n s t r a i n t s b e c a u s e t h e y d o n o t n e c e s s a r i l y p r o d u c e c o n v e x r e g i o n s .

P e n a l t y f u n c t i o n t e c h n i q u e s t r a n s f o r m t h e c o n s t r a i n e d p r o b l e m i n t o a n u n c o n s t r a i n e d p r o b l e m b y p e -

n a l i z i n g t h o s e s o l u t i o n s w h i c h a r e i n f e a s i b l e . I t h a s b e e n s h o w n t h a t p e n a l t y f u n c t i o n s b a s e d o n t h e d i s t a n c e

f r o m f e a s i b i l i t y o u t p e r f o r m t h o s e b a s e d u p o n t h e n u m b e r o f v i o l a t e d c o n s t r a i n t s 7 ] . T h e m a i n l i m i t a t i o n

o f t h e p e n a l t y f u n c t i o n s i s t h e d e g r e e t o w h i c h e a c h c o n s t r a i n t i s p e n a l i z e d . R e s e a r c h e r s h a v e s t a t e d t h a t i f

o n e i m p o s e s a h i g h d e g r e e o f p e n a l t y , m o r e e m p h a s i s i s p l a c e d o n o b t a i n i n g f e a s i b i l i t y a n d t h e G A w i l l m o v e

v e r y q u i c k l y t o w a r d s a f e a s i b l e s o l u t i o n . T h e s y s t e m w i l l t e n d t o c o n v e r g e t o f e a s i b l e p o i n t e v e n i f i t i s f a r

f r o m o p t i m a l . H o w e v e r , i f o n e i m p o s e a l o w d e g r e e o f p e n a l t y , l e s s e m p h a s i s i s p l a c e d o n f e a s i b i l i t y , a n d t h e

s y s t e m m a y n e v e r c o n v e r g e t o a f e a s i b l e s o l u t i o n 2 , 5 ] .

3 N o n - S t a t i o n a r y ( N S ) P e n a l t y M e t h o d s

T h e u s e o f p e n a l t y m e t h o d s t o s o l v e n o n l i n e a r p r o g r a m m i n g p r o b l e m s o r i g i n a t e d i n 1 9 4 3 b y C o u r a n t .

C o u r a n t , h o w e v e r , u s e d t h e s e p e n a l t y m e t h o d s o n l y t o o b t a i n s o l u t i o n s t o d i e r e n t i a l e q u a t i o n s . I t w a s

F i a c c o a n d M c C o r m i c k , a n d Z a n g w i l l w h o s t a r t e d a p p l y i n g t h e s e p e n a l t y m e t h o d s t o g e n e r a l N P p r o b -

l e m s i n t h e l a t e 1 9 6 0 ' s 1 , 2 ] . T h e s e p e n a l t y m e t h o d s s o l v e t h e g e n e r a l N P p r o b l e m t h r o u g h a s e q u e n c e o f

u n c o n s t r a i n e d o p t i m i z a t i o n p r o b l e m s . T h e s e m e t h o d s f o r c e i n f e a s i b l e p o i n t s t o w a r d t h e f e a s i b l e r e g i o n b y

s t e p - w i s e i n c r e a s i n g t h e p e n a l t y ,

k

u s e d i n t h e p e n a l i z i n g f u n c t i o n , P (

k

X ) . I t h a s b e e n s h o w n t h a t a

s o l u t i o n , X w h i c h m i n i m i z e s N P a l s o m i n i m i z e s N P a s k a p p r o a c h e s i n n i t y :

( N P ) m i n i m i z e F ( X

k

) = f ( X ) + P (

k

X )

w h e r e :

i m

k ! 1

k

= 1

i m

X ! f e a s i b i l i t y P (

k

X ) = 0

3 . 1 N o n - S t a t i o n a r y M e t h o d s w i t h G A ' s

T h i s s e q u e n t i a l u n c o n s t r a i n e d o p t i m i z a t i o n a p p r o a c h c o u l d b e u s e d f o r g e n e t i c a l g o r i t h m s . M i c h a l e w i c z

h a s u s e d s u c h a n a p p r o a c h i n h i s G E N O C O P I I s y s t e m 6 ] . T h i s s y s t e m r u n s a g e n e t i c a l g o r i t h m w i t h

a c o n s t a n t p e n a l t y , t h e n i n c r e a s e s t h e p e n a l t y a n d r u n s t h e G A a g a i n . T h i s p r o c e d u r e r e p e a t s u n t i l a n

a c c e p t a b l e s o l u t i o n i s f o u n d . T h e G E N O C O P I I s y s t e m p r o d u c e s a s e r i e s o f s o l u t i o n s b y i n i t i a l l y o p t i m i z i n g

t h e u n c o n s t r a i n e d p r o b l e m a n d t h e n g r a d u a l l y o p t i m i z i n g t h e c o n s t r a i n e d f u n c t i o n . W e i n c o r p o r a t e a s t e p -

w i s e p e n a l t y i n c r e a s e s b y i n c r e a s i n g t h e p e n a l t y ,

k

, w i t h i n a r u n o f t h e g e n e t i c a l g o r i t h m .

k

= C k C = C o n s t a n t a n d k = G e n e r a t i o n #

O u r p e n a l i z i n g f u n c t i o n , P (

k

X ) , i s b a s e d o n t h e s u m o f t h e v i o l a t e d c o n s t r a i n t s , S V C ( X )

D

i

( X ) =

0 g

i

( X ) ?

g

i

( X ) o t h e r w i s e

1 i m

D

j

( X ) =

0 ? h

j

( X )

h

j

( X ) o t h e r w i s e

1 j p

S V C ( X ) =

m

X

i = 1

D

i

( X ) +

p

X

j = 1

D

j

( X ) = 1 2 ; : : :

W e a r e i n t r o d u c i n g a f a m i l y o f p e n a l t y f u n c t i o n s b a s e d u p t r a d i t i o n a l c a l c u l u s - b a s e d m e t h o d s .

P ( ) =

k

S V C ( X )


3/6

A d d i t i o n a l l y , w e t r i e d a f a m i l y o f m e t h o d s w h e r e t h e i r o r i g i n c o m e s f r o m s i m u l a t e d a n n e a l i n g .

R ( ) = e

P ( )

F o u r v a r i a t i o n s o f t h e p e n a l t y m e t h o d s w e r e t e s t e d . T h e r s t t h r e e p e n a l t y m e t h o d s w e r e b a s e d o n t h e

t r a d i t i o n a l f a m i l y : P ( 1 1 ) P ( 1 2 ) , a n d P ( 1 2 ) . T h e f o u r t h v a r i a t i o n w a s b a s e d o n t h e s i m u l a t e d a n n e a l i n g

f a m i l y , R ( 1 1 )

4 T e s t C a s e s

T o t e s t t h e p e r f o r m a n c e o f t h e s y s t e m , f o u r t e s t c a s e s w e r e s e l e c t e d a n d w e r e e v a l u a t e d u s i n g s e v e r a l c r i t e r i o n .

T h e a v e r a g e a n d s t a n d a r d d e v i a t i o n o f t h e b e s t s o l u t i o n f r o m e a c h o f t h e 1 0 r e p l i c a t i o n s i s r e p o r t e d a s w e l l

a s t h e a v e r a g e o f t h e s u m o f t h e v i o l a t e d c o n s t r a i n t s o f t h e b e s t s o l u t i o n f o r e a c h r u n . T h e % F e a s i b l e i s t h e

p e r c e n t o f t h e r u n s i n w h i c h t h e b e s t s o l u t i o n w a s a f e a s i b l e s o l u t i o n . T h e \ B e s t " ( D i s t a n c e ) i s t h e m i n i m u m

s o l u t i o n o f t h e 1 0 r u n s a n d i t s c o r r e s p o n d i n g s u m o f c o n s t r a i n t v i o l a t i o n s . T h e \ B e s t F e a s i b l e " ( D i s t a n c e ) i s

t h e m o s t f e a s i b l e s o l u t i o n f r o m t h e 1 0 r u n s a n d i t s c o r r e s p o n d i n g s u m o f c o n s t r a i n t v i o l a t i o n s .

A o a t i n g p o i n t r e p r e s e n t a t i o n w a s u s e d a l o n g w i t h g e o m e t r i c r a n k i n g s e l e c t i o n w i t h n o r m a l i z a t i o n .

T h e s a m e s i x o p e r a t o r s w e r e u s e d a s w e r e i n G E N O C O P 5 , 6 ] . H o w e v e r , f o r n o n - l i n e a r c o n s t r a i n t s , t h e y

d o n o t m a i n t a i n f e a s i b i l i t y . F o r e a c h t e s t c a s e , w e m a d e 1 0 r e p l i c a t i o n s u s i n g t h e s a m e r a n d o m s e e d f o r

e a c h m e t h o d . A l l r u n s w e r e p e r f o r m e d w i t h t h e f o l l o w i n g G A p a r a m e t e r s : p o p s i z e = 8 0 , k = 2 8 ( n u m b e r o f

p a r e n t s i n e a c h g e n e r a t i o n ) , b = 2 ( c o e c i e n t f o r n o n - u n i f o r m m u t a t i o n ) , a = 0 . 2 5 ( p a r a m e t e r o f a r i t h m e t i c a l

c r o s s o v e r ) , C = 0 . 5 a n d 0 . 0 5 ( c o n s t a n t f o r P f a m i l y a n d R f a m i l y r e s p e c t i v e l y ) .

W e h a v e b e e n a b l e t o s o l v e s e v e r a l p r o b l e m s s i m i l a r t o t h a t o f T e s t C a s e # 1 i n v o l v i n g t w o t o t h r e e

v a r i a b l e s a n d c o n s t r a i n t s . T h e r e f o r e , t h e s e t o f p r o b l e m s w a s c h o s e n t o i l l u s t r a t e t h e p o t e n t i a l o f t h e

p r o p o s e d m e t h o d s t o s o l v i n g d i c u l t p r o b l e m s . T h e s e p r o b l e m s i n c l u d e n o n l i n e a r e q u a l i t i e s , i n v o l v i n g u p

t o 8 v a r i a b l e s a n d 6 b i n d i n g c o n s t r a i n t s .

4 . 1 T e s t C a s e # 1

T h i s p r o b l e m ( t a k e n f r o m 3 ] ) i s

m i n i m i z e f ( X ) = ( x

1

? 1 0 )

3

+ ( x

2

? 2 0 )

3

s u b j e c t t o t h e n o n l i n e a r c o n s t r a i n t s :

( x

1

? 5 )

2

+ ( x

2

? 5 )

2

? 1 0 0 0 0

? ( x

1

? 6 )

2

? ( x

2

? 5 )

2

+ 8 2 8 1 0 0

a n d b o u n d s : 1 3 x

1

1 0 0 a n d 0 x

2

1 0 0 .

T h e k n o w n g l o b a l s o l u t i o n i s X

= ( 1 4 0 9 5 0 8 4 2 9 6 ) a n d f ( X

) = ? 6 9 6 1 8 1 3 8 1 . P ( 1 1 ) P ( 2 2 ) , a n d

R ( 1 1 ) c o n s i s t e n t l y r e t u r n e d t h e o p t i m a l a n s w e r . H o w e v e r , P ( 1 2 ) h a d p r o b l e m s d u e t o t h e s e l e c t i v e p r e s s u r e

b e i n g t o o s m a l l .

P ( 1 , 1 ) P ( 1 , 2 ) P ( 2 , 2 ) R ( 1 , 1 )

A v g . - 6 9 6 0 . 0 4 1 8 - 7 0 1 7 . 6 8 5 3 - 6 9 5 8 . 3 8 4 1 - 6 9 6 0 . 9 8 5

S t d . D e v . 0 . 9 6 6 9 3 1 6 3 4 . 9 2 6 5 3 5 4 0 . 9 6 6 9 3 1 6 3 0 . 9 9 2 3 5 4 6 9

A v g D i s t . 0 . 0 0 . 0 4 8 1 0 . 0 1 6 8 1 0

6

% F e a s i b l e 1 0 0 % 0 % 1 0 0 % 9 0 %

B e s t - 6 9 6 1 . 7 8 5 3 - 7 0 2 8 . 0 9 2 6 - 6 9 6 1 . 2 3 9 9 - 6 9 6 1 . 8 2 5 3

( D i s t a n c e ) - ( 0 . 0 ) ( 0 . 0 5 7 1 1 ) ( 0 . 0 ) ( 1 6 8 1 0

5

)

B e s t F e a s e . - 6 9 6 1 . 7 8 5 3 - 7 0 1 1 . 2 6 4 6 - 6 9 6 1 . 2 3 9 9 - 6 9 6 1 . 7 8 5 3

( D i s t a n c e ) ( 0 . 0 ) ( 0 . 0 4 2 5 2 ) ( 0 . 0 ) ( 0 . 0 )

T a b l e 1 : R e s u l t s f o r T e s t C a s e # 1


4/6

4 . 2 T e s t C a s e # 2

T h i s p r o b l e m ( p r o b l e m 1 0 0 t a k e n f r o m 4 ] ) i s

m i n i m i z e f ( X ) = ( x

1

? 1 0 )

2

+ 5 ( x

2

? 1 2 )

2

+ x

4

3

+ 3 ( x

4

? 1 1 )

2

+

1 0 x

6

5

+ 7 x

2

6

+ x

4

7

? 4 x

6

x

7

? 1 0 x

6

? 8 x

7

s u b j e c t t o t h e n o n l i n e a r c o n s t r a i n t s :

1 2 7 ? 2 x

2

1

? 3 x

4

2

? x

3

? 4 x

2

4

? 5 x

5

0 0

2 8 2 ? 7 x

1

? 3 x

2

? 1 0 x

2

3

? x

4

+ x

5

0 0

1 9 6 ? 2 3 x

1

? x

2

2

+ ? 6 x

2

6

+ 8 x

7

0 0

? 4 x

2

1

? x

2

2

+ 3 x

1

x

2

? 2 x

2

3

? 5 x

6

+ 1 1 x

7

0 0

T h e b e s t k n o w n s o l u t i o n t o t h e p r o b l e m h a s a v a l u e o f f ( X

) = 6 8 0 6 4 0 0 5 7 3 w h i c h i s i n f e a s i b l e b y t h e

s u m o f v i o l a t e d c o n s t r a i n t s w a s 0 9 0 1 0

7

w h i c h i s l e s s t h a n , t h e c r i t e r i a u s e d f o r m a c h i n e p r e c i s i o n .

P ( 1 , 1 ) P ( 1 , 2 ) P ( 2 , 2 ) R ( 1 , 1 )

A v g . 6 8 3 . 6 8 0 9 6 8 4 . 4 6 7 9 6 8 4 . 9 8 9 2 6 8 0 . 9 1 7 2 4

S t d . D e v . 1 . 5 2 3 7 4 5 6 2 . 1 0 2 4 1 1 6 2 . 1 0 2 4 1 1 6 0 . 4 1 7 9 8 3 4 4

A v g . D i s t . 0 . 0 0 . 0 0 . 0 0 . 1 3 2 2

% F e a s i b l e 1 0 0 % 1 0 0 % 1 0 0 % 0 %

B e s t 6 8 1 . 7 6 9 8 1 6 8 2 . 2 3 8 6 0 6 8 1 . 4 5 7 1 7 6 8 0 . 4 3 3 6

( D i s t a n c e ) ( 0 . 0 ) ( 0 . 0 ) ( 0 . 0 ) ( 0 . 2 1 7 8 )

B e s t F e a s e . 6 8 1 . 7 6 9 8 1 6 8 2 . 2 3 8 6 0 6 8 1 . 4 5 7 1 7 6 8 0 . 8 6 4 3

( D i s t a n c e ) ( 0 . 0 ) ( 0 . 0 ) ( 0 . 0 ) ( 0 . 0 4 9 8 6 )


P ( 1 1 ) P ( 1 2 ) , a n d P ( 2 2 ) f o u n d s o l u t i o n s w h i c h w e r e c o m p l e t e l y f e a s i b l e a n d o n l y 0 . 1 2 % h i g h e r t h a n

t h e k n o w n b e s t s o l u t i o n . T h e R ( 1 1 ) , p e n a l i z i n g f u n c t i o n e n c o u n t e r e d d i c u l t i e s d u e t o t h e i n i t i a l s u m o f

t h e v i o l a t e d c o n s t r a i n t s b e i n g v e r y l a r g e , t h u s l e a d i n g t o o v e r o w s .

4 . 3 T e s t C a s e # 3


m i n i m i z e f ( X ) = 3 x

1

+ 1 0 x 1 0

6

x

3

1

+ 2 x

2

+

2

3

x 1 0

6

x

3

2

s u b j e c t t o t h e l i n e a r a n d n o n l i n e a r c o n s t r a i n t s :

x

4

? x

3

+ 0 5 5 0 0

x

3

? x

4

+ 0 5 5 0 0

1 0 0 0 s i n ( ? x

3

? 0 2 5 ) + 1 0 0 0 s i n ( ? x

4

? 0 2 5 ) + 8 9 4 8 ? x

1

= 0 0

1 0 0 0 s i n ( x

3

? 0 2 5 ) + 1 0 0 0 s i n ( x

3

? x

4

? 0 2 5 ) + 8 9 4 8 ? x

2

= 0 0

1 0 0 0 s i n ( x

4

? 0 2 5 ) + 1 0 0 0 s i n ( x

4

? x

3

? 0 2 5 ) + 1 2 9 4 8 = 0 0

a n d b o u n d s : 0 x

i

1 2 0 0 i = 1 2 a n d ? 0 5 5 x

i

0 5 5 i = 3 4

T h e b e s t k n o w n o p t i m a l f o r T e s t C a s e # 4 i s f ( X

) = 5 1 2 6 4 9 8 1 . A c c o r d i n g t o 8 ] t h i s p o i n t w a s n o t

c o m p l e t e l y f e a s i b l e b e c a u s e t h e s u m o f t h e v i o l a t e d c o n s t r a i n t s w a s 0 7 5 1 0

7

w h i c h w a s s t i l l l e s s t h a n


5/6

P ( 1 , 1 ) P ( 1 , 2 ) P ( 2 , 2 ) R ( 1 , 1 )

A v g . 5 3 1 7 . 8 2 0 4 5 3 5 8 . 4 1 3 0 5 5 2 0 . 0 9 0 3 5 2 0 7 . 9 6 0 4

S t d . D e v . 1 9 9 . 6 0 0 6 3 3 6 6 . 8 8 8 7 3 6 4 . 7 7 3 8 7 2 . 6 1 6

A v g . D i s t . . 0 . 0 0 4 2 0 3 0 . 0 0 0 8 7 7 9 0 . 0 0 1 4 3 4 0 . 0 0 5 6 4 2

% F e a s i b l e 0 % 0 % 0 % 0 %

B e s t 5 1 2 7 . 7 1 3 5 5 1 2 6 . 6 6 5 3 5 1 2 6 . 4 9 2 0 5 1 2 8 . 8 1 0 0

( D i s t a n c e ) ( 0 . 0 0 1 1 8 8 ) ( 0 . 0 0 1 6 2 5 ) ( 0 . 0 0 2 5 6 9 ) ( 0 . 0 2 9 2 2 )

B e s t F e a s e . 5 1 3 7 . 0 9 4 5 6 0 5 6 . 8 2 3 8 6 1 0 8 . 1 8 0 2 ; 5 2 3 9 . 9 0 1 9

( D i s t a n c e ) ( 0 . 0 0 0 2 2 3 6 ) ( 0 . 0 0 0 1 8 9 ) 9 1 9 8 1 0

5

( 0 . 0 0 0 5 5 2 7 )


N o m e t h o d r e t u r n e d a f e a s i b l e s o l u t i o n d u e t o t h e t h r e e e q u a l i t y c o n s t r a i n t s . I f w e h a d m a n i p u l a t e d t h e

c o n s t a n t s u s e d , o r a l l o w e d t h e s i m u l a t i o n t o r u n l o n g e r , w e m a y h a v e b e e n a b l e t o a c h i e v e a m o r e f e a s i b l e

p o i n t .

4 . 4 T e s t C a s e # 4


m i n i m i z e f ( X ) = x

1

+ x

2

+ x

3

s u b j e c t t o t h e l i n e a r a n d n o n l i n e a r c o n s t r a i n t s :

1 ? 0 0 0 2 5 x

4

? 0 0 0 2 5 x

6

0 0

1 ? 0 0 0 2 5 x

5

? 0 0 0 2 5 x

7

+ 0 0 0 2 5 x

4

0 0

1 ? 0 0 1 x

8

+ 0 0 1 x

5

0 0

1 ?

8 3 3 3 3 2 5 2 x

4

x

1

x

6

?

1 0 0

x

6

+

8 3 3 3 3 3 3 3

x

1

x

6

0 0

1 ?

1 2 5 0 x

5

x

2

x

7

?

x

4

x

7

+

1 2 5 0 x

4

x

2

x

7

0 0

1 ?

1 2 5 0 0 0 0

x

3

x

8

?

x

5

x

8

+

2 5 0 0 x

5

x

3

x

8

0 0

a n d b o u n d s : 1 0 0 x

1

1 0 0 0 0 , 1 0 0 0 x

i

1 0 0 0 0 i = 2 3 , a n d 1 0 x

j

1 0 0 0 j = 4 5 6 7 8

T h e b e s t k n o w n s o l u t i o n i s 7 0 4 9 . 2 4 . A c c o r d i n g t o 8 ] t h i s p o i n t w a s n o t c o m p l e t e l y f e a s i b l e . A g a i n t h e

s u m o f t h e v i o l a t e d c o n s t r a i n t s w a s 0 2 3 4 1 0

7

w h i c h w a s l e s s t h a n . T h i s w a s t h e h a r d e s t t e s t c a s e d u e

t o t h e f a c t t h a t a l l t h e c o n s t r a i n t s a r e b i n d i n g .

P ( 1 , 1 ) P ( 1 , 2 ) P ( 2 , 2 ) R ( 1 , 1 )

A v g . 7 2 4 4 . 2 7 8 6 4 1 8 1 . 3 2 4 7 7 5 3 5 . 0 5 1 8 7 7 3 2 . 7 8 4 5

S t d . D e v . 1 0 7 . 7 5 1 5 8 5 0 . 0 7 7 1 8 4 2 5 7 . 7 8 2 9 7 5 7 1 . 7 5 7 5 5

A v g . D i s t . 0 . 0 0 . 5 0 7 9 0 . 0 0 . 0

% F e a s i b l e 1 0 0 % 0 % 1 0 0 % 1 0 0 %

B e s t 7 0 6 8 . 6 8 8 0 4 1 1 2 . 3 2 4 7 2 3 5 . 8 7 1 4 7 1 7 3 . 7 8 4 5

( D i s t a n c e ) ( 0 . 0 ) ( 0 . 5 0 5 ) ( 0 . 0 ) ( 0 . 0 )

B e s t F e a s e . 7 0 6 8 . 6 8 8 0 4 2 4 5 . 2 5 3 6 7 2 3 5 . 8 7 1 4 7 1 7 3 . 7 8 4 5

( D i s t a n c e ) ( 0 . 0 ) ( 0 . 4 7 3 2 ) ( 0 . 0 ) ( 0 . 0 )


T h i s p r o b l e m i s b y f a r t h e m o s t c o m p l e x f u n c t i o n a n a l y z e d . E v e n t h o u g h t h e o b j e c t i v e f u n c t i o n i s s i m p l e ,

a l l s i x c o n s t r a i n t s a r e b i n d i n g . P ( 1 1 ) P ( 2 2 ) , a n d R ( 1 1 ) a l l p e r f o r m e d w e l l , r e t u r n i n g c o m p l e t e l y f e a s i b l e

s o l u t i o n s a p p r o x i m a t e l y 0 . 2 7 % a b o v e t h e b e s t k n o w n s o l u t i o n . P ( 1 2 ) h a d t h e s a m e d i c u l t i e s t h a t i t

e n c o u n t e r e d i n T e s t C a s e # 1 .


6/6

5 C o n c l u s i o n s

P e n a l t y f u n c t i o n s h a v e b e e n u s e d t o t r a n s f o r m a c o n s t r a i n e d o p t i m i z a t i o n p r o b l e m i n t o a n u n c o n s t r a i n e d

o p t i m i z a t i o n p r o b l e m . T r a d i t i o n a l c a l c u l u s - b a s e d p e n a l t y m e t h o d s g r a d u a l l y i n c r e a s e t h e p e n a l t y t o o b t a i n

t h e o p t i m a l f e a s i b l e v a l u e . W e h a v e i n c o r p o r a t e d t h i s c o n c e p t o f a n o n - s t a t i o n a r y p e n a l t y f u n c t i o n b y

i n c r e a s i n g t h e p e n a l t y p r o p o r t i o n a l l y t o t h e g e n e r a t i o n n u m b e r . T h e g o a l i s t o a l l o w t h e G A t o e x p l o r e m o r e

o f t h e s p a c e b e f o r e c o n n i n g t o i t t h e f e a s i b l e r e g i o n . H o w e v e r , i f e n o u g h p r e s s u r e i s n o t p l a c e d o n t h e G A ,

i t m a y n e v e r c o n v e r g e t o a f e a s i b l e s o l u t i o n . T h e r e f o r e , t h e c o n s t a n t C p l a y s a n i m p o r t a n t r o l e o f c o n t r o l l i n g

t h e c o n v e r g e n c e r a t e .

W h e n c o m p a r i n g t h e t w o t r a d i t i o n a l m e t h o d s , P ( 1 1 ) a n d P ( 1 2 ) t h e f o l l o w i n g o b s e r v a t i o n w a s n o t e d .

A s t h e c o n s t r a i n t s b e c o m e b a r e l y v i o l a t e d , ( i . e . d i s t a n c e f r o m f e a s i b i l i t y 1 ) , i t t a k e s a g r e a t e r s e l e c t i v e

p r e s s u r e t o f o r c e t h a t s o l u t i o n t o f e a s i b i l i t y . T e s t C a s e # 1 a n d T e s t C a s e # 4 d e m o n s t r a t e d t h i s f a c t , n o n e

o f t h e p o i n t s w e r e f e a s i b l e u s i n g j u s t P ( 1 2 ) P ( 2 2 ) s q u a r e s t h e g e n e r a t i o n n u m b e r p u t t i n g a g r e a t e r

s e l e c t i v e p r e s s u r e f o r c i n g P ( 1 2 ) t o c o n v e r g e t o f e a s i b l e s o l u t i o n s . P ( 1 1 ) o n a v e r a g e d i d b e t t e r t h a n t h e

o t h e r m e t h o d s . H o w e v e r , i t t a k e s l o n g e r t o c o n v e r g e t o a f e a s i b l e o p t i m a l s o l u t i o n t h a n t h e o t h e r t h r e e

m e t h o d s .

W i t h a l l f o u r m e t h o d s , w e e n c o u n t e r e d p r o b l e m s w i t h c o n s t r a i n t n o r m a l i z a t i o n . T h i s w a s e s p e c i a l l y

a p p a r e n t i n T e s t C a s e # 3 w i t h t h e R ( 1 1 ) m e t h o d . I n i t i a l p o i n t s i n t h e p o p u l a t i o n v i o l a t e d o n e c o n s t r a i n t

b y 1 1 0

1 0

, w h i c h w o u l d l e a d t o o v e r o w e r r o r s f o r t h e e x p o n e n t i a l . T h i s a l s o l e d t o t h i s c o n s t r a i n t

d o m i n a t i n g t h e G A f o r a l l m e t h o d s . T h e r e f o r e , w e w o u l d l i k e t o e x t e n d t h i s m e t h o d t o i n c l u d e s o m e

c o n s t r a i n t n o r m a l i z a t i o n t e c h n i q u e s .

F o r e a c h t e s t c a s e t h e p a r a m e t e r s w e r e x e d . T h e r e w a s n o a t t e m p t t o o p t i m i z e a n y o f t h e s t a n d a r d p a -

r a m e t e r s a s s o c i a t e d w i t h G A s , o r t h e p e n a l t y m e t h o d s . B y s i m p l y r u n n i n g t h e G A l o n g e r , w e a r e g u a r a n t e e d

t o o b t a i n a m o r e f e a s i b l e s o l u t i o n . W e w o u l d l i k e t o e x a m i n e t h e e e c t t h e p a r a m e t e r s h a v e o n o b t a i n i n g

f e a s i b l e o p t i m a l s o l u t i o n s ( i . e . t h e c o n s t a n t C )

I n G E N O C O P I I a n d G E N O C O P , l i n e a r c o n s t r a i n t s a r e h a n d l e d t h r o u g h s p e c i a l g e n e t i c o p e r a t o r s . W e

w o u l d l i k e t o a d o p t t h i s i d e a t o s e e i f i t w o u l d h e l p w i t h s o l v i n g p r o b l e m s w i t h l i n e a r c o n s t r a i n t s l i k e T e s t

C a s e # 3 a n d T e s t C a s e # 4 . A s a l r e a d y s t a t e d , t h e l i n e a r c o n s t r a i n t s p r o d u c e a c o n v e x h u l l a n d t h e g e n e t i c

o p e r a t o r s w i l l f o r c e t h e G A t o s t a y i n t h i s c o n v e x h u l l . T h i s c o n v e x h u l l w i l l a c t a s l i m i t i n g c o v e r i n g c o n v e x

s e t o f t h e n o n l i n e a r r e g i o n . T h i s c o n n e s t h e s e a r c h s p a c e t o t h i s h u l l w h i c h s h o u l d h e l p w i t h c o n v e r g e n c e a n d

o p t i m a l l y . O t h e r f u t u r e d i r e c t i o n s i n c l u d e t h e u s e o f d o u b l e e l i t i s t m o d e l w h e r e n o t o n l y t h e b e s t i n d i v i d u a l

i s s a v e d f r o m g e n e r a t i o n t o g e n e r a t i o n b u t a l s o t h e b e s t f e a s i b l e p o i n t i s k e p t .

R e f e r e n c e s

1 ] A v r i e l , M . , N o n l i n e a r P r o g r a m m i n g A n a l y s i s a n d M e t h o d s , P r e n t i c e - H a l l , I n c . , E n g l e w o o d C l i s , 1 9 7 6 .

2 ] B a z a r a a , M . S . , N o n l i n e a r p r o g r a m m i n g : t h e o r y a n d a l g o r i t h m s , W i l e y , N e w Y o r k , 1 9 7 9 .

3 ] F l o u d a s , C . A . a n d P a r d a l o s , P . M . , A C o l l e c t i n o f T e s t P r o b l e m s f o r C o n s t r a i n e d G l o b a l O p t i m i z a t i o n

A l g o r i t h m s , S p r i n g e r - V e r l a g , L e c t u r e N o t e s i n C o m p u t e r S c i e n c e , V o l . 4 5 5 , 1 9 8 7 .

4 ] H o c k , W . a n d S c h i t t k o w s k i , K . , T e s t E x a m p l e s f o r N o n l i n e a r P r o g r a m m i n g C o d e s , S p r i n g e r - V e r l a g ,

L e c t u r e N o t e s i n E c o n o m i c s a n d M a t h e m a t i c a l S y s t e m s , V o l . 1 8 7 , 1 9 8 .

5 ] M i c h a l e w i c z , Z . , G e n e t i c A l g o r i t h m s + D a t a S t r u c t u r e s = E v o l u t i o n P r o g r a m s , S p r i n g e r - V e r l a g , A I

S e r i e s , N e w Y o r k , 1 9 9 2 .

6 ] M i c h a l e w i c z , Z a n d A t t i a , N , G e n e t i c A l g o r i t h m + S i m u l a t e d A n n e a l i n g = G E N O C O P I I : A T o o l f o r

N o n l i n e a r P r o g r a m m i n g , s u b m i t t e d f o r p u b l i c a t i o n .

7 ] R i c h a r d s o n , J . , P a l m e r , M . , L i e p i n s , G . a n d H i l l i a r d , M . , S o m e G u i d e l i n e s f o r G e n e t i c A l g o r i t h m s w i t h

P e n a l t y F u n c t i o n s , P r o c e e d i n g s o f t h e T h i r d I n t e r n a t i o n a l C o n f e r e n c e o n G e n e t i c A l g o r i t h m s , 1 9 8 9 .

8 ] S c h i t t k o w s k i , K . , M o r e T e s t E x a m p l e s f o r N o n l i n e a r P r o g r a m m i n g C o d e s , S p r i n g e r - V e r l a g , L e c t u r e N o t e s

i n E c o n o m i c s a n d M a t h e m a t i c a l S y s t e m s , V o l . 2 8 2 , 1 9 8 .

on the use of non-stationary p enalt y functions to solve nonlinear constrained optimizati on...

Documents