fast lossy internet image transmission

8/3/2019 Fast Lossy Internet Image Transmission

1/12

F a s t L o s s y I n t e r n e t I m a g e T r a n s m i s s i o n

J o h n M . D a n s k i n G e o r e y M . D a v i s X i y o n g S o n g

D a r t m o u t h C o l l e g e

6 2 1 1 S u d i k o L a b o r a t o r y

H a n o v e r N H , 0 3 7 5 5 U S A

+ 1 - 6 0 3 - 6 4 6 - 2 2 0 6

f j m d , g d a v i s , x s o n g g @ c s . d a r t m o u t h . e d u

A B S T R A C T

I m a g e s a r e u s u a l l y t r a n s m i t t e d a c r o s s t h e I n t e r n e t u s i n g

a l o s s l e s s p r o t o c o l s u c h a s T C P / I P . L o s s l e s s p r o t o c o l s

r e q u i r e r e t r a n s m i s s i o n o f l o s t p a c k e t s , w h i c h s u b s t a n -

t i a l l y i n c r e a s e s t r a n s m i s s i o n t i m e . W e i n t r o d u c e a f a s t

l o s s y I n t e r n e t i m a g e t r a n s m i s s i o n s c h e m e ( F L I I T ) f o r

c o m p r e s s e d i m a g e s w h i c h e l i m i n a t e s r e t r a n s m i s s i o n d e -

l a y s b y s t r a t e g i c a l l y s h i e l d i n g i m p o r t a n t p o r t i o n s o f t h e

i m a g e w i t h r e d u n d a n c y b i t s . W e d e s c r i b e a j o i n t s o u r c e

a n d c h a n n e l c o d i n g a l g o r i t h m f o r i m a g e s w h i c h m i n -

i m i z e s t h e e x p e c t e d d i s t o r t i o n o f t r a n s m i t t e d i m a g e s .

T h e a l g o r i t h m e c i e n t l y a l l o c a t e s q u a n t i z e r r e s o l u t i o n

b i t s a n d r e d u n d a n c y b i t s t o c o n t r o l q u a n t i z a t i o n e r r o r s

a n d e x p e c t e d p a c k e t t r a n s m i s s i o n l o s s e s . W e d e s c r i b e

a n i m p l e m e n t a t i o n o f t h i s a l g o r i t h m a n d c o m p a r e i t s

p e r f o r m a n c e o n t h e I n t e r n e t t o l o s s l e s s T C P / I P t r a n s -

m i s s i o n o f t h e s a m e i m a g e s . I n o u r e x p e r i m e n t s , t h e

F L I I T s c h e m e t r a n s m i t t e d i m a g e s v e t i m e s f a s t e r t h a n

T C P / I P d u r i n g t h e d a y , w i t h r e s u l t i n g i m a g e s o f e q u i v -

a l e n t q u a l i t y .

K E Y W O R D S

f o r w a r d e r r o r c o r r e c t i o n , i m a g e c o m p r e s s i o n , i m a g e

t r a n s m i s s i o n , I n t e r n e t , l o s s y t r a n s m i s s i o n , W o r l d W i d e

W e b .

1 I N T R O D U C T I O N

W o r l d W i d e W e b r e q u e s t s a r e c u r r e n t l y e s t i m a t e d t o

c o m p r i s e s o m e 2 5 % o f a l l b y t e s s e n t o v e r t h e I n t e r n e t .

T h i s f r a c t i o n i s g r o w i n g r a p i d l y , a n d W W W r e q u e s t s

a r e p r o j e c t e d t o b e c o m e t h e s i n g l e l a r g e s t c o n s u m e r o f

I n t e r n e t b a n d w i d t h i n l a t e 1 9 9 5 7 ] . I m a g e s , m o s t o f

w h i c h a r e e x a m i n e d f o r a o n l y a f e w s e c o n d s , u n d o u b t -

e d l y c o n s t i t u t e t h e b u l k o f t h e 1 0 t e r a b y t e s o f m o n t h l y

W e b r e q u e s t s . F o r s u c h i n t e r a c t i v e a p p l i c a t i o n s a s w e b

b r o w s e r s , t h e r e s p o n s i v e n e s s g a i n e d f r o m r a p i d i m a g e

t r a n s m i s s i o n i s m o r e i m p o r t a n t t h a n p e r f e c t i m a g e -

d e l i t y , s i n c e r e l a t i v e l y f e w i m a g e s a r e c l o s e l y e x a m i n e d ,

a n d b e c a u s e m a n y a r e a l r e a d y d i s t o r t e d b y c o m p r e s s i o n .

T h e u s u a l m e t h o d f o r t r a n s m i t t i n g i m a g e s o v e r t h e

I n t e r n e t i s t o r s t c o m p r e s s t h e i m a g e s u s i n g a l o s s y

s c h e m e s u c h a s J P E G , a n d t h e n t o t r a n s m i t t h e m a c r o s s

t h e i n t r i n s i c a l l y l o s s y I n t e r n e t u s i n g t h e l o s s l e s s T C P / I P

p r o t o c o l . J P E G a n d r e l a t e d l o s s y s c h e m e s a r e v e r y s e n -

s i t i v e t o b i t e r r o r s a n d h e n c e r e q u i r e l o s s l e s s t r a n s m i s -

s i o n . T h e p r i c e p a i d f o r l o s s l e s s t r a n s m i s s i o n o v e r a

l o s s y m e d i u m i s e x c e s s i v e l y l e n g t h y t r a n s m i s s i o n t i m e s

d u e t o r e t r a n s m i s s i o n s o f l o s t p a c k e t s . A m o r e e c i e n t

m e a n s o f t r a n s m i t t i n g t h e d a t a i s v i a s o m e f o r m o f r e -

d u n d a n t t r a n s m i s s i o n ( f o r w a r d e r r o r c o r r e c t i o n ) w h i c h

w i l l m a k e s e r i o u s t r a n s m i s s i o n e r r o r s u n l i k e l y . R e d u n -

d a n c y m u s t b e a p p l i e d s e l e c t i v e l y , h o w e v e r , s i n c e t h e

a d d i t i o n o f r e d u n d a n c y i n c r e a s e s t h e a m o u n t o f i n f o r -

m a t i o n t o b e t r a n s m i t t e d .

L o s s l e s s t r a n s m i s s i o n s c h e m e s a r e e v e n m o r e p r o b l e m -

a t i c f o r I n t e r n e t v i d e o b r o a d c a s t i n g . R e t r a n s m i s s i o n i s

i m p r a c t i c a l w i t h b r o a d c a s t i n g b e c a u s e t h e r e c e i v e r s w i l l

n o t i n g e n e r a l e x p e r i e n c e t h e s a m e l o s s e s . A b r o a d c a s t e r

a t t e m p t i n g t o r e s p o n d t o a l l o f t h e s e d i e r e n t l o s s e s w i l l

q u i c k l y b e o v e r w h e l m e d . A g a i n , w h a t w e n e e d t o c o p e

w i t h p a c k e t l o s s e s i s s o m e f o r m o f f o r w a r d e r r o r c o r r e c -

t i o n .

S o m e o f t h e b i t s r e s u l t i n g f r o m J P E G c o m p r e s s i o n

a n d o t h e r s c h e m e s a r e n o t p e r c e p t u a l l y a s i m p o r t a n t

a s s o m e o f t h e o t h e r b i t s . F l i p p i n g h i g h o r d e r b i t s i n

t h e D C c h a n n e l m a k e s a b i g d i e r e n c e . F l i p p i n g l o w

o r d e r b i t s i n t h e n e d e t a i l c h a n n e l m a k e s a l m o s t n o

d i e r e n c e . P r o t e c t i n g t h e s e b i t s e q u a l l y i s n o t e c i e n t .

F L I I T u s e s a s u b b a n d c o m p r e s s i o n s c h e m e w i t h a

L a g r a n g e m u l t i p l i e r t e c h n i q u e t o a l l o c a t e b i t s t o c o d -

i n g s u b b a n d d a t a a n d t o f o r w a r d e r r o r c o r r e c t i o n . B i t s

d e v o t e d t o i m a g e d a t a g i v e u s a n i m a g e t o t r a n s m i t ,


2/12


3/12

d i s c a r d e d b y s w i t c h e s d u r i n g c o n g e s t i o n . O u r F L I I T

s c h e m e , i n c o n t r a s t , r e q u i r e s n o p r i o r i t i z a t i o n o f p a c k -

e t s b y t h e n e t w o r k a n d c a n f u n c t i o n o n a n y n e t w o r k

s u p p o r t i n g a s i m p l e d a t a g r a m p r o t o c o l .

T h e c o n t r i b u t i o n o f o u r F L I I T s c h e m e i s t o p r o v i d e a

s i m p l e , l o w - c o m p l e x i t y m e c h a n i s m f o r o b t a i n i n g a n e a r -

o p t i m a l p a r t i t i o n i n g o f b i t s b e t w e e n i m a g e q u a n t i z a t i o n

a n d r e d u n d a n c y f o r a g i v e n s e t o f i m a g e t r a n s f o r m q u a n -

t i z e r s , a p a r i t y p r o t e c t i o n s c h e m e , a n d a p a c k e t l o s s

m o d e l . W e d e s c r i b e i n d e t a i l a n i m p l e m e n t a t i o n o f t h e

a l g o r i t h m , d e m o n s t r a t e i t s e e c t i v e n e s s f o r i m a g e t r a n s -

m i s s i o n o n t h e I n t e r n e t a n d i t s r o b u s t n e s s u n d e r h e a v y

l o s s c o n d i t i o n s .

1 . 2 O u t l i n e

S e c t i o n 2 d e s c r i b e s t h e s u b b a n d c o m p r e s s i o n s c h e m e w e

u s e . S e c t i o n 3 o u t l i n e s t h e a l l o c a t i o n b i t s f o r d a t a r e p -

r e s e n t a t i o n a n d p r o t e c t i o n . S e c t i o n 4 g i v e s d e t a i l s f o r

i m p l e m e n t a t i o n . S e c t i o n s 5 p r e s e n t s e x p e r i m e n t a l r e -

s u l t s , a n d S e c t i o n 6 c o n c l u d e s w i t h a d i s c u s s i o n .

2 I M A G E C O M P R E S S I O N

2 . 1 S u b b a n d C o d i n g

W e u s e a s i m p l e w a v e l e t t r a n s f o r m c o d i n g s c h e m e t o

c o m p r e s s i m a g e s f o r t r a n s m i s s i o n . W e p e r f o r m a d i s -

c r e t e w a v e l e t t r a n s f o r m o n a n i m a g e , q u a n t i z e t h e c o e f -

c i e n t s u s i n g u n i f o r m q u a n t i z e r s , a n d e n t r o p y - c o d e t h e

r e s u l t i n g c o e c i e n t s u s i n g a n a r i t h m e t i c c o d e r . T h e r e s -

o l u t i o n o f t h e q u a n t i z e r s i s d e t e r m i n e d b y a L a g r a n g e

m u l t i p l i e r p r o c e d u r e w e d e s c r i b e b e l o w . W e u s e t h e 7 / 9 -

t a p b i o r t h o g o n a l w a v e l e t f r o m 1 7 ] f o r o u r e x p e r i m e n t s

b e l o w .

T h e F L I I T s c h e m e c a n e a s i l y b e m o d i e d t o w o r k

w i t h D C T - b a s e d s c h e m e s s u c h a s J P E G . W e h a v e c h o -

s e n t o w o r k w i t h w a v e l e t - b a s e d c o d e r b e c a u s e o f i t s s i m -

p l i c i t y a n d s u p e r i o r p e r f o r m a n c e . O u r l o w - c o m p l e x i t y

s c h e m e y i e l d s P S N R ' s f o r t h e 5 1 2 5 1 2 L e n a i m a g e

w i t h i n 0 . 3 t o 0 . 9 d B o f s t a t e o f t h e a r t c o d e r s 1 2 ] .

2 . 2 B i t A l l o c a t i o n

T h e d i s c r e t e w a v e l e t t r a n s f o r m p a r t i t i o n s a n i m a g e i n t o

a s e t o f s u b b a n d s r a n g i n g f r o m n e s c a l e s ( h i g h f r e -

q u e n c y ) t o c o a r s e ( l o w f r e q u e n c y ) . T y p i c a l l y t h e b u l k

o f t h e v i s u a l l y i m p o r t a n t i n f o r m a t i o n i s c o n c e n t r a t e d i n

t h e c o a r s e - s c a l e s u b b a n d s , w i t h t h e n e - s c a l e s u b b a n d s

c o n t r i b u t i n g m o s t l y a t s h a r p e d g e s . W e o b t a i n a c o m -

p r e s s e d i m a g e b y n e l y q u a n t i z i n g c o e c i e n t s t h a t c o n -

t r i b u t e h e a v i l y t o i m a g e d e l i t y a n d c o a r s e l y q u a n t i z i n g

o t h e r s . D e t e r m i n i n g t h e r e s o l u t i o n s f o r e a c h s u b b a n d

i s b a s i c a l l y a p r o b l e m o f r e s o u r c e a l l o c a t i o n . W e h a v e

a t r a d e o b e t w e e n q u a n t i z a t i o n e r r o r a n d t o t a l s t o r a g e

r e q u i r e m e n t s , a n d w e m u s t a l l o c a t e q u a n t i z e r b i n s t o

o b t a i n m i n i m a l d i s t o r t i o n f o r o u r g i v e n b i t e x p e n d i t u r e .

L e t D

j

( q ) b e t h e s u m o f t h e s q u a r e d e r r o r s i n c u r r e d

i n q u a n t i z i n g e a c h w a v e l e t c o e c i e n t i n b a n d j t o q b i t s ,

a n d l e t C

j

( q ) b e t h e c o s t o f s t o r i n g t h e e n t r o p y - c o d e d

q u a n t i z e d v a l u e s . W e u s e t h e m e a n s q u a r e d e r r o r a s o u r

m e a s u r e o f d i s t o r t i o n t o a l l o w c o m p a r i s o n t o c o m p e t i n g

a l g o r i t h m s , b u t t h e s c h e m e w e d e s c r i b e w i l l f u n c t i o n

e q u a l l y w e l l w i t h p e r c e p t u a l l y w e i g h t e d m e t r i c s s u c h a s

t h a t o f 1 0 ] . F o r a n i m a g e d e c o m p o s e d i n t o n s u b b a n d s ,

o u r g o a l i s t o n d a v e c t o r q = ( q

1

q

2

: : : q

n

) o f q u a n -

t i z e r b i n a l l o c a t i o n s w h i c h m i n i m i z e t h e t o t a l d i s t o r t i o n

D

t o t a l

( q ) =

P

n

j = 0

D

j

( q

j

) s u b j e c t t o t h e c o n s t r a i n t t h a t

t h e t o t a l c o s t i n b i t s , C

t o t a l

( q ) =

P

n

j = 0

C

j

( q

j

) m u s t b e

l e s s t h a n o r e q u a l t o s o m e g i v e n b i t b u d g e t C

m a x

. I n a d -

d i t i o n , t h e c o m p o n e n t s o f q m u s t a l l b e p o s i t i v e i n t e g e r s ,

a n d f o r p r a c t i c a l r e a s o n s w e i m p o s e a n u p p e r b o u n d o n

t h e c o m p o n e n t s o f q . T h u s w e s e e k a m i n i m i z a t i o n o v e r

q 2 Q w h e r e Q i s s o m e s e t o f v a l i d i n t e g e r - v a l u e d q u a n -

t i z e r b i n a l l o c a t i o n s .

S h o h a m a n d G e r s h o 1 3 ] d e s c r i b e a n a l g o r i t h m w h i c h

s o l v e s p r e c i s e l y t h i s p r o b l e m . T h e y s h o w t h a t a n y u n -

c o n s t r a i n e d m i n i m u m o f C

t o t a l

( q ) + D

t o t a l

( q ) i s a l s o

t h e s o l u t i o n t o a c o n s t r a i n e d p r o b l e m o f t h e f o r m w e

r e q u i r e . T h e s e u n c o n s t r a i n e d p r o b l e m s a r e m u c h e a s i e r

t o s o l v e , b u t w e m u s t d e t e r m i n e w h i c h v a l u e o f y i e l d s

t h e a p p r o p r i a t e c o n s t r a i n e d p r o b l e m . T h e c o n s t r a i n e d

p r o b l e m i s t h e r e b y t r a n s f o r m e d i n t o a s e a r c h t h r o u g h

a f a m i l y o f u n c o n s t r a i n e d p r o b l e m s . T h e a l g o r i t h m i n

1 3 ] g i v e s o p t i m a l o r n e a r - o p t i m a l b i t a l l o c a t i o n s f o r o u r

p r o b l e m .

I n o u r i m p l e m e n t a t i o n , w e u s e a u n i f o r m q u a n t i z e r f o r

s u b b a n d c o e c i e n t s . T h e l i m i t s o f t h e q u a n t i z a t i o n a r e

d e t e r m i n e d b y t h e r a n g e o f t h e c o e c i e n t s , a n d t h e r e s -

o l u t i o n i s t a k e n f r o m t h e s e t f 2

k

; 1 g

0 k K

f o r a x e d

p o s i t i v e K . W e k n o w a p r i o r i t h a t t h e w a v e l e t c o e -

c i e n t s w i l l b e d i s t r i b u t e d r o u g h l y s y m m e t r i c a l l y a r o u n d

0 , s o w e r e s t r i c t o u r s e l v e s t o o d d n u m b e r s o f q u a n t i z e r

b i n s t o e n s u r e t h a t t h e v e r y f r e q u e n t n e a r - z e r o c o e -

c i e n t s w i l l n o t b e d i v i d e d i n t o t w o b i n s . W e n d i n

n u m e r i c a l e x p e r i m e n t s t h a t a l l o w i n g q

j

t o a s s u m e i n t e r -

m e d i a t e v a l u e s d o e s n o t g i v e a s u b s t a n t i a l i m p r o v e m e n t

i n p e r f o r m a n c e . F o r a 2

N

2

N

i m a g e , t h e m i n i m i z a -

t i o n a l g o r i t h m i t e r a t i v e l y s e a r c h e s t h r o u g h a n a r r a y o f

s i z e ( 3 N + 4 ) K , a n d c o n v e r g e n c e i s t y p i c a l l y a c h i e v e d

i n r o u g h l y 3 0 i t e r a t i o n s . T h e c o m p l e x i t y o f t h e a l l o c a -

t i o n a l g o r i t h m i s q u i t e s m a l l w i t h r e s p e c t t o t h a t o f t h e

t r a n s f o r m a n d t h e e n t r o p y c o d i n g .

3 C H A N N E L C O D I N G A N D E X P E C T E D I M A G E

D I S T O R T I O N

3 . 1 J o i n t S o u r c e - C h a n n e l C o d i n g

T h e g o a l o f o u r c o m p r e s s i o n s c h e m e i s t o m i n i m i z e t h e

i m a g e d i s t o r t i o n i n c u r r e d f r o m q u a n t i z i n g t r a n s f o r m c o -

e c i e n t s . T r a n s m i s s i o n o f a n i m a g e o v e r a n e t w o r k i n -

t r o d u c e s a s e c o n d s o u r c e o f d i s t o r t i o n : n e t w o r k p a c k e t

l o s s e s . O u r c o m p r e s s i o n s c h e m e c o n t r o l s q u a n t i z a t i o n

e r r o r b y a d a p t i v e l y a l l o c a t i n g q u a n t i z e r r e s o l u t i o n . I n


4/12

t h e s a m e w a y , w e c a n c o n t r o l p a c k e t l o s s e r r o r s b y s e -

l e c t i v e l y a d d i n g r e d u n d a n c y t o o u r b i t s t r e a m .

T r a d i t i o n a l l y t h e c o s t s a n d d i s t o r t i o n s a s s o c i a t e d w i t h

q u a n t i z a t i o n a n d t r a n s m i s s i o n h a v e b e e n t r e a t e d s e p a -

r a t e l y . T h i s s e p a r a t i o n i s m o t i v a t e d b y S h a n n o n ' s j o i n t

s o u r c e c h a n n e l c o d i n g t h e o r e m 5 ] , w h i c h s t a t e s t h a t

s o u r c e c o d i n g f o l l o w e d b y c h a n n e l c o d i n g c a n b e m a d e

t o b e a s g o o d a s a n y s i n g l e - s t a g e s o u r c e / c h a n n e l c o d i n g

p r o c e d u r e . S h a n n o n ' s r e s u l t ( w h i c h i s a s y m p t o t i c a n d

r e q u i r e s i n n i t e c o m p u t a t i o n a l r e s o u r c e s ) i s n o t a p p l i -

c a b l e i n o u r c a s e , s i n c e i t d e a l s w i t h t h e p r o b l e m o f

t r a n s m i t t i n g a n i n n i t e b i t s t r e a m l o s s l e s s l y . I n f a c t , a s

o u r e x p e r i m e n t s s h o w b e l o w , s e p a r a t e s o u r c e a n d c h a n -

n e l c o d i n g i s i n e c i e n t f o r l o s s y t r a n s m i s s i o n .

W e h a v e a l r e a d y i n c u r r e d l o s s d u r i n g c o m p r e s s i o n a n d

a r e w i l l i n g t o a c c e p t a l i t t l e m o r e d u r i n g t r a n s m i s s i o n ,

p r o v i d e d t h a t w e l o s e b i t s w h i c h a r e v i s u a l l y l e s s i m p o r -

t a n t . T h e c h a n n e l c o d e r n e e d s a c c e s s t o t h e s o u r c e t o

k n o w t h e r e l a t i v e v a l u e s o f t h e b i t s . W e c a n v e r y e a s -

i l y c o m b i n e b o t h q u a n t i z a t i o n a n d t r a n s m i s s i o n e r r o r s

i n t o o u r c o s t a n d d i s t o r t i o n f u n c t i o n s a b o v e a n d u s e o u r

a l l o c a t o r t o n d a n e c i e n t d i s t r i b u t i o n o f q u a n t i z e r

r e s o l u t i o n a n d r e d u n d a n c y b i t s .

T h e p r o b l e m w e a d d r e s s i s t h a t o f t r a n s m i t t i n g i m -

a g e s a s a c o l l e c t i o n o f p a c k e t s o f b i t s o f a m a x i m u m s i z e

K o v e r a n e t w o r k . T h e c l a s s o f n e t w o r k p r o t o c o l s w e

c o n s i d e r h a s t w o i m p o r t a n t p r o p e r t i e s .

P a c k e t s m a y b e d e l i v e r e d o u t o f o r d e r , s o e a c h

p a c k e t c o n t a i n s a u n i q u e i d e n t i e r .

T h e c o n t e n t s o f a l l p a c k e t s a r e v e r i e d d u r i n g t r a n s -

m i s s i o n .

P a c k e t s a r e l o s t f o r o n e o f t w o r e a s o n s : a n o d e s o m e -

w h e r e o n t h e n e t w o r k r u n s o u t o f b u e r s p a c e a n d d r o p s

t h e p a c k e t , o r t h e p a c k e t i s c o r r u p t e d a n d f a i l s a v e r i c a -

t i o n p r o c e d u r e s o m e w h e r e i n t r a n s i t . B e c a u s e o f t h e r s t

p r o p e r t y , w e k n o w e x a c t l y w h i c h p a c k e t s h a v e b e e n l o s t .

B e c a u s e o f t h e s e c o n d p r o p e r t y , w e c a n a s s u m e t h a t a l l

p a c k e t s w h i c h a r e d e l i v e r e d a r e e r r o r - f r e e b e c a u s e t h e y

h a v e p a s s e d t h e p r o t o c o l ' s v e r i c a t i o n p r o c e d u r e .

W e a d d r e d u n d a n c y t o o u r t r a n s m i s s i o n b y a d d i n g

p a r i t y b i t s t o o u r d a t a s t r e a m a t a r a t e w h i c h d e p e n d s

o n t h e c u r r e n t s u b b a n d . S i n c e w e c a n t e l l w h i c h p a c k e t s

w e r e l o s t , a s i n g l e b l o c k o f p a r i t y b i t s c a n p r o t e c t a

g r o u p o f a n y n u m b e r o f b l o c k s o f d a t a a g a i n s t s i n g l e -

p a c k e t l o s s . G i v e n a g r o u p o f d a t a b l o c k s , a p a r i t y b l o c k

i s s e t t o t h e e x c l u s i v e - o r o f t h e b l o c k s i n t h e g r o u p . A n y

s i n g l e l o s t b l o c k c a n b e r e c o n s t r u c t e d a s t h e e x c l u s i v e - o r

o f t h e s u r v i v o r s . T h e r e i s a t r a d e o b e t w e e n p r o t e c t i o n

a n d c o s t . W e c a n o b t a i n g r e a t e r p r o t e c t i o n o f d a t a b y

d e c r e a s i n g t h e s i z e o f t h e g r o u p s p r o t e c t e d b y p a r i t y

b l o c k s , b u t t h i s i n c r e a s e d p r o t e c t i o n c o m e s a t t h e p r i c e

o f h a v i n g t o t r a n s m i t t h e a d d i t i o n a l p a r i t y b l o c k s . O u r

g o a l i s t o a l l o c a t e q u a n t i z e r b i n s a n d p a r i t y b l o c k s t o

s u b b a n d s s o t h a t w e m i n i m i z e t h e e x p e c t e d d i s t o r t i o n o f

t h e i m a g e .

I n p r a c t i c e , n e t w o r k p a c k e t l o s s e s o c c u r i n b u r s t s . W e

s e n d o u r p a c k e t s i n r a n d o m o r d e r s o t h a t t h e p r o b a b i l -

i t y o f p a c k e t l o s s e s w i t h i n p a r i t y g r o u p s c a n b e a p p r o x -

i m a t e d a s b e i n g i n d e p e n d e n t ( s u p p o s i n g t h a t t h e e x -

p e c t e d l e n g t h o f a b u r s t i s l e s s t h a n t h e s i z e o f a t r a n s -

m i s s i o n ) . F o r o u r o p t i m i z a t i o n , t h e n , w e a s s u m e t h a t

p a c k e t s a r e l o s t i n d e p e n d e n t l y w i t h a k n o w n p r o b a b i l -

i t y p

l o s s

. W e c a n c o n t r o l t h e v a r i a n c e o f o u r d i s t o r t i o n

b y a d j u s t i n g t h e p r o b a b i l i t y o f l o s s a s s u m e d b y t h e o p -

t i m i z e r . I n c r e a s i n g t h e a s s u m e d p r o b a b i l i t y o f l o s s b e -

y o n d t h e n e t w o r k ' s t r u e p a c k e t l o s s r a t e h a s t h e e e c t

o f s h i f t i n g b i t s f r o m d a t a t o r e d u n d a n c y , t h u s i n c r e a s i n g

t h e q u a n t i z a t i o n d i s t o r t i o n a t a g i v e n b i t - r a t e , b u t a l s o

i n c r e a s i n g t h e d e g r e e o f p r o t e c t i o n f r o m l o s t p a c k e t s .

S i n c e t h e o n l y s o u r c e o f v a r i a n c e i n t h e e x p e c t e d d i s t o r -

t i o n i s l o s t p a c k e t s , i n c r e a s i n g t h e d e g r e e o f r e d u n d a n c y

w i l l r e d u c e t h e v a r i a n c e a n d i n c r e a s e i m a g e c o n s i s t e n c y .

W e e m p h a s i z e t h a t p a r i t y - p r o t e c t i o n i s n o t t h e o n l y

f o r m o f r e d u n d a n c y w h i c h w i l l w o r k w i t h o u r o p t i m i z a -

t i o n s c h e m e w e h a v e c h o s e n i t f o r s i m p l i c i t y . M o r e s o -

p h i s t i c a t e d c o d i n g t e c h n i q u e s w h i c h o e r a b e t t e r r a -

t i o o f u n r e c o v e r a b l e l o s s r a t e t o c o d i n g o v e r h e a d e x i s t .

T h e s e s c h e m e s w i l l s t i l l t i n t o t h e F L I I T e x p e c t e d d i s -

t o r t i o n f r a m e w o r k b e c a u s e t h e r e w i l l a l w a y s b e a t r a d e -

o b e t w e e n c o d i n g o v e r h e a d a n d t h e u n r e c o v e r a b l e l o s s

r a t e t h a t c a n b e e x p l o i t e d b y t h e b i t - r a t e a l l o c a t o r .

3 . 2 E x p e c t e d D i s t o r t i o n

D a t a b l o c k s a r e g r o u p e d t o g e t h e r i n o n e o f t h r e e w a y s .

M u l t i p l e d a t a b l o c k s a r e s h i e l d e d b y a s i n g l e p a r i t y

b l o c k , a s i n g l e d a t a b l o c k i s r e p l i c a t e d m u l t i p l e t i m e s , o r

d a t a b l o c k s a r e u n s h i e l d e d . C o n s i d e r a s u b b a n d c o n s i s t -

i n g o f n d a t a b l o c k s . L e t D

q

b e t h e a v e r a g e q u a n t i z a t i o n

e r r o r i n c u r r e d p e r b l o c k , l e t D

m

b e t h e e r r o r i n c u r r e d

i n r e p l a c i n g a l l c o e c i e n t s i n a d a t a b l o c k b y t h e q u a n -

t i z e d s u b b a n d m e a n , a n d l e t D

z

b e t h e e r r o r i n c u r r e d

i n r e p l a c i n g a l l c o e c i e n t s i n a d a t a b l o c k b y z e r o . W e

h a v e D

q

D

m

D

z

, s o t h a t z e r o - r e p l a c e m e n t i s t h e

w o r s t - c a s e s c e n a r i o .

D a t a a n d p a r i t y b l o c k s f r o m e a c h s u b b a n d a r e d i s -

t r i b u t e d s o t h a t n o t w o b l o c k s f r o m t h e s a m e b a n d a r e

c o n t a i n e d i n t h e s a m e n e t w o r k p a c k e t . H e n c e l o s s e s

o f d a t a b l o c k s a r e i n d e p e n d e n t e v e n t s . E v e r y s u c c e s s -

f u l l y t r a n s m i t t e d o r l o s t - b u t - r e c o v e r a b l e b l o c k i n a d a t a

g r o u p p r o d u c e s a n e r r o r o f D

q

o n a v e r a g e . I f t h e s u b -

b a n d m e a n i s a v a i l a b l e ( i . e . i f a t l e a s t o n e p a c k e t f r o m

t h e g r o u p i s s u c c e s s f u l l y t r a n s m i t t e d ) , l o s t b l o c k s p r o -

d u c e a n a v e r a g e e r r o r o f D

m

o t h e r w i s e l o s t b l o c k s p r o -

d u c e a n a v e r a g e e r r o r o f D

z

T h e e x p e c t e d d i s t o r t i o n f o r a b a n d c o n s i s t i n g o f n

d a t a b l o c k s i s

E ( D ) = n D

q

+ n p

u n r e c o v e r a b l e

( D

m

; D

q

)


5/12

+ n p

n


( D

z

; D

m

) ( 1 )

w h e r e p


i s t h e p r o b a b i l i t y o f a n u n r e -

c o v e r a b l e p a c k e t l o s s . F o r u n s h i e l d e d d a t a b l o c k s ,

p


i s s i m p l y p

l o s s

, t h e p r o b a b i l i t y o f l o s i n g

a p a c k e t . I n t h e c a s e o f r e p l i c a t e d b l o c k s , a l o s s w i l l b e

u n r e c o v e r a b l e o n l y i f a l l c o p i e s a r e l o s t . H e n c e , i n t h i s

c a s e p


= p

m

l o s s

, w h e r e m i s t h e t o t a l n u m -

b e r o f c o p i e s o f e a c h b l o c k t r a n s m i t t e d . F o r s u b b a n d s

i n w h i c h e a c h k b l o c k s a r e s h i e l d e d b y a s i n g l e p a r i t y

b l o c k , t h e p r o b a b i l i t y o f l o s i n g a n y s i n g l e b l o c k u n r e -

c o v e r a b l y i s p


= p

l o s s

1 ; ( 1 ; p

l o s s

)

k

] , t h e

p r o b a b i l i t y o f l o s i n g t h a t b l o c k a n d a t l e a s t o n e o f t h e

o t h e r k b l o c k s . I n o u r p a c k e t l o a d i n g s c h e m e w e i m p o s e

t h e r e s t r i c t i o n t h a t n o 2 b l o c k s f r o m t h e s a m e s u b b a n d

m a y o c c u p y t h e s a m e p a c k e t , s o b l o c k l o s s e s a r e t r u l y

i n d e p e n d e n t .

L e t r

j

i n d i c a t e t h e m a n n e r o f p a r i t y s h i e l d i n g f o r t h e

s u b b a n d j . W e r e p l a c e t h e c o s t a n d d i s t o r t i o n f u n c -

t i o n s C

j

( q

j

) a n d D

j

( q

j

) w i t h t h e f u n c t i o n s

C

j

( q

j

r

j

)

a n d

D

j

( q

j

r

j

) w h i c h i n c o r p o r a t e t h e c o s t o f t h e p a r i t y

p a c k e t s a n d t h e e x p e c t e d d i s t o r t i o n i n c u r r e d i n t r a n s -

m i s s i o n . T h e n e w c o s t f u n c t i o n

C

j

( q

j

r

j

) w i l l e q u a l t h e

o l d C

j

( q

j

) p l u s t h e n u m b e r o f b i t s u s e d f o r t h e p a r i t y

b l o c k s . T h e n e w d i s t o r t i o n f u n c t i o n

D

j

( q

j

r

j

) i s o b -

t a i n e d f r o m o n e o f t h e t h r e e e x p e c t e d d i s t o r t i o n f u n c -

t i o n s d e r i v e d a b o v e . W e n o w s o l v e t h e c o n s t r a i n e d m i n -

i m i z a t i o n p r o b l e m a s b e f o r e , u s i n g t h e s e n e w c o s t a n d

d i s t o r t i o n f u n c t i o n s .

4 I M P L E M E N T A T I O N

4 . 1 E n c o d i n g

A d e s c r i p t i o n o f t h e e n c o d i n g p r o c e s s f o l l o w s :

1 . A p p l y a w a v e l e t s u b b a n d d e c o m p o s i t i o n t o t h e i m -

a g e . I n a c o m p l e t e w a v e l e t d e c o m p o s i t i o n , t h e

c o a r s e - s c a l e s u b b a n d w o u l d b e a s i n g l e p i x e l v a l u e

c o r r e s p o n d i n g t o a w e i g h t e d a v e r a g e o f a l l p i x e l s i n

t h e i m a g e . B e c a u s e o f t h e n e c e s s i t y o f m a i n t a i n i n g

s o m e h e a d e r i n f o r m a t i o n w i t h e a c h s u b b a n d , i t i s

c h e a p e r t o s t o p t h e t r a n s f o r m a t i o n a t s o m e p o i n t

s h o r t o f a s i n g l e p i x e l ( s a y a 3 2 3 2 c o a r s e - s c a l e

i m a g e ) , a n d t o t r a n s m i t t h i s i m a g e u n t r a n s f o r m e d .

T h i s b a s e i m a g e i s r e f e r r e d t o a s t h e c o a r s e s c a l e

b a n d , o r b a n d 0 . I t c o r r e s p o n d s r o u g h l y t o t h e D C

b a n d o f a J P E G i m a g e . T h e o t h e r ( d e t a i l ) b a n d s

a r e r e n e m e n t s o f t h i s i m a g e , e a c h s u c c e s s i v e b a n d

p r o v i d i n g t h e i n f o r m a t i o n n e c e s s a r y t o d o u b l e t h e

i m a g e r e s o l u t i o n .

2 . A s s i g n q u a n t i z e r r e d u n d a n c i e s a n d l e v e l s o f p a r i t y

a c c o r d i n g t o t h e a l g o r i t h m d e s c r i b e d i n t h e p r e v i -

o u s s e c t i o n .

3 . F o r t r a n s m i s s i o n , i t m a k e s s e n s e t o d i s t r i b u t e e a c h

b a n d a c r o s s a s m a n y p a c k e t s a s p o s s i b l e u s i n g a

p i x e l i n t e r l e a v i n g s c h e m e l i k e t h e o n e d e s c r i b e d

i n 1 6 ] s o t h a t a l o s t p a c k e t w i l l n o t c a u s e a c a t a s -

t r o p h i c b a n d l o s s . D i s t r i b u t i n g s u b b a n d s d o e s n o t

r e d u c e e x p e c t e d d i s t o r t i o n ( b e c a u s e t h e c h a n c e o f

s o m e l o s s i n a g i v e n s u b b a n d i s i n c r e a s e d b y d i s t r i -

b u t i o n ) , b u t i t r e d u c e s t h e v a r i a n c e i n t h e e x p e c t e d

d i s t o r t i o n b y i n c r e a s i n g t h e p o p u l a t i o n s u b j e c t t o

t h e t r a n s m i s s i o n e x p e r i m e n t .

T h i s d e s i r e f o r s u b d i v i s i o n i s t e m p e r e d b y t h e n e e d

f o r a d e s c r i p t i v e h e a d e r f o r e a c h i n d e p e n d e n t i m a g e

b l o c k . S i n c e i m a g e t r a n s m i s s i o n i s l o s s y , a n d a n y

s u b s e t o f n e t w o r k p a c k e t s c o u l d a r r i v e , w e a d d e d a

h e a d e r t o e a c h b l o c k w h i c h d e s c r i b e s t h e b l o c k i n

e n o u g h d e t a i l t o p e r m i t ( l o s s y ) r e c o n t r u c t i o n o f t h e

s u b b a n d c o r r e s p o n d i n g t o t h e b l o c k .

W e s e t t l e d o n i m a g e b l o c k s o f u p t o a b o u t 1 5 0 b y t e s

e a c h . H e a d e r i n f o r m a t i o n w o r k e d o u t t o a b o u t 1 5

b y t e s p e r b l o c k , b u t b e c a u s e t h e r e w e r e m a n y s m a l l

s u b b a n d s t h a t w e r e n o t b r o k e n i n t o b l o c k s , r o u g h l y

2 0 % o f t h e c o m p r e s s e d i m a g e e n d s u p a s h e a d e r

i n f o r m a t i o n .

A f u t u r e i m p l e m e n t a t i o n m i g h t l o c a l i z e t h i s h e a d e r

i n f o r m a t i o n i n a f e w h e a v i l y s h i e l d e d p a c k e t s , w h i c h

w o u l d b e m o r e e c i e n t s i n c e m u c h o f t h e h e a d e r

i n f o r m a t i o n i s r e p l i c a t e d b e t w e e n b l o c k s f r o m t h e

s a m e s u b b a n d .

4 . T h e c o m p r e s s e d w a v e l e t c o e c i e n t s f o l l o w t h e

h e a d e r i n t h e c o m p r e s s e d b l o c k . T h e w a v e l e t c o -

e c i e n t s a r e c o m p r e s s e d u s i n g a d a p t i v e a r i t h m e t i c

c o d i n g . A r i t h m e t i c c o d e r s e m i t ; l o g

2

p

i

b i t s

w h e r e p

i

w a s t h e p r e d i c t e d p r o b a b i l i t y o f t h e i t h

e v e n t . I n a d a p t i v e c o d i n g , t h e r e l a t i v e f r e q u e n c i e s

o f p a s t e v e n t s , a s r e m e m b e r e d i n h i s t o g r a m s , a r e

u s e d t o e s t i m a t e t h e p r o b a b i l i t y o f f u t u r e e v e n t s

f o r t h e p u r p o s e s o f c o d i n g . S o t h a t n o e v e n t i s p r e -

d i c t e d w i t h z e r o p r o b a b i l i t y , h i s t o g r a m s a r e u s u a l l y

i n i t i a l i z e d s o t h a t a l l p o s s i b l e e v e n t s h a v e f r e q u e n c y

o n e . A s t h e i n p u t i s r e a d , t h e h i s t o g r a m a d a p t s

t o t h e a c t u a l f r e q u e n c i e s e n c o u n t e r e d . F o r a l a r g e

d a t a s e t , t h e i n e r t i a r e p r e s e n t e d b y t h e i n i t i a l a t

h i s t o g r a m i s u n i m p o r t a n t .

B y b l o c k i n g , w e h a v e r e d u c e d t h e a m o u n t o f t i m e

a v a i l a b l e f o r t h e h i s t o g r a m t o a d a p t t o t h e i n p u t

d i s t r i b u t i o n . T o c o m p e n s a t e f o r t h i s e e c t , w e u s e

t h e f o l l o w i n g s c h e m e :

I n i t i a l l y , t h e r e a r e t w o h i s t o g r a m s , o n e a t

h i s t o g r a m ( F ) w i t h e v e r y p o s s i b l e v a l u e i n i -

t i a l i z e d t o o n e , a n d o n e e m p t y h i s t o g r a m ( H )

w i t h a s i n g l e s y m b o l , t h e e s c a p e s y m b o l w i t h

i n i t i a l p r o b a b i l i t y a n d f r e q u e n c y e q u a l t o 1 .

W h e n e v e r a n i n p u t s y m b o l a p p e a r s w i t h n o n -

z e r o p r o b a b i l i t y ( f r e q u e n c y ) i n h i s t o g r a m H , i t


6/12

i s c o d e d u s i n g h i s t o g r a m H , a n d i t s f r e q u e n c y

i n h i s t o g r a m H i s i n c r e m e n t e d .

W h e n e v e r a n i n p u t s y m b o l a p p e a r s w i t h z e r o

p r o b a b i l i t y i n h i s t o g r a m H , t h e e s c a p e s y m b o l

i s c o d e d u s i n g h i s t o g r a m H , a n d t h e s y m b o l i s

c o d e d u s i n g h i s t o g r a m F ( i n w h i c h i t m u s t a p -

p e a r ) . T h i s n e w s y m b o l i s a d d e d t o h i s t o g r a m

H w i t h f r e q u e n c y 1 , a n d h i s t o g r a m F i s n e v e r

a g a i n u s e d t o c o d e t h i s s y m b o l .

T h i s t w o h i s t o g r a m s c h e m e a d a p t s m u c h m o r e

q u i c k l y t h a n t h e s i n g l e h i s t o g r a m s c h e m e . S i m i l a r

s c h e m e s a r e u s e d f o r b l e n d i n g h i g h o r d e r c o n t e x t s

i n t e x t c o d i n g 2 ] , b u t w e a r e u n a w a r e o f a p r i o r u s e

o f t h i s s c h e m e i n i m a g e c o d i n g .

5 . A f t e r t h e c o m p r e s s e d b l o c k s a r e g e n e r a t e d , w e a d d

r e d u n d a n c y . T h e b l o c k s a r e s o r t e d b y p r o t e c t i o n

l e v e l a n d s i z e , i n o r d e r o f d e c r e a s i n g p r o t e c t i o n

a n d s i z e . B l o c k s r e q u i r i n g r e p l i c a t i o n a r e s i m p l y

r e p l i c a t e d . A g i v e n b l o c k a n d i t s r e p l i c a s w i l l a l l

h a v e t h e s a m e p a r i t y g r o u p n u m b e r , w h i c h w i l l p r e -

v e n t t h e m f r o m b e i n g i n c l u d e d i n t h e s a m e n e t w o r k

p a c k e t .

B l o c k s r e q u i r i n g t h e s a m e l e v e l o f p a r i t y p r o t e c -

t i o n w i l l b e g r o u p e d t o g e t h e r b y t h e s o r t . U s u a l l y

i t w i l l n o t b e p o s s i b l e t o m e e t t h e r e q u i r e m e n t s

e x a c t l y . F o r i n s t a n c e , t h e r e m i g h t b e j u s t 4 d a t a

b l o c k s w h i c h w a n t t o b e i n a g r o u p o f 5 d a t a b l o c k s

p r o t e c t e d b y a p a r i t y b l o c k . I n t h i s c a s e , w e u s e a

g r e e d y a l g o r i t h m t o p r o m o t e a b l o c k w i t h l e s s s t r i n -

g e n t p r o t e c t i o n r e q u i r e m e n t s ( i f o n e i s a v a i l a b l e ) t o

r o u n d o u t t h e g r o u p . T h i s p r o m o t i o n p r o c e d u r e i s

m o r e e c i e n t t h a n t h e a l t e r n a t i v e o f l e a v i n g p a r i t y

g r o u p s u n l l e d , a n d e e c t i v e l y p r o m o t i n g a l l o f t h e

m e m b e r s o f a g r o u p t o a h i g h e r l e v e l o f p r o t e c t i o n .

S o r t i n g b y s i z e h e l p s t o k e e p s i m i l a r l y s i z e d b l o c k s

i n t h e p a r i t y g r o u p , w h i c h i s v a l u a b l e b e c a u s e t h e

p a r i t y b l o c k m u s t b e a s l a r g e a s t h e l a r g e s t d a t a

b l o c k i n t h e g r o u p .

6 . F i n a l l y , w e h a v e c o m p r e s s e d d a t a a n d p a r i t y b l o c k s

r e a d y f o r t r a n s m i s s i o n . I f ( w h e n ) t h e n e t w o r k

i s c o n g e s t e d , t h r o u g h p u t w i l l b e g a t e d b y r o u t e r

s c h e d u l i n g , r a t h e r t h a n b y b a n d w i d t h . R o u t e r s

s c h e d u l e c o m m u n i c a t i o n c h a n n e l s u s i n g a r o u n d

r o b i n a l g o r i t h m w h i c h i s i n s e n s i t i v e t o p a c k e t s i z e .

T h i s m e a n s t h a t u s e r s o f p a c k e t s s m a l l e r t h a n t h e

l a r g e s t p a c k e t t r a n s m i t t e d b y t h e n e t w o r k w i l l p a y

a h e a v y t h r o u g h p u t p e n a l t y f o r t h e i r p o o r j u d g e -

m e n t . C o n v e r s e l y , i f a u s e r s e n d s s u c h l a r g e p a c k e t s

t h a t t h e y a r e f r a g m e n t e d e n - r o u t e , t h e n t h e y w i l l

l o s e t h e i r e n t i r e l a r g e p a c k e t w h e n e v e r a s i n g l e f r a g -

m e n t i s l o s t , a l s o r e s u l t i n g i n r e d u c e d t h r o u g h p u t .

T h e l a r g e s t I n t e r n e t p a c k e t w h i c h i s g u a r a n t e e d n o t

t o b e f r a g m e n t e d i s 5 7 6 b y t e s 1 5 ] .

W e u s e t h e l a r g e s t - r s t r s t - t h e u r i s t i c t o p a c k

b l o c k s i n t o 5 5 0 b y t e U D P p a c k e t s . A d d i t i o n a l

r e s t r i c t i o n s a r e t h a t b l o c k s f r o m t h e s a m e p a r i t y

g r o u p a r e n o t a l l o w e d i n t h e s a m e p a c k e t , a n d

b l o c k s f r o m t h e s a m e b a n d a r e n o t a l l o w e d i n t h e

s a m e p a c k e t .

4 . 2 D e c o d i n g

D e c o d i n g i s e s s e n t i a l l y e n c o d i n g i n r e v e r s e , e x c e p t t h a t

a l l t h e b i t a l l o c a t i o n d e c i s i o n s h a v e b e e n m a d e , a n d

s o m e o f t h e p a c k e t s m a y h a v e b e e n l o s t .

1 . R e a d t h e s u r v i v i n g p a c k e t s .

2 . S o r t i n t o p a r i t y g r o u p s .

3 . I f t h e r e a r e a n y p a r i t y g r o u p s w i t h o n e m i s s i n g

m e m b e r , r e c o n s t r u c t t h e m i s s i n g m e m b e r .

4 . D e c o d e a l l o f t h e d a t a b l o c k s i n t o t h e i r r e s p e c t i v e

s u b b a n d s . W h e n d e c o d i n g a c o a r s e b a n d b l o c k , i f

i t i s t h e r s t o n e , l l i n t h e w h o l e b a n d w i t h v a l -

u e s f r o m t h i s b l o c k s o t h a t i f a n y o t h e r b l o c k s f r o m

t h i s b a n d t u r n o u t t o b e m i s s i n g , t h e i r v a l u e s w i l l

b e r e p l a c e d b y n e a r b y v a l u e s f r o m t h i s b l o c k . M i s s -

i n g d e t a i l b a n d v a l u e s a r e r e p l a c e d b y t h e s u b b a n d

m e a n s .

5 . R e c o n s t r u c t t h e i m a g e .

4 . 3 R a t e C o n t r o l

T h e I n t e r n e t i s a s h a r e d m e d i u m . P r o g r a m s h a v e t o

c o n t r o l t h e r a t e a t w h i c h t h e y s e n d d a t a o r t h e y r i s k

c a u s i n g c o n g e s t i o n i n t h e n e t w o r k , w h i c h r e s u l t s i n l o s t

p a c k e t s , a n d r e d u c e d p e r f o r m a n c e f o r e v e r y b o d y . T h e

T C P p r o t o c o l i m p l e m e n t e d i n t h e R E N O r e l e a s e o f B S D

U n i x c o n t r o l s i t s r a t e b y s t a r t i n g o u t v e r y s l o w l y , s l o w -

i n g d o w n w h e n p a c k e t s a r e d r o p p e d ( i n d i c a t i n g c o n g e s -

t i o n ) , a n d s p e e d i n g u p o t h e r w i s e . T h e p r o b l e m w i t h

t h i s s t r a t e g y i s t h a t i t i n d u c e s a c e r t a i n l e v e l o f p a c k e t

l o s s e s o n t h e I n t e r n e t .

A s e c o n d m e t h o d f o r r a t e c o n t r o l i s t o c o m p a r e e x -

p e c t e d t h r o u g h p u t r a t e s w i t h a c t u a l t h r o u g h p u t r a t e s .

W h e n e v e r t h e r a t e o f p a c k e t r e c e p t i o n d r o p s b e l o w t h e

r a t e o f p a c k e t t r a n s m i s s i o n , t h e n e t w o r k m u s t b e s t o r -

i n g o r d r o p p i n g t h e e x c e s s d a t a . T h i s i s t h e s t r a t e g y

i m p l e m e n t e d i n B r a k m o e t a l ' s T C P V e g a s p r o t o c o l 4 ] .

N e i t h e r o f t h e s e r a t e c o n t r o l s c h e m e s i s a p p r o p r i -

a t e \ a s i s " f o r t h e t r a n s m i s s i o n o f c o m p r e s s e d i m a g e s

a c r o s s t h e I n t e r n e t . T h e p r o b l e m i s t h a t c o m p r e s s e d

i m a g e s a r e m u c h s m a l l e r t h a n t h e d a t a s e t s i z e r e q u i r e d

t o a c h i e v e s t e a d y s t a t e t r a n s m i s s i o n . I n 4 ] w e s e e a d e -

l a y o f 2 . 5 s e c o n d s b e f o r e s t e a d y s t a t e a n d h e a v y p a c k e t


7/12

0 6 12 18 24

Hour of Day (US Eastern Time)

0

10

20

30

40

LossRate(%)

1 ms/packet

2 ms/packet

4 ms/packet

16 ms/packet

512 ms/packet

F i g u r e 1 : T h i s g r a p h p l o t s t h e I n t e r n e t p a c k e t d r o p r a t e ,

f o r p a c k e t s s e n t f r o m D a r t m o u t h C o l l e g e t o a S t a n f o r d

U n i v e r s i t y e c h o s e r v e r a n d b a c k , a s a f u n c t i o n o f t i m e o f

d a y . E a c h c u r v e c o r r e s p o n d s t o a d i e r e n t t r a n s m i s s i o n

r a t e . P a c k e t s c o n t a i n e d r o u g h l y 5 5 0 b y t e s e a c h . 2 m s p e r

p a c k e t w a s a n e e c t i v e t r a n s m i s s i o n r a t e b e t w e e n 0 3 : 0 0

a n d 0 4 : 0 0 E D T , b u t g e n e r a t e s h i g h l o s s r a t e s w h e n t h e

n e t b e c o m e s b u s y d u r i n g t h e d a y . D u r i n g t h e d a y , t h e

l o s s r a t e n e v e r d r o p s m u c h b e l o w 5 % n o m a t t e r h o w

s l o w l y d a t a i s t r a n s m i t t e d .

l o s s e s a t a r o u n d 7 5 0 m s b e c a u s e t h e T C P R E N O o v e r -

s h o o t s t h e c h a n n e l ' s a c t u a l t h r o u g h p u t b y a f a c t o r o f

t w o a t t h e e n d o f s l o w - s t a r t u p .

F o r t h e n e t w o r k e x p e r i m e n t i n t h i s p a p e r , w e u s e d

a n o i n e p r o c e s s t o c h o o s e a f a i r t r a n s m i s s i o n r a t e f o r

F L I I T p a c k e t s . T h i s r a t e w a s c h o s e n b y p i c k i n g t h e k n e e

o n t h e l o a d / l o s s c u r v e 1 8 ] . S t r e a m s o f p a c k e t s c o n t a i n -

i n g r o u g h l y 5 5 0 b y t e s w e r e s e n t a t v a r i o u s t r a n s m i s s i o n

r a t e s , a n d t h e l o s s r a t e w a s m e a s u r e d f o r e a c h r a t e . A s

c a n b e s e e n i n F i g u r e 1 , t h e l o s s r a t e a s a f u n c t i o n o f

t r a n s m i s s i o n r a t e w a s r o u g h l y c o n s t a n t a t r a t e s b e l o w

a b o u t 4 m s p e r p a c k e t . A b o v e 4 m s p e r p a c k e t , t h e l o s s

r a t e i n c r e a s e d s h a r p l y . W e c h o s e t o r u n o u r e x p e r i m e n t s

u s i n g a t r a n s m i s s i o n r a t e o f 4 m s p e r p a c k e t t o a v o i d h i g h

l o s s r a t e s , a n d t o a v o i d i m p a c t i n g o t h e r a p p l i c a t i o n s .

I n f u t u r e w o r k , w e p l a n t o i n c o r p o r a t e a n a u t o m a t i c

V e g a s - l i k e r a t e c o n t r o l s t r a t e g y i n t o o u r i m a g e s e r v e r .

T h e m a i n d i e r e n c e i n r a t e c o n t r o l f r o m T C P - V e g a s

w o u l d b e t h a t r a t e c o n t r o l i n f o r m a t i o n w o u l d b e r e -

t a i n e d f o r e a c h n e t w o r k a d d r e s s b e t w e e n i m a g e t r a n s -

m i s s i o n s . T h i s w o u l d e l i m i n a t e s t a r t u p e e c t s f r o m i m -

a g e t r a n s m i s s i o n , e x c e p t f o r t h e r s t i m a g e s e n t t o a

g i v e n s i t e .

4 . 4 S t o p p i n g C r i t e r i o n

F L I I T p a c k e t s m a y b e l o s t o r d e l a y e d f o r l o n g p e r i o d s

o f t i m e . I f w e w a i t t o o l o n g f o r s l o w p a c k e t s , w e l o s e

r e s p o n s i v e n e s s . I f w e d o n ' t w a i t l o n g e n o u g h , w e l o s e

p a c k e t s . T h i s t r a d e o b e t w e e n t r a n s m i s s i o n s p e e d a n d

p a c k e t l o s s h a s a n e l e g a n t r e s o l u t i o n : w e c a n i n c o r p o r a t e

t h e t r a d e o i n t o o u r r e s o u r c e a l l o c a t i o n a l g o r i t h m a n d

c h o o s e a n o p t i m a l s t o p p i n g p o i n t .

T h e s e r v e r s e n d s p a c k e t s a t a c o n s t a n t r a t e , w h i c h w e

a s s u m e t o h a v e b e e n c h o s e n i n s o m e p r o - s o c i a l m a n n e r

c o n d u c i v e t o k e e p i n g c o n g e s t i o n d o w n . I f w e s e n d a

p a c k e t e v e r y b t i m e u n i t s , w h e r e b i s c h o s e n t o b e l e s s

t h a n o r e q u a l t o t h e t h r o u g h p u t o f t h e n e t w o r k , a n d t h e

n e t w o r k d e l i v e r s a l l p a c k e t s a f t e r a x e d d e l a y , t h e n t h e

n - t h p a c k e t w i l l a r r i v e a t t i m e T

n

= a + ( n ; 1 ) b . H e r e

a i s t h e a r r i v a l t i m e o f t h e r s t p a c k e t . O n t h e I n t e r n e t ,

p a c k e t s a r e d e l a y e d b y v a r i a b l e l e n g t h s o f t i m e . W e c a n

i n c o r p o r a t e t h i s v a r i a b i l i t y i n t o o u r a r r i v a l t i m e m o d e l

b y a d d i n g a r a n d o m d e l a y v a r i a b l e X

n

. N o w w e h a v e

T

n

= a + b ( n ; 1 ) + X

n

. O u r g o a l i s t o n d a s t o p p i n g

t i m e T

s t o p

a f t e r w h i c h w e s t o p w a i t i n g f o r p a c k e t s a n d

r e c o n s t r u c t o u r i m a g e .

P a c k e t s a r r i v i n g a f t e r t i m e T

s t o p

w i l l b e c o n s i d e r e d

l o s t . G i v e n t h e d i s t r i b u t i o n s o f t h e X

n

, w e c a n d e -

t e r m i n e P ( T

n

> T

s t o p

) , t h e p r o b a b i l i t y t h a t p a c k e t n

w i l l b e l o s t d u e t o e x c e s s i v e d e l a y . W e h a v e r a n d o m -

i z e d t h e o r d e r o f t h e p a c k e t s w e t r a n s m i t , s o t h e p r o b -

a b i l i t y o f a n y g i v e n p a c k e t b e i n g t h e n - t h p a c k e t t r a n s -

m i t t e d i s

1

N

, w h e r e N i s t h e t o t a l n u m b e r o f p a c k e t s

s e n t . T h e p r o b a b i l i t y o f a p a r t i c u l a r p a c k e t b e i n g l o s t

d u e t o d e l a y i s p

d e l a y

( T

s t o p

) =

1

N

P

N

k = 1

P ( T

n

> T

s t o p

)

T h e o v e r a l l p r o b a b i l i t y t h a t a p a c k e t i s l o s t , t h e n , i s

p

l o s s

= 1 ; ( 1 ; p

d r o p

) ( 1 ; p

d e l a y

) w h e r e p

d r o p

i s t h e

p r o b a b i l i t y o f t h e p a c k e t b e i n g d r o p p e d i n t r a n s i t .

W e s e e t h a t o u r c h o i c e o f s t o p p i n g t i m e t h u s a e c t s

t h e l o s s r a t e o b s e r v e d b y t h e r e c e i v e r . T h e r e c o n s t r u c t e d

i m a g e d i s t o r t i o n i s a f u n c t i o n , t h e n , n o t o n l y o f t h e n u m -

b e r o f d a t a a n d r e d u n d a n c y b i t s , b u t a l s o o f t h e s t o p p i n g

t i m e . B e c a u s e o u r c o n s t r a i n t i s o n t h e n u m b e r o f b i t s

s e n t , a n d n o t o n t h e l e n g t h o f t i m e r e q u i r e d t o r e c e i v e

t h e i m a g e , t h e o p t i m a l v a l u e o f T

s t o p

i s i n n i t e . I f o u r

g o a l i s t o m a x i m i z e r e s p o n s i v e n e s s , w e n e e d t o c o n s t r a i n

t h e t i m e r e q u i r e d t o r e c e i v e t h e i m a g e r a t h e r t h a n t h e

t o t a l n u m b e r o f b i t s w e s e n d . W e c a n d o t h i s b y s e t t i n g

o u r c o s t f u n c t i o n t o b e t h e s u m o f t h e t i m e r e q u i r e d t o

s e n d t h e b i t s i n t h e i m a g e p l u s t h e t i m e s p e n t w a i t i n g .

T h e r e s u l t i s t h a t w e o b t a i n a n e w s e t o f c o s t a n d d i s -

t o r t i o n f u n c t i o n s w h i c h d e p e n d o n t h e b i t a l l o c a t i o n s

a s w e l l a s t h e s t o p p i n g t i m e . B y v a r y i n g t h e s t o p t i m e

i n o u r a l l o c a t i o n a l g o r i t h m , w e c a n o b t a i n j o i n t l y o p t i -

m i z e d b i t a l l o c a t i o n s a n d a s t o p p i n g t i m e .

I n o u r e x p e r i m e n t s w e m o d e l t h e d e l a y s X

n

a s a s e t

o f i n d e p e n d e n t , i d e n t i c a l l y d i s t r i b u t e d P o i s s o n r a n d o m

v a r i a b l e s w i t h p a r a m e t e r . F i g u r e 2 s h o w s t h a t t h e


8/12

-4 -2 0 2 4

normalized delay

0.0

0.2

0.4

0.6

0.8

1.0

P(normalizeddelay

fast lossy internet image transmission

Documents