col10601.pdf

7/28/2019 col10601.pdf

http://slidepdf.com/reader/full/col10601pdf 1/50

Communications Source and ChannelCoding with examples

By:

Peter Grant

7/28/2019 col10601.pdf


7/28/2019 col10601.pdf


Communications Source and ChannelCoding with examples

By:

Peter Grant

Online:< http://cnx.org/content/col10601/1.3/ >

C O N N E X I O N S

Rice University, Houston, Texas

7/28/2019 col10601.pdf


T h i s s e l e c t i o n a n d a r r a n g e m e n t o f c o n t e n t a s a c o l l e c t i o n i s c o p y r i g h t e d b y P e t e r G r a n t . I t i s l i c e n s e d u n d e r t h e

C r e a t i v e C o m m o n s A t t r i b u t i o n 2 . 0 l i c e n s e ( h t t p : / / c r e a t i v e c o m m o n s . o r g / l i c e n s e s / b y / 2 . 0 / ) .

C o l l e c t i o n s t r u c t u r e r e v i s e d : M a y 7 , 2 0 0 9

P D F g e n e r a t e d : F e b r u a r y 5 , 2 0 1 1

F o r c o p y r i g h t a n d a t t r i b u t i o n i n f o r m a t i o n f o r t h e m o d u l e s c o n t a i n e d i n t h i s c o l l e c t i o n , s e e p . 4 3 .

7/28/2019 col10601.pdf


T a b l e o f C o n t e n t s

1 H u m a n s o u r c e c o d e r . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

2 B l o c k F E C C c o d i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

3 B l o c k c o d e p e r f o r m a n c e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 3

4 C o n v o l u t i o n a l F E C C E n c o d e r . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 5

5 V i t e r b i D e c o d e r . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1

6 T u r b o C o d i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 7

I n d e x . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2

A t t r i b u t i o n s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 3

7/28/2019 col10601.pdf


i v

7/28/2019 col10601.pdf


7/28/2019 col10601.pdf


2

C H A P T E R 1 . H U F F M A N S O U R C E C O D E R

F i g u r e 1 . 1 : S o u r c e e n c o d e r e n t r o p y c a l c u l a t i o n

F i g u r e 1 . 1 s h o w s t h a t t h e e n t r o p y o f t h i s s o u r c e d a t a i s 2 . 5 5 2 4 b i t s / s y m b o l .

S y m b o l C o d e

A 0 0 0

B 0 0 1

C 0 1 0

D 0 1 1

E 1 0 0

F 1 0 1

G 1 1 0

H 1 1 1

T a b l e 1 . 2

: S i m p l e x e d l e n g t h ( 3 - b i t ) e n c o d e r

T h i s s h o w s t h e a p p l i c a t i o n o f v e r y s i m p l e c o d i n g w h e r e , a s t h e r e a r e 8 s y m b o l s , w e a d o p t a 3 - b i t c o d e .

F i g u r e 1 . 1 s h o w s t h a t t h e e n t r o p y o f s u c h a s o u r c e i s 2 . 5 5 2 4 b i t / s y m b o l a n d , w i t h t h e x e d 3 b i t / s y m b o l

7/28/2019 col10601.pdf


3

l e n g t h a l l o c a t e d c o d e w o r d s , t h e e c i e n c y o f t h i s s i m p l e c o d e r w o u l d b e o n l y 2 . 5 5 2 4 / 3 . 0 = 8 5 . 0 8 % , w h i c h i s

a r a t h e r p o o r r e s u l t .

1 . 1 . 2 H u m a n c o d i n g

T h i s i s a v a r i a b l e l e n g t h c o d i n g t e c h n i q u e w h i c h i n v o l v e s t w o p r o c e s s e s , r e d u c t i o n a n d s p l i t t i n g .

1 . 1 . 2 . 1 R e d u c t i o n

W e s t a r t b y l i s t i n g t h e s y m b o l s i n d e s c e n d i n g o r d e r o f p r o b a b i l i t y , w i t h t h e m o s t p r o b a b l e s y m b o l , C , a t

t h e t o p a n d t h e l e a s t p r o b a b l e s y m b o l , H , a t t h e f o o t , s e e l e f t h a n d s i d e o f F i g u r e 1 . 2 . N e x t w e r e d u c e t h e

t w o l e a s t p r o b a b l e s y m b o l s i n t o a s i n g l e s y m b o l w h i c h h a s t h e c o m b i n e d p r o b a b i l i t y o f t h e s e t w o s y m b o l s

s u m m e d t o g e t h e r . T h u s s y m b o l s H a n d D a r e c o m b i n e d i n t o a s i n g l e ( i . e . r e d u c e d ) s y m b o l w i t h p r o b a b i l i t y

0 . 0 4 + 0 . 0 5 = 0 . 0 9 .

N o w t h e s y m b o l s h a v e t o b e r e o r d e r e d a g a i n i n d e s c e n d i n g o r d e r o f p r o b a b i l i t y . A s t h e p r o b a b i l i t y o f

t h e n e w H + D c o m b i n e d s y m b o l ( 0 . 0 9 ) i s n o l o n g e r t h e s m a l l e s t v a l u e i t t h e n m o v e s u p t h e r e o r d e r e d l i s t a s

s h o w n i n t h e s e c o n d l e f t c o l u m n i n F i g u r e 1 . 2 .

T h i s p r o c e s s i s p r o g r e s s i v e l y r e p e a t e d a s s h o w n i n F i g u r e 1 . 2 u n t i l a l l s y m b o l s a r e c o m b i n e d i n t o a s i n g l e

s y m b o l w h o s e p r o b a b i l i t y m u s t e q u a l 1 . 0 0 .

F i g u r e 1 . 2 : H u m a n c o d e r r e d u c t i o n p r o c e s s

7/28/2019 col10601.pdf


4


1 . 1 . 2 . 2 S p l i t t i n g

T h e v a r i a b l e l e n g t h c o d e w o r d s f o r e a c h t r a n s m i t t e d s y m b o l a r e n o w d e r i v e d b y w o r k i n g b a c k w a r d s ( f r o m

t h e r i g h t ) t h r o u g h t h e t r e e s t r u c t u r e c r e a t e d i n F i g u r e 1 . 2 , b y a s s i g n i n g a 0 t o t h e u p p e r b r a n c h o f e a c h

c o m b i n i n g o p e r a t i o n a n d a 1 t o t h e l o w e r b r a n c h .

T h e n a l c o m b i n e d s y m b o l o f p r o b a b i l i t y 1 . 0 0 i s t h u s s p l i t i n t o t w o p a r t s o f p r o b a b i l i t y 0 . 6 0 w i t h

a s s i g n e d d i g i t o f 0 a n d a n o t h e r p a r t w i t h p r o b a b i l i t y 0 . 4 0 w i t h a s s i g n e d d i g i t o f 1 . T h i s l a t t e r p a r t w i t h

p r o b a b i l i t y 0 . 4 0 a n d a s s i g n e d d i g i t o f 1 a c t u a l l y r e p r e s e n t s s y m b o l C , F i g u r e 1 . 3 .

T h e c o m b i n e d s y m b o l w i t h p r o b a b i l i t y 0 . 6 0 ( a n d a l l o c a t e d r s t d i g i t o f 0 ) i s n o w s p l i t i n t o t w o f u r t h e r

p a r t s w i t h p r o b a b i l i t y 0 . 3 7 w i t h a n a d d i t i o n a l o r s e c o n d a s s i g n e d d i g i t o f 0 ( i . e . i t s c o d e i s n o w 0 0 ) a n d

a n o t h e r p a r t w i t h t h e r e m a i n i n g p r o b a b i l i t y 0 . 2 3 w h e r e t h e a d d i t i o n a l a s s i g n e d d i g i t i s 1 a n d a s s o c i a t e d c o d e

w i l l n o w b e 0 1 .

F i g u r e 1 . 3 : H u m a n c o d e r s p l i t t i n g p r o c e s s t o g e n e r a t e t h e v a r i a b l e l e n g t h c o d e w o r d s a n d a l l o c a t e

t h e s e d e p e n d i n g o n s y m b o l p r o b a b i l i t i e s .

T h i s p r o c e s s i s r e p e a t e d b y a d d i n g e a c h n e w d i g i t a f t e r t h e s p l i t t i n g o p e r a t i o n t o t h e r i g h t o f t h e p r e v i o u s

o n e . N o t e h o w t h i s a l l o c a t e s s h o r t c o d e s t o t h e m o r e p r o b a b l e s y m b o l s a n d l o n g e r c o d e s t o t h e l e s s p r o b a b l e

s y m b o l s , w h i c h a r e t r a n s m i t t e d l e s s o f t e n .

7/28/2019 col10601.pdf


5

S y m b o l C o d e

A 0 1 1

B 0 0 1

C 1

D 0 0 0 1 0

E 0 1 0 1

F 0 0 0 0

G 0 1 0 0

H 0 0 0 1 1

T a b l e 1 . 3

: H u m a n n c o d e d v a r i a b l e l e n g t h s y m b o l s

1 . 1 . 3 C o d e e c i e n c y

F i g u r e 1 . 3 s u m m a r i s e s t h e c o d e w o r d s n o w a l l o c a t e d t o e a c h o f t h e t r a n s m i t t e d s y m b o l s A . . .H a n d a l s o

c a l c u l a t e s t h e a v e r a g e l e n g t h o f t h i s s o u r c e c o d e r a s 2 . 6 1 b i t s / s y m b o l . N o t e t h e c o n s i d e r a b l e r e d u c t i o n f r o m

t h e x e d l e n g t h o f 3 i n t h e s i m p l e 3 - b i t c o d e r i n e a r l i e r t a b l e .

7/28/2019 col10601.pdf


6


F i g u r e 1 . 4 : S u m m a r y o f a l l o c a t e d c o d e w o r d s f o r e a c h s y m b o l , A . . . H , a n d c a l c u l a t i o n o f a v e r a g e l e n g t h

o f t r a n s m i t t e d c o d e w o r d .

N o w r e c a l l f r o m F i g u r e 1 . 1 t h a t t h e e n t r o p y o f t h e s o u r c e d a t a w a s 2 . 5 5 2 4 b i t s / s y m b o l a n d t h e s i m p l e

x e d l e n g t h 3 - b i t c o d e i n t h e e a r l i e r t a b l e , w i t h a l e n g t h o f 3 . 0 0 w h i c h g a v e a n e c i e n c y o f o n l y 8 5 . 0 8 % .

T h e e c i e n c y o f t h e H u m a n c o d e d d a t a w i t h i t s v a r i a b l e l e n g t h c o d e w o r d s i s t h e r e f o r e 2 . 5 5 2 4 / 2 . 6 2 =

9 7 . 7 % w h i c h i s a m u c h m o r e a c c e p t a b l e r e s u l t .

I f t h e s y m b o l p r o b a b i l i t i e s a l l h a v e v a l u e s 1 / ( 2n ) w h i c h a r e i n t e g e r p o w e r s o f 2 t h e n H u m a n n c o d i n g

w i l l r e s u l t i n 1 0 0 % e c i e n c y .

n o t e : T h i s m o d u l e h a s b e e n c r e a t e d f r o m l e c t u r e n o t e s o r i g i n a t e d b y P M G r a n t a n d D

G M C r u i c k s h a n k w h i c h a r e p u b l i s h e d i n I A G l o v e r a n d P M G r a n t , " D i g i t a l C o m m u n i -

c a t i o n s " , P e a r s o n E d u c a t i o n , 2 0 0 9 , I S B N 9 7 8 - 0 - 2 7 3 - 7 1 8 3 0 - 7 . P o w e r p o i n t s l i d e s p l u s e n d o f

c h a p t e r p r o b l e m e x a m p l e s / s o l u t i o n s a r e a v a i l a b l e f o r i n s t r u c t o r u s e v i a p a s s w o r d a c c e s s a t

h t t p : / / w w w . s e e . e d . a c . u k / ∼p m g / D I G I C O M M S /

7/28/2019 col10601.pdf


C h a p t e r 2

B l o c k F E C C c o d i n g

1

2 . 1 B l o c k F E C C c o d i n g

2 . 1 . 1 F o r w a r d e r r o r c o r r e c t i n g c o d i n g ( F E C C )

B l o c k c o d e s a r e o n e e x a m p l e o f t h e f o r w a r d e r r o r c o r r e c t i n g c o d i n g ( F E C C ) t e c h n i q u e w h e r e w e e n c o d e

t h e s i g n a l b y a d d i n g a d d i t i o n a l b i t s o r d i g i t s o f r e d u n d a n t d a t a s o t h a t t h e d e c o d e r i s t h e n a b l e t o c o r r e c t

m o s t o f t h e e r r o r s w h i c h a r e i n t r o d u c e d b y t r a n s m i s s i o n t h r o u g h a n o i s y c h a n n e l . F E C C w a s i n v e n t e d f o r

d e e p s p a c e p r o b e s w h e r e t h e e x t r e m e l y l o n g t r a n s m i s s i o n p r o p a g a t i o n p a t h l o s s r e s u l t s i n r e c e i v e d d a t a w i t h

p a r t i c u l a r l y l o w s i g n a l t o n o i s e r a t i o a s t h e m o d e s t t r a n s m i t t e r p o w e r i s l i m i t e d b y t h e s o l a r p a n e l o u t p u t s .

A s w e a r e a d d i n g a d d i t i o n a l b i t s t o g e n e r a t e e a c h c o d e w o r d t h i s i s a s y s t e m a t i c e n c o d e r a s t h e i n f o r m a t i o n

d a t a b i t s a r e i n c l u d e d d i r e c t l y w i t h i n t h e c o d e w o r d s . T h e a d d i t i o n a l b i t s r e q u i r e d f o r t h e t r a n s m i s s i o n o f t h e

r e d u n d a n t i n f o r m a t i o n i n c r e a s e s t h e d a t a r a t e w h i c h w i l l c o n s u m e m o r e b a n d w i d t h i f w e w i s h t o m a i n t a i n

t h e s a m e t h r o u g h p u t , b u t , i f w e s e e k t o o b t a i n l o w e r r o r r a t e s , t h e n t h i s t r a d e - o i s u s u a l l y a c c e p t a b l e .

1

T h i s c o n t e n t i s a v a i l a b l e o n l i n e a t < h t t p : / / c n x . o r g / c o n t e n t / m 1 8 1 7 4 / 1 . 3 / > .

7

7/28/2019 col10601.pdf


8

C H A P T E R 2 . B L O C K F E C C C O D I N G

F i g u r e 2 . 1 : E r r o r p r o b a b i l i t y a g a i n s t r e c e i v e d n o i s e l e v e l f o r F E C C a n d u n c o d e d d a t a t r a n s m i s s i o n s

F i g u r e 2 . 1 s h o w s t h e t y p i c a l e r r o r r a t e p e r f o r m a n c e f o r u n c o d e d d a t a c o m p a r e d w i t h F E C C d a t a . I t

p l o t s t h e b i t e r r o r p r o b a b i l i t y , P b , a g a i n s t

E b

N 0.

E b

N 0i s t h e m e a s u r e o f t h e e n e r g y p e r b i t t o t h e n o i s e p o w e r

s p e c t r a l d e n s i t y r a t i o a n d i s t h e n o r m a l l y u s e d s i g n a l t o n o i s e r a t i o r a t i o m e a s u r e o n t h e s e e r r o r r a t e p l o t s .

F E C C i s u s e d w i d e l y i n c o m p a c t d i s c s ( C D ) , c o m p u t e r s t o r a g e a n d d a t a t r a n s m i s s i o n , a l l m a n o r o f r a d i o

l i n k s , d a t a m o d e m s , v i d e o , T V a n d c e l l p h o n e t r a n s m i s s i o n s , s p a c e c o m m u n i c a t i o n s e t c . N o t e i n F i g u r e 2 . 1

t h e a b i l i t y o f F E C C t o a c h i e v e a m u c h l o w e r e r r o r r a t e t h a n f o r t h e u n c o d e d d a t a t r a n s m i s s i o n s a t l o w b i t

e r r o r p r o b a b i l i t y , P b .

2 . 1 . 2 A S C I I c o d i n g

I n s o m e c o m p u t e r c o m m u n i c a t i o n s y s t e m s , i n f o r m a t i o n i s s e n t a s 7 - b i t A S C I I c o d e s w i t h a p a r i t y c h e c k b i t

a d d e d o n t h e e n d . U s i n g e v e n p a r i t y t h e 7 - b i t a l l z e r o A S C I I c o d e 0 0 0 0 0 0 0 e x p a n d s i n t o 0 0 0 0 0 0 0 0 w h i l e

0 0 0 0 0 0 1 c o d e s t o 0 0 0 0 0 0 1 1 . T h i s ( a n d a l l o t h e r c a s e s ) t h u s h a s a b i n a r y d i g i t d i e r e n c e o r H a m m i n g D i s t a n c e

o f 2 . F i g u r e 2 . 2 s h o w s t h a t w e c a n u s e t h i s t o d e t e c t 1 ( o r a n o d d n u m b e r o f ) e r r o r s .

7/28/2019 col10601.pdf


9

F i g u r e 2 . 2 : A S C I I c o d e e x a m p l e w h e r e r e c e i v e d c o d e w o r d h a s s i n g l e e r r o r i n t h e 5 t h b i t p o s i t i o n

T h e b l o c k l e n g t h i s t h e n n = 8 a n d t h e n u m b e r o f i n f o r m a t i o n b i t s k = 7 . T h i s g e n e r a l l y a s s i s t s w i t h

e r r o r d e t e c t i o n b u t i s i s i n s u c i e n t l y r o b u s t o r r e d u n d a n t t o a c h i e v e a n e r r o r c o r r e c t i o n c a p a b i l i t y a s t h e

c o d i n g r a t e i s o n l y 7 / 8 .

T h e m i n i m u m d i s t a n c e i n b i n a r y d i g i t s b e t w e e n a n y t w o c o d e w o r d s i s k n o w n a s t h e m i n i m u m H a m m i n g

D i s t a n c e , Dmin , w h i c h i s 2 f o r t h e c a s e o f o d d o r e v e n p a r i t y c h e c k i n A S C I I d a t a t r a n s m i s s i o n . W e c a n

t h e n c a l c u l a t e t h e e r r o r d e t e c t i n g a n d c o r r e c t i n g p o w e r o f a c o d e f r o m t h e m i n i m u m d i s t a n c e i n b i t s b e t w e e n

e r r o r f r e e b l o c k s o r c o d e w o r d s , s e e e r r o r c o r r e c t i o n c a p a b i l i t y m o d u l e .

A l t h o u g h w e s h a l l l o o k e x c l u s i v e l y a t c o d i n g s c h e m e s f o r b i n a r y s y s t e m s , e r r o r c o r r e c t i n g a n d d e t e c t i n g

c o d i n g i s n o t c o n n e d t o b i n a r y d i g i t s . F o r e x a m p l e t h e I S B N n u m b e r s u s e d o n b o o k s h a v e a c h e c k s u m

a p p e n d e d t o t h e m a n d t h e s e a r e c a l c u l a t e d v i a m o d u l o 1 1 a r i t h m e t i c .

2 . 1 . 3 B l o c k c o d e c o n s t r u c t i o n

B l o c k c o d e s c o l l e c t o r a r r a n g e i n c o m i n g i n f o r m a t i o n c a r r y i n g d a t a i n t o g r o u p s o f k b i n a r y d i g i t s a n d a d d

c o d i n g ( i . e . p a r i t y ) b i t s t o i n c r e a s e t h e c o d e d b l o c k l e n g t h u p t o n b i t s , w h e r e n >k .

7/28/2019 col10601.pdf


1 0


F i g u r e 2 . 3 : B l o c k c o d e r w i t h k i n f o r m a t i o n d i g i t s a n d a p p e n d e d p a r i t y c h e c k b i t s

T h e c o d i n g r a t e R i s s i m p l y t h e r a t i o o f d a t a o r i n f o r m a t i o n c a r r y i n g b i t s t o t h e o v e r a l l b l o c k l e n g t h ,

k / n . T h e n u m b e r o f p a r i t y c h e c k ( r e d u n d a n t ) b i t s i s t h e r e f o r e n k , . T h i s b l o c k c o d e i s u s u a l l y d e s c r i b e d

a s a ( n , k ) c o d e .

2 . 1 . 4 B l o c k c o d e e x a m p l e

S u p p o s e w e w a n t t o c o d e k = 4 i n f o r m a t i o n b i t s i n t o a n = 7 b i t c o d e w o r d , g i v i n g a c o d i n g r a t e o f 4 / 7 .

C o d e d e s i g n i s p e r f o r m e d b y u s i n g n i t e e l d a l g e b r a t o a c h i e v e l i n e a r c o d e s . W e c a n a c h i e v e t h i s ( 7 , 4 )

b l o c k c o d e u s i n g 3 i n p u t e x c l u s i v e o r ( E X - O R ) g a t e s t o f o r m t h e t h r e e e v e n p a r i t y c h e c k b i t s , P 1 , P 2 a n d

P 3 , f r o m t h e 4 i n f o r m a t i o n c a r r y i n g b i t s , I 1 . . . I 4 , a s s h o w n i n F i g u r e 2 . 4 .

7/28/2019 col10601.pdf


1 1

F i g u r e 2 . 4 : L o g i c g a t e r e p r e s e n t a t i o n f o r ( n , k ) b l o c k c o d e r w h e r e k = 4 i n f o r m a t i o n b i t s a n d n = 7

e n c o d e d b l o c k l e n g t h ( i . e . ( 7 , 4 ) c o d e r )

T h i s c i r c u i t r y c a n b e r e p r e s e n t e d b y t h e l o g i c g a t e s i n F i g u r e 2 . 4 o r w r i t t e n e i t h e r a s a s e t o f p a r i t y c h e c k

e q u a t i o n s o r t h e c o r r r e s p o n d i n g p a r i t y c h e c k m a t r i x H , a s i n F i g u r e 2 . 5 .

7/28/2019 col10601.pdf


1 2


F i g u r e 2 . 5 : P a r i t y c h e c k b i t c o m p u t a t i o n a n d c o r r e s p o n d i n g H m a t r i x r e p r e s e n t a t i o n f o r ( 7 , 4 ) b l o c k

e n c o d e r

R e m e m b e r h e r e t h a t t h e c r o s s - i n - t h e - c i r c l e s y m b o l i n d i c a t e s a b i t w i s e e x c l u s i v e - o r ( E X O R ) o p e r a t i o n .

T h i s H m a t r i x c a n a l s o b e u s e d t o d i r e c t l y g e n e r a t e c o d e w o r d s f r o m t h e i n f o r m a t i o n b i t s v i a a c l o s e l y r e l a t e d

G m a t r i x .

T h i s i s a n e x a m p l e o f a s y s t e m a t i c c o d e , w h e r e t h e d a t a i s i n c l u d e d d i r e c t l y w i t h i n t h e c o d e w o r d .

C o n v o l u t i o n a l F E C C , s e e l a t e r m o d u l e , i s a n e x a m p l e o f a n o n - s y s t e m a t i c c o d e r w h e r e w e d o n o t e x p l i c i t l y

i n c l u d e t h e i n f o r m a t i o n c a r r y i n g d a t a w i t h i n t h e t r a n s m i s s i o n s , a l t h o u g h t h e t r a n s m i t t e d c o d e d d a t a i s

d e r i v e d f r o m t h e i n f o r m a t i o n d a t a .






7/28/2019 col10601.pdf


C h a p t e r 3

B l o c k c o d e p e r f o r m a n c e

1

3 . 1 B l o c k c o d e e r r o r c o r r e c t i o n c a p a b i l i t y

3 . 1 . 1 H a m m i n g d i s t a n c e

C o n s i d e r t w o d i s t i n c t v e d i g i t c o d e w o r d s C 1 = 0 0 0 0 0 a n d C 2 = 0 0 0 1 1 . T h e s e h a v e a b i n a r y d i g i t d i e r e n c e

( o r H a m m i n g d i s t a n c e ) o f 2 i n t h e l a s t t w o d i g i t s . T h e m i n i m u m d i s t a n c e i n b i n a r y d i g i t s b e t w e e n a n y t w o

c o d e w o r d s i s k n o w n a s t h e m i n i m u m H a m m i n g d i s t a n c e , Dmin

F o r b l o c k c o d e s t h e m i n i m u m H a m m i n g d i s t a n c e o r t h e s m a l l e s t d i e r e n c e b e t w e e n t h e d i g i t s f o r a n y t w o

c o d e w o r d s i n t h e c o m p l e t e c o d e s e t , Dmin , i s t h e p r o p e r t y w h i c h c o n t r o l s t h e e r r o r c o r r e c t i o n p e r f o r m a n c e .

W e c a n t h u s c a l c u l a t e t h e e r r o r d e t e c t i n g a n d c o r r e c t i n g p o w e r o f a c o d e f r o m t h e m i n i m u m d i s t a n c e i n b i t s

b e t w e e n t h e c o d e w o r d s .

T h u s f o r a c o d e w i t h a m i n i m u m d i s t a n c e Dmin = 3 t h e n t h i s c o d e c a n b e u s e d t o c o r r e c t :

1


1 3

7/28/2019 col10601.pdf


1 4

C H A P T E R 3 . B L O C K C O D E P E R F O R M A N C E

F i g u r e 3 . 1 : R e l a t i o n s h i p b e t w e e n D m i n a n d e r r o r d e t e c t i o n O R c o r r e c t i o n c a p a b i l i t y ( b u t n o t b o t h

s i m u l t a n e o u s l y )

N o t e i n t h e e a r l i e r e x a m p l e o f t w o v e d i g i t c o d e w o r d s C 1 = 0 0 0 0 0 a n d C 2 = 0 0 0 1 1 w h i c h h a d a H a m m i n g

d i s t a n c e o f 2 t h e r e i s o n l y o n e c o d e w o r d ( e . g . A = 0 0 0 0 1 o r B = 0 0 0 1 0 ) w h i c h l i e s i n b e t w e e n t h e s e t w o

c o d e w o r d s . N o w i f t h e r e w a s a n e r r o r r e s u l t ( e . g . A = 0 0 0 0 1 ) w e c a n n o t t e l l w h e t h e r i t c a m e f r o m C 1 o r C 2

s o w e c a n t h u s o n l y u s e d t h i s t o d e t e c t t h a t a n e r r o r h a s o c c u r r e d .

I f t h e t w o v e d i g i t c o d e w o r d s h a d b e e n C 1 = 0 0 0 0 0 a n d C 2 = 0 0 1 1 1 , w h i c h h a v e a H a m m i n g d i s t a n c e

o f 3 , t h e r e a r e t h e n t w o w o r d s w h i c h l i e i n b e t w e e n t h e s e c o d e w o r d s ( e . g . A = 0 0 0 0 1 a n d B = 0 0 0 1 1 ) a n d

t h e s e c a n t h u s b e u s e d E I T H E R t o d e t e c t t w o e r r o r s w i t h o u t a n y c o r r e c t i o n c a p a b i l i t y O R i f d e t e c t i o n i s

n o t r e q u i r e d t h e y c a n u s e d t o c o r r e c t a s i n g l e e r r o r ( e . g . C 1 = 0 0 0 0 0 d i s t o r t e d i n t o A = 0 0 0 0 1 o r C 2 =

0 0 1 1 1 d i s t o r t e d i n t o B = 0 0 0 1 1 ) , F i g u r e 3 . 1 .

W h e n p e r f o r m i n g t h e c o r r e c t i o n o p e r a t i o n w e r e q u i r e t o i n s e r t t h e d e c i s i o n b o u n d a r y a s s h o w n i n E x a m p l e

1 b e l o w . I f i n t h i s e x a m p l e w e h a d w i s h e d t o p e r f o r m d e t e c t i o n o n l y a s s h o w n i n t h e l o w e r p a r t o f F i g u r e 3 . 1

t h e n w e w o u l d i g n o r e w h e t h e r t h e r e c e i v e d c o d e A = 0 0 0 0 1 r e s u l t e d f r o m a s i n g l e e r r o r f r o m a C 1 t r a n s m i s s i o n

o r a d o u b l e e r r o r f r o m a C 2 c o d e t r a n s m i s s i o n a n d o n l y i d e n t i f y i t a s a d e t e c t e d e r r o r .

E x a m p l e 1 e r r o r c o r r e c t i o n

C 1 = 0 0 0 0 0

A = 0 0 0 0 1

B = 0 0 0 1 1

7/28/2019 col10601.pdf


1 5

C 2 = 0 0 1 1 1

T h i s e x p l a i n s f u r t h e r t h e d e t a i l e d o p e r a t i o n o f t h e e q u a t i o n s i n F i g u r e 3 . 1 w h e r e d e t e c t i o n o n l y o p e r a t i o n

d o e s n o t r e q u i r e t h e d e c i s i o n b o u n d a r y t o a i d i d e n t i c a t i o n o f t h e o r i g i n a t i o n o f t h e e r r o r .

3 . 1 . 2 B l o c k e r r o r p r o b a b i l i t y a n d c o r r e c t i o n c a p a b i l i t y

I f w e h a v e a n e r r o r c o r r e c t i n g c o d e w h i c h c a n c o r r e c t R ' e r r o r s , t h a n t h e p r o b a b i l i t y o f a c o d e w o r d n o t b e i n g

c o r r e c t a b l e i s t h e p r o b a b i l i t y o f h a v i n g m o r e t h a n R ' e r r o r s i n n d i g i t s . T h e p r o b a b i l i t y o f h a v i n g m o r e t h a n

R ' e r r o r s i s g i v e n i n F i g u r e 3 . 2 . W e c a n t h i s c a l c u l a t e t h i s p r o b a b i l i t y b y s u m m i n g a l l t h e i n d u v i d u a l e r r o r

p r o b a b i l i t i e s u p t o a n d i n c l u d i n g R ' e r r o r s i n t h e b l o c k .

F i g u r e 3 . 2 : C o r r e c t i o n o f m o r e t h a n R ' e r r o r s i n a n n d i g i t b l o c k

T h e p r o b a b i l i t y o f j e r r o r s o c c u r r i n g i n a n n d i g i t c o d e w o r d i s g i v e n i n F i g u r e 3 . 3 . P e i s t h e p r o b a b i l i t y

o f e r r o r i n a s i n g l e b i n a r y d i g i t a n d n i s t h e b l o c k l e n g t h . F i g u r e 3 . 3 a l s o s h o w s h o w t o c a l c u l a t e t h e n C j

t e r m r e p r e s e n t i n g a l l t h e p o s s i b l e n u m b e r o f w a y s o r e r r o r p o s i t i o n s t h a t j e r r o r s c a n o c c u r w i t h i n a b l o c k

o f l e n g t h n b i n a r y d i g i t s .

7/28/2019 col10601.pdf


1 6


F i g u r e 3 . 3 : P r o b a b i l i t y o f j e r r o r s o c c u r r i n g a n a n n - d i g i t c o d e w o r d

E x a m p l e 2 : I f w e h a v e a n e r r o r c o r r e c t i n g c o d e w h i c h c a n c o r r e c t 3 e r r o r s w i t h i n a b l o c k l e n g t h n o f 1 0 ,

w h a t i s t h e p r o b a b i l i t y t h a t t h e c o d e c a n n o t c o r r e c t a r e c e i v e d b l o c k i f t h e p e r d i g i t e r r o r p r o b a b i l i t y i s P e= 0 . 0 1 ?

S o l u t i o n : T h e c o d e c a n n o t c o r r e c t t h e r e c e i v e d b l o c k i f t h e r e a r e m o r e t h a n 3 e r r o r s . T h u s :

P > 3 e r r o r s = 1 - P ( 0 e r r o r s ) - P ( 1 e r r o r ) - P ( 2 e r r o r s ) - P ( 3 e r r o r s ) .

F i g u r e 3 . 4 s h o w s t h e c o m p o n e n t p a r t s o f t h i s c a l c u l a t i o n .

7/28/2019 col10601.pdf


1 7

F i g u r e 3 . 4 : C a l c u l a t i o n o f z e r o , 1 , 2 a n d 3 e r r o r s i n a 1 0 - d i g i t c o d e w o r d w i t h a p e r - d i g i t P e o f 0 . 0 1

T h u s t h e p r o b a b i l i t y t h a t t h e c o d e c a n n o t c o r r e c t a r e c e i v e d b l o c k i s t h e n :

1 - 0 . 9 0 4 3 8 2 1 - 0 . 0 9 1 3 5 1 7 - 0 . 0 0 4 1 5 2 3 - 0 . 0 0 0 1 1 1 8 = 0 . 0 0 0 0 0 2 1 .

T h i s i l l u s t r a t e s t h a t t h e v e r y l o w o v e r a l l e r r o r r e m a i n i n g a f t e r c o r r e c t i o n o f t h r e e e r r o r s i s m u c h l e s s t h a n

t h e o r i g i n a l p r o b a b i l i t y o f e r r o r i n a s i n g l e b i t , P e = 0 . 0 1 . N o t e a l s o t h e n e e d f o r h i g h p r e c i s i o n a r i t h m e t i c

( i t m a y b e a n e i g h t d i g i t c a l c u l a t o r i s n o t g o o d e n o u g h t o c a l c u l a t e t h e a n s w e r t o m o r e t h a n 1 s i g n i c a n t

g u r e ) . N o t e a l s o i n F i g u r e 3 . 4 t h e m u c h l o w e r p r o b a b i l i t y o f t + 1 e r r o r s o c c u r i n g , c o m p a r e d t o t e r r o r s ,

a s i s i m p l i e d i n F E C C .

3 . 1 . 3 G r o u p c o d e s

G r o u p c o d e s a r e a s p e c i a l k i n d o f b l o c k c o d e s . T h e y c o m p r i s e a s e t o f c o d e w o r d s , C 1 . . . C N , w h i c h c o n t a i n

t h e a l l z e r o s c o d e w o r d ( e . g . 0 0 0 0 0 ) a n d e x h i b i t a s p e c i a l p r o p e r t y c a l l e d c l o s u r e . T h i s p r o p e r t y m e a n s t h a t

i f a n y t w o v a l i d c o d e w o r d s a r e s u b j e c t t o a b i t w i s e E X O R o p e r a t i o n t h e n t h e y w i l l p r o d u c e a n o t h e r v a l i d

c o d e w o r d i n t h e s e t .

T h e c l o s u r e p r o p e r t y m e a n s t h a t t o n d t h e m i n i m u m H a m m i n g d i s t a n c e , s e e b e l o w , a l l t h a t i s r e q u i r e d

i s t o c o m p a r e a l l t h e r e m a i n i n g c o d e w o r d s i n t h e s e t w i t h t h e a l l z e r o s c o d e w o r d i n s t e a d o f c o m p a r i n g a l l

t h e p o s s i b l e p a i r s o f c o d e w o r d s .

T h e s a v i n g g e t s b i g g e r t h e l o n g e r t h e c o d e w o r d . F o r e x a m p l e a c o d e s e t w i t h 1 0 0 c o d e w o r d s w i l l r e q u i r e

1 0 0 c o m p a r i s o n s f o r a G r o u p c o d e d e s i g n , c o m p a r e d w i t h 1 0 0 + 9 9 + 9 8 + . . .+ 2 + 1 , f o r a n o n - g r o u p c o d e !

7/28/2019 col10601.pdf


1 8


I n G r o u p c o d e s t h e Dmin c a l c u l a t i o n i s f u r t h e r s i m p l i e d i n t o c a l c u l a t i n g t h e m i n i m u m c o d e w o r d w e i g h t

o r m i n i m u m n u m b e r o f 1 d i g i t s i n a c o d e w o r d i n t h e s e t .

3 . 1 . 4 N e a r e s t n e i g h b o u r d e c o d i n g

N e a r e s t n e i g h b o u r d e c o d i n g a s s u m e s t h a t t h e c o d e w o r d n e a r e s t i n H a m m i n g d i s t a n c e t o t h e r e c e i v e d w o r d

i s w h a t w a s t r a n s m i t t e d , a s s h o w n i n E x a m p l e 1 a b o v e . T h i s i n h e r e n t l y c o n t a i n s t h e a s s u m p t i o n t h a t t h e

p r o b a b i l i t y o f a s m a l l n u m b e r o f t e r r o r s i s g r e a t e r t h a n t h e p r o b a b i l i t y o f t h e l a r g e r n u m b e r o f t + 1 e r r o r s ,

i . e t h a t P e i s s m a l l .

A n e a r e s t n e i g h b o u r d e c o d i n g t a b l e f o r a ( n , k ) = ( 5 , 2 ) i . e . a 5 - d i g i t g r o u p c o d e i s s h o w n i n F i g u r e 3 . 5 .

R e c a l l t h a t f o r a n n = 5 b i t c o d e w o r d t h e r e a r e 25 = 3 2 u n i q u e p a t t e r n s g e n e r a t e d b y a l l t h e p o s s i b l e

c o m b i n a t i o n s o f t h e 5 d i g i t s .

F i g u r e 3 . 5 : N e a r e s t n e i g h b o u r d e c o d i n g t a b l e f o r 5 b i t c o d e w i t h 4 c o d e w o r d s i m p l y i n g 2 i n f o r m a t i o n

b i t s

F i g u r e 3 . 5 s t a r t s b y f o r m i n g a t a b l e w i t h t h e 4 c o d e w o r d s a c r o s s t h e t o p r o w . A l l t h e s i n g l e e r r o r

p a t t e r n s , w h i c h e a c h o n l y d i e r b y o n e b i t f r o m e a c h o f t h e t r a n s m i t t e d c o d e w o r d s , c a n b e r e a d i l y a n d

u n i q u e l y a s s i g n e d b a c k t o a n e r r o r f r e e c o d e w o r d . T h u s t h e n e x t 5 r o w s r e p r e s e n t t h e s e s i n g l e e r r o r s i n

p o s i t i o n 1 t h r o u g h 5 i n e a c h o f t h e 4 c o d e w o r d s . N o w w e h a v e a t a b l e u p t o t h i s p o i n t w i t h a t o t a l o f 4 x 6

= 2 4 u n i q u e e n t r i e s . T h e r e f o r e t h i s c o d e i s c a p a b l e o f c o r r e c t i n g a l l t h e s e s i n g l e e r r o r s .

7/28/2019 col10601.pdf


1 9

T h e r e a r e a l s o e i g h t r e m a i n i n g c o d e s o r t a b l e e n t r i e s a s 3 2 - 2 4 = 8 a n d t h e s e r e p r e s e n t d o u b l e e r r o r

p a t t e r n s w h i c h , a s c a n b e s e e n , l i e a n e q u a l H a m m i n g d i s t a n c e f r o m a t l e a s t 2 o f t h e i n i t i a l 4 c o d e w o r d s

i n t h e t o p r o w . N o t e f o r e x a m p l e e r r o r s i n t h e r s t t w o d i g i t s o f t h e 0 0 0 0 0 c o d e w o r d r e s u l t i n u s r e c e i v i n g

1 1 0 0 0 . H o w e v e r d a t a b i t p a t t e r n i s i d e n t i e d h e r e i n F i g u r e 3 . 5 a s a s i n g l e e r r o r f r o m c o d e w o r d 1 1 1 0 0 a s w e

a s s u m e t h a t 1 e r r o r i s a m u c h m o r e l i k e l y o c c u r e n c e t h a n t w o e r r o r s !

T h e s e r e p r e s e n t s o m e o f t h e d o u b l e e r r o r p a t t e r n s , w h i c h c a n t h u s b e d e t e c t e d h e r e , b u t t h e y c a n n n o t

b e c o r r e c t e d a s a l l t h e p o s s i b l e d o u b l e e r r o r p a t t e r n s d o n o t h a v e a u n i q u e r e p r e s e n t a t i o n i n F i g u r e 3 . 5 .

3 . 1 . 5 S o f t d e c i s i o n d e c o d i n g

N e a r e s t n e i g h b o u r d e c o d i n g c a n a l s o b e d o n e o n a s o f t d e c i s i o n b a s i s , w i t h r e a l n o n - b i n a r y n u m b e r s f r o m

t h e r e c e i v e r . T h e n e a r e s t E u c l i d e a n d i s t a n c e ( n e a r e s t t o t h e s e 5 c o d e w o r d s i n t e r m s o f a 5 - D g e o m e t r y ) i s

t h e n u s e d a n d t h i s g i v e s a c o n s i d e r a b l e p e r f o r m a n c e i n c r e a s e o v e r t h e h a r d d e c i s i o n d e c o d i n g d e s c r i b e d h e r e .

3 . 1 . 6 H a m m i n g b o u n d

T h i s d e n e s m a t h e m a t i c a l l y t h e e r r o r c o r r e c t i n g p e r f o r m a n c e o f a b l o c k c o d e r . T h e u p p e r b o u n d o n t h e

p e r f o r m a n c e o f b l o c k c o d e s i s g i v e n b y t h e H a m m i n g b o u n d , s o m e t i m e s c a l l e d t h e s p h e r e p a c k i n g b o u n d .

I f w e a r e t r y i n g t o c r e a t e a c o d e t o c o r r e c t t e r r o r s w i t h a b l o c k l e n g t h o f n w i t h k i n f o r m a t i o n d i g i t s , t h e n

F i g u r e 3 . 6 s h o w s t h e H a m m i n g b o u n d e q u a t i o n .

7/28/2019 col10601.pdf


2 0


F i g u r e 3 . 6 : H a m m i n g b o u n d c a l c u l a t i o n f o r ( n , k ) b l o c k c o d e t o e s t a b l i s h n u m b e r o f t e r m s w h i c h c a n

b e i n c l u d e d i n t h e d e n o m i n a t o r a n d h e n c e a r r i v e a t t h e c o d e s e r r o r c o r r e c t i n g p o w e r t

H e r e t h e d e n o m i n a t o r t e r m s , w h i c h a r e r e p r e s e n t e d b y t h e b i n o m i a l c o e c i e n t s , r e p r e s e n t t h e n u m b e r o f

p o s s i b l e p a t t e r n s o r p o s i t i o n s i n w h i c h 1 , 2 , . . . , t e r r o r s c a n o c c u r i n a n n - b i t c o d e w o r d .

N o t e t h e r e l a t i o n s h i p b e t w e e n t h e d e c o d i n g t a b l e i n F i g u r e 3 . 5 a n d t h e H a m m i n g B o u n d e q u a t i o n i n

F i g u r e 3 . 6 . T h e 2k = 4 l e f t h a n d e n t r y r e p r e s e n t s t h e n u m b e r o f t r a n s m i t t e d c o d e w o r d s o r c o l u m n s i n t h e

t a b l e . T h e n u m e r a t o r 2n = 3 2 r e p r e s e n t s t h e t o t a l p o s s i b l e n u m b e r o f u n i q u e e n t r i e s i n t h e t a b l e . T h e

d e m o n i n a t o r r e p r e s e n t s t h e n u m b e r o f r o w s w h i c h c a n b e a c c o m m o d a t e d w i t h i n t h e t a b l e . H e r e t h e r s t

d e n o m i n a t o r t e r m ( 1 ) r e p r e s e n t s t h e r s t r o w ( i . e . t h e t r a n s m i t t e d c o d e w o r d s ) a n d t h e s e c o n d t e r m ( n ) t h e

5 s i n g l e e r r o r p a t t e r n s . S u b s e q u e n t t e r m s t h e n r e p r e s e n t a l l t h e p o s s i b l e d o u b l e , t r i p l e e r r o r p a t t e r n s , e t c .

T h e d e n o m i n a t o r h a s t o b e s i z e d o r r e s t r i c t e d t o t t o e n s u r e t h e i n e q u a l i t y a n d t h i s g i v e s o r d e n e s t h e e r r o r

c o r r e c t i o n c a p a b i l i t y a s t .

I f t h e e q u a t i o n i n F i g u r e 3 . 6 i s s a t i s e d t h e n t h e d e s i g n o f s u c k a n ( n , k ) c o d e i s p o s s i b l e w i t h t h e e r r o r

c o r r e c t i n g p o w e r o f t . I f t h e e q u a t i o n i s n o t s a t i s e d , t h e n w e m u s t b e l e s s a m b i t i o u s b y r e d u c i n g t o r k ( f o r

t h e s a m e b l o c k l e n g t h n ) o r i n c r e a s i n g n ( w h i l e m a i n t a i n i n g t a n d k ) .

E x a m p l e 2

C o m m e n t o n t h e a b i l i t y o f a ( 5 , 2 ) c o d e t o c o r r e c t 1 e r r o r a n d t h e p o s s i b i l i t y o f a ( 5 , 2 ) c o d e t o c o r r e c t

2 e r r o r s ?

S o l u t i o n

F o r s i n g l e e r r o r : k = 2 , n = 5 a n d t = 1 , l e a d s t o t h e c a s e s u m m a r i z e d i n F i g u r e 3 . 7 .

7/28/2019 col10601.pdf


2 1

F i g u r e 3 . 7 : C a l c u l a t i o n t o a s s e s s w h e t h e r ( 5 , 2 ) b l o c k c o d e c a n c o r r e c t t = 1 e r r o r - A n s w e r y e s

w h i c h i s t r u e s o s u c h a c o d e d e s i g n i s p o s s i b l e .

H o w e v e r i f w e t r y t o d e s i g n a ( 5 , 2 ) c o d e t o c o r r e c t 2 e r r o r s w e h a v e k = 2 , n = 5 a n d t = 2 , w h i c h i s

s u m m a r i z e d i n F i g u r e 3 . 8 .

7/28/2019 col10601.pdf


2 2


F i g u r e 3 . 8 : C a l c u l a t i o n t o a s s e s s w h e t h e r ( 5 , 2 ) b l o c k c o d e c a n c o r r e c t t = 2 e r r o r s - A n s w e r n o

T h i s r e s u l t i s f a l s e o r c a n n o t b e s a t i s e d a n d t h u s t h i s s h o r t c o d e c a n n o t b e d e s i g n e d w i t h a t = 2 e r r o r

c o r r e c t i n g p o w e r o r c a p a b i l i t y .

T h i s p r o v i d e s f u r t h e r m a t h e m a t i c a l d e r i v a t i o n f o r t h e e r r o r c o r r e c t i n g p e r f o r m a n c e l i m i t s o f t h e n e a r e s t

n e i g h b o u r d e c o d i n g t a b l e s h o w n p r e v i o u s l y i n F i g u r e 3 . 5 w h e r e w e c o u l d c o r r e c t a l l s i n g l e e r r o r p a t t e r n s b u t

w e c o u l d n o t c o r r e c t a l l t h e p o s s i b l e d o u b l e e r r o r p a t t e r n s .

A f u l l d e c o d i n g t a b l e i s n o t r e q u i r e d t o b e c r e a t e d a s , t h r o u g h c h e c k i n g t h e H a m m i n g b o u n d , o n e c a n

i d e n t i f y t h e r e q u i r e d b l o c k s i z e a n d n u m b e r o f p a r i t y c h e c k b i t s w h i c h a r e r e q u i r e d f o r a g i v e n e r r o r c o r r e c t i o n

c a p a b i l i t y i n a b l o c k o r g r o u p c o d e r d e s i g n .

F i g u r e 3 . 9 s h o w s t h e p e r f o r m a n c e o f v a r i o u s B L O C K c o d e s , a l l o f r a t e ½ , w h o s e p e r f o r m a n c e p r o g r e s s i v e l y

i m p r o v e s a s t h e b l o c k l e n g t h i n c r e a s e s f r o m 7 t o 5 1 1 , e v e n f o r t h e s a m e c o d i n g r a t e o f ½ .

T h e p o w e r o f t h e s e f o r w a r d e r r o r c o r r e c t i n g c o d e s ( F E C C ) i s q u a n t i e d a s t h e c o d i n g g a i n , i . e . t h e

r e d u c t i o n i n t h e r e q u i r e d

E b

N 0r a t i o o r e n e r g y r e q u i r e d t o t r a n s m i t e a c h b i t d i v i d e d b y t h e s p e c t r a l n o i s e

d e n s i t y , f o r a g i v e n b i t e r r o r r a t i o o r e r r o r p r o b a b i l i t y .

F o r e x a m p l e i n F i g u r e 3 . 9 t h e ( 3 1 , 1 6 ) c o d e h a s a c o d i n g g a i n o v e r t h e u n c o d e d c a s e o f a r o u n d 1 . 8 d B a t

a P b o f 10−5 .

7/28/2019 col10601.pdf


2 3

F i g u r e 3 . 9 : E r r o r p e r f o r m a n c e o f 1 / 2 r a t e b l o c k c o d e r s w i t h d i e r i n g b l o c k l e n g t h s






7/28/2019 col10601.pdf


7/28/2019 col10601.pdf


C h a p t e r 4

C o n v o l u t i o n a l F E C C E n c o d e r

1

4 . 1 F E C C ½ R a t e C o n v o l u t i o n a l E n c o d e r E x a m p l e

4 . 1 . 1 C o n v o l u t i o n a l c o d i n g

C o n v o l u t i o n a l c o d e s a r e a n o t h e r t y p e o f f o r w a r d e r r o r c o r r e c t i n g c o d e r ( F E C C ) w h i c h a r e q u i t e d i s t i n c t f r o m

b l o c k c o d e s . T h e y a r e s i m p l e r t o i m p l e m e n t f o r l o n g e r c o d e s t h a n b l o c k c o d e r s a n d s o f t d e c i s i o n d e c o d i n g

c a n b e e m p l o y e d e a s i l y a t t h e d e c o d e r .

C o n v o l u t i o n a l c o d e s a r e n o n - s y s t e m a t i c ( i . e . t h e t r a n s m i t t e d d a t a b i t s d o n o t a p p e a r d i r e c t l y i n t h e

o u t p u t e n c o d e d d a t a s t r e a m ) a n d a r e g e n e r a t e d b y p a s s i n g a d a t a s e q u e n c e t h r o u g h a t r a n s v e r s a l o r n i t e

i m p u l s e r e s p o n s e ( F I R ) l t e r . T h e c o d e r o u t p u t c a n b e r e g a r d e d a s t h e c o n v o l u t i o n o f t h e i n p u t s e q u e n c e

w i t h t h e i m p u l s e r e s p o n s e o f t h e c o d e r , h e n c e t h e i r n a m e : c o n v o l u t i o n a l c o d e s .

4 . 1 . 2 C o n v o l u t i o n a l e n c o d e r

A s i m p l e e x a m p l e i s s h o w n i n F i g u r e 4 . 1 . H e r e t h e e n c o d e r s h i f t r e g i s t e r s t a r t s w i t h z e r o s a t a l l t h r e e s t o r e d

l o c a t i o n s ( i . e . 0 , 0 , 0 ) . T h e i n p u t d a t a s e q u e n c e t o b e e n c o d e d i s 1 , 1 , 0 , 1 i n t h i s e x a m p l e . T h e s h i f t r e g i s t e r

c o n t e n t s t h u s b e c o m e , a f t e r e a c h d a t a b i t a r r i v e s a n d p r o p a g a t e s i n t o t h e s h i f t r e g i s t e r : 1 0 0 , 1 1 0 , 0 1 1 , 1 0 1 .

A s t h e r e a r e t w o o u t p u t s f o r o v e r y i n p u t b i t t h e a b o v e e n c o d e r i s r a t e ½ .

T h e r s t o u t p u t i s o b t a i n e d a f t e r a r r i v a l o f a n e w d a t a b i t i n t o t h e s h i f t r e g i s t e r w h e n t h e s w i t c h i s i n

t h e u p p e r p o s i t i o n , t h e s e c o n d w i t h t h e s w i t c h i n t h e l o w e r p o s i t i o n . T h u s , i n t h i s e x a m p l e , t h e s w i t c h w i l l

g e n e r a t e , t h r o u g h t h e e x c l u s i v e O R g a t e s , f r o m t h e f o u r i n p u t d a t a b i t s : 1 , 1 , 0 , 1 , t h e c o r r e s p o n d i n g f o u r

o u t p u t d i g i t p a i r s : 1 1 , 1 0 , 1 1 , 0 1

1


2 5

7/28/2019 col10601.pdf


2 6

C H A P T E R 4 . C O N V O L U T I O N A L F E C C E N C O D E R

F i g u r e 4 . 1 : ½ r a t e c o n v o l u t i o n a l e n c o d e r

T h i s p a r t i c u l a r e n c o d e r h a s 3 s t a g e s i n t h e l t e r a n d t h e r e f o r e w e s a y t h a t t h e c o n s t r a i n t l e n g t h n = 3 .

T h e v e r y l a t e s t e n c o d e r s a v a i l a b l e c o m m e r c i a l l y t y p i c a l l y h a v e c o n s t r a i n t l e n g t h s u p t o n = 9 .

W e c a n c o n s i d e r t h e c o d e r o u t p u t s f r o m t h e e x c l u s i v e O R g a t e s a s b e i n g g e n e r a t e d b y t w o p o l y n o m i a l s :

P 1(x) = 1 + x2 ( 4 . 1 )

P 2(x) = 1 + x ( 4 . 2 )

T h e s e a r e o f t e n e x p r e s s e d i n o c t a l n o t a t i o n , i n o u r e x a m p l e :

P 1 = 5o(101) ( 4 . 3 )

P 2 = 6o(110) ( 4 . 4 )

T h i s e n c o d e r m a y a l s o b e r e g a r d e d a s a s t a t e m a c h i n e . T h e n e x t s t a t e i s d e t e r m i n e d b y t h e n e x t i n p u t b i t

o r v a l u e c o m b i n e d w i t h t h e p r e v i o u s t w o i n p u t b i t s o r v a l u e s w h i c h w e r e s t o r e d i n t h e s h i f t r e g i s t e r , ( i . e . t h e

p r e v i o u s s t a t e ) .

7/28/2019 col10601.pdf


2 7

4 . 1 . 3 T r e e s t a t e d i a g r a m

W e c a n r e g a r d t h i s a s a M e a l y s t a t e m a c h i n e w i t h f o u r s t a t e s c o r r e s p o n d i n g t o a l l t h e p o s s i b l e c o m b i n a t i o n s

o f t h e r s t t w o s t a g e s i n t h e s h i f t r e g i s t e r .

T h e t r e e d i a g r a m f o r t h i s s t a t e m a c h i n e i s n o w s h o w n i n F i g u r e 4 . 2 , a g a i n s t a r t i n g f r o m t h e a l l z e r o s

s t a t e o r c o n d i t i o n . T h e e n c o d e r s t a r t s i n s t a t e A h o l d i n g t w o z e r o s ( 0 0 ) w i t h i n t h e r s t t w o s t a g e s o f t h e

s h i f t r e g i s t e r . ( W e i g n o r e t h e n a l s t o r e d d i g i t a s i t i s l o s t w h e n a n e w d a t a b i t p r o p a g a t e s i n t o t h e s h i f t

r e g i s t e r . ) I f t h e n e x t i n p u t b i t i s a z e r o ( 0 ) w e f o l l o w t h e u p p e r p a t h t o s t a t e B w h e r e t h e s t o r e d d a t a i s

u p d a t e d t o 0 0 . I f t h e n e x t i n p u t b i t i s a o n e ( 1 ) w e f o l l o w t h e l o w e r p a t h t o p r o g r e s s t o t h e c o r r e s p o n d i n g

s t a t e C w h e r e t h e s t o r e d d a t a i s n o w 1 0 .

T h e c o n v e n t i o n i s t o e n t e r t h e u p d a t e d n e w s t o r e d s t a t e v a l u e s b e l o w t h e s t a t e l e t t e r ( B / C ) . N o w r e t u r n i n g

t o F i g u r e 4 . 1 a n d t h e e x c l u s i v e O R g a t e c o n n e c t i o n s o n e c a n d e r i v e t h e o u t p u t d a t a b i t s g e n e r a t e d w i t h i n

t h e e n c o d e r . F o r s t a t e B t h e s e a r e 0 0 a n d f o r s t a t e C t h e s e a r e 1 1 . T h e s e o u t p u t s a r e e n t e r e d a l o n g s i d e

t h e s t a t e i n F i g u r e 4 . 2 . S t a t e s B / C c o r r e s p o n d t o t h e a r r i v a l o f t h e r s t n e w d a t a b i t t o b e e n c o d e d , w h i l e

D / E / F / G c o r r e s p o n d t o t h e s e c o n d d a t a b i t a n d H / I / J / K / h / i / j / k t h e t h i r d d a t a b i t .

F i g u r e 4 . 2 : E n c o d e d d a t a t r e e d i a g r a m f o r t h e e n c o d e r o f F i g u r e 1

T h e t r e e d i a g r a m i n F i g u r e 4 . 2 t e n d s t o s u g g e s t t h a t t h e r e a r e e i g h t s t a t e s i n t h e l a s t l a y e r o f t h e t r e e a n d

t h a t t h i s w i l l c o n t i n u e t o g r o w . H o w e v e r s o m e s t a t e s i n t h e l a s t l a y e r ( i . e . t h e s t o r e d d a t a i n t h e e n c o d e r )

a r e e q u i v a l e n t a s i n d i c a t e d b y t h e s a m e l e t t e r o n t h e t r e e ( f o r e x a m p l e H a n d h ) .

T h e s e p a i r s o f s t a t e s m a y b e a s s u m e d t o b e e q u i v a l e n t b e c a u s e t h e y h a v e t h e s a m e i n t e r n a l s t a t e f o r t h e

7/28/2019 col10601.pdf


2 8


r s t t w o s t a g e s o f t h e s h i f t r e g i s t e r a n d t h e r e f o r e w i l l b e h a v e e x a c t l y t h e s a m e w a y t o t h e r e c e i p t o f a n e w

( 0 o r 1 ) i n p u t d a t a b i t .

4 . 1 . 4 T r e l l i s s t a t e d i a g r a m

T h u s t h e t r e e c a n b e f o l d e d i n t o a t r e l l i s , a s s h o w n i n , w h i c h i s d e r i v e d f r o m t h e t r e e d i a g r a m o f F i g u r e 4 . 2

a n d F i g u r e 4 . 1 e n c o d e r . A s t h e c o n s t r a i n t l e n g t h i s n = 3 w e h a v e 2(3−1) = 4 u n i q u e s t a t e s : 0 0 , 0 1 , 1 0 , 1 1

i n F i g u r e 4 . 2 . I n F i g u r e 4 . 3 t h e s t a t e s a r e s h o w n a s 0 0 x t o d e n o t e t h e t h i r d b i t , x , w h i c h i s l o s t o r d i s c a r d e d

f o l l o w i n g t h e a r r i v a l o f a n e w d a t a b i t .

F i g u r e 4 . 3 : T r e l l i s D i a g r a m c o r r e s p o n d i n g t o t h e T r e e D i a g r a m o f F i g u r e 2

N o t e i n F i g u r e 4 . 3 t h e h o r o z o n t a l a r r a n g e m e n t o f s t a t e s A , B , D , H a n d L . T h e s a m e a p p l i e s t o s t a t e s

C , E , I a n d M e t c . T h e h o r i z o n t a l d i r e c t i o n c o r r e s p o n d s t o t i m e ( t h e w h o l e d i a g r a m i n F i g u r e 4 . 3 n o w

c o r r e s p o n d s t o e n c o d i n g 4 i n p u t d a t a b i t s ) . H e r e w e h a v e d r o p p e d t h e s t a t e i n f o r m a t i o n f r o m F i g u r e 4 . 2 a s

t h e s a m e s t a t e s a r e a l l r e p r e s e n t e d a t t h e s a m e h o r i z o n t a l l e v e l i n F i g u r e 4 . 3 . T h e v e r t i c a l d i r e c t i o n h e r e

c o r r e s p o n d s t o t h e s t o r e d s t a t e v a l u e s a , b , c , d i n t h e e n c o d e r s h i f t r e g i s t e r .

S t a t e s a l o n g t h e t i m e a x i s a r e t h u s e q u i v a l e n t , f o r e x a m p l e H i s e q u i v a l e n t t o L a n d C i s e q u i v a l e n t t o

E e t c . I n f a c t a l l t h e s t a t e s i n a h o r i z o n t a l l i n e a r e e q u i v a l e n t . T h u s w e c a n i d e n t i f y o n l y f o u r s t a t e s i n t h i s

c o d e r : a , b , c a n d d a n d t h e r e l a t e d s h i f t r e g i s t e r s t o r e d v a l u e s 0 0 , 1 0 , 0 1 , 1 1 a r e s h o w n i n t h e l e f t h a n d s i d e

o f F i g u r e 4 . 3 .

7/28/2019 col10601.pdf


2 9

F r o m a n y p o i n t , e . g . E , i f t h e n e x t i n p u t b i t i s a z e r o ( 0 ) w e f o l l o w t h e u p p e r p a t h t o s t a t e J w h e r e t h e

s t o r e d d a t a i s u p d a t e d t o 0 1 a n d t h e o u t p u t w i l l b e 0 1 . I f t h e n e x t i n p u t b i t i s a o n e ( 1 ) w e f o l l o w t h e l o w e r

p a t h f r o m E t o p r o g r e s s t o t h e n e x t s t a t e K w h e r e t h e s t o r e d d a t a i s n o w 1 1 a n d t h e o u t p u t w i l l b e 1 0 a s

i n d i c a t e d a l o n g s i d e t h e t r e l l i s p a t h .

4 . 1 . 5 T r a n s i t i o n s t a t e d i a g r a m

W e c a n d r a w , i f d e s i r e d , t h e t r e l l i s d i a g r a m o f F i g u r e 4 . 3 i n F i g u r e 4 . 4 a s a s t a t e d i a g r a m c o n t a i n i n g o n l y

t h e s e s t a t e s w i t h a l l t h e c o r r e s p o n d i n g n e w d a t a b i t s t o b e e n c o d e d a n d t h e c o r r e s p o n d i n g t w o o u t p u t b i t s

g e n e r a t e d p e r n e w i n p u t d a t a b i t ( e . g . 1 ( 1 0 ) )

F i g u r e 4 . 4 : S t a t e d i a g r a m c o r r e s p o n d i n g t o t h e e n c o d e r t r e l l i s d i a g r a m o f F i g u r e 3






7/28/2019 col10601.pdf


3 0


7/28/2019 col10601.pdf


C h a p t e r 5

V i t e r b i D e c o d e r

1

5 . 1 V i t e r b i c o n v o l u t i o n a l d e c o d e r

A c o n v o l u t i o n a l c o d e i s n o t d e c o d e d i n s h o r t b l o c k s a s i n a b l o c k c o d e . H o w e v e r , t o s i m p l i f y d e c o d i n g ,

m e s s a g e s a r e a r t i c i a l l y b r o k e n d o w n i n t o v e r y l o n g b l o c k s b y p e r i o d i c a l l y u s h i n g t h e e n c o d e r w i t h a s t r i n g

o f z e r o s , a s i n t h e e x a m p l e d i s c u s s e d h e r e .

F o r i l l u s t r a t i o n o n l y t h i s e x a m p l e h e r e u s e s a n u n r e a l i s t i c a l l y s h o r t b l o c k l e n g t h o f 5 d a t a b i t s w i t h t h e

l a s t t w o x e d a t 0 t o u s h t h e e n c o d e r ( r e m e m b e r t h a t t h i s i s v e r y i n e c i e n t a n d , i n p r a c t i c e , p r a c t i c a l

b l o c k l e n g t h s a r e v e r y m u c h l o n g e r , t y p i c a l l y 1 , 0 0 0 t o 1 0 , 0 0 0 b i t s i n l e n g t h ) .

C o n v o l u t i o n a l c o d e s a r e a l w a y s d e c o d e d u s i n g t h e V i t e r b i a l g o r i t h m a s t h i s s i m p l i e s t h e d e c o d i n g o p -

e r a t i o n . T h e a l g o r i t h m i s b a s e d o n t h e n e a r e s t n e i g h b o u r d e c o d i n g s c h e m e a n d , l i k e t h e o t h e r a l g o r i t h m s

w e h a v e l o o k e d a t , i t r e l i e s o n t h e a s s u m p t i o n t h a t t h e p r o b a b i l i t y o f t e r r o r s i s m u c h g r e a t e r t h a n t h e

p r o b a b i l i t y o f t + 1 e r r o r s a n d i t t h u s s e l e c t s o r c h o o s e s a n d r e t a i n s o n l y t h e p a t h s w h i c h h a v e f e w e r e r r o r s .

T h e d e c o d i n g p r o c e s s i s b a s e d o n t h e p r e v i o u s d e c o d i n g t r e l l i s . W e w i l l u s e t h e p r e v i o u s ½ r a t e e n c o d e r

e x a m p l e a n d a s s u m e t h a t t h e r e c e i v e d m e s s a g e i s : 1 0 1 0 0 0 1 0 1 0 , r e p r e s e n t i n g a t o t a l o f v e ( u n k n o w n )

t r a n s m i t t e d d a t a b i t s e a c h e n c o d e d i n t o v e b i t p a i r s , i . e . t o t a l o f t e n e n c o d e d d a t a b i t s . W e f u r t h e r a s s u m e

i n t h i s s i m p l i e d e x a m p l e t h a t t h e l a s t 2 b i t s o f t h e 5 d a t a i n p u t s w e r e u s h i n g z e r o s t o r e s e t t h e e n c o d e r

a n d d e c o d e r .

S t a r t i n g ( a f t e r u s h i n g ) w i t h t h e r s t r e c e i v e d b i t i n p o s i t i o n A i n t h e e n c o d e r , w e k n o w t h a t i f a 1 h a d

b e e n i n p u t , ( l o w e r p a t h ) f r o m t h e e n c o d e r g u r e t h e o u t p u t s h o u l d h a v e b e e n 1 1 a s w e m o v e d t o s t a t e C . I f

a 0 w a s i n p u t ( u p p e r p a t h ) w e s h o u l d h a v e r e c e i v e d 0 0 a n d m o v e d t o s t a t e B , s e e u p p e r p a r t o f F i g u r e 5 . 1 .

W h a t w a s a c t u a l l y r e c e i v e d w a s 1 0 , a H a m m i n g d i s t a n c e o f 1 f r o m b o t h t h e s e p o s s i b i l i t i e s , s o w e d r a w

t h a t i n t h e l o w e r p a r t o f F i g u r e 5 . 1 o n t o t h e r s t s t a g e o f o u r d e c o d i n g t r e l l i s .

1


3 1

7/28/2019 col10601.pdf


3 2

C H A P T E R 5 . V I T E R B I D E C O D E R

F i g u r e 5 . 1 : F i r s t s t a g e o f t r e l l i s a f t e r d e c o d i n g r s t t w o r e c e i v e d d a t a b i t s

I n s t e a d o f r e p o r t i n g t h e e x p e c t e d o u t p u t s w e n e x t a n n o t a t e t h e l o w e r p a r t o f F i g u r e 5 . 1 w i t h t h e s e p a r a t e

d i s t a n c e s b e t w e e n t h e r e c e i v e d d a t a a n d t h e t r e l l i s e n c o d e r o n e a c h p a t h . W e t h e n a d d t h e c u m u l a t i v e

H a m m i n g d i s t a n c e t o t h e s t a t e s ( B , C ) i n s q u a r e b r a c k e t s a b o v e t h e s t a t e s B a n d C

N o w c o n s i d e r t h e s e c o n d p a i r o f r e c e i v e d d a t a b i t s . C o n s i d e r r s t s t a t e B . A s b e f o r e , w e s h o u l d h a v e

r e c e i v e d 0 0 f o r a 0 i n p u t a n d 1 1 f o r a 1 i n p u t , s e e l e f t h a n d s i d e o f F i g u r e 5 . 2 . W h a t w e a c t u a l l y r e c e i v e d

w a s 1 0 , w h i c h i s a H a m m i n g d i s t a n c e o f 1 f r o m b o t h p o s s i b i l i t i e s s o t h e r i g h t h a n d p a r t o f F i g u r e 5 . 2 i s

a n n o t a t e d w i t h t h e i n d i v i d u a l a n d c u m u l a t i v e d i s t a n c e s t o s t a t e s D a n d E .

T h e n c o n s i d e r s t a t e C . F o r a 0 i n p u t , ( u p p e r p a r t ) w e s h o u l d h a v e r e c e i v e d 0 1 , b u t w h a t w a s a c t u a l l y

r e c e i v e d w a s 1 0 , a H a m m i n g d i s t a n c e o f 2 . F o r a 1 i n p u t ( l o w e r p a t h ) w e s h o u l d h a v e r e c e i v e d 1 0 a n d t h i s i s

e x a c t l y w h a t w a s r e c e i v e d , c o r r e s p o n d i n g t o a H a m m i n g d i s t a n c e o f 0 ! A g a i n t h e r i g h t p a r t o f F i g u r e 5 . 2 i s

a n n o t a t e d w i t h t h e i n d i v i d u a l d i s t a n c e s o n t h e p a t h s a n d t h e n e w c u m u l a t i v e o r s u m m e d d i s t a n c e s t o s t a t e s

F a n d G .

7/28/2019 col10601.pdf


3 3

F i g u r e 5 . 2 : F i r s t a n d s e c o n d s t a g e o f t h e d e c o d i n g t r e l l i s a f t e r r e c e i v i n g s e c o n d p a i r o f d a t a b i t s

W e c o n t i n u e t o b u i l d o u r d e c o d i n g t r e l l i s u n t i l i t i s c o m p l e t e a f t e r r e c e i p t o f a l l t e n d a t a b i t s , a s s h o w n

i n F i g u r e 5 . 3 .

I f w e h a v e t w o p a t h s t o a s t a t e , a s i n t h e l a t e r s t a t e s : H , I , J , K , L , M , N , P , w e w r i t e t h e s m a l l e r ( m o r e

l i k e l y ) H a m m i n g d i s t a n c e i n s q u a r e b r a c k e t s a b o v e t h e s t a t e a n d d i s c a r d t h e l a r g e r d i s t a n c e ( a s t h i s i s m u c h

l e s s l i k e l y t o r e p r e s e n t t h e c o r r e c t p a t h ) . I n o u r e x a m p l e , w e a s s u m e d t h e l a s t t w o b i t s w e r e 0 , s o w e m u s t

e x p e c t t o n i s h b a c k i n s t a t e P , w h i c h i s t h e s a m e a s t h e s t a r t i n g s t a t e A .

W e n a l l y n e e d t o n d t h e p a t h f r o m s t a t e A t o P w h i c h g i v e s t h e l o w e s t o v e r a l l H a m m i n g d i s t a n c e . W e

t h e n r e t r a c e t h e p a t h a n d r e m e m b e r t h a t t h e u p p e r p a t h f r o m a s t a t e r e p r e s e n t e d a 0 t r a n s m i t t e d a n d t h e

l o w e r p a t h r e p r e s e n t e d a 1 t r a n s m i t t e d .

7/28/2019 col10601.pdf


3 4


F i g u r e 5 . 3 : F u l l d e c o d i n g t r e l l i s a f t e r r e c e i p t o f a l l t e n d a t a b i t s

T h e r e v e r s e d e c o d e d d a t a f o r t h i s e x a m p l e i s i n d i c a t e d b y t h e d a s h e d l i n e i n F i g u r e 5 . 3 .

L e a v i n g s t a t e s A , C , G a n d K a l w a y s i n t h e l o w e r o f t h e t w o p o s s i b l e p a t h s i m p l i e s t h a t a d a t a b i t 1 h a s

b e e n r e c e i v e d a t t h e s e s t a t e s a n d t h e r e f o r e t h i s t r a n s l a t e s t o 1 , 1 , 1 a s t h e r s t t h r e e e n c o d e d d a t a b i t s .

T h e l a s t t w o b i t s d o n ' t m a t t e r i n t h i s c a s e a s w e h a v e a s s u m e d t h e y a r e 0 , 0 a n d w e c a n r e m o v e f r o m

t h e d o c o d i n g t r e l l i s a l l t h e s t a t e s t h a t d o n ' t s u p p o r t o r c o n t r i b u t e t o t h i s s o l u t i o n .

N o t e t h a t n i s h i n g a b l o c k w i t h n - 1 z e r o i n p u t d a t a b i t s i s n o t c o m p u l s o r y . I f y o u m a k e a d e c i s i o n a f t e r

a d e l a y o f a p p r o x i m a t e l y v e t i m e s t h e c o n s t r a i n t l e n g t h n , t h i s m a k e s l i t t l e d i e r e n c e i n c o d e p e r f o r m a n c e

b u t d o e s l i m i t t h e m e m o r y c o n s u m e d b y t h e p r o c e s s t o a m o r e s e n s i b l e a m o u n t .

F i g u r e 5 . 4 s h o w s t h e p e r f o r m a n c e o f v a r i o u s B L O C K c o d e s , a l l o f r a t e ½ , w h o s e p e r f o r m a n c e i m p r o v e s a s

t h e b l o c k l e n g t h i n c r e a s e s , e v e n f o r t h e s a m e c o d i n g r a t e o f ½ .

T h e p o w e r o f t h e s e f o r w a r d e r r o r c o r r e c t i n g c o d e s ( F E C C ) i s q u a n t i e d a s t h e c o d i n g g a i n , i . e . t h e

r e d u c t i o n i n t h e r e q u i r e d

E b

N 0r a t i o o r e n e r g y r e q u i r e d t o t r a n s m i t e a c h b i t d i v i d e d b y t h e s p e c t r a l n o i s e

d e n s i t y , f o r a g i v e n b i t e r r o r r a t i o o r e r r o r p r o b a b i l i t y .

F o r e x a m p l e i n F i g u r e 5 . 4 t h e ( 3 1 , 1 6 ) c o d e h a s a c o d i n g g a i n o v e r t h e u n c o d e d c a s e o f a r o u n d 1 . 8 d B a t

a P b o f 10−5 .

7/28/2019 col10601.pdf


3 5

F i g u r e 5 . 4 : E r r o r p e r f o r m a n c e o f 1 / 2 r a t e b l o c k c o d e r s w i t h d i e r i n g b l o c k l e n g t h s

F i g u r e 5 . 5 s h o w s f o r c o m p a r i s o n w i t h t h e b l o c k c o d e s o f F i g u r e 5 . 4 t h e p e r f o r m a n c e o f c o n v o l u t i o n a l

c o d e r s . T h e c o n v o l u t i o n a l c o d e i n i t i a l l y p r o v i d e s v e r y g o o d p e r f o r m a n c e a t m o d e s t c o n s t r a i n t l e n g t h . A

s h o r t c o n s t r a i n t l e n g t h o f n = v = 3 i s a l r e a d y s u p e r i o r t o t h e 5 1 1 b l o c k l e n g t h c o d e o f F i g u r e 5 . 4 . T h e

a d d i t i o n a l a t t r a c t i o n o f t h e c o n v o l u t i o n a l c o d e r i s i t s f u r t h e r i m p r o v e m e n t w i t h t h e i n c r e a s e i n c o n s t r a i n t

l e n g t h u p t o n = 7 o r 9 , a s s h o w n i n F i g u r e 5 . 5 .

U n f o r t u n a t e l y t h e c o d i n g a n d d e c o d i n g p r o c e s s g e t s m o r e c o m p l i c a t e d w i t h l a r g e r b l o c k / c o n s t r a i n t l e n g t h .

A s s h o w n h e r e c o n v o l u t i o n a l c o d e s w i t h V i t e r b i d e c o d i n g a r e g e n e r a l l y m o r e p o w e r f u l t h a n b l o c k c o d e s ,

e s p e c i a l l y f o r v e r y l o w e r r o r r a t e s , h e n c e t h e i r w i d e r u s e . S i n g l e c h i p c o n s t r a i n t l e n g t h 9 ( 5 1 2 s t a t e ) e n c o d e r

a n d d e c o d e r s a r e n o w w i d e l y a v a i l a b l e a s c o m m e r c i a l p r o d u c t s f r o m m a n y s e m i c o n d u c t o r v e n d o r s .

7/28/2019 col10601.pdf


3 6


F i g u r e 5 . 5 : E r r o r r a t e p e r f o r m a n c e o f c o n v o l u t i o n a l d e c o d e r s w i t h d i e r i n g c o n s t r a i n t l e n g t h s

w a r n i n g : T h i s m o d u l e h a s b e e n c r e a t e d f r o m l e c t u r e n o t e s o r i g i n a t e d b y P M G r a n t a n d

D G M C r u i c k s h a n k w h i c h a r e p u b l i s h e d i n I A G l o v e r a n d P M G r a n t , " D i g i t a l C o m -

m u n i c a t i o n s " , P e a r s o n E d u c a t i o n , 2 0 0 9 , I S B N 9 7 8 - 0 - 2 7 3 - 7 1 8 3 0 - 7 . P o w e r p o i n t s l i d e s p l u s e n d

o f c h a p t e r p r o b l e m e x a m p l e s / s o l u t i o n s a r e a v a i l a b l e f o r i n s t r u c t o r u s e v i a p a s s w o r d a c c e s s a t


7/28/2019 col10601.pdf


C h a p t e r 6

T u r b o C o d i n g

1

6 . 1 T u r b o e n c o d i n g a n d d e c o d i n g

6 . 1 . 1 I n t r o d u c t i o n

A p a p e r w a s p u b l i s h e d b y C l a u d e B e r r o u a n d c o a u t h o r s a t t h e I C C c o n f e r e n c e i n 1 9 9 3 t h a t r o c k e d o r s h o o k

t h e e l d o f f o r w a r d e r r o r c o r r e c t i o n c o d i n g ( F E C C ) . T h i s d e s c r i b e d a m e t h o d o f c r e a t i n g m u c h m o r e p o w e r f u l

b l o c k e r r o r c o r r e c t i n g c o d i n g w i t h o n l y t h e m i n i m u m a m o u n t o f e o r t . I t s m a i n f e a t u r e s w e r e t w o r e c u r s i v e

c o n v o l u t i o n a l e n c o d e r s ( R C E ) i n t e r c o n n e c t e d v i a a n i n t e r l e a v e r . T h e d a t a i s f e d i n t o t h e r s t e n c o d e r d i r e c t l y

a n d i n t o t h e s e c o n d e n c o d e r a f t e r i n t e r l e a v i n g o r r e o r d e r e i n g o f t h e i n p u t d a t a .

6 . 1 . 2 T u r b o e n c o d i n g

T h e i m p o r t a n t f e a t u r e s a r e t h e u s e o f t w o r e c u r s i v e c o n v o l u t i o n a l e n c o d e r s a n d t h e d e s i g n o f t h e i n t e r l e a v e r

w h i c h g i v e s a b l o c k c o d e w i t h t h e b l o c k s i z e e q u a l t o t h e i n t e r l e a v e r s i z e , F i g u r e 6 . 1 . R a n d o m i n t e r l e a v e r s

t e n d t o w o r k b e t t e r t h a n r o w a n d c o l u m n i n t e r l e a v e r s . N o t e t h a t r e c u r s i v e c o n v o l u t i o n a l e n c o d e r s w e r e

k n o w n a b o u t w e l l b e f o r e t h e i r u s e i n t u r b o c o d e s , b u t t h e d i c u l t i e s i n d r i v i n g t h e m i n t o a k n o w n s t a t e

m a d e t h e m l e s s p o p u l a r t h a n t h e n o n - r e c u r s i v e c o n v o l u t i o n a l e n c o d e r s d e s c r i b e d i n t h e p r e v i o u s m o d u l e .

T h e n a m e t u r b o d e c o d e r c a m e f r o m t h e t u r b o c h a r g e r i n a n a u t o m o b i l e w h e r e t h e e x h a u s t g a s s e s a r e

u s e d t o d r i v e a c o m p r e s s o r i n a f e e d b a c k l o o p t o i n c r e a s e t h e i n p u t o f f u e l a n d h e n c e t h e v e h i c l e s u l t i m a t e

p e r f o r m a n c e .

1


3 7

7/28/2019 col10601.pdf


3 8

C H A P T E R 6 . T U R B O C O D I N G

F i g u r e 6 . 1 : T u r b o e n c o d e r w i t h r e c u r s i v e e n c o d i n g l o o p s

T h e d e s i r e d o u t p u t r a t e w a s i n i t i a l l y a c h i e v e d b y p u n c t u r i n g ( i g n o r i n g e v e r y s e c o n d o u t p u t ) f r o m e a c h

o f t h e e n c o d e r s .

6 . 1 . 3 T u r b o d e c o d i n g

T u r b o d e c o d i n g i s i t e r a t i v e . T h e d e c o d i n g i s a l s o s o f t , t h e v a l u e s t h a t o w a r o u n d t h e w h o l e d e c o d e r a r e

r e a l v a l u e s a n d n o t b i n a r y r e p r e s e n t a t i o n s ( w i t h t h e e x c e p t i o n o f t h e h a r d d e c i s i o n s t a k e n a t t h e e n d o f t h e

n u m b e r o f i t e r a t i o n s y o u a r e p r e p a r e d t o p e r f o r m ) . T h e y a r e u s u a l l y l o g l i k e l i h o o d r a t i o s ( L L R s ) , t h e l o g o f

t h e p r o b a b i l i t y t h a t a p a r t i c u l a r b i t w a s a l o g i c 1 d i v i d e d b y t h e p r o b a b i l i t y t h e s a m e b i t w a s a l o g i c 0 .

D e c o d i n g i s a c c o m p l i s h e d b y r s t d e m u l t i p l e x i n g t h e i n c o m i n g d a t a s t r e a m i n t o d , y1 , y2 . d a n d y1 g o

i n t o t h e d e c o d e r f o r t h e r s t c o d e , F i g u r e 6 . 2 . T h i s g i v e s a n e s t i m a t e o f t h e e x t r i n s i c i n f o r m a t i o n f r o m t h e

r s t d e c o d e r w h i c h i s i n t e r l e a v e d a n d p a s t o n t o t h e s e c o n d d e c o d e r . T h e s e c o n d d e c o d e r t h u s h a s t h r e e

i n p u t s , t h e e x t r i n s i c i n f o r m a t i o n f r o m t h e r s t d e c o d e r , t h e i n t e r l e a v e d d a t a d , a n d t h e r e c e i v e d v a l u e s f o r

y2 . I t p r o d u c e s i t s e x t r i n s i c i n f o r m a t i o n a n d t h i s i s d e i n t e r l e a v e d a n d p a s s e d b a c k t o t h e r s t e n c o d e r . T h i s

p r o c e s s i s t h e n r e p e a t e d o r i t e r a t e d a s r e q u i r e d u n t i l t h e n a l s o l u t i o n i s o b t a i n e d f r o m t h e s e c o n d d e c o d e r

i n t e r l e a v e r .

7/28/2019 col10601.pdf


3 9

F i g u r e 6 . 2 : T u r b o d e c o d e r

T h e d e c o d e r s t h e m s e l v e s g e n e r a l l y u s e s o f t o u t p u t V i t e r b i a l g o r i t h m ( S O V A ) t o d e c o d e t h e r e c e i v e d d a t a .

H o w e v e r t h e p r e f e r r e d t u r b o d e c o d i n g m e t h o d i s t o u s e t h e m a x i m u m a - p r i o r i ( M A P ) a l g o r i t h m b u t t h i s i s

t o o m a t h e m a t i c a l t o d i s c u s s h e r e !

7/28/2019 col10601.pdf


4 0

C H A P T E R 6 . T U R B O C O D I N G

F i g u r e 6 . 3 : P r o b a b i l i t y o f e r r o r f o r t u r b o d e c o d e r s w i t h v a r i a b l e n u m b e r o f i t e r a t i o n s

6 . 1 . 4 C o d e r p e r f o r m a n c e

F i g u r e 6 . 3 s h o w s t h e s e ½ r a t e d e c o d e r s o p e r a t i n g a t m u c h l o w e r

E b

N 0o r S N R v a l u e s t h a n t h e c o n v o l u t i o n a l

V i t e r b i d e c o d e r s o f t h e p r e v i o u s s e c t i o n a n d , f u r t h e r , a s t h e n u m b e r o f i t e r a t i o n s i n c r e a s e s t o b e y o n d 1 5 ,

t h e n t h e p e r f o r m a n c e c o m e s v e r y v e r y c l o s e t o t h e t h e o r e t i c a l S h a n n o n b o u n d .

T h i s i s t h e a t t r a c t i o n t h a t h a s e x c i t e d t h e F E C C c o m m u n i t y , w h o w e r e u n a b l e t o a c h i e v e t h i s l o w

e r r o r r a t e b e f o r e 1 9 9 3 ! N o w t h a t i t e r a t i v e d e c o d i n g h a s b e e n i n t r o d u c e d f o r t u r b o d e c o d e r s i t i s a l s o b e i n g

r e - a p p l i e d i n l o w d e l a y p a r i t y c h e c k ( L D P C ) d e c o d e r s w i t h e q u a l e n t h u s i a s m a n d s u c c e s s .

7/28/2019 col10601.pdf


4 1

F i g u r e 6 . 4

F i g u r e 6 . 4 i n c l u d e s a t u r b o d e c o d i n g e x a m p l e ( w h i c h a s a n a n i m a t e d p o w e r p o i n t s l i d e ) w i l l s h o w t h e b l a c k

d o t n o i s e i n d u c e d e r r o r s b e i n g c o r r e c t e d o n e a c h s u b s e q u e n t i t e r a t i o n w i t h t h e b l a c k d o t s b e i n g p r o g r e s s i v e l y

r e d u c e d i n t h e u p p e r c a r t o o n .






7/28/2019 col10601.pdf


4 2

I N D E X

I n d e x o f K e y w o r d s a n d T e r m s

K e y w o r d s a r e l i s t e d b y t h e s e c t i o n w i t h t h a t k e y w o r d ( p a g e n u m b e r s a r e i n p a r e n t h e s e s ) . K e y w o r d s

d o n o t n e c e s s a r i l y a p p e a r i n t h e t e x t o f t h e p a g e . T h e y a r e m e r e l y a s s o c i a t e d w i t h t h a t s e c t i o n . E x .

a p p l e s , 1 . 1 ( 1 ) T e r m s a r e r e f e r e n c e d b y t h e p a g e t h e y a p p e a r o n . E x . a p p l e s , 1

B B l o c k c o d e s , 3 ( 1 3 )

B l o c k c o d i n g , 2 ( 7 )

C C o n v o l u t i o n a l c o d e , 5 ( 3 1 )

C o n v o l u t i o n a l c o d e r , 4 ( 2 5 )

F F E C C , 5 ( 3 1 ) , 6 ( 3 7 )

F o r w a r d E r r o r C o r r e c t i n g C o d e r , 4 ( 2 5 )

H H a m m i n g b o u n d , 3 ( 1 3 )

h u m a n c o d e r , 1 ( 1 )

N N e a r e s t n e i g h b o u r d e c o d i n g , 3 ( 1 3 )

P P a r i t y c h e c k m a t r i x , 2 ( 7 )

S s o u r c e c o d i n g , 1 ( 1 )

T T u r b o D e c o d e r s , 6 ( 3 7 )

V V i t e r b i d e c o d i n g , 5 ( 3 1 )

7/28/2019 col10601.pdf


A T T R I B U T I O N S 4 3

A t t r i b u t i o n s

C o l l e c t i o n : C o m m u n i c a t i o n s S o u r c e a n d C h a n n e l C o d i n g w i t h e x a m p l e s

E d i t e d b y : P e t e r G r a n t

U R L : h t t p : / / c n x . o r g / c o n t e n t / c o l 1 0 6 0 1 / 1 . 3 /

L i c e n s e : h t t p : / / c r e a t i v e c o m m o n s . o r g / l i c e n s e s / b y / 2 . 0 /

M o d u l e : " H u m a n s o u r c e c o d e r "

B y : P e t e r G r a n t

U R L : h t t p : / / c n x . o r g / c o n t e n t / m 1 8 1 7 2 / 1 . 4 /

P a g e s : 1 - 6

C o p y r i g h t : P e t e r G r a n t


M o d u l e : " B l o c k F E C C c o d i n g "



P a g e s : 7 - 1 2



M o d u l e : " B l o c k c o d e p e r f o r m a n c e "



P a g e s : 1 3 - 2 3



M o d u l e : " C o n v o l u t i o n a l F E C C E n c o d e r "



P a g e s : 2 5 - 2 9



M o d u l e : " V i t e r b i D e c o d e r "



P a g e s : 3 1 - 3 6



M o d u l e : " T u r b o C o d i n g "



P a g e s : 3 7 - 4 1



7/28/2019 col10601.pdf


C o m m u n i c a t i o n s S o u r c e a n d C h a n n e l C o d i n g w i t h e x a m p l e s

H u m a n v a r i a b l e l e n g t h s o u r c e c o d e r i s r s t d e s c r i b e d t h e n s y s t e m a t i c c h a n n e l c o d i n g b l o c k c o d e r d e s i g n

i s i n t r o d u c e d f o r f o r w a r d e r r o r c o r r e c t i o n c o d i n g ( F E C C ) . N e a r e s t n e i g h b o u r d e c o d i n g a n d t h e H a m m i n g

b o u n d i s u s e d t o d e n e t h e p e r f o r m a n c e o f t h e s e b l o c k c o d e r s . F i n a l l y t h e n o n s y s t e m a t i c c o n v o l u t i o n a l

c o d e r , V i t e r b i d e c o d e r a n d t u r b o r e c u r s i v e c o d e r d e s i g n s a r e i n t r o d u c e d w i t h e x a m p l e s o f t h e o p e r a t i o n o f

t h e s e c o d e r s .

A b o u t C o n n e x i o n s

S i n c e 1 9 9 9 , C o n n e x i o n s h a s b e e n p i o n e e r i n g a g l o b a l s y s t e m w h e r e a n y o n e c a n c r e a t e c o u r s e m a t e r i a l s a n d

m a k e t h e m f u l l y a c c e s s i b l e a n d e a s i l y r e u s a b l e f r e e o f c h a r g e . W e a r e a W e b - b a s e d a u t h o r i n g , t e a c h i n g a n d

l e a r n i n g e n v i r o n m e n t o p e n t o a n y o n e i n t e r e s t e d i n e d u c a t i o n , i n c l u d i n g s t u d e n t s , t e a c h e r s , p r o f e s s o r s a n d

l i f e l o n g l e a r n e r s . W e c o n n e c t i d e a s a n d f a c i l i t a t e e d u c a t i o n a l c o m m u n i t i e s .

C o n n e x i o n s ' s m o d u l a r , i n t e r a c t i v e c o u r s e s a r e i n u s e w o r l d w i d e b y u n i v e r s i t i e s , c o m m u n i t y c o l l e g e s , K - 1 2

s c h o o l s , d i s t a n c e l e a r n e r s , a n d l i f e l o n g l e a r n e r s . C o n n e x i o n s m a t e r i a l s a r e i n m a n y l a n g u a g e s , i n c l u d i n g

E n g l i s h , S p a n i s h , C h i n e s e , J a p a n e s e , I t a l i a n , V i e t n a m e s e , F r e n c h , P o r t u g u e s e , a n d T h a i . C o n n e x i o n s i s p a r t

o f a n e x c i t i n g n e w i n f o r m a t i o n d i s t r i b u t i o n s y s t e m t h a t a l l o w s f o r P r i n t o n D e m a n d B o o k s . C o n n e x i o n s

h a s p a r t n e r e d w i t h i n n o v a t i v e o n - d e m a n d p u b l i s h e r Q O O P t o a c c e l e r a t e t h e d e l i v e r y o f p r i n t e d c o u r s e

m a t e r i a l s a n d t e x t b o o k s i n t o c l a s s r o o m s w o r l d w i d e a t l o w e r p r i c e s t h a n t r a d i t i o n a l a c a d e m i c p u b l i s h e r s .

col10601.pdf

Documents