10.1.1.7.6283
TRANSCRIPT
-
7/28/2019 10.1.1.7.6283
1/7
A N e w L e a r n i n g A l g o r i t h m f o r B l i n d
S i g n a l S e p a r a t i o n
S . A m a r i
3
U n i v e r s i t y o f T o k y o
B u n k y o - k u , T o k y o 1 1 3 , J A P A N
a m a r i @ s a t . t . u - t o k y o . a c . j p
A . C i c h o c k i
L a b . f o r A r t i c i a l B r a i n S y s t e m s
F R P , R I K E N
W a k o - S h i , S a i t a m a , 3 5 1 - 0 1 , J A P A N
c i a @ k a m o . r i k e n . g o . j p
H . H . Y a n g
L a b . f o r I n f o r m a t i o n R e p r e s e n t a t i o n
F R P , R I K E N
W a k o - S h i , S a i t a m a , 3 5 1 - 0 1 , J A P A N
h h y @ k o a l a . r i k e n . g o . j p
A b s t r a c t
A n e w o n - l i n e l e a r n i n g a l g o r i t h m w h i c h m i n i m i z e s a s t a t i s t i c a l d e -
p e n d e n c y a m o n g o u t p u t s i s d e r i v e d f o r b l i n d s e p a r a t i o n o f m i x e d
s i g n a l s . T h e d e p e n d e n c y i s m e a s u r e d b y t h e a v e r a g e m u t u a l i n -
f o r m a t i o n ( M I ) o f t h e o u t p u t s . T h e s o u r c e s i g n a l s a n d t h e m i x i n g
m a t r i x a r e u n k n o w n e x c e p t f o r t h e n u m b e r o f t h e s o u r c e s . T h e
G r a m - C h a r l i e r e x p a n s i o n i n s t e a d o f t h e E d g e w o r t h e x p a n s i o n i s
u s e d i n e v a l u a t i n g t h e M I . T h e n a t u r a l g r a d i e n t a p p r o a c h i s u s e d
t o m i n i m i z e t h e M I . A n o v e l a c t i v a t i o n f u n c t i o n i s p r o p o s e d f o r t h e
o n - l i n e l e a r n i n g a l g o r i t h m w h i c h h a s a n e q u i v a r i a n t p r o p e r t y a n d
i s e a s i l y i m p l e m e n t e d o n a n e u r a l n e t w o r k l i k e m o d e l . T h e v a l i d i t y
o f t h e n e w l e a r n i n g a l g o r i t h m a r e v e r i e d b y c o m p u t e r s i m u l a t i o n s .
1 I N T R O D U C T I O N
T h e p r o b l e m o f b l i n d s i g n a l s e p a r a t i o n a r i s e s i n m a n y a r e a s s u c h a s s p e e c h r e c o g -
n i t i o n , d a t a c o m m u n i c a t i o n , s e n s o r s i g n a l p r o c e s s i n g , a n d m e d i c a l s c i e n c e . S e v e r a l
n e u r a l n e t w o r k a l g o r i t h m s [ 3 , 5 , 7 ] h a v e b e e n p r o p o s e d f o r s o l v i n g t h i s p r o b l e m .
T h e p e r f o r m a n c e o f t h e s e a l g o r i t h m s i s u s u a l l y a e c t e d b y t h e s e l e c t i o n o f t h e a c -
t i v a t i o n f u n c t i o n s f o r t h e f o r m a l n e u r o n s i n t h e n e t w o r k s . H o w e v e r , a l l a c t i v a t i o n
3
L a b . f o r I n f o r m a t i o n R e p r e s e n t a t i o n , F R P , R I K E N , W a k o - s h i , S a i t a m a , J A P A N
-
7/28/2019 10.1.1.7.6283
2/7
f u n c t i o n s a t t e m p t e d a r e m o n o t o n i c a n d t h e s e l e c t i o n s o f t h e a c t i v a t i o n f u n c t i o n s
a r e a d h o c . H o w s h o u l d t h e a c t i v a t i o n f u n c t i o n b e d e t e r m i n e d t o m i n i m i z e t h e M I ?
I s i t n e c e s s a r y t o u s e m o n o t o n i c a c t i v a t i o n f u n c t i o n s f o r b l i n d s i g n a l s e p a r a t i o n ? I n
t h i s p a p e r , w e s h a l l a n s w e r t h e s e q u e s t i o n s a n d g i v e a n o n - l i n e l e a r n i n g a l g o r i t h m
w h i c h u s e s a n o n - m o n o t o n i c a c t i v a t i o n f u n c t i o n s e l e c t e d b y t h e i n d e p e n d e n t c o m -
p o n e n t a n a l y s i s ( I C A ) [ 7 ] . M o r e o v e r , w e s h a l l s h o w a r i g o r o u s w a y t o d e r i v e t h e
l e a r n i n g a l g o r i t h m w h i c h h a s t h e e q u i v a r i a n t p r o p e r t y , i . e . , t h e p e r f o r m a n c e o f t h e
a l g o r i t h m i s i n d e p e n d e n t o f t h e s c a l i n g p a r a m e t e r s i n t h e n o i s e l e s s c a s e .
2 P R O B L E M
L e t u s c o n s i d e r u n k n o w n s o u r c e s i g n a l s s
i
( t ) ; i = 1 ; 1 1 1 ; n w h i c h a r e m u t u a l l y i n -
d e p e n d e n t . I t i s a s s u m e d t h a t t h e s o u r c e s s
i
( t ) a r e s t a t i o n a r y p r o c e s s e s a n d e a c h
s o u r c e h a s m o m e n t s o f a n y o r d e r w i t h a z e r o m e a n . T h e m o d e l f o r t h e s e n s o r o u t p u t
i s
x ( t ) = A s ( t )
w h e r e A 2 R
n 2 n
i s a n u n k n o w n n o n - s i n g u l a r m i x i n g m a t r i x , s ( t ) =
[ s
1
( t ) ; 1 1 1 ; s
n
( t ) ]
T
a n d x ( t ) = [ x
1
( t ) ; 1 1 1 ; x
n
( t ) ]
T
.
W i t h o u t k n o w i n g t h e s o u r c e s i g n a l s a n d t h e m i x i n g m a t r i x , w e w a n t t o r e c o v e r t h e
o r i g i n a l s i g n a l s f r o m t h e o b s e r v a t i o n s x ( t ) b y t h e f o l l o w i n g l i n e a r t r a n s f o r m :
y ( t ) = W x ( t )
w h e r e y ( t ) = [ y
1
( t ) ; 1 1 1 ; y
n
( t ) ]
T
a n d W 2 R
n 2 n
i s a d e - m i x i n g m a t r i x .
I t i s i m p o s s i b l e t o o b t a i n t h e o r i g i n a l s o u r c e s s
i
( t ) b e c a u s e t h e y a r e n o t i d e n t i a b l e
i n t h e s t a t i s t i c a l s e n s e . H o w e v e r , e x c e p t f o r a p e r m u t a t i o n o f i n d i c e s , i t i s p o s s i b l e
t o o b t a i n c
i
s
i
( t ) w h e r e t h e c o n s t a n t s c
i
a r e i n d e n i t e n o n z e r o s c a l a r f a c t o r s . T h e
s o u r c e s i g n a l s a r e i d e n t i a b l e i n t h i s s e n s e . S o o u r g o a l i s t o n d t h e m a t r i x W s u c h
t h a t [ y
1
; 1 1 1 ; y
n
] c o i n c i d e s w i t h a p e r m u t a t i o n o f [ s
1
; 1 1 1 ; s
n
] e x c e p t f o r t h e s c a l a r
f a c t o r s . T h e s o l u t i o n W i s t h e m a t r i x w h i c h n d s a l l i n d e p e n d e n t c o m p o n e n t s i n
t h e o u t p u t s . A n o n - l i n e l e a r n i n g a l g o r i t h m f o r W i s n e e d e d w h i c h p e r f o r m s t h e
I C A . I t i s p o s s i b l e t o n d s u c h a l e a r n i n g a l g o r i t h m w h i c h m i n i m i z e s t h e d e p e n d e n c y
a m o n g t h e o u t p u t s . T h e a l g o r i t h m i n [ 6 ] i s b a s e d o n t h e E d g e w o r t h e x p a n s i o n [ 8 ] f o r
e v a l u a t i n g t h e m a r g i n a l n e g e n t r o p y . B o t h t h e G r a m - C h a r l i e r e x p a n s i o n [ 8 ] a n d t h e
E d g e w o r t h e x p a n s i o n [ 8 ] c a n b e u s e d t o a p p r o x i m a t e p r o b a b i l i t y d e n s i t y f u n c t i o n s .
W e s h a l l u s e t h e G r a m - C h a r l i e r e x p a n s i o n i n s t e a d o f t h e E d g e w o r t h e x p a n s i o n f o r
e v a l u a t i n g t h e m a r g i n a l e n t r o p y . W e s h a l l e x p l a i n t h e r e a s o n i n s e c t i o n 3 .
3 I N D E P E N D E N C E O F S I G N A L S
T h e m a t h e m a t i c a l f r a m e w o r k f o r t h e I C A i s f o r m u l a t e d i n [ 6 ] . T h e b a s i c i d e a o f t h e
I C A i s t o m i n i m i z e t h e d e p e n d e n c y a m o n g t h e o u t p u t c o m p o n e n t s . T h e d e p e n d e n c y
i s m e a s u r e d b y t h e K u l l b a c k - L e i b l e r d i v e r g e n c e b e t w e e n t h e j o i n t a n d t h e p r o d u c t
o f t h e m a r g i n a l d i s t r i b u t i o n s o f t h e o u t p u t s :
D ( W ) =
Z
p ( y ) l o g
p ( y )
Q
n
a = 1
p
a
( y
a
)
d y ( 1 )
w h e r e p
a
( y
a
) i s t h e m a r g i n a l p r o b a b i l i t y d e n s i t y f u n c t i o n ( p d f ) . N o t e t h e K u l l b a c k -
L e i b l e r d i v e r g e n c e h a s s o m e i n v a r i a n t p r o p e r t i e s f r o m t h e d i e r e n t i a l - g e o m e t r i c a l
p o i n t o f v i e w [ 1 ] .
-
7/28/2019 10.1.1.7.6283
3/7
I t i s e a s y t o r e l a t e t h e K u l l b a c k - L e i b l e r d i v e r g e n c e D ( W ) t o t h e a v e r a g e M I o f y :
D ( W ) = 0 H ( y ) +
n
X
a = 1
H ( y
a
) ( 2 )
w h e r e
H ( y ) = 0
R
p ( y ) l o g p ( y ) d y ,
H ( y
a
) = 0
R
p
a
( y
a
) l o g p
a
( y
a
) d y
a
i s t h e m a r g i n a l e n t r o p y .
T h e m i n i m i z a t i o n o f t h e K u l l b a c k - L e i b l e r d i v e r g e n c e l e a d s t o a n I C A a l g o r i t h m f o r
e s t i m a t i n g W i n [ 6 ] w h e r e t h e E d g e w o r t h e x p a n s i o n i s u s e d t o e v a l u a t e t h e n e g e n -
t r o p y . W e u s e t h e t r u n c a t e d G r a m - C h a r l i e r e x p a n s i o n t o e v a l u a t e t h e K u l l b a c k -
L e i b l e r d i v e r g e n c e . T h e E d g e w o r t h e x p a n s i o n h a s s o m e a d v a n t a g e s o v e r t h e G r a m -
C h a r l i e r e x p a n s i o n o n l y f o r s o m e s p e c i a l d i s t r i b u t i o n s . I n t h e c a s e o f t h e G a m m a
d i s t r i b u t i o n o r t h e d i s t r i b u t i o n o f a r a n d o m v a r i a b l e w h i c h i s t h e s u m o f i i d r a n d o m
v a r i a b l e s , t h e c o e c i e n t s o f t h e E d g e w o r t h e x p a n s i o n d e c r e a s e u n i f o r m l y . H o w e v e r ,
t h e r e i s n o s u c h a d v a n t a g e f o r t h e m i x e d o u t p u t y
a
i n g e n e r a l c a s e s .
T o c a l c u l a t e e a c h H ( y
a
) i n ( 2 ) , w e s h a l l a p p l y t h e G r a m - C h a r l i e r e x p a n s i o n t o
a p p r o x i m a t e t h e p d f p
a
( y
a
) . S i n c e E [ y ] = E [ W A s ] = 0 , w e h a v e E [ y
a
] = 0 . T o
s i m p l i f y t h e c a l c u l a t i o n s f o r t h e e n t r o p y H ( y
a
) t o b e c a r r i e d o u t l a t e r , w e a s s u m e
m
a
2
= 1 . W e u s e t h e f o l l o w i n g t r u n c a t e d G r a m - C h a r l i e r e x p a n s i o n t o a p p r o x i m a t e
t h e p d f p
a
( y
a
) :
p
a
( y
a
) ( y
a
) f 1 +
a
3
3 !
H
3
( y
a
) +
a
4
4 !
H
4
( y
a
) g ( 3 )
w h e r e
a
3
= m
a
3
,
a
4
= m
a
4
0 3 , m
a
k
= E [ ( y
a
)
k
] i s t h e k - t h o r d e r m o m e n t o f y
a
,
( y ) =
1
p
2
e
0
y
2
2
, a n d H
k
( y ) a r e C h e b y s h e v - H e r m i t e p o l y n o m i a l s d e n e d b y t h e
i d e n t i t y
( 0 1 )
k
d
k
( y )
d y
k
= H
k
( y ) ( y ) :
W e p r e f e r t h e G r a m - C h a r l i e r e x p a n s i o n t o t h e E d g e w o r t h e x p a n s i o n b e c a u s e t h e
f o r m e r c l e a r l y s h o w s h o w
a
3
a n d
a
4
a e c t t h e a p p r o x i m a t i o n o f t h e p d f . T h e l a s t
t e r m i n ( 3 ) c h a r a c t e r i z e s n o n - G a u s s i a n d i s t r i b u t i o n s . T o a p p l y ( 3 ) t o c a l c u l a t e
H ( y
a
) , w e n e e d t h e f o l l o w i n g i n t e g r a l s :
0
Z
( y ) H
2
( y ) l o g ( y ) d y =
1
4
( 4 )
Z
( y ) ( H
2
( y ) )
2
H
4
( y ) d y = 2 4 : ( 5 )
T h e s e i n t e g r a l s c a n b e o b t a i n e d e a s i l y f r o m t h e f o l l o w i n g r e s u l t s f o r t h e m o m e n t s
o f a G a u s s i a n r a n d o m v a r i a b l e N ( 0 , 1 ) :
Z
y
2 k + 1
( y ) d y = 0 ;
Z
y
2 k
( y ) d y = 1 1 3 1 1 1 ( 2 k 0 1 ) : ( 6 )
B y u s i n g t h e e x p a n s i o n
l o g ( 1 + y ) y 0
y
2
2
+ O ( y
3
)
a n d t a k i n g a c c o u n t o f t h e o r t h o g o n a l i t y r e l a t i o n s o f t h e C h e b y s h e v - H e r m i t e p o l y -
n o m i a l s a n d ( 4 ) - ( 5 ) , t h e e n t r o p y H ( y
a
) i s e x p a n d e d a s
H ( y
a
)
1
2
l o g ( 2 e ) 0
(
a
3
)
2
2 1 3 !
0
(
a
4
)
2
2 1 4 !
+
5
8
(
a
3
)
2
a
4
+
1
1 6
(
a
4
)
3
: ( 7 )
-
7/28/2019 10.1.1.7.6283
4/7
I t i s e a s y t o c a l c u l a t e
0
Z
( y ) l o g ( y ) d y =
1
2
l o g ( 2 e ) :
F r o m y = W x , w e h a v e H ( y ) = H ( x ) + l o g j d e t ( W ) j : A p p l y i n g ( 7 ) a n d t h e a b o v e
e x p r e s s i o n s t o ( 2 ) , w e h a v e
D ( W ) 0 H ( x ) 0 l o g j d e t ( W ) j +
n
2
l o g ( 2 e ) 0
n
X
a = 1
[
(
a
3
)
2
2 1 3 !
+
(
a
4
)
2
2 1 4 !
0
5
8
(
a
3
)
2
a
4
0
1
1 6
(
a
4
)
3
] : ( 8 )
4 A N E W L E A R N I N G A L G O R I T H M
T o o b t a i n t h e g r a d i e n t d e s c e n t a l g o r i t h m t o u p d a t e W r e c u r s i v e l y , w e n e e d t o
c a l c u l a t e
@ D
@ w
a
k
w h e r e w
a
k
i s t h e ( a , k ) e l e m e n t o f W i n t h e a - t h r o w a n d k - t h c o l u m n .
L e t c o f ( w
a
k
) b e t h e c o f a c t o r o f w
a
k
i n W . I t i s n o t d i c u l t t o d e r i v e t h e f o l l o w i n g s :
@ l o g j d e t ( W ) j
@ w
a
k
=
c o f ( w
a
k
)
d e t ( W )
= ( W
0 T
)
a
k
@
a
3
@ w
a
k
= 3 E [ ( y
a
)
2
x
k
]
@
a
4
@ w
a
k
= 4 E [ ( y
a
)
3
x
k
]
w h e r e ( W
0 T
)
a
k
d e n o t e s t h e ( a , k ) e l e m e n t o f ( W
T
)
0 1
. F r o m ( 8 ) , w e o b t a i n
@ D
@ w
a
k
0 ( W
0 T
)
a
k
+ f (
a
3
;
a
4
) E [ ( y
a
)
2
x
k
] + g (
a
3
;
a
4
) E [ ( y
a
)
3
x
k
] ( 9 )
w h e r e
f ( y ; z ) = 0
1
2
y +
1 5
4
y z , g ( y ; z ) = 0
1
6
z +
5
2
y
2
+
3
4
z
2
.
F r o m ( 9 ) , w e o b t a i n t h e g r a d i e n t d e s c e n t a l g o r i t h m t o u p d a t e W r e c u r s i v e l y :
d w
a
k
d t
= 0 ( t )
@ D
@ w
a
k
= ( t ) f ( W
0 T
)
a
k
0 f (
a
3
;
a
4
) E [ ( y
a
)
2
x
k
] 0 g (
a
3
;
a
4
) E [ ( y
a
)
3
x
k
] g ( 1 0 )
w h e r e ( t ) i s a l e a r n i n g r a t e f u n c t i o n . R e p l a c i n g t h e e x p e c t a t i o n v a l u e s i n ( 1 0 ) b y
t h e i r i n s t a n t a n e o u s v a l u e s , w e h a v e t h e s t o c h a s t i c g r a d i e n t d e s c e n t a l g o r i t h m :
d w
a
k
d t
= ( t ) f ( W
0 T
)
a
k
0 f (
a
3
;
a
4
) ( y
a
)
2
x
k
0 g (
a
3
;
a
4
) ( y
a
)
3
x
k
g : ( 1 1 )
W e n e e d t o u s e t h e f o l l o w i n g a d a p t i v e a l g o r i t h m t o c o m p u t e
a
3
a n d
a
4
i n ( 1 1 ) :
d
a
3
d t
= 0 ( t ) (
a
3
0 ( y
a
)
3
)
d
a
4
d t
= 0 ( t ) (
a
4
0 ( y
a
)
4
+ 3 ) ( 1 2 )
w h e r e ( t ) i s a n o t h e r l e a r n i n g r a t e f u n c t i o n .
T h e p e r f o r m a n c e o f t h e a l g o r i t h m ( 1 1 ) r e l i e s o n t h e e s t i m a t i o n o f t h e t h i r d a n d
f o u r t h o r d e r c u m u l a n t s p e r f o r m e d b y t h e a l g o r i t h m ( 1 2 ) . R e p l a c i n g t h e m o m e n t s
-
7/28/2019 10.1.1.7.6283
5/7
o f t h e r a n d o m v a r i a b l e s i n ( 1 1 ) b y t h e i r i n s t a n t a n e o u s v a l u e s , w e o b t a i n t h e f o l l o w i n g
a l g o r i t h m w h i c h i s a d i r e c t b u t c o a r s e i m p l e m e n t a t i o n o f ( 1 1 ) :
d w
a
k
d t
= ( t ) f ( W
0 T
)
a
k
0 f ( y
a
) x
k
g ( 1 3 )
w h e r e t h e a c t i v a t i o n f u n c t i o n f ( y ) i s d e n e d b y
f ( y ) =
3
4
y
1 1
+
2 5
4
y
9
0
1 4
3
y
7
0
4 7
4
y
5
+
2 9
4
y
3
: ( 1 4 )
N o t e t h e a c t i v a t i o n f u n c t i o n f ( y ) i s a n o d d f u n c t i o n , n o t a m o n o t o n i c f u n c t i o n .
T h e e q u a t i o n ( 1 3 ) c a n b e w r i t t e n i n a m a t r i x f o r m :
d W
d t
= ( t ) f W
0 T
0 f ( y ) x
T
g : ( 1 5 )
T h i s e q u a t i o n c a n b e f u r t h e r s i m p l i e d a s f o l l o w i n g b y s u b s t i t u t i n g x
T
W
T
= y
T
:
d W
d t
= ( t ) f I 0 f ( y ) y
T
g W
0 T
( 1 6 )
w h e r e f ( y ) = ( f ( y
1
) ; 1 1 1 ; f ( y
n
) )
T
. T h e a b o v e e q u a t i o n i s b a s e d o n t h e g r a d i e n t
d e s c e n t a l g o r i t h m ( 1 0 ) w i t h t h e f o l l o w i n g m a t r i x f o r m :
d W
d t
= 0 ( t )
@ D
@ W
: ( 1 7 )
F r o m i n f o r m a t i o n g e o m e t r y p e r s p e c t i v e [ 1 ] , s i n c e t h e m i x i n g m a t r i x A i s n o n -
s i n g u l a r w e h a d b e t t e r r e p l a c e t h e a b o v e a l g o r i t h m b y t h e f o l l o w i n g n a t u r a l g r a d i e n t
d e s c e n t a l g o r i t h m :
d W
d t
= 0 ( t )
@ D
@ W
W
T
W : ( 1 8 )
A p p l y i n g t h e p r e v i o u s a p p r o x i m a t i o n o f t h e g r a d i e n t
@ D
@ W
t o ( 1 8 ) , w e o b t a i n t h e
f o l l o w i n g a l g o r i t h m :
d W
d t
= ( t ) f I 0 f ( y ) y
T
g W ( 1 9 )
w h i c h h a s t h e s a m e \ e q u i v a r i a n t " p r o p e r t y a s t h e a l g o r i t h m s d e v e l o p e d i n [ 4 , 5 ] .
A l t h o u g h t h e o n - l i n e l e a r n i n g a l g o r i t h m s ( 1 6 ) a n d ( 1 9 ) l o o k s i m i l a r t o t h o s e i n
[ 3 , 7 ] a n d [ 5 ] r e s p e c t i v e l y , t h e s e l e c t i o n o f t h e a c t i v a t i o n f u n c t i o n i n t h i s p a p e r i s
r a t i o n a l , n o t a d h o c . T h e a c t i v a t i o n f u n c t i o n ( 1 4 ) i s d e t e r m i n e d b y t h e I C A . I t i s
a n o n - m o n o t o n i c a c t i v a t i o n f u n c t i o n d i e r e n t f r o m t h o s e u s e d i n [ 3 , 5 , 7 ] .
T h e r e i s a s i m p l e w a y t o j u s t i f y t h e s t a b i l i t y o f t h e a l g o r i t h m ( 1 9 ) . L e t V e c ( 1 )
d e n o t e a n o p e r a t o r o n a m a t r i x w h i c h c a s c a d e s t h e c o l u m n s o f t h e m a t r i x f r o m t h e
l e f t t o t h e r i g h t a n d f o r m s a c o l u m n v e c t o r . N o t e t h i s o p e r a t o r h a s t h e f o l l o w i n g
p r o p e r t y :
V e c ( A B C ) = ( C
T
A ) V e c ( B ) : ( 2 0 )
B o t h t h e g r a d i e n t d e s c e n t a l g o r i t h m a n d t h e n a t u r a l g r a d i e n t d e s c e n t a l g o r i t h m a r e
s p e c i a l c a s e s o f t h e f o l l o w i n g g e n e r a l g r a d i e n t d e s c e n t a l g o r i t h m :
d V e c ( W )
d t
= 0 ( t ) P
@ D
@ V e c ( W )
( 2 1 )
w h e r e P i s a s y m m e t r i c a n d p o s i t i v e d e n i t e m a t r i x . I t i s t r i v i a l t h a t ( 2 1 ) b e c o m e s
( 1 7 ) w h e n P = I . W h e n P = W
T
W I , a p p l y i n g ( 2 0 ) t o ( 2 1 ) , w e o b t a i n
d V e c ( W )
d t
= 0 ( t ) ( W
T
W I )
@ D
@ V e c ( W )
= 0 ( t ) V e c (
@ D
@ W
W
T
W )
-
7/28/2019 10.1.1.7.6283
6/7
a n d t h i s e q u a t i o n i m p l i e s ( 1 8 ) . S o t h e n a t u r a l g r a d i e n t d e s c e n t a l g o r i t h m u p d a t e s
W ( t ) i n t h e d i r e c t i o n o f d e c r e a s i n g t h e d e p e n d e n c y D ( W ) . T h e i n f o r m a t i o n g e o m -
e t r y t h e o r y [ 1 ] e x p l a i n s w h y t h e n a t u r a l g r a d i e n t d e s c e n t a l g o r i t h m s h o u l d b e u s e d
t o m i n i m i z e t h e M I .
A n o t h e r o n - l i n e l e a r n i n g a l g o r i t h m f o r b l i n d s e p a r a t i o n u s i n g r e c u r r e n t n e t w o r k w a s
p r o p o s e d i n [ 2 ] . F o r t h i s a l g o r i t h m , t h e a c t i v a t i o n f u n c t i o n ( 1 4 ) a l s o w o r k s w e l l .
I n p r a c t i c e , o t h e r a c t i v a t i o n f u n c t i o n s s u c h a s t h o s e p r o p o s e d i n [ 2 ] - [ 6 ] m a y a l s o b e
u s e d i n ( 1 9 ) . H o w e v e r , t h e p e r f o r m a n c e o f t h e a l g o r i t h m f o r s u c h f u n c t i o n s u s u a l l y
d e p e n d s o n t h e d i s t r i b u t i o n s o f t h e s o u r c e s . T h e a c t i v a t i o n f u n c t i o n ( 1 4 ) w o r k s f o r
r e l a t i v e l y g e n e r a l c a s e s i n w h i c h t h e p d f o f e a c h s o u r c e c a n b e a p p r o x i m a t e d b y t h e
t r u n c a t e d G r a m - C h a r l i e r e x p a n s i o n .
5 S I M U L A T I O N
I n o r d e r t o c h e c k t h e v a l i d i t y a n d p e r f o r m a n c e o f t h e n e w o n - l i n e l e a r n i n g a l g o r i t h m
( 1 9 ) , w e s i m u l a t e i t o n t h e c o m p u t e r u s i n g s y n t h e t i c s o u r c e s i g n a l s a n d a r a n d o m
m i x i n g m a t r i x . T h e e x t e n s i v e c o m p u t e r s i m u l a t i o n s h a v e f u l l y c o n r m e d t h e t h e o r y
a n d t h e v a l i d i t y o f t h e a l g o r i t h m ( 1 9 ) . D u e t o t h e l i m i t o f s p a c e w e p r e s e n t h e r e
o n l y o n e i l l u s t r a t i v e e x a m p l e .
E x a m p l e :
A s s u m e t h a t t h e f o l l o w i n g t h r e e u n k n o w n s o u r c e s a r e m i x e d b y a r a n d o m m i x i n g
m a t r i x A :
[ s
1
( t ) ; s
2
( t ) ; s
3
( t ) ] = [ n ( t ) ; 0 : 1 s i n ( 4 0 0 t ) c o s ( 3 0 t ) ; 0 : 0 1 s i g n [ s i n ( 5 0 0 t + 9 c o s ( 4 0 t ) ) ]
w h e r e n ( t ) i s a n o i s e s o u r c e u n i f o r m l y d i s t r i b u t e d i n t h e r a n g e [ 0 1 ; + 1 ] , a n d s
2
( t )
a n d s
3
( t ) a r e t w o d e t e r m i n i s t i c s o u r c e s i g n a l s . T h e e l e m e n t s o f t h e m i x i n g m a t r i x
A a r e r a n d o m l y c h o s e n i n [ 0 1 ; + 1 ] . T h e l e a r n i n g r a t e i s e x p o n e n t i a l l y d e c r e a s i n g
t o z e r o a s ( t ) = 2 5 0 e x p ( 0 5 t ) .
A s i m u l a t i o n r e s u l t i s s h o w n i n F i g u r e 1 . T h e r s t t h r e e s i g n a l s d e n o t e d b y X 1 ,
X 2 a n d X 3 r e p r e s e n t m i x i n g ( s e n s o r ) s i g n a l s : x
1
( t ) , x
2
( t ) a n d x
3
( t ) . T h e l a s t
t h r e e s i g n a l s d e n o t e d b y O 1 , O 2 a n d O 3 r e p r e s e n t t h e o u t p u t s i g n a l s : y
1
( t ) , y
2
( t ) ,
a n d y
3
( t ) . B y u s i n g t h e p r o p o s e d l e a r n i n g a l g o r i t h m , t h e n e u r a l n e t w o r k i s a b l e
t o e x t r a c t t h e d e t e r m i n i s t i c s i g n a l s f r o m t h e o b s e r v a t i o n s a f t e r a p p r o x i m a t e l y 5 0 0
m i l l i s e c o n d s .
T h e p e r f o r m a n c e i n d e x E
1
i s d e n e d b y
E
1
=
n
X
i = 1
(
n
X
j = 1
j p
i j
j
m a x
k
j p
i k
j
0 1 ) +
n
X
j = 1
(
n
X
i = 1
j p
i j
j
m a x
k
j p
k j
j
0 1 )
w h e r e P = ( p
i j
) = W A .
6 C O N C L U S I O N
T h e m a j o r c o n t r i b u t i o n o f t h i s p a p e r t h e r i g o r o u s d e r i v a t i o n o f t h e e e c t i v e b l i n d
s e p a r a t i o n a l g o r i t h m w i t h e q u i v a r i a n t p r o p e r t y b a s e d o n t h e m i n i m i z a t i o n o f t h e
M I o f t h e o u t p u t s . T h e I C A i s a g e n e r a l p r i n c i p l e t o d e s i g n a l g o r i t h m s f o r b l i n d
s i g n a l s e p a r a t i o n . T h e m o s t d i c u l t i e s i n a p p l y i n g t h i s p r i n c i p l e a r e t o e v a l u a t e
t h e M I o f t h e o u t p u t s a n d t o n d a w o r k i n g a l g o r i t h m w h i c h d e c r e a s e s t h e M I .
D i e r e n t f r o m t h e w o r k i n [ 6 ] , w e u s e t h e G r a m - C h a r l i e r e x p a n s i o n i n s t e a d o f t h e
E d g e w o r t h e x p a n s i o n t o c a l c u l a t e t h e m a r g i n a l e n t r o p y i n e v a l u a t i n g t h e M I . U s i n g
-
7/28/2019 10.1.1.7.6283
7/7
t h e n a t u r a l g r a d i e n t m e t h o d t o m i n i m i z e t h e M I , w e h a v e f o u n d a n o n - l i n e l e a r n i n g
a l g o r i t h m t o n d a d e - m i x i n g m a t r i x . T h e a l g o r i t h m h a s e q u i v a r i a n t p r o p e r t y a n d
c a n b e e a s i l y i m p l e m e n t e d o n a n e u r a l n e t w o r k l i k e m o d e l . O u r a p p r o a c h p r o v i d e s
a r a t i o n a l s e l e c t i o n o f t h e a c t i v a t i o n f u n c t i o n f o r t h e f o r m a l n e u r o n s i n t h e n e t w o r k .
T h e a l g o r i t h m h a s b e e n s i m u l a t e d f o r s e p a r a t i n g u n k n o w n s o u r c e s i g n a l s m i x e d b y
a r a n d o m m i x i n g m a t r i x . O u r t h e o r y a n d t h e v a l i d i t y o f t h e n e w l e a r n i n g a l g o r i t h m
a r e v e r i e d b y t h e s i m u l a t i o n s .
X1
-2
0
2
X2
-2
0
2
X3
-1
0
1
O1
-2
0
2
O2
-2
-1
01
O3
-1
0
1
2
t
E1
0
0.2
0.4
0.6
0.1 0.2 0.3 0.4
F i g u r e 1 : T h e m i x e d a n d s e p a r a t e d s i g n a l s , a n d t h e p e r f o r m a n c e i n d e x
A c k n o w l e d g m e n t
W e w o u l d l i k e t o t h a n k D r . X i a o Y a n S U f o r t h e p r o o f - r e a d i n g o f t h e m a n u s c r i p t .
R e f e r e n c e s
[ 1 ] S . - I . A m a r i . D i e r e n t i a l - G e o m e t r i c a l M e t h o d s i n S t a t i s t i c s , L e c t u r e N o t e s i n
S t a t i s t i c s v o l . 2 8 . S p r i n g e r , 1 9 8 5 .
[ 2 ] S . A m a r i , A . C i c h o c k i , a n d H . H . Y a n g . R e c u r r e n t n e u r a l n e t w o r k s f o r b l i n d s e p -
a r a t i o n o f s o u r c e s . I n P r o c e e d i n g s 1 9 9 5 I n t e r n a t i o n a l S y m p o s i u m o n N o n l i n e a r
T h e o r y a n d A p p l i c a t i o n s , v o l u m e I , p a g e s 3 7 { 4 2 , D e c e m b e r 1 9 9 5 .
[ 3 ] A . J . B e l l a n d T . J . S e j n o w s k i . A n i n f o r m a t i o n - m a x i m i s a t i o n a p p r o a c h t o b l i n d
s e p a r a t i o n a n d b l i n d d e c o n v o l u t i o n . N e u r a l C o m p u t a t i o n , 7 : 1 1 2 9 { 1 1 5 9 , 1 9 9 5 .
[ 4 ] J . - F . C a r d o s o a n d B e a t e L a h e l d . E q u i v a r i a n t a d a p t i v e s o u r c e s e p a r a t i o n . T o
a p p e a r i n I E E E T r a n s . o n S i g n a l P r o c e s s i n g , 1 9 9 6 .
[ 5 ] A . C i c h o c k i , R . U n b e h a u e n , L . M o s z c z y n s k i , a n d E . R u m m e r t . A n e w o n - l i n e
a d a p t i v e l e a r n i n g a l g o r i t h m f o r b l i n d s e p a r a t i o n o f s o u r c e s i g n a l s . I n I S A N N 9 4 ,
p a g e s 4 0 6 { 4 1 1 , T a i w a n , D e c e m b e r 1 9 9 4 .
[ 6 ] P . C o m o n . I n d e p e n d e n t c o m p o n e n t a n a l y s i s , a n e w c o n c e p t ? S i g n a l P r o c e s s i n g ,
3 6 : 2 8 7 { 3 1 4 , 1 9 9 4 .
[ 7 ] C . J u t t e n a n d J . H e r a u l t . B l i n d s e p a r a t i o n o f s o u r c e s , p a r t i : A n a d a p t i v e
a l g o r i t h m b a s e d o n n e u r o m i m e t i c a r c h i t e c t u r e . S i g n a l P r o c e s s i n g , 2 4 : 1 { 1 0 , 1 9 9 1 .
[ 8 ] A . S t u a r t a n d J . K . O r d . K e n d a l l ' s A d v a n c e d T h e o r y o f S t a t i s t i c s . E d w a r d
A r n o l d , 1 9 9 4 .