graphical models by z.ghahremani
Post on 07-Apr-2018
219 Views
Preview:
TRANSCRIPT
-
8/6/2019 Graphical Models by z.ghahremani
1/102
A N I N T R O D U C T I O N T O G R A P H I C A L
M O D E L S
M i c h a e l I . J o r d a n
C e n t e r f o r B i o l o g i c a l a n d C o m p u t a t i o n a l L e a r n i n g
M a s s a c h u s e t t s I n s t i t u t e o f T e c h n o l o g y
h t t p : w w w . a i . m i t . e d u p r o j e c t s j o r d a n . h t m l
A c k n o w l e d g m e n t s :
Z o u b i n G h a h r a m a n i , T o m m i J a a k k o l a , M a r i n a M e i l a
L a w r e n c e S a u l
D e c e m b e r , 1 9 9 7
-
8/6/2019 Graphical Models by z.ghahremani
2/102
G R A P H I C A L M O D E L S
G r a p h i c a l m o d e l s a r e a m a r r i a g e b e t w e e n g r a p h
t h e o r y a n d p r o b a b i l i t y t h e o r y
T h e y c l a r i f y t h e r e l a t i o n s h i p b e t w e e n n e u r a l
n e t w o r k s a n d r e l a t e d n e t w o r k - b a s e d m o d e l s s u c h a s
H M M s , M R F s , a n d K a l m a n l t e r s
I n d e e d , t h e y c a n b e u s e d t o g i v e a f u l l y p r o b a b i l i s t i c
i n t e r p r e t a t i o n t o m a n y n e u r a l n e t w o r k a r c h i t e c t u r e s
S o m e a d v a n t a g e s o f t h e g r a p h i c a l m o d e l p o i n t o f v i e w
i n f e r e n c e a n d l e a r n i n g a r e t r e a t e d t o g e t h e r
s u p e r v i s e d a n d u n s u p e r v i s e d l e a r n i n g a r e m e r g e d
s e a m l e s s l y
m i s s i n g d a t a h a n d l e d n i c e l y
a f o c u s o n c o n d i t i o n a l i n d e p e n d e n c e a n d
c o m p u t a t i o n a l i s s u e s
i n t e r p r e t a b i l i t y i f d e s i r e d
-
8/6/2019 Graphical Models by z.ghahremani
3/102
G r a p h i c a l m o d e l s c o n t .
T h e r e a r e t w o k i n d s o f g r a p h i c a l m o d e l s ; t h o s e b a s e d
o n u n d i r e c t e d g r a p h s a n d t h o s e b a s e d o n d i r e c t e d
g r a p h s . O u r m a i n f o c u s w i l l b e d i r e c t e d g r a p h s .
A l t e r n a t i v e n a m e s f o r g r a p h i c a l m o d e l s : b e l i e f
n e t w o r k s , B a y e s i a n n e t w o r k s , p r o b a b i l i s t i c
i n d e p e n d e n c e n e t w o r k s , M a r k o v r a n d o m e l d s ,
l o g l i n e a r m o d e l s , i n u e n c e d i a g r a m s
A f e w m y t h s a b o u t g r a p h i c a l m o d e l s :
t h e y r e q u i r e a l o c a l i s t s e m a n t i c s f o r t h e n o d e s
t h e y r e q u i r e a c a u s a l s e m a n t i c s f o r t h e e d g e s
t h e y a r e n e c e s s a r i l y B a y e s i a n
t h e y a r e i n t r a c t a b l e
-
8/6/2019 Graphical Models by z.ghahremani
4/102
L e a r n i n g a n d i n f e r e n c e
A k e y i n s i g h t f r o m t h e g r a p h i c a l m o d e l p o i n t o f v i e w :
I t i s n o t n e c e s s a r y t o l e a r n t h a t w h i c h c a n
b e i n f e r r e d
T h e w e i g h t s i n a n e t w o r k m a k e l o c a l a s s e r t i o n s a b o u t
t h e r e l a t i o n s h i p s b e t w e e n n e i g h b o r i n g n o d e s
I n f e r e n c e a l g o r i t h m s t u r n t h e s e l o c a l a s s e r t i o n s i n t o
g l o b a l a s s e r t i o n s a b o u t t h e r e l a t i o n s h i p s b e t w e e n
n o d e s
e . g . , c o r r e l a t i o n s b e t w e e n h i d d e n u n i t s c o n d i t i o n a l
o n a n i n p u t - o u t p u t p a i r
e . g . , t h e p r o b a b i l i t y o f a n i n p u t v e c t o r g i v e n a n
o u t p u t v e c t o r
T h i s i s a c h i e v e d b y a s s o c i a t i n g a j o i n t p r o b a b i l i t y
d i s t r i b u t i o n w i t h t h e n e t w o r k
-
8/6/2019 Graphical Models by z.ghahremani
5/102
D i r e c t e d g r a p h i c a l m o d e l s | b a s i c s
C o n s i d e r a n a r b i t r a r y d i r e c t e d a c y c l i c g r a p h , w h e r e
e a c h n o d e i n t h e g r a p h c o r r e s p o n d s t o a r a n d o m
v a r i a b l e s c a l a r o r v e c t o r :
A
B
C
D
E
F
T h e r e i s n o a p r i o r i n e e d t o d e s i g n a t e u n i t s a s
i n p u t s , " o u t p u t s " o r h i d d e n "
W e w a n t t o a s s o c i a t e a p r o b a b i l i t y d i s t r i b u t i o n
P A ; B ; C ; D ; E ; F w i t h t h i s g r a p h , a n d w e w a n t
a l l o f o u r c a l c u l a t i o n s t o r e s p e c t t h i s d i s t r i b u t i o n
e . g . ,
P F jA ; B =
C
D
E
P A ; B ; C ; D ; E ; F
C
D
E
F
P A ; B ; C ; D ; E ; F
-
8/6/2019 Graphical Models by z.ghahremani
6/102
S o m e w a y s t o u s e a g r a p h i c a l m o d e l
P r e d i c t i o n :
D i a g n o s i s , c o n t r o l , o p t i m i z a t i o n :
S u p e r v i s e d l e a r n i n g :
w e w a n t t o m a r g i n a l i z e o v e r t h e u n s h a d e d n o d e s i n
e a c h c a s e i . e . , i n t e g r a t e t h e m o u t f r o m t h e j o i n t
p r o b a b i l i t y
u n s u p e r v i s e d l e a r n i n g " i s t h e g e n e r a l c a s e
-
8/6/2019 Graphical Models by z.ghahremani
7/102
S p e c i c a t i o n o f a g r a p h i c a l m o d e l
T h e r e a r e t w o c o m p o n e n t s t o a n y g r a p h i c a l m o d e l :
t h e q u a l i t a t i v e s p e c i c a t i o n
t h e q u a n t i t a t i v e s p e c i c a t i o n
W h e r e d o e s t h e q u a l i t a t i v e s p e c i c a t i o n c o m e f r o m ?
p r i o r k n o w l e d g e o f c a u s a l r e l a t i o n s h i p s
p r i o r k n o w l e d g e o f m o d u l a r r e l a t i o n s h i p s
a s s e s s m e n t f r o m e x p e r t s
l e a r n i n g f r o m d a t a
w e s i m p l y l i k e a c e r t a i n a r c h i t e c t u r e e . g . , a
l a y e r e d g r a p h
-
8/6/2019 Graphical Models by z.ghahremani
8/102
Q u a l i t a t i v e s p e c i c a t i o n o f g r a p h i c a l m o d e l s
A BC
A BC
Aa n d
Ba r e m a r g i n a l l y d e p e n d e n t
Aa n d
Ba r e c o n d i t i o n a l l y i n d e p e n d e n t
A B
C
A B
C
Aa n d
Ba r e m a r g i n a l l y d e p e n d e n t
Aa n d
Ba r e c o n d i t i o n a l l y i n d e p e n d e n t
-
8/6/2019 Graphical Models by z.ghahremani
9/102
S e m a n t i c s o f g r a p h i c a l m o d e l s c o n t
A B
C
A B
C
Aa n d
Ba r e m a r g i n a l l y i n d e p e n d e n t
Aa n d
Ba r e c o n d i t i o n a l l y d e p e n d e n t
T h i s i s t h e i n t e r e s t i n g c a s e . . .
-
8/6/2019 Graphical Models by z.ghahremani
10/102
E x p l a i n i n g a w a y "
Burglar
Alarm
Earthquake
Radio
A l l c o n n e c t i o n s i n b o t h d i r e c t i o n s a r e e x c i t a t o r y "
B u t a n i n c r e a s e i n a c t i v a t i o n " o f E a r t h q u a k e l e a d s
t o a d e c r e a s e i n a c t i v a t i o n " o f B u r g l a r
W h e r e d o e s t h e i n h i b i t i o n " c o m e f r o m ?
-
8/6/2019 Graphical Models by z.ghahremani
11/102
Q u a n t i t a t i v e s p e c i c a t i o n o f d i r e c t e d m o d e l s
Q u e s t i o n : h o w d o w e s p e c i f y a j o i n t d i s t r i b u t i o n o v e r
t h e n o d e s i n t h e g r a p h ?
A n s w e r : a s s o c i a t e a c o n d i t i o n a l p r o b a b i l i t y w i t h
e a c h n o d e :
P(C|A,B)P(A)
P(B)
P(D|C)
P(E|C)
P(F|D,E)
a n d t a k e t h e p r o d u c t o f t h e l o c a l p r o b a b i l i t i e s t o
y i e l d t h e g l o b a l p r o b a b i l i t i e s
-
8/6/2019 Graphical Models by z.ghahremani
12/102
J u s t i c a t i o n
I n g e n e r a l , l e t
f S gr e p r e s e n t t h e s e t o f r a n d o m
v a r i a b l e s c o r r e s p o n d i n g t o t h e N
n o d e s o f t h e g r a p h
F o r a n y n o d e
S
i
, l e t p a S
i
r e p r e s e n t t h e s e t o f
p a r e n t s o f n o d e S
i
T h e n
P S =
P S
1
P S
2
j S
1
P S
N
j S
N , 1
; : : : ; S
1
=
Y
i
P S
i
j S
i , 1
; : : : ; S
1
=
Y
i
P S
i
jp a
S
i
w h e r e t h e l a s t l i n e i s b y a s s u m p t i o n
I t i s p o s s i b l e t o p r o v e a t h e o r e m t h a t s t a t e s t h a t i f
a r b i t r a r y p r o b a b i l i t y d i s t r i b u t i o n s a r e u t i l i z e d f o r
P S
i
jp a
S
i
i n t h e f o r m u l a a b o v e , t h e n t h e f a m i l y
o f p r o b a b i l i t y d i s t r i b u t i o n s o b t a i n e d i s e x a c t l y t h a t
s e t w h i c h r e s p e c t s t h e q u a l i t a t i v e s p e c i c a t i o n t h e
c o n d i t i o n a l i n d e p e n d e n c e r e l a t i o n s d e s c r i b e d
e a r l i e r
-
8/6/2019 Graphical Models by z.ghahremani
13/102
S e m a n t i c s o f u n d i r e c t e d g r a p h s
A BC
A BC
Aa n d
Ba r e m a r g i n a l l y d e p e n d e n t
Aa n d
Ba r e c o n d i t i o n a l l y i n d e p e n d e n t
-
8/6/2019 Graphical Models by z.ghahremani
14/102
C o m p a r a t i v e s e m a n t i c s
A B
C
A B
C
D
T h e g r a p h o n t h e l e f t y i e l d s c o n d i t i o n a l
i n d e p e n d e n c i e s t h a t a d i r e c t e d g r a p h c a n ' t r e p r e s e n t
T h e g r a p h o n t h e r i g h t y i e l d s m a r g i n a l
i n d e p e n d e n c i e s t h a t a n u n d i r e c t e d g r a p h c a n ' t
r e p r e s e n t
-
8/6/2019 Graphical Models by z.ghahremani
15/102
Q u a n t i t a t i v e s p e c i c a t i o n o f u n d i r e c t e d m o d e l s
A
B
C
D
E
F
i d e n t i f y t h e c l i q u e s i n t h e g r a p h :
A, C
B, C
C, D, E D, E, F
d e n e a c o n g u r a t i o n o f a c l i q u e a s a s p e c i c a t i o n o f
v a l u e s f o r e a c h n o d e i n t h e c l i q u e
d e n e a p o t e n t i a l o f a c l i q u e a s a f u n c t i o n t h a t
a s s o c i a t e s a r e a l n u m b e r w i t h e a c h c o n g u r a t i o n o f
t h e c l i q u e
A, C
B, C
C, D, E D, E, F
-
8/6/2019 Graphical Models by z.ghahremani
16/102
Q u a n t i t a t i v e s p e c i c a t i o n c o n t .
C o n s i d e r t h e e x a m p l e o f a g r a p h w i t h b i n a r y n o d e s
A p o t e n t i a l " i s a t a b l e w i t h e n t r i e s f o r e a c h
c o m b i n a t i o n o f n o d e s i n a c l i q u e
A B
A
B
0
1
0 1
1.5 .4
.7 1.2
M a r g i n a l i z i n g " o v e r a p o t e n t i a l t a b l e s i m p l y m e a n s
c o l l a p s i n g s u m m i n g t h e t a b l e a l o n g o n e o r m o r e
d i m e n s i o n s
A0
1
1.9
1.9
B0 1
2.2 1.6
marginalizing over Amarginalizing over B
-
8/6/2019 Graphical Models by z.ghahremani
17/102
Q u a n t i t a t i v e s p e c i c a t i o n c o n t .
n a l l y , d e n e t h e p r o b a b i l i t y o f a g l o b a l
c o n g u r a t i o n o f t h e n o d e s a s t h e p r o d u c t o f t h e l o c a l
p o t e n t i a l s o n t h e c l i q u e s :
P A ; B ; C ; D ; E ; F =
A ; B
B ; C
C ; D ; E
D ; E ; F
w h e r e , w i t h o u t l o s s o f g e n e r a l i t y , w e a s s u m e t h a t t h e
n o r m a l i z a t i o n c o n s t a n t i f a n y h a s b e e n a b s o r b e d
i n t o o n e o f t h e p o t e n t i a l s
I t i s t h e n p o s s i b l e t o p r o v e a t h e o r e m t h a t s t a t e s
t h a t i f a r b i t r a r y p o t e n t i a l s a r e u t i l i z e d i n t h e
p r o d u c t f o r m u l a f o r p r o b a b i l i t i e s , t h e n t h e f a m i l y
o f p r o b a b i l i t y d i s t r i b u t i o n s o b t a i n e d i s e x a c t l y t h a t
s e t w h i c h r e s p e c t s t h e q u a l i t a t i v e s p e c i c a t i o n t h e
c o n d i t i o n a l i n d e p e n d e n c e r e l a t i o n s d e s c r i b e d
e a r l i e r
T h i s t h e o r e m i s k n o w n a s t h e H a m m e r s l e y - C l i o r d
t h e o r e m
-
8/6/2019 Graphical Models by z.ghahremani
18/102
B o l t z m a n n m a c h i n e
T h e B o l t z m a n n m a c h i n e i s a s p e c i a l c a s e o f a n
u n d i r e c t e d g r a p h i c a l m o d e l
F o r a B o l t z m a n n m a c h i n e a l l o f t h e p o t e n t i a l s a r e
f o r m e d b y t a k i n g p r o d u c t s o f f a c t o r s o f t h e f o r m
e x pf J
i j
S
i
S
j
g
Si
SjJji
S e t t i n g
J
i j
e q u a l t o z e r o f o r n o n - n e i g h b o r i n g n o d e s
g u a r a n t e e s t h a t w e r e s p e c t t h e c l i q u e b o u n d a r i e s
B u t w e d o n ' t g e t t h e f u l l c o n d i t i o n a l p r o b a b i l i t y
s e m a n t i c s w i t h t h e B o l t z m a n n m a c h i n e
p a r a m e t e r i z a t i o n
i . e . , t h e f a m i l y o f d i s t r i b u t i o n s p a r a m e t e r i z e d b y a
B o l t z m a n n m a c h i n e o n a g r a p h i s a p r o p e r s u b s e t
o f t h e f a m i l y c h a r a c t e r i z e d b y t h e c o n d i t i o n a l
i n d e p e n d e n c i e s
-
8/6/2019 Graphical Models by z.ghahremani
19/102
E v i d e n c e a n d I n f e r e n c e
A b s o r b i n g e v i d e n c e " m e a n s o b s e r v i n g t h e v a l u e s o f
c e r t a i n o f t h e n o d e s
A b s o r b i n g e v i d e n c e d i v i d e s t h e u n i t s o f t h e n e t w o r k
i n t o t w o g r o u p s :
v i s i b l e u n i t s t h o s e f o r w h i c h w e h a v e
f V gi n s t a n t i a t e d v a l u e s
e v i d e n c e n o d e s " .
h i d d e n u n i t s t h o s e f o r w h i c h w e d o n o t
f H gh a v e i n s t a n t i a t e d v a l u e s .
I n f e r e n c e " m e a n s c a l c u l a t i n g t h e c o n d i t i o n a l
d i s t r i b u t i o n
P H j V =
P H ; V
f H g
P H ; V
p r e d i c t i o n a n d d i a g n o s i s a r e s p e c i a l c a s e s
-
8/6/2019 Graphical Models by z.ghahremani
20/102
I n f e r e n c e a l g o r i t h m s f o r d i r e c t e d g r a p h s
T h e r e a r e s e v e r a l i n f e r e n c e a l g o r i t h m s ; s o m e o f w h i c h
o p e r a t e d i r e c t l y o n t h e d i r e c t e d g r a p h
T h e m o s t p o p u l a r i n f e r e n c e a l g o r i t h m , k n o w n a s t h e
j u n c t i o n t r e e a l g o r i t h m w h i c h w e ' l l d i s c u s s h e r e ,
o p e r a t e s o n a n u n d i r e c t e d g r a p h
I t a l s o h a s t h e a d v a n t a g e o f c l a r i f y i n g s o m e o f t h e
r e l a t i o n s h i p s b e t w e e n t h e v a r i o u s a l g o r i t h m s
T o u n d e r s t a n d t h e j u n c t i o n t r e e a l g o r i t h m , w e n e e d t o
u n d e r s t a n d h o w t o c o m p i l e " a d i r e c t e d g r a p h i n t o a n
u n d i r e c t e d g r a p h
-
8/6/2019 Graphical Models by z.ghahremani
21/102
M o r a l g r a p h s
N o t e t h a t f o r b o t h d i r e c t e d g r a p h s a n d u n d i r e c t e d
g r a p h s , t h e j o i n t p r o b a b i l i t y i s i n a p r o d u c t f o r m
S o l e t ' s c o n v e r t l o c a l c o n d i t i o n a l p r o b a b i l i t i e s i n t o
p o t e n t i a l s ; t h e n t h e p r o d u c t s o f p o t e n t i a l s w i l l g i v e
t h e r i g h t a n s w e r
I n d e e d w e c a n t h i n k o f a c o n d i t i o n a l p r o b a b i l i t y , e . g . ,
P C jA ; B a s a f u n c t i o n o f t h e t h r e e v a r i a b l e s A ; B
,
a n dC
w e g e t a r e a l n u m b e r f o r e a c h c o n g u r a t i o n :
P(C|A,B)A
B C
P r o b l e m : A n o d e a n d i t s p a r e n t s a r e n o t g e n e r a l l y i n
t h e s a m e c l i q u e
S o l u t i o n : M a r r y t h e p a r e n t s t o o b t a i n t h e m o r a l
g r a p h "
A
B C
P(C|A,B) =A,B,C
-
8/6/2019 Graphical Models by z.ghahremani
22/102
M o r a l g r a p h s c o n t .
D e n e t h e p o t e n t i a l o n a c l i q u e a s t h e p r o d u c t o v e r
a l l c o n d i t i o n a l p r o b a b i l i t i e s c o n t a i n e d w i t h i n t h e
c l i q u e
N o w t h e p r o d u c t s o f p o t e n t i a l s g i v e s t h e r i g h t
a n s w e r :
P A ; B ; C ; D ; E ; F
= P A P B P C jA ; B
P D j C P E j C P F jD ; E
=
A ; B ; C
C ; D ; E
D ; E ; F
w h e r e
A ; B ; C
= P A P B P C jA ; B
a n d
C ; D ; E
= P D j C P E j C
a n d
D ; E ; F
= P F jD ; E
A
B
C
D
E
F A
B
C
D
E
F
-
8/6/2019 Graphical Models by z.ghahremani
23/102
P r o p a g a t i o n o f p r o b a b i l i t i e s
N o w s u p p o s e t h a t s o m e e v i d e n c e h a s b e e n a b s o r b e d .
H o w d o w e p r o p a g a t e t h i s e e c t t o t h e r e s t o f t h e
g r a p h ?
-
8/6/2019 Graphical Models by z.ghahremani
24/102
C l i q u e t r e e s
Ac l i q u e t r e e i s a n u n d i r e c t e d t r e e o f c l i q u e s
A, C
B, C
C, D, E D, E, F
C o n s i d e r c a s e s i n w h i c h t w o n e i g h b o r i n g c l i q u e s
V
a n dW
h a v e a n o v e r l a p S
e . g . , A ; C o v e r l a p s w i t h
C ; D ; E .
V S W
V SW
t h e c l i q u e s n e e d t o a g r e e " o n t h e p r o b a b i l i t y o f
n o d e s i n t h e o v e r l a p ; t h i s i s a c h i e v e d b y
m a r g i n a l i z i n g a n d r e s c a l i n g :
S
=
X
V n S
V
W
=
W
S
S
t h i s o c c u r s i n p a r a l l e l , d i s t r i b u t e d f a s h i o n
t h r o u g h o u t t h e c l i q u e t r e e
-
8/6/2019 Graphical Models by z.ghahremani
25/102
C l i q u e t r e e s c o n t .
T h i s s i m p l e l o c a l m e s s a g e - p a s s i n g a l g o r i t h m o n a
c l i q u e t r e e d e n e s t h e g e n e r a l p r o b a b i l i t y
p r o p a g a t i o n a l g o r i t h m f o r d i r e c t e d g r a p h s !
M a n y i n t e r e s t i n g a l g o r i t h m s a r e s p e c i a l c a s e s :
c a l c u l a t i o n o f p o s t e r i o r p r o b a b i l i t i e s i n m i x t u r e
m o d e l s
B a u m - W e l c h a l g o r i t h m f o r h i d d e n M a r k o v m o d e l s
p o s t e r i o r p r o p a g a t i o n f o r p r o b a b i l i s t i c d e c i s i o n
t r e e s
K a l m a n l t e r u p d a t e s
T h e a l g o r i t h m s e e m s r e a s o n a b l e . I s i t c o r r e c t ?
-
8/6/2019 Graphical Models by z.ghahremani
26/102
A p r o b l e m
C o n s i d e r t h e f o l l o w i n g g r a p h a n d a c o r r e s p o n d i n g
c l i q u e t r e e :
A B
C D
A,B
A,C
B,D
C,D
N o t e t h a t
Ca p p e a r s i n t w o n o n - n e i g h b o r i n g c l i q u e s .
Q u e s t i o n : W h a t g u a r a n t e e d o w e h a v e t h a t t h e
p r o b a b i l i t y a s s o c i a t e d w i t h C
i n t h e s e t w o c l i q u e s
w i l l b e t h e s a m e ?
A n s w e r : N o t h i n g . I n f a c t t h i s i s a p r o b l e m w i t h t h e
a l g o r i t h m a s d e s c r i b e d s o f a r . I t i s n o t t r u e t h a t i n
g e n e r a l l o c a l c o n s i s t e n c y i m p l i e s g l o b a l c o n s i s t e n c y .
W h a t e l s e d o w e n e e d t o g e t s u c h a g u a r a n t e e ?
-
8/6/2019 Graphical Models by z.ghahremani
27/102
T r i a n g u l a t i o n l a s t i d e a , h a n g i n t h e r e
A t r i a n g u l a t e d g r a p h i s o n e i n w h i c h n o c y c l e s w i t h
f o u r o r m o r e n o d e s e x i s t i n w h i c h t h e r e i s n o c h o r d
W e t r i a n g u l a t e a g r a p h b y a d d i n g c h o r d s :
A B
C D
A B
C D
N o w w e n o l o n g e r h a v e o u r p r o b l e m :
B,C,D
A B
C D
A,B,C
A c l i q u e t r e e f o r a t r i a n g u l a t e d g r a p h h a s t h e
r u n n i n g i n t e r s e c t i o n p r o p e r t y : i f a n o d e a p p e a r s i n
t w o c l i q u e s , i t a p p e a r s e v e r y w h e r e o n t h e p a t h
b e t w e e n t h e c l i q u e s
T h u s l o c a l c o n s i s t e n c y i m p l i e s g l o b a l c o n s i s t e n c y
f o r s u c h c l i q u e t r e e s
-
8/6/2019 Graphical Models by z.ghahremani
28/102
J u n c t i o n t r e e s
A c l i q u e t r e e f o r a t r i a n g u l a t e d g r a p h i s r e f e r r e d t o a s
aj u n c t i o n t r e e
I n j u n c t i o n t r e e s , l o c a l c o n s i s t e n c y i m p l i e s g l o b a l
c o n s i s t e n c y . T h u s t h e l o c a l m e s s a g e - p a s s i n g
a l g o r i t h m i s p r o v a b l y c o r r e c t .
I t ' s a l s o p o s s i b l e t o s h o w t h a t o n l y t r i a n g u l a t e d
g r a p h s h a v e t h e p r o p e r t y t h a t t h e i r c l i q u e t r e e s a r e
j u n c t i o n t r e e s . T h u s , i f w e w a n t l o c a l a l g o r i t h m s , w e
m u s t t r i a n g u l a t e .
-
8/6/2019 Graphical Models by z.ghahremani
29/102
S u m m a r y o f t h e j u n c t i o n t r e e a l g o r i t h m
1 . M o r a l i z e t h e g r a p h
2 . T r i a n g u l a t e t h e g r a p h
3 . P r o p a g a t e b y l o c a l m e s s a g e - p a s s i n g i n t h e j u n c t i o n
t r e e
N o t e t h a t t h e r s t t w o s t e p s a r e o - l i n e "
N o t e a l s o t h a t t h e s e s t e p s p r o v i d e a b o u n d o f t h e
c o m p l e x i t y o f t h e p r o p a g a t i o n s t e p
-
8/6/2019 Graphical Models by z.ghahremani
30/102
E x a m p l e : G a u s s i a n m i x t u r e m o d e l s
A G a u s s i a n m i x t u r e m o d e l i s a p o p u l a r c l u s t e r i n g
m o d e l
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
x1
x2
01
0
10
0
100
q =
q =
q =
h i d d e n s t a t e
qi s a m u l t i n o m i a l R V
o u t p u t
xi s a G a u s s i a n R V
p r i o r p r o b a b i l i t i e s o n h i d d e n s t a t e s :
i
= P q
i
= 1
c l a s s - c o n d i t i o n a l p r o b a b i l i t i e s :
P x j q
i
= 1 =
1
2
d = 2
j
i
j
1 = 2
e x p f ,
1
2
x ,
i
T
, 1
i
x ,
i
g
-
8/6/2019 Graphical Models by z.ghahremani
31/102
G a u s s i a n m i x t u r e m o d e l s a s a g r a p h i c a l m o d e l
qq
x x
T h e i n f e r e n c e p r o b l e m i s t o c a l c u l a t e t h e p o s t e r i o r
p r o b a b i l i t i e s :
P q
i
= 1j x
=
P x j q
i
= 1 P q
i
= 1
P x
=
i
j
i
j
1 = 2
e x p f ,
1
2
x ,
i
T
, 1
i
x ,
i
g
P
j
j
j
j
j
1 = 2
e x p f ,
1
2
x ,
j
T
, 1
j
x ,
j
g
T h i s i s a t r i v i a l e x a m p l e o f t h e r e s c a l i n g o p e r a t i o n
o n a c l i q u e p o t e n t i a l
-
8/6/2019 Graphical Models by z.ghahremani
32/102
E x a m p l e : H i d d e n M a r k o v m o d e l s
A h i d d e n M a r k o v m o d e l i s a p o p u l a r t i m e s e r i e s
m o d e l
I t i s a m i x t u r e m o d e l w i t h d y n a m i c s "
A A
B B B B
q qq q q q1 2 3 T
y1 2 3 T
y y y
Tt i m e s t e p s
Ms t a t e s
q
t
i s a m u l t i n o m i a l R V
No u t p u t s
y
t
i s a m u l t i n o m i a l R V
s t a t e t r a n s i t i o n p r o b a b i l i t y m a t r i x
A :
A = P q
t + 1
j q
t
e m i s s i o n m a t r i x
B :
B = P y
t
j q
t
i n i t i a l s t a t e p r o b a b i l i t i e s
:
= P q
1
-
8/6/2019 Graphical Models by z.ghahremani
33/102
H M M a s a g r a p h i c a l m o d e l
E a c h n o d e h a s a p r o b a b i l i t y d i s t r i b u t i o n a s s o c i a t e d
w i t h i t .
T h e g r a p h o f t h e H M M m a k e s c o n d i t i o n a l
i n d e p e n d e n c e s t a t e m e n t s .
F o r e x a m p l e ,
P q
t + 1
j q
t
; q
t , 1
=P q
t + 1
j q
t
c a n b e r e a d o t h e g r a p h a s a s e p a r a t i o n p r o p e r t y .
-
8/6/2019 Graphical Models by z.ghahremani
34/102
H M M p r o b a b i l i t y c a l c u l a t i o n s
A A
B B B B
q qq q q q1 2 3 T
y1 2 3 T
y y y
T h e t i m e s e r i e s o f
y
t
v a l u e s i s t h e e v i d e n c e
T h e i n f e r e n c e c a l c u l a t i o n i n v o l v e s c a l c u l a t i n g t h e
p r o b a b i l i t i e s o f t h e h i d d e n s t a t e s q
t
g i v e n t h e
e v i d e n c e
T h e c l a s s i c a l a l g o r i t h m f o r d o i n g t h i s c a l c u l a t i o n i s
t h e f o r w a r d - b a c k w a r d a l g o r i t h m
T h e f o r w a r d - b a c k w a r d a l g o r i t h m i n v o l v e s :
m u l t i p l i c a t i o n c o n d i t i o n i n g
s u m m a t i o n m a r g i n a l i z a t i o n i n t h e l a t t i c e .
I t i s a s p e c i a l c a s e o f t h e j u n c t i o n t r e e a l g o r i t h m c f .
S m y t h , e t a l . , 1 9 9 7
-
8/6/2019 Graphical Models by z.ghahremani
35/102
I s t h e a l g o r i t h m e c i e n t ?
T o a n s w e r t h i s q u e s t i o n , l e t ' s c o n s i d e r t h e j u n c t i o n
t r e e
N o t e t h a t t h e m o r a l i z a t i o n a n d t r i a n g u l a t i o n s t e p s
a r e t r i v i a l , a n d w e o b t a i n t h e f o l l o w i n g j u n c t i o n t r e e :
q2q1, q3q2,
q1, y1 q2, 2y
. . .
T h e c l i q u e s a r e n o b i g g e r t h a n
N
2
, t h u s t h e
m a r g i n a l i z a t i o n a n d r e s c a l i n g r e q u i r e d b y t h e
j u n c t i o n t r e e a l g o r i t h m r u n s i n t i m e O N
2
p e r c l i q u e
T h e r e a r e
Ts u c h c l i q u e s , t h u s t h e a l g o r i t h m i s
O N
2
T o v e r a l l
-
8/6/2019 Graphical Models by z.ghahremani
36/102
-
8/6/2019 Graphical Models by z.ghahremani
37/102
R e p r e s e n t a t i o n a s a g r a p h i c a l m o d e l
y
x
i
ij
ijk
F o r l e a r n i n g a n d i n f e r e n c e , t h e n o d e s f o r
xa n d
ya r e
o b s e r v e d s h a d e d
y
x
i
ij
ijk
W e n e e d t o c a l c u l a t e p r o b a b i l i t i e s o f u n s h a d e d n o d e s
E s t e p o f E M
-
8/6/2019 Graphical Models by z.ghahremani
38/102
L e a r n i n g p a r a m e t e r e s t i m a t i o n
T h e E M a l g o r i t h m i s n a t u r a l f o r g r a p h i c a l m o d e l s
T h e E s t e p o f t h e E M a l g o r i t h m i n v o l v e s c a l c u l a t i n g
t h e p r o b a b i l i t i e s o f h i d d e n v a r i a b l e s g i v e n v i s i b l e
v a r i a b l e s
t h i s i s e x a c t l y t h e i n f e r e n c e p r o b l e m
A
B
C
D
E
F
T h e M s t e p i n v o l v e s p a r a m e t e r e s t i m a t i o n f o r a f u l l y
o b s e r v e d g r a p h
t h i s i s g e n e r a l l y s t r a i g h t f o r w a r d
A
B
C
D
E
F
-
8/6/2019 Graphical Models by z.ghahremani
39/102
E x a m p l e | H i d d e n M a r k o v m o d e l s
A A
B B B B
q qq q q q1 2 3 T
y1 2 3 T
y y y
P r o b l e m : G i v e n a s e q u e n c e o f o u t p u t s
y
1 ; T
= f y
1
; y
2
; : : : ; y
T
g
i n f e r t h e p a r a m e t e r s A , B
a n d .
T o s e e h o w t o s o l v e t h i s p r o b l e m , l e t ' s c o n s i d e r a
s i m p l e r p r o b l e m
-
8/6/2019 Graphical Models by z.ghahremani
40/102
F u l l y o b s e r v e d M a r k o v m o d e l s
S u p p o s e t h a t a t e a c h m o m e n t i n t i m e w e k n o w w h a t
s t a t e t h e s y s t e m i s i n :
A A
B B B B
qq q q1 2 3 T
y1 2 3 T
y y y
P a r a m e t e r e s t i m a t i o n i s e a s y i n t h i s c a s e :
t o e s t i m a t e t h e s t a t e t r a n s i t i o n m a t r i x e l e m e n t s ,
s i m p l y k e e p a r u n n i n g c o u n t o f t h e n u m b e r n
i j
o f
t i m e s t h e c h a i n j u m p s f r o m s t a t e i
t o s t a t e j .
T h e n e s t i m a t e a
i j
a s :
a
i j
=
n
i j
P
j
n
i j
t o e s t i m a t e t h e G a u s s i a n o u t p u t p r o b a b i l i t i e s ,
s i m p l y r e c o r d w h i c h d a t a p o i n t s o c c u r r e d i n w h i c h
s t a t e s a n d c o m p u t e s a m p l e m e a n s a n d c o v a r i a n c e s
a s f o r t h e i n i t i a l s t a t e p r o b a b i l i t i e s , w e n e e d
m u l t i p l e o u t p u t s e q u e n c e s w h i c h w e u s u a l l y h a v e
i n p r a c t i c e
-
8/6/2019 Graphical Models by z.ghahremani
41/102
H M M p a r a m e t e r e s t i m a t i o n
W h e n t h e h i d d e n s t a t e s a r e n o t i n f a c t o b s e r v e d t h e
c a s e w e ' r e i n t e r e s t e d i n , w e r s t e s t i m a t e t h e
p r o b a b i l i t i e s o f t h e h i d d e n s t a t e s
t h i s i s a s t r a i g h t f o r w a r d a p p l i c a t i o n o f t h e j u n c t i o n
t r e e a l g o r i t h m i . e . , t h e f o r w a r d - b a c k w a r d
a l g o r i t h m
W e t h e n u s e t h e p r o b a b i l i t y e s t i m a t e s i n s t e a d o f t h e
c o u n t s i n t h e p a r a m e t e r e s t i m a t i o n f o r m u l a s t o g e t
u p d a t e f o r m u l a s
T h i s g i v e s u s a b e t t e r m o d e l , s o w e r u n t h e j u n c t i o n
t r e e a l g o r i t h m a g a i n t o g e t b e t t e r e s t i m a t e s o f t h e
h i d d e n s t a t e p r o b a b i l i t i e s
A n d w e i t e r a t e t h i s p r o c e d u r e
-
8/6/2019 Graphical Models by z.ghahremani
42/102
C O N C L U S I O N S P A R T I
G r a p h i c a l m o d e l s p r o v i d e a g e n e r a l f o r m a l i s m f o r
p u t t i n g t o g e t h e r g r a p h s a n d p r o b a b i l i t i e s
m o s t s o - c a l l e d u n s u p e r v i s e d n e u r a l n e t w o r k s " a r e
s p e c i a l c a s e s
B o l t z m a n n m a c h i n e s a r e s p e c i a l c a s e s
m i x t u r e s o f e x p e r t s a n d r e l a t e d m i x t u r e - b a s e d
m o d e l s a r e s p e c i a l c a s e s
s o m e s u p e r v i s e d n e u r a l n e t w o r k s c a n b e t r e a t e d a s
s p e c i a l c a s e s
T h e g r a p h i c a l m o d e l f r a m e w o r k a l l o w s u s t o t r e a t
i n f e r e n c e a n d l e a r n i n g a s t w o s i d e s o f t h e s a m e c o i n
-
8/6/2019 Graphical Models by z.ghahremani
43/102
I N T R A C T A B L E G R A P H I C A L M O D E L S
T h e r e a r e a n u m b e r o f e x a m p l e s o f g r a p h i c a l m o d e l s
i n w h i c h e x a c t i n f e r e n c e i s e c i e n t :
c h a i n - l i k e g r a p h s
t r e e - l i k e g r a p h s
H o w e v e r , t h e r e a r e a l s o a n u m b e r o f e x a m p l e s o f
g r a p h i c a l m o d e l s i n w h i c h e x a c t i n f e r e n c e c a n b e
h o p e l e s s l y i n e c i e n t :
d e n s e g r a p h s
l a y e r e d g r a p h s
c o u p l e d g r a p h s
A v a r i e t y o f m e t h o d s a r e a v a i l a b l e f o r a p p r o x i m a t e
i n f e r e n c e i n s u c h s i t u a t i o n s :
M a r k o v c h a i n M o n t e C a r l o s t o c h a s t i c
v a r i a t i o n a l m e t h o d s d e t e r m i n i s t i c
-
8/6/2019 Graphical Models by z.ghahremani
44/102
C o m p u t a t i o n a l c o m p l e x i t y o f e x a c t c o m p u t a t i o n
p a s s i n g m e s s a g e s r e q u i r e s m a r g i n a l i z i n g a n d s c a l i n g
t h e c l i q u e p o t e n t i a l s
t h u s t h e t i m e r e q u i r e d i s e x p o n e n t i a l i n t h e n u m b e r
o f v a r i a b l e s i n t h e l a r g e s t c l i q u e
g o o d t r i a n g u l a t i o n s y i e l d s m a l l c l i q u e s
b u t t h e p r o b l e m o f n d i n g a n o p t i m a l
t r i a n g u l a t i o n i s h a r d P i n f a c t
i n a n y c a s e , t h e t r i a n g u l a t i o n i s o - l i n e " ; o u r
c o n c e r n i s g e n e r a l l y w i t h t h e o n - l i n e " p r o b l e m o f
m e s s a g e p r o p a g a t i o n
-
8/6/2019 Graphical Models by z.ghahremani
45/102
Q u i c k M e d i c a l R e f e r e n c e Q M R
U n i v e r s i t y o f P i t t s b u r g h
6 0 0 d i s e a s e s , 4 0 0 0 s y m p t o m s
a r r a n g e d a s a b i p a r t i t e g r a p h
diseases
symptoms
N o d e p r o b a b i l i t i e s
P s y m p t o m
i
jd i s e a s e s w e r e
o b t a i n e d f r o m a n e x p e r t , u n d e r a n o i s y - O R m o d e l
W a n t t o d o d i a g n o s t i c c a l c u l a t i o n s :
P d i s e a s e s
jf i n d i n g s
C u r r e n t m e t h o d s e x a c t a n d M o n t e C a r l o a r e
i n f e a s i b l e
-
8/6/2019 Graphical Models by z.ghahremani
46/102
Q M R c o n t .
diseases
symptoms
n o i s y - O R " p a r a m e t e r i z a t i o n :
P f
i
= 0j d
= 1 , q
i 0
Y
j 2 p a
i
1, q
i j
d
j
r e w r i t e i n a n e x p o n e n t i a l f o r m :
P f
i
= 0j d
=e
,
i 0
,
P
j 2 p a
i
i j
d
j
w h e r e
i j
, l o g 1 , q
i j
p r o b a b i l i t y o f p o s i t i v e n d i n g :
P f
i
= 1j d
= 1, e
,
i 0
,
P
j 2 p a
i
i j
d
j
-
8/6/2019 Graphical Models by z.ghahremani
47/102
Q M R c o n t .
diseases
symptoms
J o i n t p r o b a b i l i t y :
P f ; d =
P f j d P d
=
2
6
4
Y
i
P f
i
j d
3
7
5
2
6
4
Y
j
P d
j
3
7
5
=
"
1 , e
,
1 0
,
P
j 2 p a
1
1 j
d
j
!
1 , e
,
2 0
,
P
j 2 p a
2
2 j
d
j
!
1 , e
,
k 0
,
P
j 2 p a
k
k j
d
j
!
2
6
4
Y
j
P d
j
3
7
5
P o s i t i v e n d i n g s c o u p l e t h e d i s e a s e n o d e s
M e d i a n s i z e o f m a x i m a l c l i q u e i s 1 5 1 n o d e s
-
8/6/2019 Graphical Models by z.ghahremani
48/102
M u l t i l a y e r n e u r a l n e t w o r k s a s g r a p h i c a l m o d e l s
c f . N e a l , 1 9 9 2 ; S a u l , J a a k k o l a , & J o r d a n , 1 9 9 6
A s s o c i a t e w i t h n o d e
ia l a t e n t b i n a r y v a r i a b l e w h o s e
c o n d i t i o n a l p r o b a b i l i t y i s g i v e n b y :
P S
i
= 1j S
p a
i
=
1
1 +e
,
P
j 2 p a
i
i j
S
j
,
i 0
w h e r e p a
i
i n d e x e s t h e p a r e n t s o f n o d e i
A m u l t i l a y e r n e u r a l n e t w o r k w i t h l o g i s t i c h i d d e n
u n i t s :
Input
Hidden
Output
h a s a j o i n t d i s t r i b u t i o n t h a t i s a p r o d u c t o f l o g i s t i c
f u n c t i o n s :
P S =
Y
i
2
6
6
6
6
4
e
P
j 2 p a
i
i j
S
j
+
i 0
S
i
1 +e
P
j 2 p a
i
i j
S
j
+
i 0
:
3
7
7
7
7
5
-
8/6/2019 Graphical Models by z.ghahremani
49/102
C o m p l e x i t y o f n e u r a l n e t w o r k i n f e r e n c e
W h e n a n o u t p u t n o d e i s k n o w n a s i t i s d u r i n g
l e a r n i n g , m o r a l i z a t i o n l i n k s t h e h i d d e n u n i t s :
Hidden
Output
S o i n f e r e n c e s c a l e s a t l e a s t a s b a d l y a s
O 2
N
A n d t r i a n g u l a t i o n a d d s e v e n m o r e l i n k s
-
8/6/2019 Graphical Models by z.ghahremani
50/102
H i d d e n M a r k o v m o d e l s
R e c a l l t h e h i d d e n M a r k o v m o d e l :
A A
B B B B
q qq q q q1 2 3 T
y1 2 3 T
y y y
Tt i m e s t e p s
Ms t a t e s
q
t
i s a m u l t i n o m i a l R V
No u t p u t s
y
t
i s a m u l t i n o m i a l R V
s t a t e t r a n s i t i o n p r o b a b i l i t y m a t r i x
A :
A = P q
t + 1
j q
t
e m i s s i o n m a t r i x
B :
B = P y
t
j q
t
i n i t i a l s t a t e p r o b a b i l i t i e s
:
= P q
1
-
8/6/2019 Graphical Models by z.ghahremani
51/102
F a c t o r i a l h i d d e n M a r k o v m o d e l s
c f . W i l l i a m s & H i n t o n , 1 9 9 1 ; G h a h r a m a n i & J o r d a n , 1 9 9 7
I m a g i n e t h a t a t i m e s e r i e s i s c r e a t e d f r o m a s e t o f
M
l o o s e l y - c o u p l e d u n d e r l y i n g m e c h a n i s m s
E a c h o f t h e s e m e c h a n i s m s m a y h a v e t h e i r o w n
p a r t i c u l a r d y n a m i c l a w s , a n d w e w a n t t o a v o i d
m e r g i n g t h e m i n t o a s i n g l e m e t a - s t a t e , " w i t h a
s i n g l e t r a n s i t i o n m a t r i x
a v o i d c h o o s i n g a s i n g l e t i m e s c a l e
a v o i d o v e r - p a r a m e t e r i z a t i o n
H e r e i s t h e g r a p h i c a l m o d e l t h a t w e w o u l d l i k e t o u s e :
...
...
...
X(1)
1X
(1)
2X
(1)
3
2X(2)
3X(2)
X(2)
1
1X(3)
2X(3)
3X(3)
1Y 2Y 3Y
W h e n w e t r i a n g u l a t e d o w e g e t a n e c i e n t s t r u c t u r e ?
-
8/6/2019 Graphical Models by z.ghahremani
52/102
T r i a n g u l a t i o n ?
U n f o r t u n a t e l y , t h e f o l l o w i n g g r a p h i s n o t
t r i a n g u l a t e d :
...
...
...
H e r e i s a t r i a n g u l a t i o n :
...
...
...
W e h a v e c r e a t e d c l i q u e s o f s i z e
N
4
. T h e j u n c t i o n t r e e
a l g o r i t h m i s n o t e c i e n t f o r f a c t o r i a l H M M s .
-
8/6/2019 Graphical Models by z.ghahremani
53/102
H i d d e n M a r k o v d e c i s i o n t r e e s
J o r d a n , G h a h r a m a n i , & S a u l , 1 9 9 7
W e c a n c o m b i n e d e c i s i o n t r e e s w i t h f a c t o r i a l H M M s
T h i s g i v e s a c o m m a n d s t r u c t u r e " t o t h e f a c t o r i a l
r e p r e s e n t a t i o n
U1
Y1
U2
Y2
U3
Y3
A p p r o p r i a t e f o r m u l t i r e s o l u t i o n t i m e s e r i e s
A g a i n , t h e e x a c t c a l c u l a t i o n i s i n t r a c t a b l e a n d w e
m u s t u s e v a r i a t i o n a l m e t h o d s
-
8/6/2019 Graphical Models by z.ghahremani
54/102
M a r k o v c h a i n M o n t e C a r l o M C M C
C o n s i d e r a s e t o f v a r i a b l e s
S = f S
1
; S
2
; : : : ; S
N
g
C o n s i d e r a j o i n t p r o b a b i l i t y d e n s i t y
P S
W e w o u l d l i k e t o c a l c u l a t e s t a t i s t i c s a s s o c i a t e d w i t h
P S :
m a r g i n a l p r o b a b i l i t i e s , e . g . ,
P S
i
, o r P S
i
; S
j
c o n d i t i o n a l p r o b a b i l i t i e s , e . g . ,
P H j V
l i k e l i h o o d s , i . e . ,
P V
O n e w a y t o d o t h i s i s t o g e n e r a t e s a m p l e s f r o m
P S
a n d c o m p u t e e m p i r i c a l s t a t i s t i c s
b u t g e n e r a l l y i t i s h a r d t o s e e h o w t o s a m p l e f r o m
P S
W e s e t u p a s i m p l e M a r k o v c h a i n w h o s e e q u i l i b r i u m
d i s t r i b u t i o n i sP S
-
8/6/2019 Graphical Models by z.ghahremani
55/102
G i b b s s a m p l i n g
G i b b s s a m p l i n g i s a w i d e l y - u s e d M C M C m e t h o d
R e c a l l t h a t w e h a v e a s e t o f v a r i a b l e s
S = f S
1
; S
2
; : : : ; S
N
g
W e s e t u p a M a r k o v c h a i n a s f o l l o w s :
i n i t i a l i z e t h e
S
i
t o a r b i t r a r y v a l u e s
c h o o s e
ir a n d o m l y
s a m p l e f r o m
P S
i
j S n S
i
i t e r a t e
I t i s e a s y t o p r o v e t h a t t h i s s c h e m e h a s
P S a s i t s
e q u i l i b r i u m d i s t r i b u t i o n
H o w t o d o G i b b s s a m p l i n g i n g r a p h i c a l m o d e l s ?
-
8/6/2019 Graphical Models by z.ghahremani
56/102
M a r k o v b l a n k e t s
T h e M a r k o v b l a n k e t o f n o d e
S
i
i s t h e m i n i m a l s e t o f
n o d e s t h a t r e n d e r s S
i
c o n d i t i o n a l l y i n d e p e n d e n t o f a l l
o t h e r n o d e s
F o r u n d i r e c t e d g r a p h s , t h e M a r k o v b l a n k e t i s j u s t t h e
s e t o f n e i g h b o r s
F o r d i r e c t e d g r a p h s , t h e M a r k o v b l a n k e t i s t h e s e t o f
p a r e n t s , c h i l d r e n a n d c o - p a r e n t s :
Si
T h e c o n d i t i o n a l
P S
i
j S n S
i
n e e d e d f o r G i b b s
s a m p l i n g i s f o r m e d f r o m t h e p r o d u c t o f t h e
c o n d i t i o n a l p r o b a b i l i t i e s a s s o c i a t e d w i t h S
i
a n d e a c h
o f i t s c h i l d r e n
T h i s i m p l i e s t h a t t h e c o n d i t i o n i n g s e t n e e d e d t o f o r m
P S
i
j S n S
i
i s t h e M a r k o v b l a n k e t o f S
i
w h i c h i s
u s u a l l y m u c h s m a l l e r t h a n S n S
i
-
8/6/2019 Graphical Models by z.ghahremani
57/102
-
8/6/2019 Graphical Models by z.ghahremani
58/102
V a r i a t i o n a l m e t h o d s
V a r i a t i o n a l m e t h o d s a r e d e t e r m i n i s t i c a p p r o x i m a t i o n
m e t h o d s
p e r h a p s u n i q u e a m o n g d e t e r m i n i s t i c m e t h o d s i n
t h a t t h e y t e n d t o w o r k b e s t f o r d e n s e g r a p h s
T h e y h a v e s o m e a d v a n t a g e s c o m p a r e d t o M C M C
m e t h o d s
t h e y c a n b e m u c h f a s t e r
t h e y y i e l d u p p e r a n d l o w e r b o u n d s o n p r o b a b i l i t i e s
A n d t h e y h a v e s e v e r a l d i s a d v a n t a g e s
t h e y a r e n o t a s s i m p l e a n d w i d e l y a p p l i c a b l e a s
M C M C m e t h o d s
t h e y r e q u i r e m o r e a r t t h o u g h t o n t h e p a r t o f t h e
u s e r t h a n M C M C m e t h o d s
B u t b o t h v a r i a t i o n a l a p p r o a c h e s a n d M C M C
a p p r o a c h e s a r e e v o l v i n g r a p i d l y
N o t e a l s o t h a t t h e y c a n b e c o m b i n e d a n d c a n b e
c o m b i n e d w i t h e x a c t m e t h o d s
-
8/6/2019 Graphical Models by z.ghahremani
59/102
I n t r o d u c t i o n t o v a r i a t i o n a l m e t h o d s
I n t u i t i o n | i n a d e n s e g r a p h , e a c h n o d e i s s u b j e c t t o
m a n y s t o c h a s t i c i n u e n c e s f r o m n o d e s i n i t s M a r k o v
b l a n k e t
l a w s o f l a r g e n u m b e r s
c o u p l e d , n o n l i n e a r i n t e r a c t i o n s b e t w e e n a v e r a g e s
Si
W e w a n t t o e x p l o i t s u c h a v e r a g i n g w h e r e a p p l i c a b l e
a n d w h e r e n e e d e d , w h i l e u s i n g e x a c t i n f e r e n c e
a l g o r i t h m s o n t r a c t a b l e b a c k b o n e s "
-
8/6/2019 Graphical Models by z.ghahremani
60/102
E x a m p l e o f a v a r i a t i o n a l t r a n s f o r m a t i o n
5
3
1
-1
-3
-50 1 2 30.5 1.5 2.5
l o g x
= m i n
f x
,l o g
, 1 g
x
,l o g
, 1
i s a v a r i a t i o n a l p a r a m e t e r
t r a n s f o r m s a n o n l i n e a r i t y i n t o a l i n e a r i t y
-
8/6/2019 Graphical Models by z.ghahremani
61/102
E x a m p l e o f a v a r i a t i o n a l t r a n s f o r m a t i o n
1.8
1.4
1.0
0.6
0.2
-0.2
-3 -2 -1 0 1 2 3
g x =
1
1 +e
, x
= m i n
f e
x , H
g
e
x , H
w h e r e
H i s t h e b i n a r y e n t r o p y
a n o n l i n e a r f u n c t i o n n o w a s i m p l e e x p o n e n t i a l
c f . t i l t e d d i s t r i b u t i o n s "
-
8/6/2019 Graphical Models by z.ghahremani
62/102
C o n v e x d u a l i t y a p p r o a c h
J a a k k o l a & J o r d a n , N I P S ' 9 7
f o r c o n c a v e
f x :
f x = m i n
T
x , f
f
= m i n
x
T
x , f x
y i e l d s b o u n d s :
f x
T
x , f
f
T
x , f x
2
1
0
-1
-2
-3
1 2
l o w e r b o u n d s o b t a i n e d f r o m c o n v e x
f x
-
8/6/2019 Graphical Models by z.ghahremani
63/102
V a r i a t i o n a l t r a n s f o r m a t i o n s a n d i n f e r e n c e
T w o b a s i c a p p r o a c h e s | s e q u e n t i a l a n d b l o c k
w e d i s c u s s t h e s e q u e n t i a l a p p r o a c h r s t a n d r e t u r n
t o t h e b l o c k a p p r o a c h l a t e r
I n t h e s e q u e n t i a l a p p r o a c h , w e i n t r o d u c e v a r i a t i o n a l
t r a n s f o r m a t i o n s s e q u e n t i a l l y , n o d e b y n o d e
t h i s y i e l d s a s e q u e n c e o f i n c r e a s i n g l y s i m p l e
g r a p h i c a l m o d e l s
e v e r y t r a n s f o r m a t i o n i n t r o d u c e s a n e w v a r i a t i o n a l
p a r a m e t e r , w h i c h w e l a z i l y p u t o e v a l u a t i n g
u n t i l t h e e n d
e v e n t u a l l y w e o b t a i n a m o d e l t h a t c a n b e h a n d l e d
b y e x a c t t e c h n i q u e s , a t w h i c h p o i n t w e s t o p
i n t r o d u c i n g t r a n s f o r m a t i o n s
-
8/6/2019 Graphical Models by z.ghahremani
64/102
V a r i a t i o n a l Q M R
J a a k k o l a & J o r d a n , 1 9 9 7
R e c a l l t h e n o i s y - O R p r o b a b i l i t y o f a p o s i t i v e n d i n g :
P f
i
= 1j d
= 1, e
,
i 0
,
P
j 2 p a
i
i j
d
j
T h e l o g a r i t h m o f t h i s f u n c t i o n i s c o n c a v e , t h u s w e
c a n u t i l i z e c o n v e x d u a l i t y
e v a l u a t i n g t h e c o n j u g a t e f u n c t i o n , w e o b t a i n :
f
=
, l n
+
+ 1 l n
+ 1
T h u s w e u p p e r b o u n d t h e p r o b a b i l i t y o f a p o s i t i v e
n d i n g :
P f
i
= 1j d e
i
i 0
+
P
j 2 p a
i
i j
d
j
, f
i
= e
i
i 0
, f
i
Y
j 2 p a
i
"
e
i
i j
d
j
T h i s i s a f a c t o r i z e d f o r m ; i t e e c t i v e l y c h a n g e s t h e
p r i o r s " P d
j
b y m u l t i p l y i n g t h e m b y e
i
i j
a n d
d e l i n k i n g t h e i
t h
n o d e f r o m t h e g r a p h
-
8/6/2019 Graphical Models by z.ghahremani
65/102
V a r i a t i o n a l Q M R c o n t .
R e c a l l t h e j o i n t d i s t r i b u t i o n :
P f ; d =
"
1 , e
,
1 0
,
P
j 2 p a
1
1 j
d
j
!
1 , e
,
2 0
,
P
j 2 p a
2
2 j
d
j
!
1 , e
,
k 0
,
P
j 2 p a
k
k j
d
j
!
2
6
4
Y
j
P d
j
3
7
5
A f t e r a v a r i a t i o n a l t r a n s f o r m a t i o n :
P f ; d
"
1 , e
,
1 0
,
P
j 2 p a
1
1 j
d
j
!
1 , e
,
2 0
,
P
j 2 p a
2
2 j
d
j
!
0
B
B
@
e
k
k 0
, f
k
Y
j 2 p a
k
"
e
k
k j
d
j
1
C
C
A
3
7
7
5
2
6
4
Y
j
P d
j
3
7
5
U s e a g r e e d y m e t h o d t o i n t r o d u c e t h e v a r i a t i o n a l
t r a n s f o r m a t i o n s
c h o o s e t h e n o d e t h a t i s e s t i m a t e d t o y i e l d t h e
m o s t a c c u r a t e t r a n s f o r m e d p o s t e r i o r
O p t i m i z e a c r o s s t h e v a r i a t i o n a l p a r a m e t e r s
i
t h i s t u r n s o u t t o b e a c o n v e x o p t i m i z a t i o n p r o b l e m
-
8/6/2019 Graphical Models by z.ghahremani
66/102
Q M R r e s u l t s
W e s t u d i e d 4 8 c l i n i c o p a t h o l o g i c C P C c a s e s
4 o f t h e s e C P C c a s e s h a d l e s s t h a n 2 0 p o s i t i v e
n d i n g s ; f o r t h e s e w e c a l c u l a t e d t h e d i s e a s e p o s t e r i o r s
e x a c t l y
S c a t t e r p l o t s o f e x a c t v s . v a r i a t i o n a l p o s t e r i o r s f o r a
4 p o s i t i v e n d i n g s t r e a t e d e x a c t l y , b 8 p o s i t i v e
n d i n g s t r e a t e d e x a c t l y :
0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
S c a t t e r p l o t s o f e x a c t v s . v a r i a t i o n a l p o s t e r i o r s f o r a
1 2 p o s i t i v e n d i n g s t r e a t e d e x a c t l y , b 1 6 p o s i t i v e
n d i n g s t r e a t e d e x a c t l y :
0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
-
8/6/2019 Graphical Models by z.ghahremani
67/102
Q M R r e s u l t s c o n t .
F o r t h e r e m a i n i n g 4 4 C P C c a s e s , w e h a d n o w a y t o
c a l c u l a t e t h e g o l d s t a n d a r d
T h u s w e a s s e s s e d t h e v a r i a t i o n a l a c c u r a c y v i a a
s e n s i t i v i t y e s t i m a t e
w e c a l c u l a t e d t h e s q u a r e d d i e r e n c e i n p o s t e r i o r s
w h e n a p a r t i c u l a r n o d e w a s t r e a t e d e x a c t l y o r
v a r i a t i o n a l l y t r a n s f o r m e d , a n d a v e r a g e d a c r o s s
n o d e s
a s m a l l v a l u e o f t h i s a v e r a g e s u g g e s t s t h a t w e h a v e
t h e c o r r e c t p o s t e r i o r s
w e v a l i d a t e d t h i s s u r r o g a t e o n t h e 4 c a s e s f o r
w h i c h w e c o u l d d o t h e e x a c t c a l c u l a t i o n
S e n s i t i v i t y e s t i m a t e s v s . n u m b e r o f p o s i t i v e n d i n g s
w h e n a 8 p o s i t i v e n d i n g s t r e a t e d e x a c t l y , b 1 2
p o s i t i v e n d i n g s t r e a t e d e x a c t l y :
10 20 30 40 50 60 700
0.05
0.1
0.15
0.2
0.25
10 20 30 40 50 60 700
0.05
0.1
0.15
0.2
0.25
-
8/6/2019 Graphical Models by z.ghahremani
68/102
Q M R r e s u l t s c o n t .
T i m i n g r e s u l t s i n s e c o n d s S p a r c 1 0 a s a f u n c t i o n o f
t h e n u m b e r o f p o s i t i v e n d i n g s t r e a t e d e x a c t l y s o l i d
l i n e | a v e r a g e a c r o s s C P C c a s e s ; d a s h e d
l i n e | m a x i m u m a c r o s s C P C c a s e s :
0 2 4 6 8 10 120
20
40
60
80
100
120
140
-
8/6/2019 Graphical Models by z.ghahremani
69/102
A c a u t i o n a r y n o t e
t h e s e d i s e a s e m a r g i n a l s a r e b a s e d o n t h e u p p e r
v a r i a t i o n a l d i s t r i b u t i o n , w h i c h a p p e a r s t i g h t
t h i s d i s t r i b u t i o n i s g u a r a n t e e d t o u p p e r b o u n d t h e
l i k e l i h o o d
t o o b t a i n d i r e c t u p p e r a n d l o w e r b o u n d s o n t h e
d i s e a s e m a r g i n a l s , w h i c h a r e c o n d i t i o n a l
p r o b a b i l i t i e s , w e n e e d u p p e r a n d l o w e r b o u n d s o n
t h e l i k e l i h o o d
t h e l o w e r b o u n d s w e o b t a i n i n o u r c u r r e n t
i m p l e m e n t a t i o n , h o w e v e r , a r e n o t t i g h t e n o u g h
t h u s , a l t h o u g h t h e m a r g i n a l s w e r e p o r t a p p e a r t o
y i e l d g o o d a p p r o x i m a t i o n s e m p i r i c a l l y , w e c a n n o t
g u a r a n t e e t h a t t h e y b o u n d t h e t r u e m a r g i n a l s
-
8/6/2019 Graphical Models by z.ghahremani
70/102
V a r i a t i o n a l t r a n s f o r m a t i o n s a n d i n f e r e n c e
T w o b a s i c a p p r o a c h e s | s e q u e n t i a l a n d b l o c k
T h e b l o c k a p p r o a c h t r e a t s t h e a p p r o x i m a t i o n
p r o b l e m a s a g l o b a l o p t i m i z a t i o n p r o b l e m
C o n s i d e r a d e n s e g r a p h c h a r a c t e r i z e d b y a j o i n t
d i s t r i b u t i o n P
H ; Vj
W e r e m o v e l i n k s t o o b t a i n a s i m p l e r g r a p h
c h a r a c t e r i z e d b y a c o n d i t i o n a l d i s t r i b u t i o n
Q H jV ; ;
E x a m p l e s w i l l b e p r o v i d e d b e l o w . . .
-
8/6/2019 Graphical Models by z.ghahremani
71/102
V a r i a t i o n a l i n f e r e n c e c o n t .
D a y a n , e t a l . , 1 9 9 5 ; H i n t o n , e t a l . , 1 9 9 5 ; S a u l & J o r d a n , 1 9 9 6
Q H jV ; ; h a s e x t r a d e g r e e s o f f r e e d o m , g i v e n b y
v a r i a t i o n a l p a r a m e t e r s
i
w e c a n t h i n k o f t h e s e a s b e i n g o b t a i n e d b y a
s e q u e n c e o f v a r i a t i o n a l t r a n s f o r m a t i o n s a p p l i e d t o
t h e n o d e s
b u t w e n o w w a n t t o t a k e a m o r e g l o b a l v i e w
C h o o s e
i
s o a s t o m i n i m i z e
K L Q k P
=
X
H
Q H jV ; ; l o g
Q H jV ; ;
P H jV ;
W e w i l l s h o w t h a t t h i s y i e l d s a l o w e r b o u n d o n t h e
p r o b a b i l i t y o f t h e e v i d e n c e t h e l i k e l i h o o d
M i n i m i z i n g t h e K L d i v e r g e n c e r e q u i r e s u s t o
c o m p u t e a v e r a g e s u n d e r t h e Q
d i s t r i b u t i o n ; w e m u s t
c h o o s e Q
s o t h a t t h i s i s p o s s i b l e
i . e . , w e c h o o s e o u r s i m p l i e d g r a p h s o t h a t i t i s
a m e n a b l e t o e x a c t m e t h o d s
-
8/6/2019 Graphical Models by z.ghahremani
72/102
V a r i a t i o n a l i n f e r e n c e c o n t .
T h e f a c t t h a t t h i s i s a l o w e r b o u n d f o l l o w s f r o m
J e n s e n ' s i n e q u a l i t y
l o gP V
= l o g
H
P H ; V
= l o g
H
Q H j V
P H ; V
Q H j V
H
Q H j V l o g
2
6
6
4
P H ; V
Q H j V
3
7
7
5
T h e d i e r e n c e b e t w e e n t h e l e f t a n d r i g h t h a n d s i d e i s
t h e K L d i v e r g e n c e :
K L Q
j jP
=
H
Q H j V l o g
2
6
6
4
Q H j V
P H j V
3
7
7
5
w h i c h i s p o s i t i v e ; t h u s w e h a v e a l o w e r b o u n d
-
8/6/2019 Graphical Models by z.ghahremani
73/102
L i n k i n g t h e t w o a p p r o a c h e s
J a a k k o l a , 1 9 9 7
T h e b l o c k a p p r o a c h c a n b e d e r i v e d w i t h i n t h e c o n v e x
d u a l i t y f r a m e w o r k
f x
T
x , f
t r e a t t h e d i s t r i b u t i o n
Q H jV ; ; a s
; a
v e c t o r - v a l u e d v a r i a t i o n a l p a r a m e t e r o n e v a l u e f o r
e a c h c o n g u r a t i o n H
t h e a r g u m e n t
xb e c o m e s l o g
P H ; V
j ; a l s o a
v e c t o r - v a l u e d v a r i a b l e o n e v a l u e f o r e a c h
c o n g u r a t i o n H
t h e f u n c t i o n
f x b e c o m e s l o g
P V j
i t t u r n s o u t t h a t t h e c o n j u g a t e f u n c t i o n
f
x i s
t h e n e g a t i v e e n t r o p y f u n c t i o n
T h u s c o n v e x d u a l i t y y i e l d s :
l o gP V
X
H
Q H j V l o g
P H ; V
,
X
H
Q H j V l o g
Q H j V
w h i c h i s t h e b o u n d d e r i v e d e a r l i e r f r o m J e n s e n ' s
i n e q u a l i t y
-
8/6/2019 Graphical Models by z.ghahremani
74/102
L e a r n i n g v i a v a r i a t i o n a l m e t h o d s
N e a l & H i n t o n , i n p r e s s
M A P p a r a m e t e r e s t i m a t i o n f o r g r a p h i c a l m o d e l s :
t h e E M a l g o r i t h m i s a g e n e r a l m e t h o d f o r M A P
e s t i m a t i o n
i n f e r e n c e " i s t h e E s t e p o f E M f o r g r a p h i c a l
m o d e l s c a l c u l a t e P H j V
t o l l i n " t h e h i d d e n
v a l u e s
v a r i a t i o n a l m e t h o d s p r o v i d e a n a p p r o x i m a t e E
s t e p
m o r e s p e c i c a l l y w e i n c r e a s e t h e l o w e r b o u n d o n
t h e l i k e l i h o o d a t e a c h i t e r a t i o n
-
8/6/2019 Graphical Models by z.ghahremani
75/102
N e u r a l n e t w o r k s a n d v a r i a t i o n a l a p p r o x i m a t i o n s
S a u l , J a a k k o l a , & J o r d a n , 1 9 9 6
A m u l t i l a y e r n e u r a l n e t w o r k w i t h l o g i s t i c h i d d e n
u n i t s :
Input
Hidden
Output
h a s a j o i n t d i s t r i b u t i o n t h a t i s a p r o d u c t o f l o g i s t i c
f u n c t i o n s :
P H ; V
j =
Y
i
2
6
6
6
6
4
e
P
j 2 p a
i
i j
S
j
+
i 0
S
i
1 +e
P
j 2 p a
i
i j
S
j
+
i 0
:
3
7
7
7
7
5
T h e s i m p l e s t v a r i a t i o n a l a p p r o x i m a t i o n , w h i c h w e
w i l l r e f e r t o a s a m e a n e l d a p p r o x i m a t i o n c o n s i d e r s
t h e f a c t o r i z e d a p p r o x i m a t i o n :
Q H jV ; =
i 2 H
S
i
i
1,
i
1 , S
i
:
-
8/6/2019 Graphical Models by z.ghahremani
76/102
D i v i s i o n o f l a b o r
T h e K L b o u n d h a s t w o b a s i c c o m p o n e n t s :
0
B
B
@
v a r i a t i o n a l
e n t r o p y
1
C
C
A
= ,
H
Q H j V l o g
Q H j V
0
B
B
@
v a r i a t i o n a l
e n e r g y
1
C
C
A
= ,
H
Q H j V l o g
P H ; V
W h a t w e n e e d i s t h e d i e r e n c e :
l o gP V j
0
B
B
@
v a r i a t i o n a l
e n t r o p y
1
C
C
A
,
0
B
B
@
v a r i a t i o n a l
e n e r g y
1
C
C
A
-
8/6/2019 Graphical Models by z.ghahremani
77/102
M a x i m i z i n g t h e l o w e r b o u n d
W e n d t h e b e s t a p p r o x i m a t i o n b y v a r y i n g
f
i
gt o
m i n i m i z e K L Q
j jP
.
T h i s a m o u n t s t o m a x i m i z i n g t h e l o w e r b o u n d :
l o gP V j
0
B
B
@
v a r i a t i o n a l
e n t r o p y
1
C
C
A
,
0
B
B
@
v a r i a t i o n a l
e n e r g y
1
C
C
A
:
A b u s e o f n o t a t i o n : w e d e n e c l a m p e d v a l u e s 0 o r 1
f o r t h e i n s t a n t i a t e d n o d e s ,
i
= S
i
f o ri 2
V :
-
8/6/2019 Graphical Models by z.ghahremani
78/102
V a r i a t i o n a l e n t r o p y
T h e v a r i a t i o n a l e n t r o p y i s :
,
H
Q H j V l o g
Q H j V
O u r f a c t o r i z e d a p p r o x i m a t i o n i s :
Q H j V =
i
S
i
i
1,
i
1 , S
i
;
T h e j o i n t e n t r o p y i s t h e s u m o f t h e
i n d i v i d u a l u n i t e n t r o p i e s :
,
i
i
l o g
i
+ 1,
i
l o g 1 ,
i
:
-
8/6/2019 Graphical Models by z.ghahremani
79/102
V a r i a t i o n a l e n e r g y
T h e v a r i a t i o n a l e n e r g y i s :
,
H
Q H j V l o g
P H ; V
I n s i g m o i d n e t w o r k s :
l o gP
H ; V =,
X
i j
i j
S
i
S
j
+
X
i
l o g
"
1 +e
P
j
i j
S
j
:
T h e r s t t e r m a r e c o m m o n t o u n d i r e c t e d n e t w o r k s .
T h e l a s t t e r m i s n o t .
A v e r a g i n g o v e r
Q H j V g i v e s :
,
X
i j
i j
i
j
X
i
*
l o g
"
1 +e
P
j
i j
S
j
+
T h e l a s t t e r m i s i n t r a c t a b l e , s o a g a i n
w e u s e J e n s e n ' s i n e q u a l i t y t o o b t a i n a n
u p p e r b o u n d . . .
-
8/6/2019 Graphical Models by z.ghahremani
80/102
L e m m a S e u n g : f o r a n y r a n d o m v a r i a b l e
z, a n d
a n y r e a l n u m b e r :
hl o g 1 +
e
z
i
h z i+ l o g
*
e
, z
+ e
1 , z
+
:
E x
: zi s G a u s s i a n w i t h z e r o m e a n a n d u n i t v a r i a n c e .
0 0.2 0.4 0.6 0.8 10.75
0.8
0.85
0.9
0.95
1
exact
bound
E x
: zi s t h e s u m o f w e i g h t e d i n p u t s t o
S
i
;
z =
X
j
i j
S
j
+ h
i
:
T h e l e m m a p r o v i d e s a n u p p e r b o u n d o n t h e
i n t r a c t a b l e t e r m s i n t h e v a r i a t i o n a l e n e r g y :
X
i
*
l o g
"
1 +e
P
j
i j
S
j
+
-
8/6/2019 Graphical Models by z.ghahremani
81/102
V a r i a t i o n a l m e a n e l d e q u a t i o n s
T h e b o u n d o n t h e l o g - l i k e l i h o o d ,
l o gP V j
0
B
B
@
v a r i a t i o n a l
e n t r o p y
1
C
C
A
,
0
B
B
@
v a r i a t i o n a l
e n e r g y
1
C
C
A
;
i s v a l i d f o r a n y s e t t i n g o f t h e v a r i a t i o n a l p a r a m e t e r s ,
f
i
g
T h e o p t i m a l
f
i
ga r e f o u n d b y s o l v i n g t h e
v a r i a t i o n a l e q u a t i o n s :
i
=
0
B
@
X
j
i j
j
+
j i
j
,
j
, K
j i
1
C
A
Si
T h e e e c t i v e i n p u t t o
S
i
i s c o m p o s e d o f
t e r m s f r o m i t s M a r k o v b l a n k e t
-
8/6/2019 Graphical Models by z.ghahremani
82/102
N u m e r i c a l e x p e r i m e n t s
F o r s m a l l n e t w o r k s , t h e v a r i a t i o n a l b o u n d c a n
b e c o m p a r e d t o t h e t r u e l i k e l i h o o d o b t a i n e d
b y e x a c t e n u m e r a t i o n .
W e c o n s i d e r e d t h e e v e n t t h a t a l l t h e u n i t s i n
t h e b o t t o m l a y e r w e r e i n a c t i v e .
T h i s w a s d o n e f o r 1 0 0 0 0 r a n d o m n e t w o r k s
w h o s e w e i g h t s a n d b i a s e s w e r e u n i f o r m l y
d i s t r i b u t e d b e t w e e n - 1 a n d 1 .
-
8/6/2019 Graphical Models by z.ghahremani
83/102
M e a n e l d a p p r o x i m a t i o n
:
0 0.01 0.02 0.03 0.04 0.05 0.06 0.070
500
1000
1500
2000
2500
3000
3500
4000
4500
relative error in loglikelihood
mean field approximation
U n i f o r m a p p r o x i m a t i o n
:
1 0.5 0 0.5 1 1.50
500
1000
1500
2000
2500
3000
3500
4000
relative error in loglikelihood
uniform approximation
-
8/6/2019 Graphical Models by z.ghahremani
84/102
D i g i t r e c o g n i t i o n
I m a g e s :
C o n f u s i o n m a t r i x :
0 1 2 3 4 5 6 7 8 9
0 3 8 8 2 2 0 1 3 0 0 4 0
1 0 3 9 3 0 0 0 1 0 0 6 0
2 1 2 3 7 6 1 3 0 4 0 1 3 0
3 0 2 4 3 7 3 0 1 2 0 0 6 3
4 0 0 2 0 3 8 3 0 1 2 2 1 0
5 0 2 1 1 3 0 3 7 7 2 0 4 1
6 1 4 2 0 1 6 3 8 6 0 0 0
7 0 1 0 0 0 0 0 3 8 8 3 8
8 1 9 1 7 0 7 1 1 3 6 9 4
9 0 4 0 0 0 0 0 8 5 3 8 3
C o m p a r a t i v e r e s u l t s :
a l g o r i t h m t e s t e r r o r
n e a r e s t n e i g h b o r 6 . 7
b a c k p r o p a g a t i o n 5 . 6
H e l m h o l t z m a c h i n e 4 . 8
v a r i a t i o n a l 4 . 6
-
8/6/2019 Graphical Models by z.ghahremani
85/102
E x a m p l e | F a c t o r i a l H M M
G h a h r a m a n i & J o r d a n , 1 9 9 7
R e c a l l t h e f a c t o r i a l h i d d e n M a r k o v m o d e l , w h i c h
y i e l d e d i n t r a c t a b l y l a r g e c l i q u e s w h e n t r i a n g u l a t e d :
...
...
...
X(1)
1X
(1)
2X
(1)
3
2X(2)
3X(2)
X(2)
1
1X(3)
2X(3)
3X(3)
1Y 2Y 3Y
W e c a n v a r i a t i o n a l l y t r a n s f o r m t h i s m o d e l i n t o :
...
...
...
w h e r e w e s e e t h a t w e h a v e t o s o l v e s e p a r a t e s i m p l e
H M M p r o b l e m s o n e a c h i t e r a t i o n . T h e v a r i a t i o n a l
p a r a m e t e r s c o u p l e t h e c h a i n s .
-
8/6/2019 Graphical Models by z.ghahremani
86/102
E x a m p l e | F a c t o r i a l H M M c o n t .
...
...
...
X(1)
1X
(1)
2X
(1)
3
2X(2)
3X(2)
X(2)
1
1X(3)
2X(3)
3X(3)
1Y 2Y 3Y
Mi n d e p e n d e n t M a r k o v c h a i n s g i v e n t h e o b s e r v a t i o n s
Q f X
t
g j
=
M
Y
m = 1
Q X
m
1
j
T
Y
t = 2
Q X
m
t
j X
m
t , 1
; ;
w h e r e
Q X
m
1
j =
m
h
m
1
Q X
m
t
j X
m
t , 1
; =P
m
h
m
t
:
T h e p a r a m e t e r s o f t h i s a p p r o x i m a t i o n a r e t h e
h
m
t
,
w h i c h p l a y t h e r o l e o f o b s e r v a t i o n l o g p r o b a b i l i t i e s
f o r t h e H M M s .
-
8/6/2019 Graphical Models by z.ghahremani
87/102
E x a m p l e | F a c t o r i a l H M M c o n t .
M i n i m i z i n g t h e K L d i v e r g e n c e r e s u l t s i n t h e f o l l o w i n g
x e d p o i n t e q u a t i o n :
h
m
t
e x p
f W
m
0
C
, 1
Y
t
,
Y
t
!
+ W
m
0
C
, 1
W
m
h X
m
t
,
1
2
m
g ;
w h e r e
Y
t
=
M
X
= 1
W
h X
t
i ;
a n d
m
i s t h e v e c t o r o f d i a g o n a l e l e m e n t s o f
W
m
0
C
, 1
W
m
.
R e p e a t u n t i l c o n v e r g e n c e o f K L
Q k P :
1 . C o m p u t e h
m
t
u s i n g x e d - p o i n t e q u a t i o n , w h i c h
d e p e n d s o n h X
m
t
i
2 . C o m p u t e h X
m
t
iu s i n g f o r w a r d - b a c k w a r d
a l g o r i t h m o n H M M s w i t h o b s e r v a t i o n l o g
p r o b a b i l i t i e s g i v e n b y h
m
t
-
8/6/2019 Graphical Models by z.ghahremani
88/102
R e s u l t s
F i t t i n g t h e F H M M t o t h e B a c h C h o r a l e d a t a s e t :
G h a h r a m a n i & J o r d a n , 1 9 9 7 :
Modeling J. S. Bachs chorales
Discrete event sequences:
Attribute Description Representation
pitch pitch of the event int
keysig key signature of the chorale
(num of sharps and flats)
int
timesig time signature of the chorale int (1/16 notes)
fermata event under fermata? binary
st start time of event int (1/16 notes)dur duration of event int (1/16 notes)
First 40 events of 66 chorale melodies:
training: 30 melodies
test: 36 melodies
See Conklin and Witten (1995).
-
8/6/2019 Graphical Models by z.ghahremani
89/102
F i t t i n g a s i n g l e H M M t o t h e B a c h c h o r a l e d a t a
0 20 40 60 8010
9
8
7
6
5
4
Size of state space
Validationsetloglikeliho
od
HMM model of Bach Chorales
-
8/6/2019 Graphical Models by z.ghahremani
90/102
F i t t i n g a f a c t o r i a l H M M t o t h e B a c h c h o r a l e d a t a
101
102
103
10
9
8
7
6
5
4Factorial HMM Model of Bach Chorales
-
8/6/2019 Graphical Models by z.ghahremani
91/102
E x a m p l e | h i d d e n M a r k o v d e c i s i o n t r e e
J o r d a n , G h a h r a m a n i , & S a u l , 1 9 9 7
R e c a l l t h e h i d d e n M a r k o v d e c i s i o n t r e e , w h i c h a l s o
y i e l d e d i n t r a c t a b l y l a r g e c l i q u e s w h e n t r i a n g u l a t e d :
U1
Y1
U2
Y2
U3
Y3
W e c a n v a r i a t i o n a l l y t r a n s f o r m t h i s m o d e l i n t o o n e o f
t w o s i m p l i e d m o d e l s :
...
...
...
o r
x
z11
z12
z13
y1
1 x
z21
z22
z2
3
y2
2 x
z31
z32
z33
y3
3
-
8/6/2019 Graphical Models by z.ghahremani
92/102
F o r e s t o f c h a i n s a p p r o x i m a t i o n
E l i m i n a t i n g t h e v e r t i c a l l i n k s t h a t c o u p l e t h e s t a t e s
y i e l d s a n a p p r o x i m a t i n g g r a p h t h a t i s a f o r e s t o f
c h a i n s :
T h e
Qd i s t r i b u t i o n i s g i v e n b y :
Q f z
1
t
; z
2
t
; z
3
t
g j fy
t
g ; f x
t
g =
1
Z
Q
T
Y
t = 2
~a
1
t
z
1
t
j z
1
t , 1
~a
2
t
z
2
t
j z
2
t , 1
~a
3
t
z
3
t
j z
3
t , 1
T
Y
t = 1
~q
1
t
z
1
t
~q
2
t
z
2
t
~q
3
t
z
3
t
w h e r e ~ a
i
t
z
i
t
j z
i
t , 1
a n d ~ q
i
t
z
i
t
a r e p o t e n t i a l s t h a t
p r o v i d e t h e v a r i a t i o n a l p a r a m e t e r i z a t i o n
T h e r e s u l t i n g a l g o r i t h m i s e c i e n t b e c a u s e w e k n o w
a n e c i e n t s u b r o u t i n e f o r s i n g l e c h a i n s t h e
f o r w a r d - b a c k w a r d a l g o r i t h m
-
8/6/2019 Graphical Models by z.ghahremani
93/102
F o r e s t o f t r e e s a p p r o x i m a t i o n
E l i m i n a t i n g t h e h o r i z o n t a l l i n k s t h a t c o u p l e t h e
s t a t e s y i e l d s a n a p p r o x i m a t i n g g r a p h t h a t i s a f o r e s t
o f t r e e s :
T h e
Qd i s t r i b u t i o n i s g i v e n b y :
Q f z
1
t
; z
2
t
; z
3
t
g j fy
t
g ; f x
t
g =
T
Y
t = 1
~r
1
t
z
1
1
~r
2
t
z
2
1
j z
1
1
~r
3
t
z
3
1
j z
1
1
; z
2
1
T h e r e s u l t i n g a l g o r i t h m i s e c i e n t b e c a u s e w e k n o w
a n e c i e n t s u b r o u t i n e f o r d e c i s i o n t r e e s t h e u p w a r d
r e c u r s i o n f r o m J o r d a n a n d J a c o b s
-
8/6/2019 Graphical Models by z.ghahremani
94/102
A V i t e r b i - l i k e a p p r o x i m a t i o n
W e c a n d e v e l o p a V i t e r b i - l i k e a l g o r i t h m b y u t i l i z i n g
a n a p p r o x i m a t i o n Q
t h a t a s s i g n s p r o b a b i l i t y o n e t o a
s i n g l e p a t h f
z
1
t
;
z
2
t
;
z
3
t
g :
Q f z
1
t
; z
2
t
; z
3
t
g j fy
t
g ; f x
t
g =
8
:
1 i fz
i
t
=
z
i
t
; 8t ; i
0 o t h e r w i s e
N o t e t h a t t h e e n t r o p y
Ql n
Qi s z e r o
T h e e v a l u a t i o n o f t h e e n e r g y
Ql n
Pr e d u c e s t o
s u b s t i t u t i n g
z
i
t
f o rz
i
t
i nP
T h e r e s u l t i n g a l g o r i t h m i n v o l v e s a s u b r o u t i n e i n
w h i c h a s t a n d a r d V i t e r b i a l g o r i t h m i s r u n o n a s i n g l e
c h a i n , w i t h t h e o t h e r x e d c h a i n s p r o v i d i n g e l d
t e r m s
-
8/6/2019 Graphical Models by z.ghahremani
95/102
M i x t u r e - b a s e d v a r i a t i o n a l a p p r o x i m a t i o n
J a a k k o l a & J o r d a n , 1 9 9 7
N a i v e m e a n e l d a p p r o x i m a t i o n s a r e u n i m o d a l
E x a c t m e t h o d s r u n n i n g a s s u b r o u t i n e s p r o v i d e a w a y
t o c a p t u r e m u l t i m o d a l i t y
B u t w e w o u l d l i k e a m e t h o d t h a t a l l o w s
m u l t i m o d a l i t y i n t h e a p p r o x i m a t i o n i t s e l f
T h i s c a n b e d o n e b y l e t t i n g t h e
Qd i s t r i b u t i o n b e a
m i x t u r e :
Q
m i x
H j V =
X
m
m
Q
m f
H jV ; m
w h e r e e a c h c o m p o n e n t Q
m i x
H j V i s a f a c t o r i z e d
m o d e l
-
8/6/2019 Graphical Models by z.ghahremani
96/102
M i x t u r e - b a s e d a p p r o x i m a t i o n c o n t .
T h e b o u n d o n t h e l i k e l i h o o d t a k e s t h e f o l l o w i n g f o r m :
F Q
m i x
=
X
m
m
F Q
m f
j m +
I m ; H
w h e r e I m ; H
i s t h e m u t u a l i n f o r m a t i o n b e t w e e n
t h e m i x t u r e c o m p o n e n t s
D e r i v a t i o n :
F Q
m i x
=
X
H
Q
m i x
H l o g
P H ; V
Q
m i x
H
=
X
m ; H
m
2
6
6
4
Q
m f
H j m l o g
P H ; V
Q
m i x
H
3
7
7
5
=
X
m ; H
m
2
6
6
4
Q
m f
H j m l o g
P H ; V
Q
m f
H j m
+ Q
m f
H j m l o g
Q
=
X
m
m
F Q
m f
j m +
X
m ; H
m
Q
m f
H j m l o g
Q
m f
H j m
Q
m i x
H
=
X
m
m
F Q
m f
j m +
I m ; H
W e s e e t h a t t h e b o u n d c a n b e i m p r o v e d v i s - a - v i s
n a i v e m e a n e l d v i a t h e m u t u a l i n f o r m a t i o n t e r m
-
8/6/2019 Graphical Models by z.ghahremani
97/102
M i x t u r e - b a s e d v a r i a t i o n a l a p p r o x i m a t i o n
B i s h o p , e t a l . , 1 9 9 7
0 0.02 0.04 0.06 0.080
1000
2000
30005 components, mean: 0.011394
0 0.02 0.04 0.06 0.080
1000
2000
30004 components, mean: 0.012024
0 0.02 0.04 0.06 0.08
0
1000
2000
30003 components, mean: 0.01288
0 0.02 0.04 0.06 0.08
0
1000
2000
30002 components, mean: 0.013979
0 0.02 0.04 0.06 0.080
1000
2000
30001 component, mean: 0.015731
1 2 3 4 50.01
0.012
0.014
0.016
no. of components
meanerror
-
8/6/2019 Graphical Models by z.ghahremani
98/102
C O N C L U S I O N S P A R T I I
G e n e r a l f r a m e w o r k s f o r p r o b a b i l i s t i c c o m p u t a t i o n i n
g r a p h i c a l m o d e l s :
e x a c t c o m p u t a t i o n
d e t e r m i n i s t i c a p p r o x i m a t i o n
s t o c h a s t i c a p p r o x i m a t i o n
V a r i a t i o n a l m e t h o d s a r e d e t e r m i n i s t i c a p p r o x i m a t i o n
m e t h o d s
t h e y a i m t o t a k e a d v a n t a g e o f
l a w - o f - l a r g e - n u m b e r s p h e n o m e n a i n d e n s e
n e t w o r k s
t h e y y i e l d u p p e r a n d l o w e r b o u n d s o n d e s i r e d
p r o b a b i l i t i e s
T h e t e c h n i q u e s c a n b e c o m b i n e d t o y i e l d h y b r i d
t e c h n i q u e s w h i c h m a y w e l l t u r n o u t t o b e b e t t e r t h a n
a n y s i n g l e t e c h n i q u e
-
8/6/2019 Graphical Models by z.ghahremani
99/102
A D D I T I O N A L T O P I C S
T h e r e a r e m a n y o t h e r t o p i c s t h a t w e h a v e n o t
c o v e r e d , i n c l u d i n g :
l e a r n i n g s t r u c t u r e s e e H e c k e r m a n t u t o r i a l
c a u s a l i t y s e e U A I h o m e p a g e
q u a l i t a t i v e g r a p h i c a l m o d e l s s e e U A I h o m e p a g e
r e l a t i o n s h i p s t o p l a n n i n g s e e U A I h o m e p a g e
i n u e n c e d i a g r a m s s e e U A I h o m e p a g e
r e l a t i o n s h i p s t o e r r o r c o n t r o l c o d i n g s e e F r e y
t h e s i s
T h e U n c e r t a i n t y i n A r t i c i a l I n t e l l i g e n c e U A I
h o m e p a g e :
h t t p : w w w . a u a i . o r g
-
8/6/2019 Graphical Models by z.ghahremani
100/102
R E F E R E N C E S
J e n s e n , F . 1 9 9 6 . A n I n t r o d u c t i o n t o B a y e s i a n N e t w o r k s . L o n d o n : U C L P r e s s a l s o
p u b l i s h e d b y S p r i n g e r - V e r l a g .
L a u r i t z e n , S . L . , & S p i e g e l h a l t e r , D . J . 1 9 8 8 . L o c a l c o m p u t a t i o n s w i t h p r o b a b i l i t i e s o n
g r a p h i c a l s t r u c t u r e s a n d t h e i r a p p l i c a t i o n t o e x p e r t s y s t e m s w i t h d i s c u s s i o n . J o u r n a l o f
t h e R o y a l S t a t i s t i c a l S o c i e t y B , 5 0 , 1 5 7 - 2 2 4 .
J e n s e n , F . V . , L a u r i t z e n , S . L . a n d O l e s e n , K . G . , 1 9 9 0 B a y e s i a n u p d a t i n g i n r e c u r s i v e
g r a p h i c a l m o d e l s b y l o c a l c o m p u t a t i o n s . C o m p u t a t i o n a l S t a t i s t i c a l Q u a r t e r l y . 4 , 2 6 9 2 8 2 .
D a w i d , A . P . 1 9 9 2 . A p p l i c a t i o n s o f a g e n e r a l p r o p a g a t i o n a l g o r i t h m f o r p r o b a b i l i s t i c
e x p e r t s y s t e m s . S t a t i s t i c s a n d C o m p u t i n g , 2 , 2 5 - 3 6 .
P e a r l , J . 1 9 8 8 . P r o b a b i l i s t i c R e a s o n i n g i n I n t e l l i g e n t S y s t e m s : N e t w o r k s o f P l a u s i b l e
I n f e r e n c e . S a n M a t e o , C A : M o r g a n K a u f m a n .
W h i t t a k e r , J . 1 9 9 0 . G r a p h i c a l M o d e l s i n A p p l i e d M u l t i v a r i a t e S t a t i s t i c s . N e w Y o r k : J o h n
W i l e y .
L a u r i t z e n , S . 1 9 9 6 . G r a p h i c a l M o d e l s . O x f o r d : O x f o r
top related