DNN & visualization in R

김성현

2017년 1월 10일

Autoencoder

I t l = al + W lhl−1, l = 1, ..., 2

I hl = σ(t l), l = 1, ..., 2

I h0 = x , h2 = x̂

I tied weight : W = W 1 = (W 2)T

I minimize

KL = −∑k

{xk log x̂k + (1− xk) log(1− x̂k)}

Autoencoder

I δk = −( xkx̂k −1−xk1−x̂k )

I ∂KL∂a2i

= δiσ′(t2i )

I ∂KL∂a1i

= σ′(t1i )∑

k δkσ′(t2k )wik

I ∂KL∂Wij

= σ′(t2j )δjh1i + σ′(t1i )xj

∑k δkσ

′(t2k )wik

Autoencoder

그림 : Autoencoder reconstruction

Autoencoder

그림 : Autoencoder filter

Denoising Autoencoder

그림 : Denoising Autoencoder reconstruction(30% noise)

Denoising Autoencoder

그림 : Denoising Autoencoder filter

RBM

I p(v , h) = exp(−E (v , h))/Z

I −E (v , h) = aT v + bTh + vTWh

I minimize

− log p(v) = − log∑h

p(v , h)

RBM

그림 : RBM reconstruction

RBM

그림 : RBM filter

sparse RBM

I 작은 상수 ρ에 대해 1N

∑Mm=1 h

1(m)k가 ρ와 가깝게 한다.

I minimize ∑k

(1

M

M∑m=1

h1(m)k − ρ)2

I − log p(v)에 대한 최적화와 sparsity에 대한 최적화를 한

단계씩 반복.

RBM

그림 : sparse RBM filter

시각화:Maximizing the activation

I input이 각 hidden unit에 미치는 영향을 나타내기 위해

hidden unit의 activation을 최대화하는 input x∗을 찾는다.

x∗ = argmaxx :‖x‖=ρ

hlk(θ, x)

I gradient ascent 방법 사용.

I DBN/SDAE 모두 적용할 수 있다.

시각화:Maximizing the activation

그림 : sparse RBM 2nd layer

시각화:Maximizing the activation

그림 : Denoising Autoencoder 2nd layer

정리

I dAE와 RBM 구현.

I reconstruction 결과는 원본 이미지와 비슷함.

I 논문과 유사한 filter는 얻지 못함.

I sparsity나 L1 penalty 고려.

References

I D.Erhan, Y.Bengio. Visualizing Higher-Layer Features of a

Deep Network. 2009

I Andrew Ng. CS294A Lecture notes Sparse autoencoder.

I Honglak Lee, Andrew Ng. Sparse deep belief net model for

visual area V2.

I G.E.Hinton. A Practical Guide to Training Restricted

Boltzmann Machines. 2010.

I J. Maddison. Tutorial: restricted Boltzmann machines. 2014.