信号処理の実例 逆フィルター - kyoto u...$ s3¸s\kzÔ¹Ý ìm a#ú_>e ms>&...

39
信号処理の実例 逆フィルター

Upload: others

Post on 22-Jan-2021

2 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: 信号処理の実例 逆フィルター - Kyoto U...$ s3¸s\KZÔ¹Ý ìM a#ú_>E Ms>& n>'4#&ì 逆フィルタ 畳み込みを使った劣化信号の復元 変換器・通信路

信号処理の実例

逆フィルター

Page 2: 信号処理の実例 逆フィルター - Kyoto U...$ s3¸s\KZÔ¹Ý ìM a#ú_>E Ms>& n>'4#&ì 逆フィルタ 畳み込みを使った劣化信号の復元 変換器・通信路

情報ネットワーク社会

実世界

21世紀社会の構造

物理化学法則

(従う)

法律・規則

(守る)

物理・化学モデル

計算・情報モデル

Page 3: 信号処理の実例 逆フィルター - Kyoto U...$ s3¸s\KZÔ¹Ý ìM a#ú_>E Ms>& n>'4#&ì 逆フィルタ 畳み込みを使った劣化信号の復元 変換器・通信路

情報ネットワーク社会

実世界

ID付与

認証

対象認識

実世界対象

自動車

不動産

情報世界対象

数値

文字

図形

グラフ

木構造

関係・相互作用

計算・処理

変化のモデル化

シミュレーション

予測

Page 4: 信号処理の実例 逆フィルター - Kyoto U...$ s3¸s\KZÔ¹Ý ìM a#ú_>E Ms>& n>'4#&ì 逆フィルタ 畳み込みを使った劣化信号の復元 変換器・通信路

情報ネットワーク社会

実世界

光景

実世界対象

自動車

不動産

情報世界対象

数値

文字

図形

グラフ

木構造

写真 カメラ撮影 (ボケ、ブレ)

ディジタル化

ディジタル化

逆フィルタ

Page 5: 信号処理の実例 逆フィルター - Kyoto U...$ s3¸s\KZÔ¹Ý ìM a#ú_>E Ms>& n>'4#&ì 逆フィルタ 畳み込みを使った劣化信号の復元 変換器・通信路

実世界での変換のモデル化

)(*)()(

)(

)(

)(

thtftg

th

tg

tf

     

を表わす関数:歪み(変換)の特性

換後の)対象:実世界の歪んだ(変

のない)対象:実世界の真の(歪み

化する。畳み込みとしてモデル

変換)過程を実世界における歪み(

Page 6: 信号処理の実例 逆フィルター - Kyoto U...$ s3¸s\KZÔ¹Ý ìM a#ú_>E Ms>& n>'4#&ì 逆フィルタ 畳み込みを使った劣化信号の復元 変換器・通信路

逆フィルタ 畳み込みを使った劣化信号の復元

変換器・通信路 (線形で時不変な変換)

入力 出力 ≠入力

との畳み込み による歪み

画像の場合…

逆フィルタ

理想的な画像 劣化画像

ピンボケ = 2次元ガウス関数

Page 7: 信号処理の実例 逆フィルター - Kyoto U...$ s3¸s\KZÔ¹Ý ìM a#ú_>E Ms>& n>'4#&ì 逆フィルタ 畳み込みを使った劣化信号の復元 変換器・通信路

逆フィルタ 畳み込みを使った劣化信号の復元

変換器・通信路 (線形で時不変な変換)

入力 出力 ≠入力

との畳み込み による歪み

フーリエ変換 逆フーリエ変換

逆フィルタ

との積 による復元

とすれば

一般に,この逆フィルタはうまく働かない!

Page 8: 信号処理の実例 逆フィルター - Kyoto U...$ s3¸s\KZÔ¹Ý ìM a#ú_>E Ms>& n>'4#&ì 逆フィルタ 畳み込みを使った劣化信号の復元 変換器・通信路

との畳み込み による歪み

画像劣化のモデル

雑音 関数 h :点広がり関数(PSF) ⇒ 画像劣化の性質を表す.

位置不変な

画像劣化の

モデル

とすると, この項の影響は?

フーリエ変換

復元画像:

変換器・通信路 (線形で時不変な変換)

入力 出力 ≠入力

Page 9: 信号処理の実例 逆フィルター - Kyoto U...$ s3¸s\KZÔ¹Ý ìM a#ú_>E Ms>& n>'4#&ì 逆フィルタ 畳み込みを使った劣化信号の復元 変換器・通信路

点広がり関数の例

原画像

フーリエ

変換

劣化(ボケ)画像

逆フーリエ

変換

0 0

B:横方向のブレ

u

v

A:ピンボケ

0

0 u

v

劣化(ブレ)画像

Page 10: 信号処理の実例 逆フィルター - Kyoto U...$ s3¸s\KZÔ¹Ý ìM a#ú_>E Ms>& n>'4#&ì 逆フィルタ 畳み込みを使った劣化信号の復元 変換器・通信路

逆フィルタの問題点と改良

0 0

A:ピンボケ

B:横方向のブレ

u

v

0

0 u

v

◆単純な逆フィルタ

の場合,

が小さな範囲では,

雑音成分が非常に大きくなる.

例えば,Aの場合,

が大きな範囲のみを利用.

閾値

Page 11: 信号処理の実例 逆フィルター - Kyoto U...$ s3¸s\KZÔ¹Ý ìM a#ú_>E Ms>& n>'4#&ì 逆フィルタ 畳み込みを使った劣化信号の復元 変換器・通信路

ウィーナ・フィルタ

◆単純な逆フィルタ:

◆低周波成分のみの逆フィルタ:

⇒ ノイズ項を無視している

⇒ SN比が比較的大きいと考えられる

低周波領域のみを利用する.

⇒ 原画像と復元画像の

平均2乗誤差を最小とするような

変換を求める.

雑音に弱い!

雑音に関する(統計的)性質を

積極的に利用

◆ウィーナ・フィルタ(Wiener filter)

* は複素共役を表す.

PN, PS はそれぞれ,雑音と

原信号のパワースペクトル.

Page 12: 信号処理の実例 逆フィルター - Kyoto U...$ s3¸s\KZÔ¹Ý ìM a#ú_>E Ms>& n>'4#&ì 逆フィルタ 畳み込みを使った劣化信号の復元 変換器・通信路

ウィーナ・フィルタの導出

劣化:

復元:

・・・①

・・・②

平方完成

M について整理

平均

を最小とする を求める. ※以下では,(u, v)を

省略して表記する.

),(),(

),(),(

vuMvuH

vuNvuF

と決定的関数:

と確率場  :

は独立と ),(),( vuNvuF

Page 13: 信号処理の実例 逆フィルター - Kyoto U...$ s3¸s\KZÔ¹Ý ìM a#ú_>E Ms>& n>'4#&ì 逆フィルタ 畳み込みを使った劣化信号の復元 変換器・通信路

ウィーナ・フィルタの導出

誤差の最小値 ウィーナ・フィルタ(Wiener filter)

※ 雑音成分がない(PN = 0)とすると,このフィルタは

に一致し,平均二乗誤差の最小値は 0 となる.

※ 確率場を用いた厳密な説明は,

「ディジタル画像処理(監訳:長尾眞,近代科学社,1978)」の第7章を参照すること.

で平均2乗誤差 は最小となる.

※ 通常,正確に求めることができないので,適当な定数 で近似する.

Page 14: 信号処理の実例 逆フィルター - Kyoto U...$ s3¸s\KZÔ¹Ý ìM a#ú_>E Ms>& n>'4#&ì 逆フィルタ 畳み込みを使った劣化信号の復元 変換器・通信路

結果の比較

ピンボケ

劣化画像 単純な逆フィルタ 低周波成分のみの

逆フィルタ ウィーナ・フィルタ

横方向のブレ

Page 15: 信号処理の実例 逆フィルター - Kyoto U...$ s3¸s\KZÔ¹Ý ìM a#ú_>E Ms>& n>'4#&ì 逆フィルタ 畳み込みを使った劣化信号の復元 変換器・通信路

課題9 課題17

1.真黒な紙に針で穴を開け、紙の後ろに電球を置く。

カメラでフォーカスを色々変えながら、前から紙の画像を撮影すると、ピンボケによる点広がり関数を画像データとして求めることができる。

2.紙にフォーカスを合わせた状態で、カメラのシャッタースピードを遅くし、紙を縦や横に動かして画像を撮影すると、ブレによる点広がり関数を画像データとして求めることができる。

3.2枚の色の異なった紙を前後に離して置き、フォーカスを変えながら画像を撮影をするとどうなるかを考えてみよう。

4.撮影した風景写真1枚を分析して、撮影時に生じた劣化を求めるには、どうすればよいか考えてみよう。

★最近米国で発売されたlight field cameraでは、撮影後に

画像のフォーカスを自由に変えることができる。

https://www.lytro.com/science_inside

Page 16: 信号処理の実例 逆フィルター - Kyoto U...$ s3¸s\KZÔ¹Ý ìM a#ú_>E Ms>& n>'4#&ì 逆フィルタ 畳み込みを使った劣化信号の復元 変換器・通信路

これまでの復習とこれからの課題 アナログ信号

・フーリエ変換とラプラス変換

・デルタ関数の導入によるフーリエ変換の拡張

・2次元フーリエ変換(2次元周波数) ・畳み込み演算、相関関数

・CTの原理(1次元フーリエ変換と2次元フーリエ変換の関係) ・逆フィルター

標本化

・デルタ関数の周期系列

・標本化定理(折り返し歪み・エイリアシング) ・補間関数

・2次元標本化定理

Page 17: 信号処理の実例 逆フィルター - Kyoto U...$ s3¸s\KZÔ¹Ý ìM a#ú_>E Ms>& n>'4#&ì 逆フィルタ 畳み込みを使った劣化信号の復元 変換器・通信路

標本化

Page 18: 信号処理の実例 逆フィルター - Kyoto U...$ s3¸s\KZÔ¹Ý ìM a#ú_>E Ms>& n>'4#&ì 逆フィルタ 畳み込みを使った劣化信号の復元 変換器・通信路

信号の標本化

n

T nTtt )()( 標本化パルス系列

標本化された信号 )()()( ttxtx Ts

n

s nTttxtx )()()(

),( ][

),( )}({)( )(

は整数

は整数

nnnx

nnnTxttxs

t

連続関数 数列

T

Page 19: 信号処理の実例 逆フィルター - Kyoto U...$ s3¸s\KZÔ¹Ý ìM a#ú_>E Ms>& n>'4#&ì 逆フィルタ 畳み込みを使った劣化信号の復元 変換器・通信路

数学の世界 実世界

対象

実世界対象

自動車

不動産

情報の世界

情報世界対象

数値

文字

図形

グラフ

木構造

計測 信号

)(tx

ディジタル化

ディジタル信号

][nx

標本化信号

)(txs

標本化

量子化

Page 20: 信号処理の実例 逆フィルター - Kyoto U...$ s3¸s\KZÔ¹Ý ìM a#ú_>E Ms>& n>'4#&ì 逆フィルタ 畳み込みを使った劣化信号の復元 変換器・通信路

数学の世界 実世界

対象

実世界対象

自動車

不動産

情報の世界

情報世界対象

数値

文字

図形

グラフ

木構造

計測 信号

)(tx

ディジタル化

ディジタル信号

][nx

標本化信号

)(txs

標本化

量子化(符号化)

離散時間信号

)(txc

Page 21: 信号処理の実例 逆フィルター - Kyoto U...$ s3¸s\KZÔ¹Ý ìM a#ú_>E Ms>& n>'4#&ì 逆フィルタ 畳み込みを使った劣化信号の復元 変換器・通信路

標本化された信号のフーリエ変換

標本化された信号 )()()( ttxtx Ts

)(*)(2

1)(

Ts XX

n

s

n

ss

ss

nXT

duuXnu

XXs

)(1

)(])([2

1

)](*)([2

1)(

標本化パルス系列のフーリエ変換

)()(

][1

)()(

s

s

s

n

ss

tjn

n

tj

TT

n

eT

dtet

F

n

tjn

Tse

Tt

1

)(フーリエ級数展開

Ts 2

Page 22: 信号処理の実例 逆フィルター - Kyoto U...$ s3¸s\KZÔ¹Ý ìM a#ú_>E Ms>& n>'4#&ì 逆フィルタ 畳み込みを使った劣化信号の復元 変換器・通信路

標本化定理

MM

MX 0)(帯域制限信号

標本化間隔Tで標本化

n

ss nXT

X )(1

)( Ts 2

0 Ms Ms M s

T

1

の場合Ms 2

0 Ms s

T

1

Ms

の場合Ms 2

Page 23: 信号処理の実例 逆フィルター - Kyoto U...$ s3¸s\KZÔ¹Ý ìM a#ú_>E Ms>& n>'4#&ì 逆フィルタ 畳み込みを使った劣化信号の復元 変換器・通信路

)()()( 2 MPTXX s

逆フーリエ変換

)2/()( SatP

の畳み込みと )]([F)()( 2

1 MTPtxtx s

なので、

の時

)(2)(

)()(

ftF

Ftf

)()]([F 2

1 tSaT

TP MM

M

Page 24: 信号処理の実例 逆フィルター - Kyoto U...$ s3¸s\KZÔ¹Ý ìM a#ú_>E Ms>& n>'4#&ì 逆フィルタ 畳み込みを使った劣化信号の復元 変換器・通信路

n

M

n

M

M

n

Ms

M

MMM

M

MsMs

nTtSanTx

dnTtSax

dtSanTxtSatxtx

t

ttSatSa

TTP

T

M

))(()(

)())(()(

))(()}()({)(*)()(

sin)()()]([F

22

2

1

なので、としたとき、

いる!異なったものになってがいつのまにか定義ととしており、

では教科書32ページ式

)(

sin*)()()(*)()(*)()(

(2.67)

tx

t

tnTtnTxtSatxthtxtx

s

M

M

n

Mss

Page 25: 信号処理の実例 逆フィルター - Kyoto U...$ s3¸s\KZÔ¹Ý ìM a#ú_>E Ms>& n>'4#&ì 逆フィルタ 畳み込みを使った劣化信号の復元 変換器・通信路

標本化定理

MM

MX 0)(帯域制限信号

):( 整数nnTn M

n

M

n M

M

nTtSanTx

nTt

nTtnTxtx

))(()(

)(

)](sin[)()(

のとき、Ms 2

Page 26: 信号処理の実例 逆フィルター - Kyoto U...$ s3¸s\KZÔ¹Ý ìM a#ú_>E Ms>& n>'4#&ì 逆フィルタ 畳み込みを使った劣化信号の復元 変換器・通信路

標本化された信号のフーリエ変換

標本化パルス系列

n

T nTtt )()(

t

フーリエ変換

T

n

ssT n )()(

s

標本化された信号 )()()( ttxtx Ts

)()(,)()( GtgFtf

)()()()(*)()( GFWtgtft

duuGuFtgtf )()(

2

1)()(

フーリエ変換と畳み込み

Page 27: 信号処理の実例 逆フィルター - Kyoto U...$ s3¸s\KZÔ¹Ý ìM a#ú_>E Ms>& n>'4#&ì 逆フィルタ 畳み込みを使った劣化信号の復元 変換器・通信路

(b) 処理対象の信号

)( 0tf

)(tf

)()( 00 ttgtf

(c) フィルタ関数を 平行移動して 倍する 0t )( 0tf

畳み込み:

dtgftgtf )()()(*)(

(a) フィルタ関数(インパルス応答)

(d) を変化させたときの波形 0t

(e) (d)の波形を全て重ね合わせて加算した信号

)(*)( tgtf

MM

n

ssT n )()(

s

0 Ms Ms M s

T

1

の場合Ms 2

畳み込み:

duuGuF )()(

Page 28: 信号処理の実例 逆フィルター - Kyoto U...$ s3¸s\KZÔ¹Ý ìM a#ú_>E Ms>& n>'4#&ì 逆フィルタ 畳み込みを使った劣化信号の復元 変換器・通信路

2次元信号の標本化

2次元フーリエ変換

dxdyvyuxjyxfvuF )}(exp{),(),(

dudvvyuxjvuFyxf )}(exp{),()2(

1),(

2

標本化格子: ,...)2,1,0, ),(( 21 nmyxrrnrmrmn

周波数領域の

双対格子:

ji

jir

qpvuqp

ji

pq

0

1

,...))2,1,0, ),(( 21

    

但し

Page 29: 信号処理の実例 逆フィルター - Kyoto U...$ s3¸s\KZÔ¹Ý ìM a#ú_>E Ms>& n>'4#&ì 逆フィルタ 畳み込みを使った劣化信号の復元 変換器・通信路

x

y

u

v

標本化格子: ,...)2,1,0, ),(( 21 nmyxrrnrmrmn

周波数領域の

双対格子:

ji

jir

qpvuqp

ji

pq

0

1

,...))2,1,0, ),(( 21

    

但し

2r

1r

2

1

Page 30: 信号処理の実例 逆フィルター - Kyoto U...$ s3¸s\KZÔ¹Ý ìM a#ú_>E Ms>& n>'4#&ì 逆フィルタ 畳み込みを使った劣化信号の復元 変換器・通信路

2次元信号の標本化定理

1次元信号の場合

2次元信号の場合

n

s nTttxtx )()()(

n

ss nXT

X )(1

)(

の面積で作られる平行四辺形21, :A

)(A

1 )(

)()( )(

rr

FF

rrrfrf

p q

pqs

m n

mns

Page 31: 信号処理の実例 逆フィルター - Kyoto U...$ s3¸s\KZÔ¹Ý ìM a#ú_>E Ms>& n>'4#&ì 逆フィルタ 畳み込みを使った劣化信号の復元 変換器・通信路

2次元信号の標本化

Page 32: 信号処理の実例 逆フィルター - Kyoto U...$ s3¸s\KZÔ¹Ý ìM a#ú_>E Ms>& n>'4#&ì 逆フィルタ 畳み込みを使った劣化信号の復元 変換器・通信路

標本化定理の意味

0 Ms Ms M s

T

1

の場合Ms 2

)()()( MPTXX s

逆フーリエ変換

の畳込みと )]([F)()( 1 MTPtxtx s

):( 整数nnTn M

n

M

n M

M

nTtSanTx

nTt

nTtnTxtx

))(()(

)(

)](sin[)()(

る。間と見なすことができこれは、離散信号の補

の値が求められる。における以外の任意の

てを畳み込むことによっと標本化された信号

つまり、

)(

)()(

txtnTt

tSatx Ms

Page 33: 信号処理の実例 逆フィルター - Kyoto U...$ s3¸s\KZÔ¹Ý ìM a#ú_>E Ms>& n>'4#&ì 逆フィルタ 畳み込みを使った劣化信号の復元 変換器・通信路

t

離散信号の補間法(I)

t

t t Tt Tt

 

1

のとき  

のとき    

t

tttxtx )()(ˆ

1.最近傍補間

 )()()(ˆ txtxtx

2.線形補間

Page 34: 信号処理の実例 逆フィルター - Kyoto U...$ s3¸s\KZÔ¹Ý ìM a#ú_>E Ms>& n>'4#&ì 逆フィルタ 畳み込みを使った劣化信号の復元 変換器・通信路

離散信号の補間法(II)

3.3次多項式補間

|)|2(0

)2||1(||||5||84

)1||0(||||21

)()()()(ˆ 32

32

t

tttt

ttt

tCnTtCnTxtxn

          

   

     

 

4.標本化定理

):( 整数nnTn M

n

M

n M

M

nTtSanTx

nTt

nTtnTxtx

))(()(

)(

)](sin[)()(

tnT

Page 35: 信号処理の実例 逆フィルター - Kyoto U...$ s3¸s\KZÔ¹Ý ìM a#ú_>E Ms>& n>'4#&ì 逆フィルタ 畳み込みを使った劣化信号の復元 変換器・通信路

課題9 課題18

行いなさい。

の値をいろいろ変えて、計算においては、

。との誤差を描きなさいそれぞれ計算で求め、

をの復元結果の関数補間、標本化定理で元

補間、3次多項式から最近傍補間、線形関数

で標本化したを標本化周波数また、

なさい。両者の誤差関数を描き

の近似関数であるが、は補間関数

s

s

s

tx

txtx

tx

ttx

tSatC

0

0

)(

)(ˆ)(

)(

sin)(

)()(

Page 36: 信号処理の実例 逆フィルター - Kyoto U...$ s3¸s\KZÔ¹Ý ìM a#ú_>E Ms>& n>'4#&ì 逆フィルタ 畳み込みを使った劣化信号の復元 変換器・通信路

補間が必要となる処理

• サンプリング周波数の変換

– Downsampling:サンプリング周波数を下げる

– Upsampling:サンプリング周波数を上げる

• 画像の拡大縮小・回転・座標系の変換

Page 37: 信号処理の実例 逆フィルター - Kyoto U...$ s3¸s\KZÔ¹Ý ìM a#ú_>E Ms>& n>'4#&ì 逆フィルタ 畳み込みを使った劣化信号の復元 変換器・通信路

画像の幾何学的変換・補正

計算

幾何学的変換 幾何学的変換

Page 38: 信号処理の実例 逆フィルター - Kyoto U...$ s3¸s\KZÔ¹Ý ìM a#ú_>E Ms>& n>'4#&ì 逆フィルタ 畳み込みを使った劣化信号の復元 変換器・通信路

原画像(白枠の部分を拡大)

最近傍補間 線形補間

Page 39: 信号処理の実例 逆フィルター - Kyoto U...$ s3¸s\KZÔ¹Ý ìM a#ú_>E Ms>& n>'4#&ì 逆フィルタ 畳み込みを使った劣化信号の復元 変換器・通信路

1.ホームページにある音データに対して、

1/2のdownsamplingおよび2倍のupsamplingを行ったものを

そのまま音として聞くとどのようになるかを調べなさい。

(音再生ソフトは再生する音データのサンプリング周波数が

固定あるいは可変になっている。)

2.通常のNTSC規格のビデオ映像(640x480画素)を

ハイビジョンテレビ( 1920×1080 画素)で映す場合および

その逆の場合には、どのような処理をすればよいか

考えなさい。

課題19