カラー情報の表現と解析カラ 情報の表現と解析

呉海元＠和歌山大学呉海 和歌2010年6月28日

参考書：参考書：

●南 敏、中村 納

画像工学(増補)―画像のエレクトロニクス―コロナ社コロナ社

●松山隆司 久野義徳 井宮淳：●松山隆司、久野義徳、井宮淳：

コンピュータビジョン --技術評論と将来展望--新技術コミュニケーションズ、1998

期末試験の通知期末試験の通知

7月22日（木） 4コマ A204

Physics-Based Visiony● 知覚とは別に，視覚系への色刺激となる光の物理現象を調べて，これを利用する視覚研究現象を調 て，これを利用する視覚研究

●物体表面での光の反射の仕方（物体表面を構成する材質によって異なる）がカラー画像生成を決定づけるる材質によって異なる）がカラ 画像生成を決定づける

Observer (Camera)光源 カメラ

)(LightE )(E

)()()(Light Reflected

EL光の反射の仕方物体表面の材質による)()()( EL

物体

物体表面の材質による

)(Object of eReflectanc

Color Image FormationColor Image FormationObserver (Camera)

照明光源 カメラ

OutputCamera RGBLight

)(ELight Reflected 光の反射の仕方

)()()( EL

物体

物体表面の材質による

)(Object of eReflectanc

物体

●画像内の物体の色は照明光源、物体、カメラ３者

の幾何関係と物体表面の材質に応じて変化の幾何関係と物体表面の材質に応じて変化

Color Image Formation（カメラ）Color Image Formation（カメラ）

OutputCameraRGB

Observer (Camera)光源 カメラ

)(LightE

OutputCameraRGB

)(E

)()()(Light Reflected

EL光の反射の仕方物体表面の材質による)()()( EL

物体

)(Object of eReflectanc

Observer/SensorObserver/SensorEye Response Camera Response

Reflected light spectrum is represented by a 3 element vector

・人間の目とカメラセンサーの色知覚が異なる人間の目とカメラセンサ の色知覚が異なる・反射光のスペクトルがRGB3次元のベクトルより表現

表色系(Color System)

表色系は特定の記号を用いて 色の表示を明確表色系は特定の記号を用いて、色の表示を明確に行うための一連の規定および定義からなる体系である (CIE C l St d d 1931)系である (CIE Color Standard – 1931)

CIE standardized (Commission InternationaleCIE standardized (Commission Internationale de L’Eclairage) → 国際照明委員会

CIE色空間CIE色空間 CIEは“imaginary”光を三つ（X, Y, Z）定義g y , ,

0.490 0.310 0.2000 177 0 813 0 011

RG

XY = 0.177 0.813 0.011

0.000 0.010 0.990GB

YZ

人間の目

Measured vs CIE色空間Measured vs. CIE色空間

measured basis CIE transformed basis• 単色光

• 物理的観測

• イメージされた光源

• 全部正、単位面積

• 負の部分を含む • Ｙは明るさ

CIE色空間とRGB色空間CIE色空間とRGB色空間以降のRGBは画像処理分野に使っているもの

CIE色空間CIE色空間

RGB色空間（立方体）RGB色空間 in CIE色空間

明るさと独立した色度平面内のRGB明るさと独立した色度平面内のRGB

1b 1 bgr

Same Color, different

Colour CubeChromaticity Plane色度平面

brightnesses

BbGgRr BGR

bBGR

gBGR

r

CIE色度図CIE色度図

３次元のCIE色空３次元のCIE色空

間内の色を２次元に変換し、表現：に変換し、表現：

X X+Y+ZX = xy

Y X+Y+ZY = y

Z X+Y+ZZ = z

x+y+z = 1

x xy色度図

HSV色空間HSV色空間

HSV色空間

Saturation

HSV色空間

ValueSaturation

Hue

Color SpacespModels Applications

Colorimetirc XYZ（基準空間） Colorimetric calculations

i if S iDevice-oriented

Non-uniform spacesRGB, YIQ, YCC, ...

Storage, processing, analysis, coding, color TV

Uniform spacesL* a* b*, L* u* v*, ...

Color difference evaluation, analysis, color

t tmanagement systems

User-i d

HSI, HSV, HSL, I1I2I3

Human color perception, computer graphicsoriented I1I2I3, ... computer graphics

Munsell Human visual system

RGB to YIQ・YUV YIQ色空間(カラーテレビ、Used in NTSC： National

Television Systems Committee)Television Systems Committee) Y：明るさ, I & Q：色 (I=red/green, Q=blue/yellow)

Y 0 299 R + 0 587 G + 0 114 B• Y = 0.299 R + 0.587 G + 0.114 B• I = 0.596 R - 0.275 G - 0.321 B• Q = 0.212 R - 0.528 G + 0.311

色空間（ YUV色空間（デジタルビデオカメラ、1982 standard）• Y = 0.299R + 0.587G + 0.114B• U = 0.492(B – Y)• V = 0 877(R Y)• V = 0.877(R – Y)

カラーデバイスとCIE色度図の比較

色弁別(Color Discrimination)色弁別(Color Discrimination)色弁別：色の違いを見つけること；

●観測者は刺激光を参考光に何回も繰り返し等色する実験より測定

等色実験

図の中の図の中のI, III, IIはは白色拡散反射面であり、白色拡散反射面であり、IIにはには33原色光を濃度原色光を濃度フィルタを通して照射しフィルタを通して照射しフィルタを通して照射し、フィルタを通して照射し、IIIIには試料光を照射するには試料光を照射する

●RGBの量を適当に調整し●RGBの量を適当に調整し、

I，IIの色がまったく一致した時等色された

●明るさも一致していなければならない

色弁別色弁別

●刺激光は参考光の周りにばらつく

●そのばらつきの標準偏差を求め 10倍して表示求め、10倍して表示

●CIE色度図の上方の緑色の

部分の楕円は極めて大きく部分の楕円は極めて大きく、左下の青紫の部分の楕円は極めて小さい極めて小さい

●人間の色に対する弁別能力が、色度図上の位置によって大きく異なる大きく異なる

均等色度図均等色度図

●色度図の座標変換を行って 色度図上の●色度図の座標変換を行って、色度図上のどの部分においても、標準偏差の楕円は大きさが等しい円として示されるようになれば 色さが等しい円として示されるようになれば、色度の視覚差がどこでも均質なものとなる

●このようにして得られる色度図が均等色度図(U if Ch i i S l Di図(Uniform Chromaticity Scale Diagram, UCS Diagram)であるg )

CIE1960UCS色度図CIE1960UCS色度図

●CIE1960UCS色度図（xy色度図）への座標変●CIE1960UCS色度図（xy色度図）への座標変換は次式より行われている

4 / ( 2 +12 +3) 6 / ( 2 +12 +3)u = 4x / (-2x+12y+3); v = 6y / (-2x+12y+3)●3刺激値X, Y, Zを用いれば

u = 4X / (X+15Y+3Z); v = 6Y / (X+15Y+3Z) となるとなる

●利点：式で簡単に計算できる

欠点：完全に均一になっていない

→楕円は円に近いが 円になっていない→楕円は円に近いが、円になっていない

均等色空間（D.Farnsworth 1957）均等色空間（D.Farnsworth 1957）

心理実験より心理実験より

混色

●混色：二つの色を

混色

混合して別の色を生ずること

●加法混色●加法混色：

二つの色光を同一スクリ ン上に重ねてスクリーン上に重ねて投影したときに別の色が生ずるような混色●減法混色：

光源とスクリーンの間に色フィルタ・他の吸収媒質を置き、その重ね合わせによって重ね合わせによって別の色を生じさせるような混色

カラーテレビジョンカラ テレビジョン

Additive (RGB)( )加法混色

カラ 画像表示は 加法混色の原理に基づくカラー画像表示は、加法混色の原理に基づく

加法混色の3原色：赤(red)● 緑(green)● 青(blue)●を光の３原色が用いられる赤は波長700nmの光，緑は波長546.1nmの光，そして青は波長435.8nmの光です．

CRTディスプレイの構造CRTディスプレイの構造

減法混色 補色減法混色・補色

減法混色では、RGBの補色(Complementary Color）、シアン（シアン（CC））、、マゼンタ（マゼンタ（MM））、、黄（黄（YY））を3原）、シアン（シアン（ ））、、 ンタ（ンタ（ ））、、黄（黄（ ））を 原色として用いる

補色: 二つの色光を加えて白色になる場合、それら二つの色光は互いに補色の関係があるれら 色光 補色 関係 ある

カラープリントの場合は、減法混色の原理に基づいて色を再現している

Subtractive (CMYK)減法混色減法混色

●反射光として目に入り、カラー画像として知覚されるて知覚される

●カラープリントは、シアン(cyan)● マゼンタ(magenta)● イエロー( )● 原色からカ 画像を構成(yellow)● の３原色からカラー画像を構成

●カラープリントに入射した光は、C層でRを、M層でGを、Y層でBを吸収吸収

赤を吸収 緑を吸収 青を吸収 赤と緑を吸収 緑と青を吸収 青と赤を吸収

光学迷彩 光を完全に透過・回折させる光を完全に透過 回折させる

http://rikunabi-next.yahoo.co.jp/tech/docs/ct_s03600.jsp?p=000878

Color Image SegmentationColor Image Segmentation Pixel-based techniques（画素） Pixel based techniques（画素）

Region-based techniques（領域）

Edge-based techniques（エッジ）

Stochastical Model-based techniques Stochastical Model-based techniques（確率的）

物 Physics-based techniques（物理）

Hybrid techniques（混成）Hybrid techniques（混成）

Example modelling skin and p gsegmenting

Color Clustering (or Segmentation) g ( g )by K-means Algorithm

Image Clusters on intensity Clusters on color

2

x j i

2

jelements of i' th cluster

iclusters

Color Clustering (Segmentation) by K-meansForm K-means clusters from a set of n-dimensional vectors1. Set i (iteration count) to 11. Set i (iteration count) to 12. Choose randomly a set of K means m1(1), …, mK(1).3. For each vector xi, compute D(xi,mk(ic)), k=1,…K3. For each vector xi, compute D(xi,mk(ic)), k 1,…K

and assign xi to the cluster Cj with nearest mean.4. Increment i by 1, update the means to get m1(i),…,mK(i).4. Increment i by 1, update the means to get m1(i),…,mK(i).5. Repeat steps 3 and 4 until Ck(i) = Ck(i+1) for all k.

Original RGB Image Color Clusters by K-Means

画像上での対象追跡（K-means Tracker）

Nd５次元特徴空間

入力画素

ターゲットクラスタ中心

非ターゲット楕円重心

＝５次元特徴空間

Tdタ ゲットクラスタ中心

対象の位置

2

2

~1)(min uTNiT id ff

d 最も近いタ ゲ トまでの距離dTd

2

~1)(min uNTEjNT jd ff

Td :最も近いターゲットまでの距離

Nd :最も近い非ターゲットまでの距離

Nd

Color Image Segmentationg g

Histograms for the three color spaces

出席チ ック出席チェック

色空間の名前を５つ記入し、それぞれの特徴を述べなさい述べなさい。

学籍番号と名前記入して提出してください学籍番号と名前記入して提出してください。

課題課題スイカ画像から赤と緑の部分をそれぞれ分離して下さいスイカ画像から赤と緑の部分をそれぞれ分離して下さい。スイカの画像例：

2週間後提出してください2週間後提出してください。

RGBからHSVへの変換R、GおよびBが0.0を最小量、1.0を最大値とする0.0から1.0の範囲にあり、(R,G,B)で定義された色が与えられたとすると、それに相当する(H,S,V)カラーは次のような数式により決定することができる。MAXを(R,G,B)値の最大値と等しく、MINをその最小値と等しいする。この式は次のように書ける。MAXを(R,G,B)値の最大値と等しく、MINをその最小値と等しいする。 の式は次のように書ける。

結果は(H,S,V)形式であり、またHは0.0から360.0まで変化し、色相が示された色環に沿ったディグリー結果は( , , )形式 あり、また は ら ま 変化し、色相 示された色環 沿 たディグリの角度で 表現される。SおよびVは0.0から1.0までの範囲で変化し、それぞれ0.0を最小値、1.0を最大値とした彩度および明度である。角座標系で、Hは 360から0までを覆っており、0.0から360.0の範囲を超えるHのいずれもHを360.0で割ることでこの範囲に対応させることができ、剰余（また は「モジュラ演算」）で求めることができる つまり たとえば 30は330と等しく 480は120と等しくなる算」）で求めることができる。つまり、たとえば-30は330と等しく、480は120と等しくなる。この式がHSVの他の性質の影響を示すことにも注意。MAX = MIN(例・S = 0)のとき、 Hは定義されない。上記のHSV空間の図を考慮すればこれは明白である。もしS = 0ならこの色は中央のグレイの直線の周囲にあり、従って必然的にこの色には彩度がなく、。 中央 直線 周囲 あり、従 然 彩度 、角座標には意味がない。MAX = 0（例・V = 0）のとき、Sは未定義である。これは上記の円錐状の図に最もよく表れている。もしV = 0ならこの色は完全な黒であり、この色に色相も彩度もないことは自明である。従って円錐状の図は単 の点に潰れ この点では角度も角座標系も無意味であ る単一の点に潰れ、この点では角度も角座標系も無意味であ る。円柱よりは円錐モデルを好む人は、次のようにSの方程式を変更することによって円錐空間を実現することができる。

Color Image Formation（光源）Color Image Formation（光源）

OutputCameraRGB

Observer (Camera)光源 カメラ

)(LightE

OutputCameraRGB

)(E

)()()(Light Reflected

EL光の反射の仕方物体表面の材質による)()()( EL

物体

)(Object of eReflectanc

Seeing Color Image●画像内の物体の色は照明光源、物体、カメラ３者の幾何関係と物体表面の材質に応じて変化何関係と物体表面の材質に応じて変化

Fixed color of light

Fixed viewing Fixed lightingFixed viewingangle

Fixed lightinggeometry

光源の幾何関係(shading)光源の色

光源の幾何関係1:光源の位置

nn

e2

が小さ

e1が大きい が小さいが大きい

暗い 明るい

光源は物体表面の法線方向に近いほど、画像の色が明るくなる

明るい

光源の幾何関係2:マルチ光源光源の幾何関係 ルチ光源

有効光源マルチ光源

n n

有効光源マルチ光源

e1 e2

e1+ e2

1 2

●マルチ光源は一つの有効光源に等価することも可能●光源が多いほど、画像の色が明るくなる

Electromagnetic SpectrumElectromagnetic Spectrum

Colour Vision 46

Visible LightVisible Light

Wavelength in nanometer

Coloured light is electromagnetic energy between 400 and 750nm

Colour Vision 47

Li ht S t f Fl t Li htLight Spectrum of Fluorescent Light

From OsramColour Vision 48

From Osram

照明のスペクトル変化Spectral Variation of the Illumination

光源のスペクトルが変化するならBlack Body

光源のスペクトルが変化するならIf Spectra of Light Source Changes

y

反射光のスペクトルが変化するT, Kelvin

反射光の クトルが変化するSpectra of Reflected Light Changes

光源のスペクトルBlackbody Radiator黒体放射 Fluorescent light蛍光灯

光源のスペクトルは関係した色温 (C l t d C l光源のスペクトルは関係した色温 (Correlated Color Temperature; CCT)より構成される

温度（熱力学温度）評価の基本単位：ケルビン(Kelvin; K).

光源のスペクトルCCT = 6200KCCT = 2600KBlackbody Radiator

Fluorescent light

・光源の色温度が異なると、同じ物体でも撮られた画像の色が異なるＫ：絶対温度（＝摂氏温度＋273 15）・Ｋ：絶対温度（＝摂氏温度＋273.15）

全ての分子の運動が停止する絶対零度＝0K

画像の色が光源色に依存画像の色が光源色に依存

（標準カ ボ ド）Macbeth color checker（標準カラーボード）

Daylight Tungstenタングステン電球白色蛍光灯

Redder

光源色の補正光源色の補正

Illuminant ColorTungsten M b th lg

Color照明が何に？

Macbeth color checkerと一致

ColorCorrection

元の照明光源の色が分かれば元の照明光源の色が分かれば、照明による画像の色変化が校正・除外できる

光源色の推定

Macbeth color と 較?Illuminant

Estimationcheckerと比較

ColorColorCorrection

肌色より光源色の推定肌色より光源色の推定

Colour Vision 55

Example of ApplicationColor Correction

Estimation error 1.6°1.6

von Kreis

00RRc

Transformation

000000

BGR

BGR

c

c

Canonical image Re-rendered imageImage taken under

00BB

at CCT = 3200Kto canonical cond.標準条件の画像

CCT = 4700K

Estimating the Illuminant Colorg||

C C CComputational Color Constancy

光源色の推定||

色恒常性 計算色恒常性の計算

Representative ColorConstancy Algorithms

Grey-world color constancy [e.g. Hunt] Linear model algorithms [Maloney-Wandell]g [ y ] Neural Net approach [Funt-Cardei] Gamut Mapping Color Constancy [Forsyth 1991] Gamut Mapping Color Constancy [Forsyth 1991] Example: Illuminant Estimation from Skin

Colour Vision 58

How do image colors depend on lighting? Color Constancy

Colour Vision 59