Yüz Tarayıcısı Verilerinin �yile�tilmesi için 3B Veri ��leme

3D Data Processing for Enhancement of Face Scanner Data

Nesli Bozkurt, U�ur Halıcı, �lkay Ulusoy, Erdem Akagündüz

Elektrik ve Elektronik Mühendisli�i Bölümü Orta Do�u Teknik Üniversitesi

{halici,ilkay,erdema}@metu.edu.tr

Özetçe1

3B yüz tarayıcılarla elde edilen veriler ani çıkıntılar, delikler

ve gürültü gibi bazı hatalar içermektedir. Yüzdeki öznitelikler

bozulmadan bu tür hataların giderilerek 3B yüz verisinin

iyile�tirilmesi, bu tür verilerin kullanılaca�ı uygulamalar

açısından önem ta�ımaktadır. Bu çalı�mada, ani çıkıntıların

yok edilmesi için e�ikleme, deliklerin doldurulması için

e�ikleme ve yüz simetrisi, düzgünle�tirme içinse iki yanlı filtre

kullanılmı� ve FRGC 3B yüz verileri üzerinde ba�arılı

sonuçlar elde edilmi�tir.

Abstract

The data acquired by 3D face scanners have distortions such

as spikes, holes and noise. Enhancement of 3D face data by

removing these distortions while keeping the face features is

important for the applications using these data. In this study,

thresholding is used for removing spikes, thresholding

together with face symmetry is used for hole filling and

bilateral filtering is used for smoothing and satisfactory

results are obtained on FRGC 3D face data.

1. Giri�

Son zamanlarda yüz tanıma alanında 2B görüntüler yerine 3B yüz verileri kullanılmaya ba�lanmı�tır. Modelleme ve animasyon yine 3B yüz verilerinin kullanıldı�ı di�er uygulama alanlarıdır. Gerçek insanlardan 3B yüz verisi toplamak amacıyla 3B yüz tarayıcıları kullanılmaktadır. Ancak bu veriler yüz ile birlikte boyun omuz gibi bölgeleri de içermekte, ayrıca veri üzerinde ani çıkıntılar, delikler ve pütürler bulunmaktadır. Dolayısı ile bu verilerin uygulamada kullanılmadan önce iyile�tirilmesi gerekmektedir. �yile�tirme sırasında 3B tarayıcı çıktısındaki hatalar giderilirken yüz özniteklerinin korunabilmesi önemlidir. A�a�ıdaki bölümlerde FRGC veritabanı açıklandıktan sonra, 3B yüz tarayıcı çıktılarının iyile�tirilmesi amacıyla uyguladı�ımız yöntemler anlatılmı� ve FRGC veritabanında yer alan 3B yüz verileri üzerinde bu yöntemler kullanılarak elde edilen örnek sonuçlar sunulmu�tur.

2. FRGC Veritabanı

FRGC (Face Recognition Grand Challenge, Yüz tanıma büyük yarı�ması) yüz tanıma tekniklerinin kar�ıla�tırılabilmesi ve bu konudaki geli�melerin izlenebilmesi için 2004-2006

1 Bu çalı�ma ODTÜ BAP- 2008-0301-03 Yapısal I�ık Kayna�ı Kullanarak Çoklu Kamera ile 3Boyutlu Yüz Modelleme projesi kapsamında desteklenmi�tir.

arasında düzenlenmi� bir yarı�madır. FRGC, yüz tanıma yöntemlerinin uygulanması sırasında uyulacak protokollerle birlikte yöntemlerin üzerinde uygulanaca�ı 2B ve 3B yüz görüntülerinden olu�an bir veri tabanı da içermektedir [1]. Bu çalı�mada FRGC ver1.0, veri tabanınında yer alan 3B veri kümesi kullanılmı�tır. Bu veri kümesindeki yüz verileri birbirine kayıtlanmı� 2B renkli görüntü ve Minolta Vivid 3D lazer tarayıcı ile alınmı� 3B biçim verisi çifti halindedir. Veri kümesinde 275 de�i�ik ki�iye ait toplam 943 adet 2B-3B veri çifti bulunmaktadır. Kullanılan FRGC veri kümesindeki tüm görüntüler önden ve normal yüz ifadesi ile alınmı�tır, ancak derinlik yönünde ufak poz de�i�imleri ile birlikte önemli yer ve büyüklük farklılıkları içermektedir. Bazı görüntülerde dönme ve yüz ifadesi farklılıkları da bulunmaktadır. 2B görüntüler 480x640 piksel (24 bit RGB) çözünürlü�ündedir.

�ekil 1: FRGC veritabanında yer alan bir 3B veri örne�i ve detayı

Her bir 3B yüz verisi 480x640x4 eleman içermektedir. 2B görüntüdeki her bir piksel için kayıtlanmı� 3D veride x, y, z ve v olmak üzere 4 de�er bulunmaktadır. v de�eri bu piksel için geçerli bir 3B bilgisi sa�lanıp sa�lanmadı�ını göstermektedir. Geçerli v de�erine (v=1) sahip pikseller için x, y ve z de�erleri, bu piksele kar�ılık gelen noktanın 3B uzaydaki

978-1-4244-4436-6/09/$25.00 ©2009 IEEE 456

konumunu göstermektedir. Geçersiz v de�erine (v=0) sahip pikseller içinse, bu pixele ait di�er de�erler “-999999.000000” olarak atanmı�tır. 3B veri alma sistemindeki yetersizliklerden dolayı özellikle saç, kirpik, ka�, burun altı, çene altı gibi bölgelerde geçersiz v de�eri içeren delikler bulunmakta, ayrıca yüzeyler ani çıkıntılar ve pürüzler içermektedir. Veriler genellikle kafanın yanısıra boyun ve omuzları da kapsamaktadır (�ekil 1).

3. Yüz verilerinin iyile�tirilmesi

3.1. Yüz Bölgesinin Çıkarılması

Di�er tüm düzeltmelerden önce, ilk adım omuz ve boyunu da içeren 3B nokta bulutu içinde yüz bölgesine ait noktaların bulunarak bölütlenmesidir. Yüzün bölütlenmesi için, “tarama alanı içerisinde yüzün diger vücut parçalarına göre tarayıcıya daha yakın oldu�u” varsayımı kullanılmı�tır. Öncelikle, bir e�ik de�eri kullanılarak yüz-bölgesi ve di�er bölgeler birbirinde ayrılmı�tır. Daha sonra kaynak [2]’de verilene benzer bir biçimde, birbirine ba�lantılı elemanlar etiketlenerek, taramanın orta bölümünde yer alan en büyük ba�lantılı eleman yüz bölgesi olarak kabul edilmi�tir. (�ekil 2)

�ekil 2: Yüz bölgesinin çıkarılması a) Orjinal derinlik

görüntüsü, b) Yüzün bölütlenerek di�er kısımların atıldı�ı derinlik görüntüsü

3.2. Ani Çıkıntıların Yokedilmesi

Bunun için önce ani çıkıntıların saptanması gerekmektedir. Bir noktanın ani çıkıntı olup olmadı�ına karar vermek için derinlik görüntüsü üzerinde o noktanın kom�ulu�undaki noktalara bakılmaktadır. Karar mekanizması oldukça basittir. Bir pikselin derinlik de�eri e�er 5x5 lik bir kom�uluk içindeki geçerli v de�erine sahip piksellerin yarısından fazlasının derinlik de�erinden önemli ölçüde farklılık gösterirse bu piksel ani çıkıntı olarak gözönüne alınmakta ve geçerli kom�u piksel derinlik de�erlerinin ortalaması bu pikselin yeni derinlik de�eri olarak atanmaktadır (�ekil 3).

�ekil 3: Orjinal tarama verisi üzerinde ani çıkıntı

3.3 Deliklerin doldurulması

Tarayıcı verisindeki delikler geçersiz v de�erine sahip piksellerden olu�maktadır. Veri tabanındaki her bir yüz modelinde, özellikle göz bebe�i ve ka� bölgesinde delikler gözlenmi�tir (�ekil4).

�ekil 4: Göz bebe�i ve ka� bölgesinde gözlenen delikler

�ekil 5: Göz bebe�i ve ka� bölgesinde gözlenen deliklerin

doldurulmu� hali Yüz verisindeki geçersiz pikseller, negatif yöndeki ani çıkıntılar olarak da de�erlendirilebilir. Dolayısı ile ani çıkıntılar için uygulanan algoritma küçük deliklerin yokedilmesi için de iyi sonuç vermektedir. Ancak deliklerin büyüklü�ü artttıkça, 5x5 kernelde yeterli sayıda geçerli pikel sa�lamakta sorun ortaya çıkmakta ve bu yakla�ım uygulanamamaktadır. Böyle bir durumda, burun ucundan geçen dikey çizgiye göre alınan simetri deliklere derinlik de�eri vermekte kullanılmı�tır. Simetri uygulandıktan sonra, e�er hala bazı delikler kalıyorsa, delik doldurma algoritması yinelenmektedir (�ekil 6).

978-1-4244-4436-6/09/$25.00 ©2009 IEEE 457

�ekil 6: Yüz simetrisi ve delik doldurmanın yinelemeli

uygulanması ile elde edilen sonuç

3.4. Düzgünle�tirme

Ani çıkıntıların yok edilmesi ve delik doldurma i�lemleri tamamlandı�ında yüz modeli yüzeyinde süreklilik sa�lanmı� olmakta ancak yüzey üzerinde halen istenmeyen pütürler bulunmaktadır. Gerçek yüzlerdekine benzer düzgün bir yüzey elde edebilmek için pütürleri olu�turan gürültünün filtrelenmesi gerekmektedir. Ancak gürültüsü giderilmi� modeller elde edilirken, yüz üzerindeki özniteliklerin de kaybolmaması gerekmektedir. 2B görüntülerde bir çok yöntem arasında, ikiyanlı filtreleme (Bilateral Filtering), basit ve güçlü bir gürültü giderme yöntemidir. Bu yöntemle görüntü gürültüden arındırılarak düzgünle�tirilirken kenarların keskinli�inin korunabilmesi, yöntemin en güçlü yanıdır. Bu çalı�mada, 2B için tanımlanan iki yanlı filtreleme yöntemi bazı de�i�ikliklerle 3B için adapte edilerek 3B yüz verisinin düzgünle�tirilmesi için kullanılmı�tır. 2B görüntüler için tanımlanan ikiyanlı filtreleme, Gaussyan bulandırmaya benzer bir yöntemdir ancak bu yöntemde filtreleme sırasında fazladan bir “erim (range)” terimi kullanılmaktadır. Bu durumda, sadece pikseller arasındaki pozisyon uzaklıkları de�il, aynı zamanda pikseller arasındaki ye�inlik (intensity) farklılıkları da göz önüne alınmakta ve büyük ye�inlik farklılıkları ile tanımlanan kenarlar ba�arı ile korunmaktadır. 2B görüntülerde ye�inlik de�erleri pozisyon de�erlerinin bir fonksiyonudur. Buna kar�ın 3B verilerde pozisyon, gerçekte sinyalin kendisidir. Dolayısı ile, 3B veri üzerine uygulanmak üzere ikiyanlı filtreleme üzerinde yapılacak de�i�iklikler do�rudan elde edilebilecek türden de�ildir. 3B yüzeyler üzerine genelle�tirilen görüntü i�leme algoritmalarının ço�unda oldu�u gibi, 3B veri noktalarındaki yüzey normali bilgisi 2B görüntülerdeki piksellerin ye�inlik de�erine benzer �ekilde kullanılabilir. 3B uygulamalar için bu türden bazı genelle�tirmeler literatürde bulunmaktadır. �kiyanlı filtreler, kaynak [3]’de ba�lantısız poligon kafeslere ve [4]’de yinelemeli bir yakla�ımla ba�lantılı kafeslere geni�letilmi�tir. Buna ek olarak kaynak [5]’de görüntüler için olan ikiyanlı filtre birinci dereceden bir prediktör olarak de�i�tirildikten sonra kafeslere genellenmi�tir. Bu çalı�mada ise, noktalar bir ızgara üzerinde düzgün bir biçimde yer aldı�ından, kom�u yüzeylerle ilgilenmek yerine, büyüklü�ü ayarlanabilen dikdörtgen kerneller kullanılmı�tır ve erim de�eri olarak yüzey normalleri göz önüne alınmı�tır. 3B için önerilen ikiyanlı filtre a�a�ıda verilmi�tir.

(1)

Burada P kestirim yapılacak nokta, Pe bu noktanın gürültüden arındırılmak üzere kestirim yapılmı� yeni hali, S’ler ise P etrafındaki V hacmi içinde yer alan di�er noktalardır. G�s

uzaysal a�ırlık fonksiyonudur ve a�ırlık fonksiyonu olarak tek boyutlu Gausyan filtre seçilmi�tir. P’ye olan uzaklık arttıkça a�ırlık azalmaktadır. F�r, erime göre olan a�ırlık fonsiyonudur, yine tek boyutlu Gausyan fonksiyonu ile gerçeklenmi�tir ve S noktalarının Ns erim de�erleri P noktasının Np erim de�erinden uzakla�tıkça a�ırlık azalmaktadır. Bunun anlamı, V icindeki bir S noktası gürültüsü temizlenecek P noktasına uzaysal olarak uzaktaysa G�s de�erindeki azalma nedeniyle bu noktanın sonuçtaki etkisi çok az olacaktır. Benzer �ekilde, bu nokta uzaysal olarak yakın olsa bile S ve P noktalarının normalleri arasındaki fark fazlaysa, yani noktaların erimsel de�erleri uzaksa, F�r de�erindeki azalma nedeniyle böyle bir S noktasının sonuca etkisi de yine az olacaktır. E�er erimsel a�ırlık fonksiyonu F�r kullanılmasaydı (1) de verilen denklem basitçe bir Gausyan filtre olacaktı. Denklemde F�r erimsel a�ırlık fonksiyonunun da kullanılmı� olması özniteliklerin korunabilmesini sa�lamaktadır. En son olarak Wp, normalizasyon katsayısıdır ve herbir noktadaki a�ırlıkların toplamı alınarak a�a�ıdaki gibi hesaplanmaktadır:

(2)

Kestirimde kullanılan iki önemli parametre � s ve �r de�erleridir. Bunlar uzay ve erim için Gausyan fonksiyonlarında kullanılan standart sapmalardır. Hesaplamalarda � s modelin büyüklü�üne orantılı olarak seçilmektedir. Bu çalı�mada �s yüzü içine alan hacimin en uzak iki diyagonal kö�esi arasındaki uzaklı�ın %2’si olarak seçilmi�tir. Di�er yandan � r, nokta bulutundaki normal varyansyalarına orantılı olarak seçilmi�tir. Bu amaçla her bir noktadaki normal de�erlerinin hesaplanması gerekmektedir. Bazı uygulamalarda, örne�in poligonlar arası ba�lantı yetersiz ise ve örneklerde nokta bulutu dı�ında ba�ka bir bilgi yoksa bu hesaplamalarda zorluklar bulunmaktadır. Ancak bizim gözönüne aldı�ımız uygulamada nokta bulutları düzgün kafes üzerine yerle�mi� oldu�undan normal hesaplamaları kolaylıkla yapılabilmektedir. A�a�ıdaki örnek yardımıyla, iki yanlı filtrenin etkisi kolaylıkla gözlemlenebilir. Test nesnesi olarak içinde bir kenar barındıran sentetik bir yüzey yaratılmı�tır. Daha sonra bu yüzey üzerine rastgele gürültü eklenerek gürültülü 3B tarayıcı verisi simule edilmi�tir. Bunun için yüzeydeki toplam erim varyansının %5’i gürültü erimi olarak alınmı�tır. Bu 3B tarayıcı verisi ile kar�ıla�tırıldı�ında yakla�ık benzer bir orandır. �ekil 7’de orjinal sentetik yüzey (üst sıra, sol) ve yüzeyin her bir noktasındaki normaller (üst sıra , sa�), gürültü eklenmi� yüzey (alt sıra, sol) ve gürültülü yüzey normalleri (alt sıra, sa�) gösterilmi�tir. Bu �ekillerde görülece�i gibi normallerdeki en fazla de�i�im kenarın yer aldı�ı bölgede ortaya çıkmaktadır. Bu özellik ikiyanlı filtrenin dayandı�ı esası olu�turmaktadır. �ekil 7’de verilen gürültülü yüzeyin iki yanlı filtre ile düzgünle�tirilmi� hali �ekil 8’de verilmi�tir. Kar�ıla�tırma yapmak üzere Gausyan filtre ile düzgünle�tirilmi� hali ise �ekil 9’da verilmi�tir. Daha iyi düzgünle�tirme elde edebilmek için filtrelerin bir kaç kez uygulanması gerekmektedir. �ekil 10’da Gausyan filtre ve ikiyanlı filtrenin

978-1-4244-4436-6/09/$25.00 ©2009 IEEE 458

3’er kez uygulanması ile elde edilen sonuçlar gösterilmi�tir. Düz bölgelerde her iki filtre de iyi çalı�maktadır. � ki farklı düzlemin birle�im yerine kar�ılık gelen kenara yakın bölgelerde ise Gausyan filtre kullanıldı�ında kenarın yumu�adı�ı gözlenmektedir, iki yanlı filtre kullanıldı�ında ise kenarın keskinli�i korunabilmektedir.

�ekil 7: Bir kenar içeren sentetik yüzey (üst sol) ve bu yüzeyin normalleri (üst sa�) Yapay olarak gürültü eklenmi� yüzey (alt

sol) ve bu yüzeyin normalleri (alt sa�)

�ekil 8: �ki yanlı filtrenin bir kez uygulanması ile elde edilen gürültüden arındırılmı� yüzey (sol) ve yüzey normalleri (sa�)

�ekil 9 : Gausyan filtrenin bir kez uygulanması ile elde edilen gürültüden arındırılmı� yüzey (sol) ve yüzey normalleri (sa�)

�ekil 10: Gaussyan filtre (sol) ve iki yanlı filtrenin (sa�) üçer

kez uygulanması sonucunda elde edilen düzgünle�tirilmi� yüzeyler.

�ki yanlı filtrenin FRGC yüz verilerine uygulanması ile elde edilen sonuçlar oldukça tatmin edicidir. �ekil 1’de görülen gürültülü verinin iki yanlı filtre ile düzgünle�tirilmi� hali �ekil 11’de verilmi�tir. Bu �ekilden de görüece�i gibi göz, ka�, dudak, burun gibi bölgelerdeki kenar özellikleri korunurken diger bölgelerde oldukça iyi düzgünle�tirme sa�lanmı�tır.

�ekil 11: �ki yanlı filtre ile örnek FRGC verisi üzerinde elde

edilen sonuç

4. Sonuçlar

3B yüz tarayıcı çıktılarının iyile�tirilmesi için kullanılan yüz bölgesinin bölütlenmesi, ani çıkıntıların yokedilmesi, deliklerin doldurulması ve gürültünün giderilerek verinin düzgünle�tirilmesi adımları uygulamı� ve bu adımlarla ilgili elde edilen örnek sonuçlar �ekil 2-11’de verilmi�tir. FRGC v1 veri tabanında yer alan di�er örnek veriler için de benzer sonuçlar elde edilmi�tir. Kullanılan yöntemlerle elde edilen sonuçlar tatmin edicidir. Özellikle, Gaussyan filtre yerine ikiyanlı filtre kullanılması gürültünün giderilmesinde oldukça iyi sonuçlar vermi�, bu yakla�ımla yüzde düzgünle�tirme sa�lanırken öznitelikler de korunmu�tur. Özniteliklerin korunması yüz tanımada dikkate alınması gereken önemli bir noktadır.

5. Kaynakça

[1] Phillips P. J., Flynn P. J., Scruggs T., Bowyer K. W., Chang J., Hoffman K., Marques J., Min J., and Worek W., “Overview of the Face Recognition Grand Challenge”, Proc. Computer Vision and Pattern Recognition, San Diego, 2005, p. 947–954.

[2] Chang K., Bowyer K., and Flynn P., “Multiple Nose

Region Matching for 3D Face Recognition under Varying

Facial Expression”, IEEE Trans. on Pattern Analysis and Machine Intelligence, 28(10):1695-1700, 2006.

[3] Jones T. R., Durand F., and Desbrun M., “Non-Iterative, Feature-Preserving Mesh Smoothing”, ACM Transactions

on Graphics, 2003, p. 943-949. [4] Fleishman S., Drori I., and Cohen-Or D., “Bilateral Mesh

Denoising”, ACM Transactions Graphics - Proceedings of

ACM SIGGRAPH, 2003, p. 950-953. [5] Choudhury P. and Tumblin J., “The Tri-lateral Filter for

High Contrast Images and Meshes”, Proceedings of the

Eurographics Symposium on Rendering, 2003, p. 186-196.

978-1-4244-4436-6/09/$25.00 ©2009 IEEE 459