(;ok $ekil izleme* -...

4
(;ok Kamerali Video Goruntulerinden Yuzey Deformasyonu ile 3B $ekil Geri,atma ve Izleme* 3D Shape Recovery and Tracking from Multi-Camera Video Sequences via Surface Deformation Y Sahillioglu', Y Yemez', V Skala2 IBilgisayar Muihendisligi B6lumui, Ko Universitesi, Istanbul, Turkey 2University of West Bohemia, Pilsen, Czech Republic [email protected], [email protected], [email protected] Ozetce Bu makale zamanla degi,en ger,ek nesnelerin ,ok kamerali video gorulntullerinden 3B geri,atimini ve modellenmesini konu almaktadir. Qali*ma iki a,amadan olu*maktadir. Ilk a,amada nesnenin ba*langiq ,ekli, bir yulzey deformasyon modeli araciligiyla siluletlerinden geri,atilir. Ikinci a,amada ayni deformasyon modeli ba*langiqta geriqatilmi* ,eklin evrilerek, zamanla degi,en silulet bilgisi dogrultusunda izlenmesi i,in de kullanilir. Yulzey deformasyon/evrilme modeli, uzamsal ve zamansal olarak yumu,ak ve sabit baglanirliga sahip bir ,okgen gosteriminin elde edilmesini mulmkuln kilar. Sonu, olarak, nesne deviniminin anlambilimsel i,erigini koruyan ve i,lenmesi, goruntulenmesi ve iletilmesi ,ok daha kolay verimli bultulnsel bir uzam-zaman gosterimi elde edilmi, olur. Abstract This paper addresses 3D reconstruction and modeling of time- varying real objects using multicamera video. The work consists of two phases. In the first phase, the initial shape of the object is recovered from its silhouettes using a surface deformation model. The same deformation model is also employed in the second phase to track the recovered initial shape through the time-varying silhouette information by surface evolution. The surface deformation/evolution model allows us to construct a spatially and temporally smooth surface mesh representation having fixed connectivity. This eventually leads to an overall space-time representation that preserves the semantics of the underlying motion and that is much more efficient to process, to visualize, to store and to transmit. 1. Giris Optik tarama ve veri i,leme teknolojilerindeki son geli,meler, dinamik gerqek sahnelerin 3B sayisalla*tirilmasi ve gosterimi alanindaki ara*tirma qabalarina hiz kazandirmi*tir [1-3]. Zamanla degi*en sahnelerin modellenmesi, probleme dorduincu! bir zaman boyutunun eklenmesiyle, devinimsiz (statik) sahne modellemenin basit bir uzantisi gibi d0*0n0lebilse de, bu problem aslinda mevcut tarama ve goruintuileme teknolojilerindeki kisitlamalardan kaynaklanan kendine ozgul zorluklari ve problemleri iqerir. Bu zorluklari iki ba*1ik altinda toparlamak mulmkulndulr. Ilki yakalama (capture) sorunu ile ilgilidir; zira en geli,mi, statik sahne yakalama teknolojilerinin ,ogu dinamik sahnelere uygulanamazlar. Optik u,cgenle,tirmeden ,ekil orneginde oldugu gibi en hassas yakalama teknolojileri etkin yontemlere dayanirlar [2]. Bu yontemler ,ogu kez verili bir nesnenin eksiksiz geri,atim1 i,in ,ok sayidaki tarama sonu,larinin tumle,stirilmesini gerektirir ve dolayisiyla nesne devinim halindeyken kullanilamazlar. Etkin yontemler arasinda gelecek vaad eden bir alternatif, sahneye kodlanmi* i*ik orulntulleri izdu,surmektir, ancak bu tulr tekniklerin halihazirda ortullme, e,le,tirme ve hassasiyete dayali sorunlari vardir ve bir nesnenin ,eklini yine de tek bir kerede yakalayamazlar [3]. Etkin yontemlerin makul bir alternatifi, ,ok sayida CCD kamera kullanimini gerektiren edilgen yontemler olabilir [4]. Bu tulr ,ok kamerali sistemler 3B ,ekil bilgisini, siluletlerden ve/veya ,oklu-stereo doku bilgisinden ,ikarirlar. Siluet tabanli teknikler nesne yulzeyindeki bazi gizli i,bulkeylikleri yakalayamazken, stereo tabanli tekniklerin ise hassasiyet sorunlari vardir. Yine de, nesne ,ekli ,ok karma*ik olmadigi sulrece, edilgen teknikler devinimli nesnelerin gulrbulz, bo,luk i,ermeyen ve eksiksiz geri,atimlarini olu,turabilirler. Dinamik sahne modellemesinde ikinci zorluk gosterim ile ilgilidir. Saniyede 30 ,er,eve hizinda orneklenmi, bir sahneden elde edilecek zamanla degi,en bir 3B modelin, eger ardi*ik ,er,eveler arasindaki artiklik ve ilinti dikkate alinmazsa, a*iri miktarda gosterim yulkul ta*iyacagi a,iktir. Bu bulyulklulkteki 3B verinin ger,ek zamanda goruintullenmesi ise uzerinde durulmasi gereken ayri bir sorundur. Bu sozul edilen sorunlara ,imdiye dek uygulanan ,ozuzm, nesneye ozgul modellerin kullanimi ve dinamik sahneyi ya da nesneyi animasyon parametreleriyle canlandirmak olmu,tur. Ancak bu sorunlarin ger,ek anlamda ,ozuzmu, geli,iguizel geometriye sahip herhangi bir nesnenin once bir ba*langiq modelinin olu*turulmasi ve sonrasinda devinimin ya da deformasyonunun zaman i,inde izlenmesi ile mulmkuln olacaktir. Bu baglamda, zamanla degi,en ancak sabit baglanirliga sahip ,okgen gosterimlerin, 3B veri saklama, i,leme ve goruintulleme bakimindan son derece verimli olacagi a,iktir. Bu ,e,it zaman tutarli gosterimlerin elde edilmesi i,in literatulrde ,ok az sayida qali*ma vardir ve bu qali*malar yeterli olgunlukta olmayip zaman tutarli ,okgen gosterimlerini ancak kisa zaman araliklarinda elde etmeyi ba,arabilmi,lerdir [5]. Bu galima Avrupa Birligi tarafindan, FP6 -3DTV-NoE projesi kapsaminda desteklenmektedir. 1-4244-0239-5/06/$20.00 ©2006 IEEE IEEE 14th Signal Processing and Communications Applications 17-19, pp.1–4, SIU, April 2006

Upload: others

Post on 30-Aug-2019

9 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: (;ok $ekil Izleme* - afrodita.zcu.czafrodita.zcu.cz/~skala/PUBL/PUBL_2006/2006_3D_ShapeRecovery-Yemez... · diiugum noktasinin e,degeri (isovalue) bunoktanin di*aridan en uzak oldugu,

(;ok Kamerali Video Goruntulerinden Yuzey Deformasyonu ile3B $ekil Geri,atma ve Izleme*

3D Shape Recovery and Tracking from Multi-Camera Video Sequencesvia Surface Deformation

Y Sahillioglu', Y Yemez', V Skala2

IBilgisayar Muihendisligi B6lumui, Ko Universitesi, Istanbul, Turkey2University of West Bohemia, Pilsen, Czech Republic

[email protected], [email protected], [email protected]

OzetceBu makale zamanla degi,en ger,ek nesnelerin ,ok kameralivideo gorulntullerinden 3B geri,atimini ve modellenmesinikonu almaktadir. Qali*ma iki a,amadan olu*maktadir. Ilka,amada nesnenin ba*langiq ,ekli, bir yulzey deformasyonmodeli araciligiyla siluletlerinden geri,atilir. Ikinci a,amadaayni deformasyon modeli ba*langiqta geriqatilmi* ,eklinevrilerek, zamanla degi,en silulet bilgisi dogrultusundaizlenmesi i,in de kullanilir. Yulzey deformasyon/evrilmemodeli, uzamsal ve zamansal olarak yumu,ak ve sabitbaglanirliga sahip bir ,okgen gosteriminin elde edilmesinimulmkuln kilar. Sonu, olarak, nesne deviniminin anlambilimseli,erigini koruyan ve i,lenmesi, goruntulenmesi ve iletilmesi,ok daha kolay verimli bultulnsel bir uzam-zaman gosterimielde edilmi, olur.

AbstractThis paper addresses 3D reconstruction and modeling of time-varying real objects using multicamera video. The workconsists of two phases. In the first phase, the initial shape ofthe object is recovered from its silhouettes using a surfacedeformation model. The same deformation model is alsoemployed in the second phase to track the recovered initialshape through the time-varying silhouette information bysurface evolution. The surface deformation/evolution modelallows us to construct a spatially and temporally smoothsurface mesh representation having fixed connectivity. Thiseventually leads to an overall space-time representation thatpreserves the semantics of the underlying motion and that ismuch more efficient to process, to visualize, to store and totransmit.

1. GirisOptik tarama ve veri i,leme teknolojilerindeki son geli,meler,dinamik gerqek sahnelerin 3B sayisalla*tirilmasi ve gosterimialanindaki ara*tirma qabalarina hiz kazandirmi*tir [1-3].Zamanla degi*en sahnelerin modellenmesi, problemedorduincu! bir zaman boyutunun eklenmesiyle, devinimsiz(statik) sahne modellemenin basit bir uzantisi gibid0*0n0lebilse de, bu problem aslinda mevcut tarama vegoruintuileme teknolojilerindeki kisitlamalardan kaynaklanankendine ozgul zorluklari ve problemleri iqerir. Bu zorluklari

iki ba*1ik altinda toparlamak mulmkulndulr. Ilki yakalama(capture) sorunu ile ilgilidir; zira en geli,mi, statik sahneyakalama teknolojilerinin ,ogu dinamik sahnelereuygulanamazlar. Optik u,cgenle,tirmeden ,ekil ornegindeoldugu gibi en hassas yakalama teknolojileri etkin yontemleredayanirlar [2]. Bu yontemler ,ogu kez verili bir nesnenineksiksiz geri,atim1 i,in ,ok sayidaki tarama sonu,larinintumle,stirilmesini gerektirir ve dolayisiyla nesne devinimhalindeyken kullanilamazlar. Etkin yontemler arasindagelecek vaad eden bir alternatif, sahneye kodlanmi* i*ikorulntulleri izdu,surmektir, ancak bu tulr tekniklerin halihazirdaortullme, e,le,tirme ve hassasiyete dayali sorunlari vardir vebir nesnenin ,eklini yine de tek bir kerede yakalayamazlar[3]. Etkin yontemlerin makul bir alternatifi, ,ok sayida CCDkamera kullanimini gerektiren edilgen yontemler olabilir [4].Bu tulr ,ok kamerali sistemler 3B ,ekil bilgisini, siluletlerdenve/veya ,oklu-stereo doku bilgisinden ,ikarirlar. Siluettabanli teknikler nesne yulzeyindeki bazi gizli i,bulkeylikleriyakalayamazken, stereo tabanli tekniklerin ise hassasiyetsorunlari vardir. Yine de, nesne ,ekli ,ok karma*ik olmadigisulrece, edilgen teknikler devinimli nesnelerin gulrbulz, bo,luki,ermeyen ve eksiksiz geri,atimlarini olu,turabilirler.Dinamik sahne modellemesinde ikinci zorluk gosterim ileilgilidir. Saniyede 30 ,er,eve hizinda orneklenmi, birsahneden elde edilecek zamanla degi,en bir 3B modelin, egerardi*ik ,er,eveler arasindaki artiklik ve ilinti dikkatealinmazsa, a*iri miktarda gosterim yulkul ta*iyacagi a,iktir. Bubulyulklulkteki 3B verinin ger,ek zamanda goruintullenmesi iseuzerinde durulmasi gereken ayri bir sorundur. Bu sozul edilensorunlara ,imdiye dek uygulanan ,ozuzm, nesneye ozgulmodellerin kullanimi ve dinamik sahneyi ya da nesneyianimasyon parametreleriyle canlandirmak olmu,tur. Ancakbu sorunlarin ger,ek anlamda ,ozuzmu, geli,iguizel geometriyesahip herhangi bir nesnenin once bir ba*langiq modelininolu*turulmasi ve sonrasinda devinimin ya dadeformasyonunun zaman i,inde izlenmesi ile mulmkulnolacaktir. Bu baglamda, zamanla degi,en ancak sabitbaglanirliga sahip ,okgen gosterimlerin, 3B veri saklama,i,leme ve goruintulleme bakimindan son derece verimli olacagia,iktir. Bu ,e,it zaman tutarli gosterimlerin elde edilmesii,in literatulrde ,ok az sayida qali*ma vardir ve bu qali*malaryeterli olgunlukta olmayip zaman tutarli ,okgengosterimlerini ancak kisa zaman araliklarinda elde etmeyiba,arabilmi,lerdir [5].

Bu galima Avrupa Birligi tarafindan, FP6 -3DTV-NoE projesi kapsaminda desteklenmektedir.

1-4244-0239-5/06/$20.00 ©2006 IEEE

IEEE 14th Signal Processing and Communications Applications17-19, pp.1–4, SIU, April 2006

Page 2: (;ok $ekil Izleme* - afrodita.zcu.czafrodita.zcu.cz/~skala/PUBL/PUBL_2006/2006_3D_ShapeRecovery-Yemez... · diiugum noktasinin e,degeri (isovalue) bunoktanin di*aridan en uzak oldugu,

Bu qali*ma yukarida sozul edilen sorunlarin ,czulmul i,in genelbir ,er,eve olu,turmakta ve bir yontem onermektedir. Sorunusadele,tirmek i,in, sahnede devinmekte olan bir insan aktoruorneginde oldugu gibi, topolojisi zamanla degi,meyensahnelerin modellenmesi problemini ele alacagiz. Ba*langiqmodelin elde edilmesi ve izlenmesi i,in kullandigimizdeformasyon modeli Lagrange yakla*imina dayanmakta ve bumodel Bolum 2'de anlatilmaktadir. Deformasyon modeli veyulzey evrimi yonteminin ba*langiq ,eklin yakalanmasinda vezaman i,inde izlenmesinde kullanimi ise Bolum 3'tea,iklanmaktadir. Bolulm 4'te deney sonu,lari verilirken,Bolum 5'te vargilar ve yapilmasi planlanan qali*malarozetlenmektedir.

2. Deformasyon ModeliBilgisayarla gorme literatulrulnde mevcut kismi tulrevseldenklem gudumlu modeller iki kategori altindagruplandirilabilir: 1) Seviye kulmeleri (level sets), Euleryakla*imi ve 2) aktif ,evritler (active contours), Lagrangeyakla*imi. Aktif ,evrit modelleri, ya da ba,ka bir deyi,le"yilan" modelleri, ilk olarak Kass ve digerleri [7] tarafindan2B imge analizinde ayirici ozniteliklerin ,ikarimi i,ingeli,tirilmi,, sonrasinda Terzopoulos ve digerleri [8]tarafindan 3B yulzey yakalama problemine uyarlanmi*tir. BuLagrange yakla*iminda, parametrik bir ba*langiq ,evrit ya dayulzeyin, birtakim i, ve di* kuvvetlerin guldulmulnde sezileceknesnenin sinirina dogru evrilmesi saglanir. Butunsel bir enerjifonksiyonunun enku,cuiklenmesini hedefleyen bu i, ve di*kuvvetler uygulamaya ozgul olarak belirlenirler. Ozguln yilanmodeli yulzey/,evrit evrilmesi sirasinda olu*masi muhtemeltopolojik degi,imlerle ba,a ,ikabilecek ya da karma*ikgirintili ,ikintili ,ekillerin gosterimini saglayabilecek ,ekildetasarlanmami* olmakla birlikte, ortaya ilk atilmasini izleyenyillarda ,ok sayida ara*tirmaci tarafindan daha da geli,tirilmi,ve bilgisayarla gormenin ,e,itli alanlarinda uygulamabulmu,tur [9,10]. Diger yandan, dulzey kulmesi teknigi ilkolarak Malladi ve digerleri tarafindan [11], klasik yilanyakla*imina alternatif olarak yukarida sozu! edileneksikliklerine ,czum getirmek amaciyla onerilmi,tir. Eulerformullasyonuna dayanan bu teknikle, nesne ,ekli zamanladegi,en bir fonksiyonun bir dulzey kulmesi ,czuimu! olarak,daha yulksek boyutlu bir uzaya gomulur. $ekil fonksiyonubultuln bir uzay uzerinde ve belli uzam-zamansal kisitlar altindadongusel olarak gulncellenir ve sonu, olarak fonksiyonun sifirdulzeyindeki ,czumunun nesne sinirina yakinsamasi beklenir.Dulzey kulmesi tekniginin, ,ekildeki topolojik degi,imleri ortuikolarak ele alabilmesine ragmen, hesap yulkul ,ok agirdir veozellikle 3B yulzey yakalama problemi i,in paralel ger,eklemeka,inilmaz hale gelir [4]. Daha da onemlisi, dulzey kulmesiyakla*imiyla, ba*langiq ,okgen modeldeki belirtik baglanirlikbilgisi yakinsama sturecindeki donguller esnasinda yitirilir. Buqali*manin amaci ba*langiq modeli izleyerek, sabitbaglanirliga sahip zamanla degi,en bir ,okgen gosterimi eldeetmek oldugundan, dulzey kulmesi teknigini bizimproblemimize uygulamak mulmkuln degildir. Dolayisiyla buqali*mada Lagrange yakla*imini benimseyerek ,ekiltopolojisinin zaman i,inde degi,medigini varsayiyoruz. Ancakbu sinirlamanin, topolojideki olasi yarilma ve birle,melerisezimleyip uygulayabilen bazi ozel yordamlarinkullanilmasiyla a*ilmasinin pekala mulmktun oldugunu dabelirtelim [12,13].

Kullandigimiz deformasyon modeli global bir E enerjiterimini enku,cukleyen optimal bir S* yluzeyine ula,mayaqali*ir:

E(S, B) = Eint (S) + Eext (S, B)Bu denklemde i, enerji bile,eni Ej11t yulzeyin yumu*akliginikontrol ederken, di* enerji bile,eni Eext, S yulzeyi ve B nesnesiniri arasindaki uyumu ol,er. Bu enerji terimi a*agidaki kismitulrevsel denklemi ,czerek enkui,iklenebilir:

as- Fi (S) + Fext (S, B)at

Burada i, ve di* kuvvet terimleri, Fij1t ve Fext, ba*langiqyulzeyini yumu,ak bir bi,imde nesne sinirina dogru sulrulkler.Bu tulrevsel denklemin ayrik bi,emi a*agidaki dongusel yulzeyevrimi ile ,czulebilir:

Sk = Sk-I + At(Jfnt (Sk ) +J7xt (Sk,B))Yukaridaki denklemin dondurulmesiyle, Sk yulzeyi bultulnkuvvetlerin birbirini sifirladigi denge durumundaki en iyi Skyulzeyine yakinsar. Di* kuvvet bile,eni, Fext, uygulamayaozgu ldllr; genligi ve yonu, o andaki yllzeyin hedef nesnesinirina gore ne yonde ve ne kadar uzak olduguna bagli olarakbelirlenir. Di* kuvvet bile,eninin yonu! ,ogunlukla yulzeynormal vektorulnuin yonuyle ayni olacak ,ekilde se,ilir.

3. 3B $ekil GeriVatimi ve IzlenmesiBu bolumde ,ok a,ili videodan dinamik bir nesnenin zamanladegi,en ,okgen gosteriminin elde edilmesini hedefliyoruz. Bui,lem ba*lica iki a,amadan olu,makta: Once ba*langiq ,okgenmodelin yakalanmasi ve sonra bu modelin zaman i,indebaglanirlik bilgisini degi,tirmeden izlenmesi. Iki a,ama i,in deBolum 2'de anlatilan deformasyon modeli kullanilacaktir. Herbir a,amada kullanilan algoritma digerinden, soz konusudeformasyon modelinden nasil yararlandigina bagli olarakfarklilik gosterir.Ba*langiq ,okgen gosterimi ,ok a,ili video silulet dizisinin ilk,er,evelerinden nesneyi sinirlayan 3B kuirenin deformeedilmesiyle geri,atilir. Bir ,okgen olarak ifade edilen bu kulre,kamera kalibrasyon parametreleri araciligiyla siluletlerisinirlayan 2B dikdortgen kutularin 3B nesne koordinatsistemine geri izdu,surulmesiyle otomatik olarak kestirilir.Doku ya da renk tutarlilik bilgisini di* gu,c bile,enininbelirlenmesine katmak mulmkulnse de [14], bizimdurumumuzda, Fext kuvveti yalnizca silulet bilgisine dayanir.(ogunlukla yapildigi gibi, di* kuvvetin yonilnul her zaman i,indeforme edilen yuzeye dik olacak ,ekilde se,ersek, yulzey,okgenininp dulgulmulndeki di* kuvveti ,syle yazabiliriz:

F (p) = v(p) n(p)Burada n(p) yulzey normal vektorul, v(p) ise p dulgulmulndekihizi simgeler. (okgenin her dulgulmulnuin yulzey evrilmesininher anindaki hizi, bu diiguim noktasinin siluletlere gore nekadar uzak ve ne yonde (i,eride ya da di*arida) olduguna bagliolarak belirlenir. Dolayisiyla negatif degerler de alabilen vhizi, p noktasinin imge dulzlemlerine izdu,sumlerinin ,iftdogrusal aradegerlenmesiyle elde edilen e,duzey degerlerikullanilarak hesaplanir:

IEEE 14th Signal Processing and Communications Applications17-19, pp.1–4, SIU, April 2006

Page 3: (;ok $ekil Izleme* - afrodita.zcu.czafrodita.zcu.cz/~skala/PUBL/PUBL_2006/2006_3D_ShapeRecovery-Yemez... · diiugum noktasinin e,degeri (isovalue) bunoktanin di*aridan en uzak oldugu,

v(p) 2£ min {G [Projj (p) - 0 5

Burada Proj1, p(x, y, z) noktasinin n'inci ikili silulet

imgesi In uzerine izdu,sumunu simgeler. G aradegerlemefonksiyonu ise ,oyle tanimlanir:

G(x', y') = (1- a)(( - ,)I(Lx'i, Ly'i)+,6I(Lx'j, LY'i + 1)) + a((1- ,6)I(Lx'i + 1, LY'i)+,8I(Lx'j + 1, LY'i + 1))

Burada (Lx'i , Ly'i) ve (a, 8) ikili I imgesindeki (x', y')nokta koordinatinin sirasiyla tamsayi ve kesirli kisimlarinigosterir. 0 ve 1 arasinda degerler alan G fonksiyonu ise pduigum noktasinin (x', y') alt-piksel izdu,sumunun ,ciftdogrusal aradegerine kar*ilik gelir. Dolayisiyla v(p) hizi -gve £ arasinda degerler alir ve bu fonksiyonun sifiri kestigiyerler e,yuzeyi (isosurface) ortaya ,ikarir. Sonu, olarak, pdiiugum noktasinin e,degeri (isovalue) bu noktanin di*aridan enuzak oldugu, ya da ba,ka bir deyi,le, G aradegerlemefonksiyonun en kui,ick degerini aldigi silulet imgesi tarafindanbelirlenir.I, kuvvet bile,eni, Fjnt, elimizdeki yulzey di* kuvvetleringuldulmulnde nesne sinirina dogru evrilirken, ,okgeninyumu*akligini denetim altinda tutar. (okgenin her duigulmulneilk once di* kuvvet belirtildigi gibi uygulanir ve sonrasinda i,kuvvet dulgulm noktasini kom*ularinin agirlik merkezine,ekerek di* kuvvetin etkisini dengelemeye, dulzeltmeye qali*ir[14]:

FN

Fext(P)=-),Pi-PN1=1Burada pi, i = 0,1,..., N, p'ye kom,u dulgulm noktalarinisimgeler. Eger deformasyon modeli tami tamina yukaridabetimlendigi gibi uygulanir ve ba,ka bir onlem alinmazsa,yulzey evrilmesi sirasinda bazi sorunlar ba, gosterebilir:Bunlar: 1) Topolojik problemler, yani, manifold olmayaniiugenler belirebilir, 2) dejenere kenarlar olu,abilir, 3) yulksekvalans degerlerine sahip dulzensiz dulgulmler ortaya ,ikabilir, 4),okgen yilan yulzeyi bazi ince detaylari ve i,bulkeylikleriyakalamada yetersiz kalabilir. (okgen yapisindaki manifoldolmayan u,cgenler, di* kuvvetlerin dulgulm noktalarininpozisyonunu gulncellemesine bagli olarak olu,abilirler. Bu,e,it topolojik sorunlari engellemek i,in, di* kuvvet genligininenbulyuk degeri ,okgendeki en ku,cuk detayin bulyulklulgul ilekisitlanir: 6 < Emin/2; burada Emin ,okgende beliren en ku,uikkenar uzunlugunu simgeler. Sozu edilen diger ui, problem ise,,ekil yakalama algoritmasina, a*agida detaylari verilen ui, ozeli,lemin, yani kenar ,okertme (collapse), kenar bolme (split) vekenar evirme (flip) i,lemlerinin, dahil edilmesiyle ,czulur[15]:* Kenar cokertme: Dulgulmler di* kuvvetin etkisi altinda

nesne sinirina dogru ,ekildik,e, kom,u dulgulmlerbirbirlerine ,ok yakla*ip bazi kenarlarin dejenere olmasinasebep olabilir. Bu yulzden uzunlugu, belli bir e,igin (6min)altina du,sen kenarlar u, noktalari birle,tirilerek ,ckertilir.

* Kenar bolme: Eger nesne yulzeyinde ,ok miktardai,bulkeylik varsa ve eger ba*langiq ,okgen ,czulnurlulgulbunlarin gosteriminde yetersiz kalirsa, yulzeyin ilgili

kisimlarindaki kenarlarin bolulnerek duigulm sayisinin,ogaltilmasi gerekir. Eklenen diigiimler soz konusukenarin ortasina yerle,tirilir ve ,okgen baglanirlik yapisibuna gore guncellenir. Bir kenarin bolunupbolunmeyecegine ,syle karar verilir: Butun kuvvetlerindengede oldugu yakinsama durumunda, eger nesnehacminin di*inda kaldigi belirlenen dulgulmler varsa, budulgulmlere kom,u olan kenarlar bolunur ve yulzeyevrilmesi i,lemi yeniden ba*latilir.Kenar evirme: Kenar ,ckertme ve bolme i,lemlerika,inilmaz olarak ,okgen yapisindaki valans dagiliminidegi,tirirler ve dulzensiz diigiimlere yol a,arlar. Bunuengellemek i,in, yulzey evrilmesi sirasinda, herhangi ikikom,u iiugenin ortak kenari, eger kenar evirme i,lemi 6degerine yakin valansli dulgiimlerin lehine olacaksa, ortakolmayan diiguimlerini birle,tiren kenarla degi,tirilir.

Bu u,c i,lem yulzey evrilmesi sulrecine, uygun bir siradadongusel olarak dahil edilir. Yulzey evrilme dongusu,,okgenin bultuln dulgulmleri nesne sinirina yapi*ip kalana dekdevam eder. Bu yolla elde edilen ba*langiq ,okgen modeli,ikinci a,amada, zamanla degi,en silulet egrilerini takip edecek,ekilde ayni deformasyon modeline ve evrilme sulrecine tabitutulur. Iki ,er,eve arasindaki deformasyonun (devinimin) vedolayisiyla bunu belirleyecek dongu! sayisinin ilk a,amayagore ,ok daha az olmasi beklenir. Ilk a,amadan farkli olarakburada baglanirlik bilgisini degi,tirmekten ka,inmak gerekir.Kenar ,ckertme, bolme ya da evirme i,lemleri ka,inilmazolarak uygulanmak zorunda kalinirsa, bu i,lemler veriyapisina kaydedilmeli ve bultulnsel uzam-zaman ,okgengosterimine dahil edilmelidir.

4. Deney SonuVIariOnerilen ,ekil geri,atim teknigini $ekil 1'deki zamanladegi,en sentetik insan modeline uyguladik [16]. Ba*langiq,okgen modelin olu*turulmasinda kullanilan ve sentetik 3Bmodelden turetilmi, 8 adet 320x200 ,cozunurlugundeki siluletimgesi $ekil 2'de sergilenmektedir. Bu siluletlerden yulzeydeformasyonu yolu ile elde edilen ,ekil ,okgen modeli veyakinsama sulreci $ekil 3'te gosterilmektedir. Bu ba*langiqmodelin baglanirligini degi,tirmeden zaman i,indeizlenmesiyle elde edilen ve bir ,er,eve sonrasina kar*ilikgelen ,okgen model ise $ekil 4'te sergilenmektedir. Eldeedilen sonu,lar genel olarak tatminkar olmakla birlikte, ince,ekil ayrintilarinin, ornegin kollarin, yakalanmasinda vezaman i,inde izlenmesinde sorunlar goze ,arpmaktadir. Busorunlar, silulet imgelerinin ,ok dul,lsk ,ozulnulrlulkte vesahnedeki devinimin ,ok du,suk hizda orneklenmi,olmasindan kaynaklanmaktadir.

5ekil 1: Sentetik 3B insan modelinden bir gorulntul.

IEEE 14th Signal Processing and Communications Applications17-19, pp.1–4, SIU, April 2006

Page 4: (;ok $ekil Izleme* - afrodita.zcu.czafrodita.zcu.cz/~skala/PUBL/PUBL_2006/2006_3D_ShapeRecovery-Yemez... · diiugum noktasinin e,degeri (isovalue) bunoktanin di*aridan en uzak oldugu,

5ekil 2: Sentetik 3B insan modelinden turetilmi, ve belli bir taninda farkli baki* a,ilarina kar*ilik gelen silulet imgeleri.

5ekil 3: Kulresel yulzeyin, deformasyon ile, t anindaki ,ekil,okgen modeline yakinsama dongulsulnden ornek adimlar.

5ekil 4: (Solda) t anindaki ,er,eveden elde edilen ,okgenmodel, ve (sagda) bu modelin bir sonraki ,er,evedeizlenmesiyle, t+1 ani i,in elde edilen ,okgen model.

5. Vargilar

Bu makalede dinamik sahnelerin zamanla degi,en ve sabitbaglanirliga ve topolojiye sahip ,okgen gosterimi ilemodellenmesi i,in bir ,er,eve sunulmu,tur. Bu ,er,eveLagrange yakla*imina dayali bir yulzey deformasyon/evrilmeyontemi kullanir. Deney sonu,lari bu ,er,evenin, ba*langiqmodelin yakalanmasinda ve zaman i,inde izlenmesindekullanilabilecegini gostermektedir. Ancak ba*arili bir sonu,elde edebilmek i,in, sahnedeki detaylarin ,czulnulrlulgulnulnsaniyedeki video ,er,eve sayisina orani kritik bir onemta*imaktadir. Yakin gelecekte, onerilen teknigin daha dageli,tirilmesi, ba,ka video dizilerine uygulanmasi ve daha

geni, zaman araliklarinda izleme ba*ariminin sinanmasihedeflenmektedir.

6. KaynakVa[1] Elaksher, A.F. and Bethel, J.S., "Reconstructing 3D

buildings from LIDAR data," Proceedings ofPhotogrammetric Computer Vision, ISPRS CommissionIII, Symposium 2002, September 9 - 13, 2002, Graz,Austria, pp. 102-107.

[2] B. Curless and M. Levoy, "A Volumetric Method forBuilding Complex Models from Range Images," In ACMComputer Graphics Proceedings, SIGGRAPH, pp. 303-312, 1996.

[3] C. Rocchini, P. Cignoni, C. Montani, P. Pingi, R.Scopigno, A low cost 3D scanner based on structuredlight, in: A. Chalmers, T.-M. Rhyne (Eds.), EG 2001Proceedings, Vol. 20(3), Blackwell Publishing, 2001, pp.299-308.

[4] M. A. Magnor, B. Goldlulcke, "Spacetime-CoherentGeometry Reconstruction from Multiple Video Streams,"3DPVT 2004: 365-372.

[5] K. Mueller, A. Smolic, P. Merkle, M. Kautzner, and T.Wiegand, "Coding of 3D Meshes and Video Textures for3D Video Objects," Proc. PCS 2004, Picture CodingSymposium, December, 2004.

[6] M. Garland, "Multiresolution Modeling: Survey andFuture Opportunities," Proc. Eurographics, STAR Stateof The Art Reports, 1999.

[7] M. Kass, A. Witkin, and D. Terzopoulos, "Snakes:Active Contour Models," Int. J. Computer Vision, Vol. 1,pp. 321-331,1988.

[8] D. Terzopoulos, A.Witkin, and M Kass, "Constraints onDeformable Models: Recovering 3D Shape and NonrigidMotions," Artificial Intelligence, Vol. 36, pp. 91-123,1988.

[9] D. Terzopoulos and D. Metaxas, "Dynamic 3D Modelswith Local and Global Deformations: DeformableSuperquadrics," IEEE Trans. Pattern Analysis and Mach.Intelligence, Vol. 13, pp. 703-714, 1991.

[10] L. D. Cohen, "On Active Contour Models and Balloons,"CVGIP: Image Understanding, Vol. 53, pp. 211-218,1991.

[11] R. Malladi, J.A. Sethian, B.C. Vemuri, "Shape Modelingwith Front Propagation: A Level Set Approach," IEEETrans. Pattern Analysis and Mach. Intelligence, Vol. 17,No. 2, pp. 158-175, 1995.

[12] T. McInerney and D. Terzopoulos, "TopologicallyAdaptable Snakes," Proc. ICCV'95, pp. 840-845,Cambridge, June, 1995.

[13] Y. Duan, L. Yang, H. Qin and D. Samaras, "ShapeReconstruction from 3D and 2D Data Using PDE-basedDeformable Surfaces," ECCV 2004, pp. 238-251, 2004.

[14] C. H. Esteban and F. Schmitt, "Silhouette and StereoFusion for 3D Object Modeling," Computer Vision andImage Understanding, Vol. 96, No. 3, pp. 367-392,December 2004.

[15] L. P. Kobbelt, T. Bareuther, and H. Seidel,"Multiresolution Shape Deformations for Meshes withDynamic Vertex Connectivity," EUROGRAPHICS'2000, Vol. 19, No. 3, 2000.

[16] http://www.grovis.de/kungfu/

i

i

IEEE 14th Signal Processing and Communications Applications17-19, pp.1–4, SIU, April 2006