COMPUTER VISION

PEMBAHASAN JURNALE. Rodol, S. Rota Bul, and D. Cremers, Robust Region Detection via Consensus Segmentation of Deformable Shapes, Technische Universitat Munchen, Garching, Germany, 2014

Disusun Oleh :Setyo Hadi Kusumo(1204505039)

TEKNOLOGI INFORMASIFAKULTAS TEKNIK UNIVERSITAS UDAYANA20141. PendahuluanPendeteksian dan pencocokan fitur bentuk tiga-dimensi adalah inti dari berbagai tugas visual dalam computer vision dan grafis, termasuk pengenalan obyek dan rekonstruksi permukaan. Terinspirasi oleh peningkatan keberhasilan dalam domain 2D, dalam beberapa tahun terakhir ketertarikan telah bergeser ke definisi wilayah (atau komponen) seperti alternatif robust dengan metode widespread point-based.Pada jurnal ini berisi prespektif baru untuk permasalahan region datection. Pendakatan yang digunakan terinspirasi dari metode socalled ensemble, yang asalnya dari konteks data clustering.

1.1. Kerja TerkaitTerinspirasi dari teori kognitif saliency of visual parts, Sipiran dan Bustos memperkenalkan region detektor yang didasarkan pada gagasan bentuk protrusion (tonjolan). Metode ini berbeda dengan pendekatan lain dalam hal memberikan dekomposisi lengkap dari bentuk, yaitu penyatuan daerah terdeteksi yang tidak menutupi seluruh permukaan. Secara visual, wilayah ini berhubungan dengan bagian kaku bentuk (misalnya tangan, kaki dan kepala bentuk manusia). Pendekatan penting lainnya untuk segmentasi bentuk, termasuk juga teknik persistence-based Skraba et al yang didasarkan pada ide-ide ketekunan topologi, yang menurutnya relevan (stabil), segmen dari bentuk sesuai dengan cekungan tarik dari beberapa fungsi f yang didefinisikan di atasnya. Pertama, komponen yang terhubung di permukaan berhubungan dengan maxima lokal f; prosedur penggabungan kemudian melintasi hirarki komponen untuk menghasilkan segmentasi akhir yang stabil dari bentuk. Metode ini bisa dibuktikan dengan stabil dengan transformasi isometrik, namun performanya berkurang di hadapan noise topologi.Metode lain berdasarkan ide dari difusi geometri yang berhasil mengatasi kasus nearly-isometric, tetapi secara umum sensitif untuk deformasi bentuk yang jauh dari isometrik. Aubry et al merumuskan masalah segmentasi sebagai salah satu pengelompokan campuran Gaussian dalam ruang deskriptor yang sesuai. Metode ini menunjukkan hasil yang menjanjikan, tetapi bergantung pada asumsi memiliki beberapa pose dari kesamaan bentuk yang tersedia, untuk menghasilkan daerah yang stabil pada transformasi sebelumnya. Di sisi lain, metode Litman et al. memberikan hasil terbaik secara keseluruhan, pada berbagai transformasi bentuk.

1.2. KontribusiDalam jurnal ini, dikembangkan metode pendeteksian robust region dalam bentuk tiga dimensi dengan mencari konsensus di antara rangkaian (ensemble) kandidat segmentasi dari bentuk tersbut. Alasannya adalah segmentasi konsensus cenderung mengungkapkan struktur wilayah yang lebih stabil daripada individual putative segmentation yang membentuk ensambel. Memang, properti dari metode ensemble ini adalah pengetahuan umum dalam komunitas data clustering. Pertama, dibuat sebuah ensemble dari segmentasi isometry-invariant yang dilakukan beberapa kali, dan dengan parametrizations yang berbeda, algoritma klasterisasi sederhana (yaitu k-means) di ruang yang sesuai. Ensemble tersebut kemudian dimasukkan ke algoritma pengelompokan konsensus yang dirancang khusus untuk tugas tersebut. Dibandingkan dengan pendekatan yang ada, metode ini memiliki keuntungan utama sebagai berikut:a. Framework yang disediakan bersifat umum, dalam hal ini tidak memperbaiki representasi spesifik dari bentuk. b. Algoritma bersifat scalable. Cara yang efektif untuk melakukan perulangan formulasi berbasis simpul dalam hal objek yang lebih abstrak yang disebut base segment.c. Evaluasi kuantitatif pada dua standar dataset yang mengkonfirmasi peningkatan stabilitas dari pendekatan ini pada non-rigid transformation.d. Biaya komputasi segmentasi berulang yang rendah, dan ini dapat dilakukan dengan data yang terbatas (yaitu dengan ensamble yang cukup kecil).

2. Segmentasi Bentuk Isometry-invariantBerikut ini pembahasan mengenai konsep kunci dan hasil yang mengatur tahapan segmentasi konsensus sebagai tool untuk metode robust dalam analisis deformable shape.

2.1. Difusi GeometriPemodelan bentuk sebagai Riemannian manifolds yang terhubung secara kompak M yang disertai dengan ukuran standar disebabkan oleh bentuk volume. Ruang (M, ) menunjukkan operator symmetric Laplace-Beltrami (atau Laplacian) M yang bekerja pada fungsi yang melalui M. Dalam hal ini fungsi sebagai sebuah eigenfunction dengan eigenvalue jika M = . Himpunan dari semua eigenvalue {1 < 2 < ...} dari M merupakan infinite discrete subset dati R+ dengan k sebagai k . Dengan asumsi manifolds M tidak memiliki batas, ekstra eigenvalue 0 = 0 dengan multiplisitas 1 (sesuai keterhubungan), yang memilik eigenfunction konstan. Berdasarkan proses difusi pada M dideskripsikan dengan persamaan (heat equation).(1)

Dengan kondisi awal u(t = 0, p) yang mendikripsikan distribusi awal pada p M. Setiap Riemannian manifold M memiliki kernel sesuatu yang unik, heat kernel ht(p, q) yang merupakan solusi dasar untuk heat equation. Secara singkatnya M, heat kernel dapat dinyatakan sebagai rangkaian terpusat.(2)

Heat kernel dapat diberi sebuah interpretasi sebagai kepadatan probabilitas transisi yang berjalan acak sepanjang t dari titik p ke titik q pada M. Berdasarkan invariann M dalam transformasi isometrik M, dengan kernel ht(p,q) yang merupakan kuantitas intrinsik bentuk.

2.2. Global Point SignaturesMengingat titik p M, Global Point Signature (GPS) pada p didefinisikan sebagai vektor dimensi tak terbatas (infinite-dimensional).

Sesuai dengan vektor (rescaled) koefisien dari fungsi indikator di sekitar p M, ketika direpresentasikan dalam basis . GPS dibagi dengan heat kernel menjadi kuantitas intrinsik, yaitu dua permukaan isometrik memiliki gambar yang sama di bawah g (sampai dengan transformasi orthogonal dari ).Definisi di atas memberikan gagasan yang berarti produk dalam GPS signature, yang mana akan dijelaskan. Dengan mempertimbangkan fungsi Green dari bobot manifold umum (M, ), didefinisikan sebagai berikut.(3)

Dari relasi di atas, ini berarti fungsi Green dapat diperoleh dari estimasi heat kernel. Dengan ekspresi bentuk tertutup sebagai berikut.(3)

Ekspresi di atas terkadang disebut sebagai commute-time kernel untuk M. Dalam analogi heat kernel, hal ini dapat diartikan sebagai kepadatan probabilitas transisi yang berjalan acak sepanjang M. Selain itu, nilai G(p, q) sekarang menjadi kuantitas skala-invariant, yaitu tidak tergantung pada skala global bentuk. Perhatikan bahwa, karena sifat skala-ruang dari basisi , dalam prakteknya satu dapat memotong persamaan (4) dengan syarat k pertama (nilai khasnya adalah k = 100). Pengamatan kunci dalam bagian ini adalah persamaan tersebut. Persamaan (4) sesuai dengan dot product dari dua (infinite-dimensional) GPS sinature pada titik-titik p, q M. Hal ini mengikuti pernyataan sederhana:Pernyataan 1 GPS embedding dari bentuk M memiliki inner product yang didefinisikan dengan {g(p), g(q)} = G(p, q).Ingat bahwa, untuk setiap compact Riemannian manifold, fungsi Green G (p, q) adalah sedemikian rupa sehingga memecahkan Persamaan Poisson , dimana adalah fungsi yang ditentukan pada manifold. Persamaan Poisson muncul di berbagai daerah aplikasi, termasuk mesh editing [YZX*04] dan rekonstruksi permukaan untuk beberapa nama. Umumnya untuk metode ini adalah persyaratan untuk memenuhi kendala pemodelan linear di permukaan, sambil menjaga sifat diferensial geometri asli dalam persamaan kuadrat. Secara intuitif, G(p, q) kemudian mengukur tingkat coupling dua titik p dan q pada bentuk M dalam deformasi geometris.

2.3. Setelan SegmentasiSifat intrinsik GPS membuat kandidat alami untuk menghasilkan robust segmentations dari bentuk tertentu. Dalam konteks ini, dugaan dari robust bergantung dengan stabilitas (atau pengulangan) dari segmentasi yang melalui non-rigid deformation dari manifold.Pendekatan langsung terhadap segmentasi isometry-invariant adalah untuk menjalankan proses pengelompokan pada GPS embedding dari M. Mempertimbangkan fungsi partisi C: g(p) i dengan p M, menandakan setiap titik dalam Im(g) dengan cluster identity i {1, ..., k}. Tujuan dari clustering (pengelompokan) adalah untuk menemukan partisi yang baik berdasarkan sampel g(p1), ..., g(pn) dari n poin, didistribusikan secara independen sesuai dengan ukuran probabilitas yang tidak diketahui. Kualitas C dapat diukur melalui scatter measure.(5)

Di mana da(pi) menunjukkan elemen area diskrit dari titik pi M, adalah rata-rata dari th cluster berdasarkan penetapam C, dan || . || menunjukkan standar metrik Euclidean di R yang dipengaruhi oleh inner product (4).Definisi 1 segmentasi M adalah sebuah minimizer dari within-point scatter(5).Algoritma k-means clustering adalah prosedur pertukaran untuk minimizing (5). Dimulai dari initial seedin dari pusat cluster, diikuti dengan penetapan masing-masing g(pi) ke pusat terdekat . Pada pusat kemudian dihitung ulang, dan prosedur diulang. Algoritma tersebut dapat terjebak dalam minimum lokal dan stabilitas yang ditandai dengan keunikan minimum dari fungsi obyektif sehubungan dengan distribusi yang benar (tidak diketahui). Memang, tidak ada jaminan adanya minimizer unik untuk (5), dan pada kenyataannya jumlah minimizer dapat menjadi tak terbatas.Salah satu kriteria penting dalam mengevaluasi kualitas skema clustering adalah konsistensi dalam transformasi data set. Bahkan dengan asumsi skema seeding optimal yang tersedia, penyimpangan yang signifikan dari isometri masih dapat mempengaruhi kualitas dan stabilitas dari pendekatan langsung ini yang melalui deformasi yang berbeda dari bentuk. Dalam pandangan ini kuncinya adalah daerah yang konsisten di seluruh segmentasi bentuk yang berbeda (misalnya dari seed yang berbeda) tetap konsisten di bawah deformasi non-isometrik dari bermacam-macam. Pada bagian ini dapat diambil kesimpulan berguna berikut:Pernyataan 2 Setiap segmentasi dasar dari M merupakan scale-invariant. Dengan kata lain, mulai dari seed yang tetap dengan , dengan C(g(M)) = C(g(M)) untuk . Pernyataan ini merupakan konsekuensi langsung dari persamaan (4) dan Definisi 1.

3. Konsensus Segmentasi BentukBagian ini berfokus pada masalah yang berasal segmentasi konsensus dari ansambel heterogen segmentasi bentuk. Dalam hal ini segmentasi konsensus, bergantung pada statistik agregat yang dikumpulkan dari segmentasi ansambel, dapat diungkapkan bahwa segmen (alias komponen) dalam bentuk yang lebih stabil untuk deformasi dari segmentasi dasar tunggal. Secara formal, pendekatan ini dapat dikategorikan sebagai metode pembelajaran tanpa pengawasan (unsupervised learning method).

3.1. PersiapanSebuah bentuk = terdiri dari sekumpulan n node, yang dapat dianggap sebagai wajah (misalnya segitiga) dalam hal mesh atau titik dalam kasus titik-titik awan. Sebuah ensemble dari m segmentasi melaui bentuk yang dapat direpresentasikan sebagai matriks , di mana menunjukkan set {1, ..., n} dengan [n] demi kenyamanan. Setiap masukan E dilambangkan dengan Eui yang merupakan indeks dari segmen dalam segmentasi uth yang berisi bentuk simpul . Baris E disebut sebagai segmentasi dan baris uth yang dilambangkan oleh , sedangkan kolom E disebut sebagai signature dan ith signature dinotasikan dengan .Definisi 2 Sebuah ensemble dari segmentasi E dan jumlah maksimum segmen , segmentasi konsensus adalah segmentasi yang sedekat mungkin dengan semua segmentasi dalam E.Segmentasi konsensus dapat dianggap sebagai Frchet sample mean dengan sampel di E yang didefinisikan dengan ruang semi-metrik , di mana [n]n adalah himpunan segmentasi dan adalah semi-metrik:(6)

Sebab dua segmentasi yang sama di bawah permutasi dari label segmen, didapati bahwa d(x, y) = 0 juga berlaku untuk beberapa . Inilah alasan mengapa disumsikan d menjadi semi-metrik.,(7)

Di mana 1P adalah fungsi indikator yang menghasilkan nilai kembalian 1 jika properti P adalah benar dan 0 jika tidak. adalah bobot non-negatif yang memungkinkan untuk mengontrol kejadian dari penentuan segmen yang tidak konsisten untuk pasangan node bentuk tertentu. Bobot tersebut ditetapkan konstan non-zero jika tidak ada preferensi sebelumnya yang tersedia. Dalam hal segitiga yang digunakan sebagai node bentuk, berat sepasang node dapat diatur, misalnya dengan produk dari daerah segitiga masing-masing.Pernyataan 3 Segmentasi konsensus tergantung pada parameter k yang harus dianggap sebagai batas atas untuk jumlah segmen yang sebenarnya. Bahkan, jumlah indeks segmen yang berbeda muncul dalam solusi untuk (6) mungkin kurang dari k. Demikian pula dengan pendekatan lain, menentukan jumlah optimal komponen yang akan diekstraksi tidak difokuskan dalam pekerjaan ini, akan tetapi menunjukkan bahwa komponen yang stabil dapat diperoleh dengan pendekatan pemilihan k berbeda dari.

Gambar 1. Contoh segmen dasar untuk bentuk kucing, yang diperoleh dari persimpangan 50 segmentasi di ensambel (hanya 5 yang ditampilkan untuk tujuan visualisasi)

3.2. Konsensus Dengan Segmen DasarUkuran jarak (7) memiliki kompleksitas kuadrat, yang mencegah aplikasi langsung ke bentuk yang besar. Dalam konteks clustering data, untuk mengatasi masalah skalabilitas ini, telah diusulkan artificially sparsify bobot , dengan secara acak menetapkannya menjadi nol. Dengan demikian, menemukan solusi konsensus (6) menjadi terukur dengan harga pengoptimalan batas bawah dari tujuan aslinya.Definisi 3 Misalkan adalah himpunan hasil bagi [n], memiliki kelas ekivalensi n. Segmen dasar adalah kelas kesetaraan dalam . Secara intuitif, merupakan persimpangan semua segmentasi di ansambel, seperti yang digambarkan pada gambar 1.Pernyataan 4 Jumlah segmen dasar pada umumnya jauh lebih rendah dari jumlah node bentuk dan, oleh konstruksi, dilakukan statistik segmen co-occurrence node bentuk.Dengan mempertimbangkan segmen dasar sebagai unsur atom tersegmentasi dalam segmentasi konsensus, bukan node bentuk. Pertama, dari E segmentasi ensemble baru melibatkan segmen dasar sebagai berikut: untuk semua dan , dengan memilih elemen dan mengatur . Perhatikan bahwa pemilihan di sini tidak penting, karena konstan dengan konstruksi untuk semua . Kemudian, mengganti segmentasi variabel melibatkan node bentuk dengan variabel segmentasi melibatkan segmen dasar. Akhirnya, diperoleh formulasi baru dari segmentasi konsensus dalam hal segmen dasar sebagai,(8)di mana didefinisikan sebagai,

di mana .Teorema berikut menetapkan beberapa hubungan penting antara persamaan (8) dan (6). Hal ini menunjukkan bahwa nilai obyektif optimal persamaan (8) adalah batas atas untuk salah satu dari persamaan (6) dan memberikan kondisi yang cukup terikat ketat.Teorema 1 Dengan menjadi solusi global untuk (8) dan menjadi solusi global untuk (6). Maka,(9)

Dengan dengan kesetaraan jika ada sehingga untuk semua , , .Perhatikan bahwa, karena adanya simetri intrinsik bentuk, segmen mengambil bagian dalam konsensus akhir tidak selalu terhubung (misalnya, dua kaki dari bentuk kucing mungkin berakhir di segmen yang sama). Untuk alasan ini, dilakukan pembagian segmen posteriori menjadi komponen-komponen yang terhubung maksimal. Operasi ini dapat dilakukan dengan sangat efisien dalam waktu yang linier.

3.3. Kompleksitas MasalahPernyataan 5 Dalam hal jumlah segmen dasar yang terlalu besar, masih dapat dilakukan usaha untuk strategi pengambilan sampel tambahan yang diarahkan ke bobot sparsifying .

3.4. Masalah AlgoritmikMasalah optimasi (8) dapat ditulis dalam hal berikut, setara dengan masalah matriks-faktorisasi:,(10)di mana Y diambil dari S left-stochastic, nilai biner matriks, dan menunjukkan bobot norma matriks Frobenius dengan bobot matriks M. Bobot matriks memiliki nilai masukan , sedangkan C adalah matriks dengan nilai masukan(11)

Matriks ini, yang dikenal sebagai matriks co-association dalam literatur clustering konsensus, merangkum dari statistik cooccurrence segmen dasar dalam ensambel. Dengan kata lain, berisi fraksi segmentasi dalam ensambel, di mana dua segmen dasar dan memiliki segmen yang sama.Kelayakan dari persamaan (8) dan (10) adalah isomorfik, sebagai matriks biner left-stochastic dalam S merupakan representasi alternatif untuk segmentasi dalam . Memang, setiap segmentasi diidentifikasi oleh matriks dengan komponen , sedangkan untuk setiap Y dapat membangun segmentasi sehingga . Untuk mengoptimalkan persamaan (10), prosedur optimasi bekerja pada relaksasi dari persamaan (10), di mana binary constraint diganti dengan non-negative constaint, sehingga diperoles solusi lokal untuk persamaan (10) secara umum.

4. Hasil EksperimenBerikut ini berbagai eksperimen untuk menilai keabsahan dari pendekatan ini. Operator Laplace-Beltrami pada segala bentuk dihitung menggunakan skema bobt kotangen [MDSB02]. Esperimen pertama, ertujuan untuk menyelidiki detektor pengulangan dan sensitivitas metode untuk parametrizations yang berbeda, dilakukan pada dataset TOSCA [BBK08]. Dataset ini terdiri dari 9 kelas bentuk, direpresentasikan sebagai triangular mesh, mennggunakan transformasi yang hampir isometrik (yaitu hampir inelastis). Ukuran bentuk berkisar dari sekitar 4000 sampai 50.000 simpul, dan ground-truth point-to-point dengan penyesuasian antara semua bentuk pada kelas yang sama. Untuk perbandingan yang adil dengan [LBB11] dilakuakn downsampled pada semua mesh dengan paling banyak 10.000 simpul. Karena semua bentuk dari dataset yang diadopsi direpresentasikan sebagai triangular mesh, berdasarkan bagian 3 pemodelan masalah segmentasi terkait langsung dengan elemen wajah, dengan sekitar 20.000 node per bentuk setelah pengurangan. Fungsi GPS g diproyeksikan ke wajah mesh melalui kombinasi linear , di mana t adalah triangle mesh dan berkisar lebih dari simpul. Pada Gambar. 2 ditunjukkan segmentasi yang diperoleh pada subset dari dataset.

Gambar 2. Contoh konsensus segmentasi pada kelas bentuk yang berbeda. Daerah yang terdeteksi tetap stabil bahkan di bawah variasi antar kelas. david, centaur dan victoria berasal dari dataset TOSCA, anak itu dari [RRBW*14]