Review on Vehicle Detection Based on Video for Traffic Surveillance
Guolin Wang, Deyun Xiao, and Jason GuProceedings of the IEEE International Conference
on Automation and Logistics Qingdao, China September 2008
LUQMAN ABDUL MUSHAWWIRDipersiapkan Oleh
Isi
• Pendahuluan• Metoda seleksi region of interest (ROI)• Teknik deteksi kendaraan• Metoda untuk menghilangkan bayangan• Kesimpulan
PENDAHULUAN
Pendahuluan• Teknik deteksi kendaraan menjadi salah satu titik
lemah dalam pengawasan dan kendali lalu lintas– Meskipun banyak metoda yang dapat dipilih, seperti
supersonik, closed loop, radar, namun tidak dapat menyajikan informasi yang lengkap mengenai keadaan lalu lintas
– Deteksi melalui pemrosesan video menjadi lebih menjanjikan karena dapat menyelesaikan persoalan yang lebih kompleks dan dapat menyediakan informasi lebih banyak
• Deteksi kendaraan dengan pemrosesan video menjadi salah satu teknik menjanjikan untuk analisis data dan informasi lalu lintas
Penelitian Sebelumnya• Peneletian mengenai deteksi kendaraan berbasis
kamera video sudah dimulai dari akhir 1970an– Autoscope, sebuah sistem deteksi citra video diinisiasi di
University of Minnesota pada 1984• Kebutuhan untuk alat deteksi lalu lintas dengan biaya
pemasangan dan perawatan kecil namun dapat mengambil lebih banyak data aliran lalu lintas menjadikan pengembangan dari sistem deteksi berbasis computer vision– Pada tahun 1990, perbandingan yang dilakukan Minnesota
Department of Transportation menunjukkan bahwa deteksi berbasis kamera video lebih efektif dari segi biaya, namun
Peneletian Sebelumnya• Penilaian dari kondisi lalu lintas dapat digambarkan
dengan parameter:– Kecepatan rata-rata lalu lintas– Panjang antrian– Kerapatan lalu lintas
• Data ini dapat diambil dengan deteksi kendaraan dan teknik pelacakan– Teknik yang robust dan reliabel menjadi sangat penting
• Paper ini akan membahas mengenai deteksi dan pelacakan kendaraan berbasis kamera video– Dengan fokus pada sistem dengan kamera stasioner
dipasang pada jalan, bukan pada kendaraan
METODA SELEKSI ROI
Metoda Seleksi ROI
• Beberapa metode seleksi ROI telah diajukan dalam literatur, di antaranya:– Metoda frame subtraction (selisih antar frame)– Metoda background update (pembaruan latar)– Metoda virtual loop– Selain itu, ada juga metoda yang menggabungkan
metoda-metoda tersebut
Metoda Frame Subtraction• Menggunakan teknik threshold pada perbedaan antar
frame– Menggunakan perbedaan pixel atau blok antar frame pada
video• Teknik ini memanfaatkan perbedaan antara dua atau lebih
frame yang berurutan untuk memperoleh informasi ROI• Tujuan dari metoda ini adalah untuk mencari lokasi
kendaraan yang mungkin secara cepat untuk langkah deteksi dan pelacakan kendaraan selanjutnya
• Ada beberapa pendekatan, seperti metoda selisih antar frame, metoda pengujian statistika, dan metoda spatial markov random field
Metoda Selisih antar Frame• Metoda ini sangat populer
– Banyak digunakan untuk pemilihan ROI dalam computer vision• Mendeteksi daerah pergerakan objek dengan menghitung
selisih dari dua atau tiga frame yang berurutan– Untuk menentukan ROI, ditentukan kriteria batas (threshold)– Peta perbedaan biasanya di-biner-kan menggunakan threshold
tersebut• Keuntungan: mudah untuk diterapkan dan hanya sedikit
komputasi diperlukan• Kerugian: Efisiensi yang rendah, terutama ketika tidak ada
knowledge sebelumnya– Untuk mengatasinya, ada teknik adapted threshold
Metoda Pengujian Statistika• Terbatas pada keputusan pada pixel sebagai
lanjutan dari metoda sebelumnya• Mengasumsikan bahwa deteksi dari perubahan
temporal ekivalen dengan deteksi gerakan– Kelemahannya, hanya akan valid ketika perpindahan
besar muncul atau proyeksi objek cukup bertekstur– Untuk mengatasi kekurangan tersebut, diperkenalkan
filter dan mask untuk deteksi perubahan temporal (Gabor spatial-temporal change detectors)
– Dapat meningkatkan efisiensi dari algoritma deteksi perubahan, terutama ketika ada pengetahuan mengenai ukuran objek yang bergerak
Metoda Spatial Markov Random Field
• Diperkenalkan untuk mengatasi keterbatasan mengenai pengetahuan tentang ukuran kendaraan
• Pada metoda ini, deteksi pergerakan dianggap sebagai persoalan estimasi statistika
Metoda Pembaruan Latar (Background Update)
• Banyak digunakan untuk deteksi pergerakan dalam deteksi dan pelacakan kendaraan real-time
• Terdiri dari beberapa teknik– Metoda frame average– Metoda selective updating– Metoda minimum and maximum intensity value– Metoda mixture of gaussian– Metoda K-means clustering
Metoda Pembaruan Latar (Background Update)
• Pada pendekatan ini, perbedaan antara frame selanjutnya dengan citra latar yang terbentuk dihitung untuk mendeteksi objek-objek depan– Terdapat persoalan yaitu sangan sensitif terhadap
perubahan scene yang sangat dinamis karena pencahayaan dan kejadian lainnya
• Model latar yang robust banyak diajukan oleh peneliti untuk mengatasi persoalan tersebut, sekaligus memperbaiki efisiensi dan akurasi dalam memperoleh ROI
Metoda Frame Average• Metoda klasik dan terkenal untuk deteksi
kendaraan• Intinya adalah membangun frame latar untuk
memisahkan ROI dari citra sekarang kemudian ROI dapat dideteksi– Latar dibangun dengan menghitung rata-rata dari
beberapa frame yang berurutan– Kekurangannya adalah sulit untuk mendeteksi
kendaraan yang diam atau yang bergerak sangat lambat
– Kunci dari metoda ini adalah bagaimana memperbaharui latar secara adaptif
Metoda Selective Updating
• Untuk metoda ini, hanya daerah yang telah dipilih yang diperbaharui
• Wang mengajukan metoda yang memodelkan latar ke dalam daerah dinamis dan daerah quasi-static– Untuk memodelkan daerah quasi-static, digunakan
pendekatan eigen-space berbasis blok• Keuntungan dari metoda ini adalah lebih robust• Namun, harus memiliki pengetahuan mengenai
daerah yang diperbaharui
Metoda Minimum and Maximum Intensity Value
• Nilai intensitas minimum dan maksimum dan turunan maksimum terhadap waktu untuk setiap pixel digunakan untuk menginisialisasi model latar– Kemudian diperbaharui menggunakan kombinasi
metoda berbasis pixel dan objek– Kalman Filtering diajukan untuk menyesuaikan
variasi cuaca dan pencahayaan– Mixture of normal distribution dapat digunakan
untuk memodelkan sekuens citra latar
Metoda Mixture of Gaussian (MOG)
• MOG pada tingkatan pixel sangat efisien untuk memodelkan distribusi multi-modal dari latar– Dapat beradaptasi terhadap perubahan latar dan
mengimplementasi metoda secara real-time• Ide dasarnya adalah mengasumsikan bahwa observasi
seiring waktu pada suatu pixel tidak bergantung pada observasi pada pixel lain– Friedman dan Russell memodelkan nilai intensitas dari pixel
dengan menggunakan mixture dari tiga distribusi normal kemudian menerapkannya pada pengawasan lalu lintas
– Stauffer dan Grimson mempresentasikan metoda yang memodelkan intensitas pixel dengan mixture dari K Gaussian distribution
Metoda K-Means Clustering
• Analisis cluster dapat dilakukan pada ruang koefisien untuk membangun agregasi yang konsisten
• Dengan mempertimbangkan pixel yang berubah dalam daerah kendaraan, geometri kendaraan dapat diperkirakan
• Metoda ini tidak membutuhkan kalibrasi dari sekuens citra
Metoda Virtual Loop
• Menggunakan konsep inductive loop– Memonitor perubahan cahaya pada wilayah yang
ditentukan dalam frame– Biasanya pemilihan ROI dilakukan oleh manusia• Berupa jalur pada jalan raya
• Pemrosesan yang dilakukan menjadi cepat• Namun, sulit untuk di setup dan fungsinya
terbatas
TEKNIK DETEKSI KENDARAAN
Teknik Deteksi Kendaraan
• Masukan untuk teknik deteksi kendaraan adalah himpunan dari ROI yang telah dipilih
• Dapat dibagi menjadi tiga kategori:– Metoda berbasis pengetahuan, menggunakan
pengetahuan yang sudah ada untuk mendeteksi posisi kendaraan pada ROI
– Metoda berbasis pergerakan, mendeteksi kendaraan menggunakan aliran optik
– Metoda berbasis wavelet, menggunakan pendekatan wavelet neural network atau fungsi berbasis wavelet
Metoda Berbasis Pengetahuan• Menggunakan pengetahuan yang ada untuk
menentukan apakah ROI adalah kendaraan atau bukan
• Beberapa pendekatan menggunakan:– Simetri– Warna– Bayangan– Tepi vertikal/horizontal– Tekstur– Model 3D– Roda
Simetri
• Sebagai salah satu ciri khas benda buatan manusia, simetri telah digunakan dalam berbagai terapan deteksi objek dalam computer vision
• Pengamatan kendaraan dari kamera diam secara umum memiliki simetri baik pada arah horizontal maupun vertikal– Ciri inilah yang digunakan sebagai pembantu dalam
deteksi kendaraan• Kekurangannya adalah sensitif terhadap
gangguan
Warna• Meskipun sangat sedikit sistem yang menggunakan
warna untuk memperoleh informasi, namun warna merupakan tanda yang sangat berguna untuk deteksi kendaraan– Dapat digunakan untuk mencari jalur dan memisahkan
kendaraan dari latar– Segmentasi kendaraan dapat diperoleh dari selisih frame
sambil segmentasi warna• Y. Liu menerapkan kombinasi antara adaptive
background dengan pemetaan ruang warna HSV untuk beradaptasi dengan algoritma segmentasi fitur untuk mendeteksi objek bergerak pada scene luar ruangan dengan robust
Bayangan• Informasi bayangan dapat pula digunakan untuk
deteksi kendaraan– Area di bawah kendaraan lebih gelap daripada area lain
pada jalan aspal– Tzomakas dan Seelen menemukan bahwa bayangan di
bawah kendaraan merupakan tanda yang baik untuk deteksi kendaraan
• Berbagai metode diajukan untuk penggunaan dari bayangan yang bergerak untuk meningkatkan akurasi dari deteksi kendaraan– Cucchara et al menggunakan threshold berbasis
karakteristik ruang warna HSV– Xu menggunakan empat properti dari bayangan bergerak
Tepi Horizontal/Vertikal
• Kumpulan tepi horizontal atau vertikal pada citra dapat menjadi tanda yang baik untuk deteksi kendaraan– Deteksi berbasis gradien, seperti operator Sobel
dan Generalized Hough Transform (GHT)– Deteksi tepi morfologis• Memiliki kinerja lebih bagus• Menggunakan kombinasi dari operasi morfologi
matematis seperti dilatasi dan erosi• Menandai transisi tingkatan abu-abu dari citra masukan
Tepi Horizontal/Vertikal
• Memiliki masalah yaitu hilangnya informasi saat deteksi tepi– M Y Siyal mengajukan SMED (Separable
Morphological Edge Detector – Deteksi tepi morfologi yang dapat dibagi) untuk mengurangi ketergantungan pada arah tepi dan membuat deteksi kendaraan lebih robust
Tekstur• Keberadaan kendaraan pada citra akan menyebabkan perubahan
intensitas– Karena semua kendaraan kira-kira serupa, perubahan intensitas
tersebut membentuk sebuah pola tekstur tertentu– Informasi tektur ini digunakan untuk menemukan kendaraan yang
mungkin pada ROI• Entropi digunakan sebagai ukuran dalam deteksi tekstur
– Daerah yang memiliki entropi tinggi akan dimasukkan dalam pemrosesan selanjutnya
• Selain itu digunakan matriks kejadian untuk pemisahan berdasarkan tekstur
• Sun et al menggunakan klasifikasi Gabor untuk mengekstrak berbagai tekstur kemudian menggunakan SVM untuk klasifikasi
• Bertozzi et al menggunakan fitur pojok untuk membangun empat templat untuk mendeteksi kendaraan
Model 3D• Menurunkan pose 3D dari objek dengan memetakan data
citra kepada deskripsi model yang terkait– Salah satu keuntungannya adalah kemampuannya menangani
oklusi– Termasuk beberapa persoalan, seperti bagaimana memilih fitur-
fitur yang cocok pada citra dan model dan mencocokkan fitur tersebut
• Beberapa pendekatan untuk melakukan ini– Pencocokan graf, indexing dan invarian, batas konsistensi
viewpoint, neural network, pendekatan berbasis gradien, dll– Metoda-metoda tersebut berbasis mencocokkan fitur-fitur dua
dimensi, seperti titik, atau segmen garis dengan fitur-fitur 3D yang cocok
Model 3D• Peran besar dalam menghubungkan antara fitur
citra dan fitur model berada dalam verifikasi pose• Metoda verifikasi pose berhubungan dengan
pendefinisian matriks untuk menghubungkan keserupaan antara citra dengan model 3D– Karsten et al menggunakan latar yang terkalibrasi
untuk merekonstruksi lingkungan dalam 3D– Lou menguraikan pergerakan dari proyeksi model
menjadi dua gerakan, yaitu translasi dan rotasi– Ghosh et al mengajukan pencocokan 3D model untuk
klasifikasi kendaraan
Roda
• Beberapa literatur menggunakan roda untuk deteksi kendaraan, namun kelihatannya hanya efektif di siang hari saja, tidak di malam hari– Yoichiro et al mengajukan metoda untuk deteksi
malam hari, namun hanya berguna untuk kamera di sisi jalan, bukan di atas seperti biasanya
Metoda Berbasis Gerakan
• Selain fitur untuk membedakan kendaraan dari latar, kita juga dapat mendeteksi dengan gerakan kendaraan via kalkulasi dari aliran optik– Pixel pada citra seakan-akan bergerak, disebut
dengan aliran optik– Metoda deteksi kendaraan dengan ini
menggunakan karakteristik dari vektor dari objek bergerak seiring waktu, kemudian mendeteksi daerah pergerakannya
Metoda Berbasis Gerakan
• Meyer et al menghitung bidang vektor perpindahan untuk menginisialisasi algoritma pelacakan berbasis kontur
• Metoda ini dapat digunakan untuk mendeteksi kendaraan bergerak secara independen dari kamera– Namun, komputasi sangat kompleks dan sangat
sensitive terhadap noise– Sulit untuk menerapkannya dalam video analisis
tanpa bantuan perangkat khusus
Metoda Berbasis Wavelet• Transformasi wavelet merupakan kakas penting dalam
berbagai penerapan, seperti pemrosesan citra• Dalam deteksi kendaraan, gerakan dikarakterisasi
dengan seluruh spatio-temporal data 3D yang terbentang oleh kendaraan yang bergerak pada sekuens citra
• Metoda ini dapat memperoleh performa yang lebih baik dalam informasi spasial dan temporal dari gerakan kendaraan– Keuntungannya, kebutuhan komputasi yang rendah dan
implementasi yang sederhana– Namun, rentan terhadap noise
Metoda Berbasis Wavelet
• Wang mengajukan transformasi wavelet spatio-temporal untuk memperoleh informasi pergerakan kendaraan
• Pamula menganalisis keuntungan dari menggunakan kurva pengisi ruang untuk menghitung transformasi wavelet dari citra lalu lintas– Pixel yang sangat berkorelasi dapat disatukan dengan
memindai citra dalam kurva pengisi ruang • Yin et al mengajukan teknik gabungan antara
transformasi wavelet dan fitur informasi warna untuk identifikasi kendaraan
METODA PENGHILANGAN BAYANGAN
Penghilangan Bayangan• Pada sistem deteksi berbasis video, penghilangan
bayangan dilakukan setelah ditemukan ROI untuk deteksi
• Pengamatan umum oleh Xie:– Bayangan jatuh pada permukaan yang sama dengan
latar– Pixel-pixel bayangan lebih gelap daripada latar– Latar kebanyakan adalah permukaan jalan yang
biasanya monokrom, sehingga permukaan yang terkena bayangan memiliki nilai hue yang lebih kecil
– Pixel tepi dari bayangan biasanya lebih sedikit daripada kendaraan itu sendiri
Penghilangan Bayangan• Jiang dan Ward mengekstrak bayangan dari citra statis
dengan proses tiga tingkat• Cucchiara et al mengajukan metoda threshold berbasis
ruang warna HSV• Mikie et al dapat memisahkan bayangan dengan statistik
fitur warna, namun tidak menyertakan arah sumber cahaya• Yung dan Lai menggunakan model 3D pada bidang 2D
untuk memisahkan kendaraan dengan bayangan• Xu mengajukan algoritma berbasis empat properti dari
bayangan bergerak– Intensitas, selisih pada kerapatan gradien, pixel tepi, dll
• Hsieh et al mengajukan metode yang mempertimbangkan geometri bayangan
SIMPULAN
Simpulan
• Sistem pengawasan lalu lintas berbasis video merupakan salah satu komponen penting dalam ITS
• Beberapa persoalan praktis dihadapi– Pemilihan ROI– Deteksi kendaraan– Eliminasi bayangan
• Pada paper ini dijelaskan gambaran dari beberapa solusi yang telah diajukan untuk menyelesaikan persoalan tersebut