la visione artificiale in applicazioni di sicurezza

Una Società Finmeccanica Master in Matematica per le Applicazioni, Bologna 3/7/03

La Visione Artificiale in

Applicazioni di Sicurezza

Giovanni Garibotto

Elsag Spa Genova

• Riconoscimento caratteri e lettura mobile di targhe

• Detezione di ostacoli 3D in movimento (un progetto in fase di sviluppo)

• Visione 3D per la ricostruzione di scene incidentate


Sistema di lettura Targhe Mobile a Bordo Auto

O2CR “Auto-Detector”

Un Ausiliario Elettronico per la pattuglia a bordo

Due occhi dedicati alla sicurezza


Auto-Detector

Specifiche dei Requisiti:• Massima raccolta targhe durante una normale missione di auto-pattuglia• Lettura in aree urbane ed extraurbane (autostrade) senza limiti di velocita’• Servizio continuativo 24 h su 24 (diurno-notturno)• Segnalazione immediata di allarme con liste aggiornate (> 500000 elementi)• Miniaturizzazione dell’apparato sensoriale (integrazione con dispositivi esistenti)• Bassi consumi e vincoli di alloggiamento• Non interferire con la normale operativita’ del personale

Sfide tecnologiche:• Lettura continua e integrazione temporale• Gestione di orientamenti arbitrari delle targhe e letture multiple• Compensazione della dinamica di illuminazione non controllabile


Configurazione di ripresa per il Lettore a bordo auto

3 m c.a. 3 m c.a.

6 m. c.a. 6 m. c.a.

Copertura simultanea di lettura delle due corsie adiacenti a quella di marcia

Per ogni transito rilevato da ciascuna delle telecamere vengono registrati:• Stringa corrispondente alla targa letta• Ora e data• Posizione (georeferenziata GPS fornita dal dispositivo Route Planner di navigazione)• Immagine del transito (compressa)


Condizioni di leggibilita’ targhe

dmax

dmax

S

Inclinazione α

Lmax

Le aree in rosso descrivono le zone coperte dal sistema di ripresa durante la marcia, in cui le targhe risultano “leggibili”


LAN

FPMRS 232

GEODI

Postazione Radiolocalizzazione Postazione Controllo Targhe

RS 232ModemGSM

ACCENTRA

CENTRALEOperativa

Telecamera sx

ModemGSM

TRG Introduzione ecancellazionetarghe in lista nera

Ricezione allarmi

Consultazione transiti

Comunicazione con veicolo

Radiolocalizzazione veicolo

Wireless-LAN

VEICOLO

Schema funzionale del sistema Auto-Detector

Telecamera dx


Scheda Tecnica del sistema Auto-Detector

• Sensore miniaturizzato integrato con due microcamere digitali B/W progressive con ottica NF 12mm e mini illuminatori IR flash (88 LED on chip ad alta densita’) • Ampia possibilita’ di espansione verso

sensori ad alta risoluzione e alta sensibilita’

• Unita’ di elaborazione nel vano bagagli delle vettura• Processore INTEL X-Scale a elevate prestazioni

(880 MHz, 32 bits, 64 MB RAM)• Rete a 100 Mb/s • Bassi consumi < 15W, e alimentazione a 12 VDC• Elevata compattezza• Componente di una rete espandibile• Facilita’ di connessioni remote per manutenzione

ed aggiornamento


OO22CRCR--Diagramma di flussoDiagramma di flusso

Acquisizione video continua

Elaborazione immagini e regione di interesse ROI

Segmentazione ROI e riconoscimento caratteri

Analisi contestuale e Understanding

Aggiornamento e manutenzione Base-Dati targhe

Confronto liste targhe (bianche-nere)

Controllo esposizione

Interfaccia Applicativa (MMI - utente)


Pre-Processing: Elaborazione della sequenza video per selezionare automaticamente i quadri immagine in movimento”

OCR Engine: Estrazione e misura caratteri targa nelle regioni ROI selezionate e validazione contestuale• Localizzazione Campo Targa• Segmentazione Caratteri• Misura e Riconoscimento Caratteri• Validazione Contestuale

Post-Processing: Integrazione temporale e fusione dei caratteri targa da letture successive

OO22CRCR Processo di Lettura TargheProcesso di Lettura Targhe


Features utilizzate: mappa “grigi” locali di dimensione fissa e spaziatura adattataDistribuzione di probabilita`:

stimata con media e covarianza delle 36 classi alfanumericheClassificatore utilizzato:

maximum likelyhood con distanza di Mahalanobis -1/2 ( X-Mi )T Q-1 ( X-Mi ) dove

Mi vettore medio della classe i

Qi matrice di covarianza della classe i

Criterio di scarto distanza superiore ad un valore prefissato

OO22CRCR Engine :Riconoscimento e Misura 1 Engine :Riconoscimento e Misura 1

Si tratta in genere di OCR monofont, quindi con distribuzioni di probabilita` modellabili come “nuvole” centrate attorno ad un punto (archetipo) nello spazio delle features.

Esempio di carattere segmentato, mappa di

features


• Confronto e integrazione delle targhe riconosciute nei quadri immagine che compongono la sequenza video per selezionare i dati piu’ stabili e corretti

• Misura della distanza tra stringhe alfanumeriche di testo per decidere l’accettazione del candidato targa

• Si ottiene un sensibile miglioramento del riconoscimento targa rispetto alle misure condotte su singoli quadri immagine

• Confronti con liste bianche (veicoli autorizzati) e liste nere (generazione allarmi)

OO22CRCR Engine: Engine: Post-ProcessingPost-Processing


Prestazioni del sistema Auto-Detector


Prestazioni del sistema Auto-Detector

• Vetture parcheggiate al bordo strada lungo tratti urbani Riprese a velocita’ 50 km/h• Percentuale media di letture corrette

rispetto a quelle leggibili > 90%

• Vetture in movimento lungo tratti autostradali o strade ad elevato scorrimento• Percentuale media di letture corrette

rispetto a quelle leggibili > 95%

• Ottimizzato per le targhe italiane con equivoco inferiore a 0.5%

• Predisposto per la lettura targhe internazionali (training e contesto-libero)

• Lettura continua giorno e notte e transizioni brusche (gallerie) pioggia, ecc.


3D MODS

Moving Obstacle Detection System

• Le specifiche e requisiti applicativi di riferimento

• La soluzione proposta

• Configurazione adottata e modalita’ di installazione

• Descrizione del processo

• Alcuni esempi

• Sviluppi in corso


L’obiettivo principale dell’ODS e’ quello di generare un allarme quando un oggetto di dimensioni predefinite (un cubo di 30 cm. di lato e’ utilizzato come “test-body”) cade in una zona pericolo. (zona binari).

ODS- Stazioni Metropolitane 1

E’ definita una barriera virtuale all’altezza del marciapiede, come zona di sicurezza.

• L’oggetto non deve essere metallico ne’ avere proprieta’ di conducibilita’

• Non si devono avere falsi allarmi per:• Variazioni nelle condizioni atmosferiche e di illuminazione• Fogli di giornale, pacchetti di sigarette, ecc.• Transito di treni

• Tempo di risposta nella detezione oggetto (allarme) < 300 msec.• Copertura di tutta la lunghezza del binario in stazione (c.a. 40 m.)• Garantita una illuminazione ambientale >10 lux


ODS- Stazioni Metropolitane 2

Soluzioni attualmente in fase di valutazione

Barriere ottiche Barriere Laser• Frequenti falsi allarmi

• No-documentazione dell’evento

• Difficile installazione (ingombri in zona danger)

• Difficile manutenzione (interruzione servizio)


Base telemetrica fra le due telecamere B

Assetto Binoculare convergente

Una telecamera (master) rileva le variazioni di movimento

La seconda telecamera verifica la consistenza 3D delle aree rilevate in movimento

Vantaggi:Elimina falsi allarmi generati da:• Ombre e riflessi di luce• Fogli o superfici piane

3D MODS- La Proposta Elsag 1


BModello predizione-verifica

Ogni piano nello spazio 3D determina una tabella di corrispondenza (look-up) tra i punti immagine Master e Slave

Vantaggi principali:• Insensibilita’ a variazioni di luce (coppie di

telecamere sincronizzate)• Velocita’ di processing (look-up limitate alle

aree in movimento)

Modello binoculare

Autocalibrazione sul piano da analizzare



MODS: Moving Obstacle Detection System


13.88 m

13.88 m

13.88 m

4.39 m 4.39 m

Configurazione sensoriale (6 sensori stereo) per coprire la lunghezza del binario in stazione

Sensore base:• Aggiornamento del background e controllo esposizione• Detezione movimento (change-detection) della Telecamera master: zone candidate (blob)• Estrazione contorni (in movimento)• Correlazione immagini (ai diversi pianio selezionati)• Estrazione features (globali e ai singoli piani): densita’ punti “attivi”, posizione

(baricentri) assi di inerzia• Detezione (warning e allarmi) con euristiche (processo “generico”) da specializzare con

opportuna fase di “training”



Architettura di sistema

Basic Sensor

Basic Sensor

Basic Sensor

Basic Sensor

Basic Sensor

Rail track 1 Rail track 2

Basic Sensor

Basic Sensor

Basic Sensor

LAN 1 LAN 2

Alarm Mngm. Supervision

SUP-1Alarm Mngm. Supervision

SUP-2

I/F to External Systems SCADA, TLC, ecc.


3D MODS- Situazione attuale prototipo “base”

Configurazione di ripresa

Sensore binoculare

Procedure di Calibrazione e Installazione (messa in servizio):

• Selezione nella scena di punti 3D (sparsi) su due piani ad altezza 0 e h, rispettivamente

• Costruzione della matrice fondamentale F (relazione epipolare)

• Costruzione delle trasformate (omografie) sui due piani selezionati

• Interpolazione lineare dei piani con vincolo epipolare

O = (1-dz/h) O0 + (dz/h) Oh

Left Right


P

O1

O2

Parallela alla direzione P1

P1

P2

Punti P con giacitura su un

piano di riferimento

3D MODS- Assetto stereo di ripresa”

Ep2


Omografia al suolo O0 ottenuta dalla corrispondenza di N pti (>=4) su un piano di riferimento (piano dei binari)

Omografia all’infinito O ottenuta dalla corrispondenza dei punti all’infinito, rispetto ad un sistema di riferimento 3D comune nella scena (landmark “naturale” dei binari)

Relazione di interpolazione per ottenere l’omografia O al piano corrente, come:

O = H/(H-h) O0 - h / (H-h) O

Si utilizza un sistema di riferimento ortogonale nel mondo costituito da 3 direzioni ortogonali corrispondenti ai 3 pti di fuga (punti impropri) sul piano immagine

3D MODS- Interpolazione con omografia all’infinito

113231

232221

131211

y

x

mm

mmm

mmm

w

v

u


3D MODS- Landmark 3D nella scena


3D-MODS- Impianto Pilota METRO-Ge, Certosa-Brin

• Il sistema (un sensore) e’ installato alla stazione di Genova-Certosa, dal 30-4-03

• Il sistema e’ in grado di rilevare la presenza di oggetti (di dimensioni superiori a 15 cm. nella zona di sicurezza all’altezza della banchina

• Puo’ classificare i treni in transito

Esempio di coppia stereo sincronizzata

Cassetto di controllo

Sensore binoculare


Componenti

Compasso landmark

Compatto lunghezza 1 m.

Materiale “Polidur” alta densita’ molecolare, resistente e leggero

Trattamento anti UVA con ampia resistenza a escursioni termiche e usura

Fotocamera digitale

4 Megapixel 2272x1704, a colori

Salvataggio su mini-CD a sola scrittura

Software di elaborazione

ORTHO-PHOTO

ORTO-FOTO: Ricostruzione e misure di scene incidenti


Ricostruzione in pianta

Ricostruzione grafica scene (schizzo post-incidente)

Ricostruzione della scena per una mappatura piu’ realistica della scena

Recupero misure e dati senza elementi di disturbo (scena sgombra)


P0

Export dati in uscita

Per ogni immagine selezionata:• Scelta punto di origine (P0) sulla scena e direzione principale (P1) (ad es. lungo una corsia), per

identificare una posizione assoluta di riferimento, ben identificabile nella scena;• Tutte le coordinate misurate vengono riportate in questo sistema di riferimento

P1

Struttura dati in uscita:Sequenza dei punti misurati (segmenti in colore blu nella figura) al suolo nel sistema di riferimento selezionato, che possono essere posizionati su un grafico esterno (ad. Es. CAD) ESTERNO AL PROGRAMMA ORTHO-PHOTO


Nuove applicazioni e sviluppi in corso

• Misura velocita’ dalla lettura continua delle targhe dei veicoli in transito

• Lettura codici containers nel controllo accesso varchi portuali

• Detezione e classificazione di sorpassi tra mezzi pesanti (con modelli 3D di veicoli e mezzi)

• Misure stereometriche fra due foto-digitali non-calibrate (landmark)

• Riconoscimento e classificazione transiti di motocicli (struttura targe)

• Classificazione transiti a varchi (persone, veicoli, ecc.)

• Simulazione transiti

la visione artificiale in applicazioni di sicurezza

Documents