nest network enabled surveillance and tracking durch das nest plug & protect-prinzip soll erreicht...

N E S TNetwork enabled surveillance and tracking

IntelligenteVideoüberwachung

d

2 Fraunhofer IOSB © 2010

dddddddddddKarlsruhe, Montagmorgen im Fraunhofer IOSB. Ein Gast betritt das Foyerdes IOSB und meldet seinen Besuch bei Dr. Mustermann am Empfang. Das Sicher-heitspersonal am Empfang trägt Name und Ziel des Besuchs in der NEST-Bedienersoftware ein. Dann wird der Gast gebeten, in die Kamera über der Empfangstheke zu schauen, und Sekunden später wird ein Besucherausweis mit Lichtbild ausgedruckt. Der Besucher macht sich auf den Weg zu Dr. Mustermann und das NEST-System nimmt im Hintergrund die Assistenztätigkeit auf. Ein Routenplaner berechnet automatisch die möglichen Wege vom Foyer zum Büro von Dr. Mustermann. Kameras behalten den Gast im Blick. Ein NEST-Dienst prüft zyklisch, ob der Gast sich auf dem korrekten Weg bzw. in zulässigen Bereichen des IOSB-Gebäudes aufhält, wenn nicht – und nur in diesem Fall – wird das Personal am Empfang benachrichtigt. Ist der Gast bei Dr. Muster-mann angekommen, wird die Überwachungsaufgabe mit einer Meldung an das Sicherheitspersonal quittiert.

Intelligente videogestützte Sicherheits- und Monito-ringsysteme fi nden in Forschung und Entwicklung große Aufmerksamkeit. Neue technologische Möglich-keiten, verbunden mit einer in der öffentlichen Wahr-nehmung zugespitzten Gefahrenlage und der stetigen Forderung nach höherer Effi zienz, lassen eine steigende Nachfrage nach innovativen Lösungen erwarten. Sowohl zur Kriminalitätsprävention in öffentlichen Räumen, zur Aufdeckung von Industriespionage in Unternehmen als auch für die Unterstützung polizei-licher Ermittlungen nach Delikten werden intelligente Videoüberwachungssysteme vermehrt zum Einsatz kommen.

Die meisten derzeit im Einsatz befi ndlichen Video-überwachungssysteme haben eines gemeinsam: Die Überwachungsaufgabe wird von einem mensch-lichen Operator (z. B. Mitarbeitern eines Sicherheits-diensts) übernommen (Abb. 1). Dieser muss eine gewisse Anzahl von Monitoren im Auge behalten und

über Stunden hinweg Auffälligkeiten detektieren. Dies führt in der Regel zu einer reduzierten Effektivität. Zum einen ist die Aufmerksamkeit des Menschen über die Zeit nicht konstant und zum anderen ist durch die geringe Anzahl der Sicherheits-Mitarbeiter die Anzahl der Sensoren ebenfalls begrenzt, da ein einzelner Operator nur wenige Monitore verwalten kann.

Eine Möglichkeit diese Problematik zu umgehen, ist der Einsatz von automatischen Sensorauswertungs-verfahren. Automatische Überwachungssysteme sind in der Lage, rund um die Uhr mit konstanter Leistung eine hohe Anzahl an Sensoren zu verwalten und auszuwerten.

Der menschliche Operator erhält dadurch die Möglich-keit, auf verarbeitete Daten zuzugreifen und sich somit auf höherwertige Aufgaben wie die Lageeinschätzung (Situation Awareness) zu konzentrieren (Abb. 2).

SZENARIO I: PERSONENÜBERWACHUNG

Abb. 1: Veraltetes CCTV Überwachungssystem

nach dem Sensor-Monitoring-Prinzip.

Abb. 2: Struktur eines

auftragsorientierten Überwachungssystems.

3Fraunhofer IOSB © 2010

N E S T Network enabled surveillance and tracking

Eine der meistgefragten, jedoch bisher weitgehend ungelösten, Aufgaben ist die Detektion von „verdäch-tigem Verhalten“ oder das sensor-übergreifende Verfolgen von verdächtigen Personen oder Fahrzeugen in großen Sensornetzwerken. Durch die komplexen und vielfältigen Umgebungsbedingungen sind hierbei extrem hohe Anforderungen an die Videoanalyse- und Sensorauswerteverfahren gegeben. Währenddie derzeit kommerziell zur Verfügung stehenden Videoüberwachungssysteme erste Schritte in Rich-tung automatischer Videoanalyse gehen, wobei primär einfache Videoauswerteverfahren auf einzelneKameras angewendet werden, beschäftigt sich die Wissenschaft heute mit der Erforschung neuer Verfahren und Methoden zur Auswertung von Video-daten in Sensorverbünden (z. B. Kamera-Netzwerken) und der auf Sensorinformationen aufbauenden Situationsanalyse. Das Fraunhofer IOSB gehört auf diesem Feld zu den führenden Instituten.

Im Forschungsprojekt NEST (Network Enabled Surveil-lance and Tracking) wurde am Fraunhofer IOSB eine generische und offene Architektur entwickelt, die sensor- und herstellerunabhängig eine Infrastruktur zur Informationsgewinnung, -aufbereitung und -analysebereitstellt. Die Architektur ist so konzipiert, dass man durch modulare Verknüpfung von Schlüsselkom-ponenten das System für unterschiedlichste System-anforderungen und Anwendungsmöglichkeiten konfi gurieren kann.

NEST konzentriert sich hierbei auf die Untersuchung und exemplarische Umsetzung von drei innovativen Konzepten im Bereich von Sicherheitssystemen: Der in NEST realisierte Plug & Protect-Ansatz, die auftrags- und aufgabenorientierte Datenauswertung und der NEST Modellwelt-Ansatz.

Durch das NEST Plug & Protect-Prinzip soll erreicht werden, dass Sensoren (insbesondere Sensoren mit integrierter Signalauswertung, sogenannte Smart Sensors) sich nach Ankopplung im Sensornetzwerk automatisch im NEST-System authentifi zieren und registrieren. Wird ein neuer Sensor als NEST kompatibel erkannt, kann dieser ab sofort von bereits in Betrieb genommenen Analysekomponenten ausgewertetwerden. Die „Plug & Protect“-Fähigkeit soll dazu führen, dass die Erweiterung des Sensornetzwerkes effektiv, schnell und ohne Expertenwissen vonstatten gehen kann. Seitens der Sensorkonzeption und der Sensor-datenverarbeitung fokussieren sich die Forschungs-aktivitäten am IOSB auf die Entwicklung neuer Methoden zur Selbstkalibrierung, -konfi guration

Die kameraübergreifende Verfolgung und Wiederer-

kennung von bewegten Objekten (z. B. Personen) ist ein

Schwerpunktthema im Forschungsprojekt NEST. Der

„Person Tracking Service“ ist ein Standarddienst im System.


Flughafengelände. Ein weißer Transporter fährt zum Wareneingang des Flug-hafengeländes. Der Fahrer meldet sich beim Sicherheitspersonal, nennt seinen Namen und seinen Besuchszweck. Er ist von einem Handwerksbetrieb und soll im Hangar 15A Reparaturarbeiten vornehmen. Das Empfangspersonal trägt Name und Ziel des Besuchs in der NEST-Bedienersoftware ein. Dann wird dem Fahrer die Route zum Hangar 15A erklärt. Bevor der Transporter losfährt, wird in der NEST-Bedienersoftware noch das Fahrzeug markiert – der Überwachungs-auftrag wird nun gestartet. Der weiße Transporter fährt ein und das NEST-System nimmt im Hintergrund die Assistenztätigkeit auf. Ein Routenplaner berechnet automatisch die möglichen Wege vom Wareneingang zum Hangar. Kameras behalten den Transporter im Blick. Sollte das Fahrzeug von der vorgeschriebenen Route abkommen, wird das Sicherheitspersonal alarmiert.

und -parametrisierung von Sensorsystemen. Die NEST-Architektur stellt hierfür die nötige Infrastruktur für die Detektion, Registrierung, Verwaltung und Steuerungvon „Plug & Protect“-fähigen Sensoren zur Verfügung.

Die auftrags- und aufgabenorientierte Datenaus-wertung ist einer der wichtigsten Leitgedanken im NEST-Konzept, insbesondere bei der Sensordaten-auswertung und -speicherung. Hierbei ist die Idee, nur auftrags- und / oder aufgabenrelevante Informationen von den intelligenten Sensoren anzufragen, auszu-werten, zu visualisieren oder zu archivieren. Am IOSBwerden hierfür gezielt Algorithmen zur auftrags-orientierten Sensor-Selektion entwickelt, mit Hilfe derer lediglich Daten von relevanten Sensoren angefordert, fusioniert und dem Bediener bereitgestellt werden. Dadurch soll das Datenaufkommen in großen Sensor-netzen, aber auch die erforderliche Speicherkapazität von Archiv-Servern bezüglich der aktiven Überwa-chungsaufgaben optimiert werden. Weiter werden durch

die auftrags- und aufgabenorientierte Auswertung keine Daten und Informationen visualisiert und archiviert, die als sicherheitsirrelevant angesehen werden, was dem „Privacy“-Aspekt zugute kommt.

Die Modellwelt

Der Modellwelt-Ansatz stellt ebenfalls eine Innovation im Bereich von Sicherheitssystemen dar. Eine zentrale Komponente der modularen NEST Architektur fungiert als virtuelle Informationsdrehscheibe zwischen einzelnen Auswerte- und Analysediensten. Die Informations-drehscheibe kann sowohl als Knotenpunkt für In-formationssammlung, -verdichtung und -fusion als auch als gemeinsames Gedächtnis und Wissensreprä-sentation im Überwachungssystem angesehen werden (Abb. 3). Gewonnene Daten über relevante Objekte, Zu-stände oder Ereignisse sollen von den intelligenten Sensoren lediglich in geeigneter Form vorverarbeitet und in der Modellwelt abgebildet bzw. aktualisiert werden.

SZENARIO II: FAHRZEUGÜBERWACHUNG

Abb. 3: Der Modellwelt-

Ansatz dient sowohl als

Entkopplung von Informa-

tionsgewinnung (rechts)

und Analyse durch „NEST-

Dienste“ (links), als auch als

Informationsdrehscheibe

zwischen den auftragsori-

entierten Analyse-Diensten.



Unabhängig von der Daten- und Informationsgewin-nung durch Sensoren greifen nun beliebige Situa-tionsanalysedienste auf die Modellwelt zu, um eine Aussage über den aktuellen Auftragszustand zu treffen. Dadurch ergeben sich eine Reihe von Vorteilen: Zum einen sind die auftragsorientierten Instanzen von Situationsanalysediensten (z. B. Verfolgung von Personen, Diebstahlsicherung, etc.) unabhängig von den eigentlichen Informationsquellen (videobasiertes Tracking, RFID, etc.). Zum anderen wird durch diese Entkopplung vermieden, dass ein mehrfacher Bedarf an einer Information zu einer mehrfachen Rohdaten-auswertung führt. Beobachtungen aus einem einzigen Sensor stehen in der Modellwelt einer Vielzahl an Analysediensten zur Verfügung.

Die NEST-Architektur

Um die Flexibilität, Generik und Erweiterbarkeit für unterschiedlichste Anwendungen zu gewähr-leisten, wurde als Basis eine serviceorientierte Architektur gewählt (SOA). Die SOA stellt ein aus-reichendes Abstraktionsniveau zur Verfügung, welches für ein offenes und beliebig erweiterbares System notwendig ist.

Einzelne selbständige Dienste (Services) werden hier durch eine auftragsorientierte Steuerungsinstanz(den sogenannten „Task Execution Service“) so koordiniert, dass die Überwachungsaufgabe mit minimaler Interaktion seitens des Benutzers durch-geführt werden kann. Abb. 4 zeigt hierfür exem-plarisch die benötigten Dienste zur Erfüllung der

Personenverfolgungsaufgabe (siehe „Szenario I Personenüberwachung“). Die Kommunikation erfolgt über zwei logisch getrennte Busse, den „Service Control & Communication Bus“ und den „Result Bus“. Auf dem „Service Control & Communication Bus“ fi ndet primär der Austausch von Steuerbefehlen und auf-tragsbezogenen Initialisierungsparametern statt. Um dies zu realisieren wurden alle Dienste in einer einheitlichen Beschreibungssprache spezifi ziert (WSDL) und über ein passendes Interface eingebunden. Die WSDL-Schnittstelle übernimmt hierbei die kom-plette Übersetzung vom spezifi zierten Service-Befehl in proprietäre serviceinterne Kommandos. Dies ermöglicht somit auch die Einbindung beliebiger Verfahren von Drittanbietern in das NEST-System.

Der „Result Bus“, ist auf die Übermittlung hoch-frequenter Daten wie Alarm-Meldungen, Positions-daten und Beobachtungsinformationen ausgelegt. Spezifi zierte Nachrichten (basierend auf dem OGC Standard) werden hierbei von Auswerte- und Analyse-diensten mittels JMS (Java Message Service) band-breiteneffektiv transferiert und an anfragende Dienste(z. B. weitere Analysedienste, HMI, Archivierungsdienst, etc.) automatisch verteilt.

Zusätzlich ist ein dritter Datenkanal, der „Streaming Bus“, vorgesehen, der speziell für hochfrequente Daten mit hoher Bandbreite ausgelegt sein soll. Dies betrifft vor allem Videoströme, die in Echtzeit dem Bediener (zur Visualisierung) oder einem Archivierungsdienst (zur Videospeicherung) zur Verfügung gestellt werden müssen.


München, Mittwochmorgen im Konferenzhotel Primus. Die Besprechungsräume sind komplett ausgebucht – sieben an der Zahl. Im Erdgeschoss ist der große Saal für eine wissenschaftliche Konferenz mit 200 Gästen belegt. Um 12:30 Uhr ist das Mittagessen für die Gäste angesetzt. Kurz davor schaltet ein Sicherheitsmitarbeiter eine der im Saal installierten Kameras auf denBildschirm und wartet, bis der letzte Gast den Saal in Richtung Hotel-restaurant verlassen hat. Dann selektiert er mit der Computermaus alle Laptops und Taschen, die im Saal gelassen wurden, startet die automatische Diebstahlsicherung des NEST-Systems und widmet sich wieder anderen Tätig-keiten. Zehn Minuten später ertönt eine Alarmmeldung vom NEST-System. Mit nur einem Mausklick auf die Meldung wird eine Kamera vom großen Saal auf den Bildschirm geschaltet. Eine Person scheint einen Laptop einzupacken. Der Sicherheitsmitarbeiter macht sich sofort auf den Weg zum großen Saal…

Zur Infrastruktur der NEST-Architektur gehören jedoch nicht nur die Diensteschnittstellen und die logischen Datenkanäle, sondern speziell auch die auftragsorien-tierte Steuerungseinheit des Systems. Der „Task Exe-cution Service“ ist hierbei ein spezieller Dienst, der im System die Orchestrierung auftragsrelevanter Dienste übernimmt. Der „Task Execution Service“ erzeugt für jede Überwachungsaufgabe eine neue Instanz, die einen zum Auftragstyp defi nierten Ablaufprozess

ausführt. Die Überwachungsaufgabe wurde hier-bei mit BPEL (Business Process Execution Language) als Geschäftsprozess modelliert. Beim Durchlaufen des Prozesses werden zugehörige Dienste über den „Service Bus“ entsprechend gestartet, initialisiert, angefragt und freigegeben. Eine Besonderheit bei der Abarbeitung des Auftrags ist die Einbindung eines gemeinsamen Gedächtnisses (oder der Wissens-repräsentation) des Systems – die NEST- Modellwelt.

SZENARIO III – DIEBSTAHLSICHERUNG

Abb. 4: Architektur des NEST-Demonstrators mit den integrierten Diensten zum Szenario „Personenüberwachung“.



Alle aktivierten Überwachungsaufträge und zuge-hörigen Ablaufprozesse beinhalten den „Model Access Service“ als festen Bestandteil. Somit werden neue statische oder dynamische Informationen (z. B. neue Beobachtungen) über deren Abbildung in die Mo-dellwelt auftragsübergreifend allen Diensten zur Verfügung gestellt.

Das NEST-Demonstrationssystem am IOSB

Am Fraunhofer IOSB wurde die hier vorgestellte Archi-tektur für ein exemplarisches videobasiertes Überwa-chungssystem realisiert. Das verteilte Sensornetzwerk besteht aus 25 statischen und beweglichen Kameras, verteilt auf drei Etagen. Als Demonstrationsszenarien wurden drei sicherheitsrelevante Applikationen ge-wählt: Sensorübergreifende Personenüberwachung, Sensorübergreifende Fahrzeugüberwachung und Interaktive Diebstahlsicherung.

Das erste Szenario wurde bereits komplett realisiert und steht am Fraunhofer IOSB als Demonstrationssystem zur Verfügung. Alle benötigten Komponenten, von der Bedienoberfl äche über die Datenverwaltung, service-orientierter Prozesssteuerung, bis hin zu Situations-analyse- und Videoauswertungsalgorithmen gehören zu den Kernkompetenzen des IOSB und wurden im Haus entwickelt.

Das hier vorgestellte Konzept und die entworfene Architektur stellen einen bedeutenden Schritt in Richtung Sicherheitssysteme der nächsten Generation dar. Die heutige „Sensor-Monitoring“-Sichtweise wird hierbei

durch eine auftragsorientierte semi-automatische Unterstützung des Sicherheitspersonals abgelöst. Der Benutzer interagiert nicht länger mit den Sensoren direkt, sondern überträgt dem System defi nierte Überwachungsaufgaben und lässt die Informations-gewinnung, -fi lterung und -fusion teilautomatisiert von NEST-Diensten durchführen.

Das hohe Automatisierungsniveau spiegelt sich in hohen Anforderungen an die Systemkomponenten: Von der Datengewinnung und -auswertung (Video-analyse, Merkmalsextraktion) über die Situations-analyse (Erkennung von sicherheitsrelevanten Ereig-nissen), den performanten Datenaustausch zwischen Diensten und die Archivierung hochfrequenter Daten, bis hin zu geeigneter Mensch-Maschine-Interaktion für optimale Aufmerksamkeitssteuerung des Sicher-heitspersonals leistet NEST wichtige Beiträge an der Schwelle von aktueller Forschung zum praktischen Einsatz.

[1] J. Moßgraber, E. Monari, F. Reinert, S. Eckel, A.

Bauer, T. Emter und A. Laubenheimer. N.E.S.T. – Network

Enabled Surveillance and Tracking. Future Security - 3rd

Security Research Conference, Karlsruhe, 2008.

[2] I. Gheta, T. Emter und J. Beyerer. Object Oriented

Environment Model for Video Surveillance Systems. Future

Security - 3rd Security Research Conference, Karlsruhe, 2008.

[3] E. Monari, S. Voth, K. Kroschel. An Object- and

Task-Oriented Architecture for Automated Video Surveil-

lance in Distributed Sensor Networks. 5th IEEE International

Conference On Advanced Video and Signal Based Surveil-

lance (AVSS). Santa Fe, New Mexico, USA,. 2008.

Smart videosurveillance

N E S TNetwork enabled surveillance and tracking

e


eeeeeeeeeeeKarlsruhe, Monday morning in Fraunhofer IOSB. A visitor enters the foyer of the IOSB and reports to reception as a visitor to Dr. Joe Bloggs. The security employee at the reception enters the name and destination of the visitor in the NEST user software. The visitor is then asked to look into the camera above the reception desk, and seconds later a visitor pass with photograph is printed out. The visitor sets off for Dr. Bloggs‘ of-fi ce and the NEST system begins its support activity in the background. A route planner automatically calculates the possible routes from the foyer to Dr. Bloggs‘ offi ce. Cameras keep the visitor in sight. A NEST service checks periodically whether the visitor is keeping to the correct path, or to permitted areas of the IOSB building; if not – and only in this case – the staff at reception is informed. Once the visitor arrives at Dr. Bloggs‘ offi ce, the monitoring task is terminated with a message to the security staff.

Intelligent video-assisted security and monitoring systems are attracting a good deal of attention in research and development. New technological op-portunities, associated with a sharpened level of threat as perceived by the public and with the constant demand for higher effi ciency, are raising expectations of a growing demand for innovative solutions.

Intelligent video monitoring systems are being deployed in increasingly large numbers for crime pre-vention in public spaces, detecting industrial espio-nage within businesses as well as supporting criminal investigations by the police.

Most of the video monitoring systems currently in use have one thing in common: the monitoring task is con-trolled by a human operator (e. g. security staff) (Fig. 1). The operator must pay attention to a certain number of monitors and detect unusual events for several hours at

a stretch. This generally leads to reduced effectiveness, for two reasons. Firstly, the attention span of a human being is not constant over time, and secondly, due to the small number of security staff the number of sen-sors is likewise limited, since a single operator can only manage a few monitors.

One possibility of eliminating this problem is the use of automatic sensor evaluation methods. Au-tomatic monitoring systems are capable of man-aging and analysing a large number of sensors while maintaining a constant level performance, round the clock. This means that the human op-erator is given the opportunity to access processed data and therefore to concentrate on higher-level tasks such as situation awareness (Fig. 2).

One of the most commonly encountered, but so far largely unsolved, problems is the detection of suspicious

SCENARIO I: PERSON MONITORING

Fig. 1: Outdated CCTV-Surveillance system using the

sensor monitoring concept.

Fig. 2: Structure of a command-oriented monitoring system.



behaviour or the tracking of suspicious persons or vehicles by multiple sensors in large sensor networks. Owing to the complex and varied environment condi-tions associated with this task, extremely high require-ments are placed on the video analysis and sensor analysis methods. While the currently commercially available video-monitoring systems are in the earliest stages of automatic video analysis, with mainly simple video analysis methods being applied to single cameras, researchers are investigating new approaches and methods for the analysis of video data in sensor arrays (e.g. camera networks), and the situational analysis based on the sensor information. Fraunhofer IOSB is one of the leading institutions working in this fi eld.

In the research project known as NEST (Network En-abled Surveillance and Tracking) at Fraunhofer IOSB, a generic and open architecture has been developed that provides an infrastructure for the gathering,

processing and analysis of information, independently of sensors and manufacturers. The architecture is designed in such a way that the target system can be confi gured to meet the most diverse system require-ments and application possibilities by the modular interconnection of key components.

NEST concentrates on the investigation and sample implementation of three innovative concepts in the fi eld of security systems: the Plug & Protect approach, which is realized in NEST, the job- and task-oriented data analysis and the model world approach.

The Plug & Protect principle is intended to allow sensors (in particular sensors with integrated signal analysis, so-called smart sensors) to automatically authenticate and register themselves in the NEST system after connection to the sensor network. If a new sensor is detected as compatible with NEST, this can immediately be analysed by analysis components that are already in operation.

The Plug & Protect capability is meant to allow the sensor network to be extended effectively, rapidly and without expert knowledge. In terms of the sen-sor design and sensor data processing, the research activities at IOSB are focused on the development of new methods for the self-calibration, confi guration and parameterisation of sensor systems. The NEST architecture provides the necessary infrastructure for the detection, registration, management and control of Plug & Protect capable sensors.

The multi-camera tracking and recognition of moving

objects (e.g. people) is a central topic in the NEST research

project. The “Person Tracking Service” is a standard service

in the system.


Airport terminal. A white delivery van drives up to the goods-in entran-ce of the airport terminal. The driver reports to the security personnel, gives his name and the purpose of his visit. He is from a building company and is assigned to undertake repair works in hangar 15A. The receptionist enters the name and destination of the visit in the NEST user software. The route to hangar 15A is explained to the driver. Before the delivery van drives off, the vehicle is fi rst selected in the NEST user software – the monitoring command is started. The white delivery van enters the site and the NEST system begins its support activity in the background. A route-planner automatically calculates the possible routes from goods to hangar 15. Cameras keep the delivery van in sight. If the vehicle should deviate from the prescribed route, the security staff is alerted.

The job and task-oriented data analysis is one of the mostimportant leading ideas in the NEST concept, in particular in the area of sensor data evaluation and storage. The idea behind this is to request and analyse only the infor-mation from the (intelligent) sensors that is relevant to the job and/or task, and then to display or archive it.

At IOSB algorithms are being specifi cally developed for task-oriented sensor selection, which will be used to ensure that only data from relevant sensors is requested, combined and provided to the operator. This is intended to optimise both the volume of data collected in large sensor networks, but also the required storage capacity of archive servers with respect to the active monitoring tasks. In addition, when using job and task-oriented analysis no data or information is displayed or archived that is con-sidered irrelevant to security, which is benefi cial from the privacy point of view.

The Model World

The model world approach also represents an innovation in the fi eld of security systems. A central component of the modular NEST architecture functions as a virtualinformation hub between individual evaluation and analysis services. The information hub can be regardedas both a node point for information gathering, com-pression and fusion as well as a common memory and knowledge representation component within the monitoring system (Fig. 3).

Data acquired about relevant objects, conditions or events must only be pre-processed in a suitable form by the intelligent sensors, and mapped or displayed in the model world, as appropriate. Independently of the data and information gathering process (by sensors), any desired situation analysis services now access the model world, in order to provide a summary of the current state of the surveillance task.

SCENARIO II: VEHICLE MONITORING

Fig. 3: The model world

approach functions both

as a means of decoupling

information gathering

(right) and analysis by NEST

services (left), and as an in-

formation hub between the

command-oriented analysis

services.



This provides a range of advantages: fi rstly the task-oriented instances of situation analysis services (e. g. tracking of people, anti-theft protection, etc.) are independent of the actual information sources (video-based tracking, RFID, etc.). Secondly this decoupling avoids a situation in which repeated demands for a certain piece of information leads to repeated evalu-ation of raw data. Observations from a single sensor are at the disposal of a range of analysis services in the model world.

The NEST Architecture

In order to guarantee fl exibility, genericity and ex-tensibility for widely differing applications, a service-oriented architecture (SOA) was chosen as the basis of the system. The SOA provides a suffi cient level of abstraction, which is necessary for an open and arbitrarily extensible system. Individual autonomous services are coordinated here by a task-oriented control instance (the so-called „Task Execution Service“) in such a way that the monitoring task can be performed with minimal interaction of the user. Fig. 4 shows an example of the necessary services for fulfi lling the person tracking task (see „Scenario I - Person Monitoring“).

The communication takes place via two logically sepa-rated buses, the „Service Control & Communication Bus“ and the „Result Bus“. The type of event taking place on the „Service Control & Communication Bus“ is primarily the exchange of control commands and command-related initialisation parameters. In order to

implement this, all services are specifi ed in a uniform description language (WSDL) and linked in via a suitable interface. The WSDL interface takes control of the complete translation process from the specifi c service command into proprietary command-internal commands. This therefore enables any desired processes from third-party providers to be linked into the NEST system.

The „Result Bus“ is designed for transmitting high-frequency data such as alarm signals, position data (tracks) and observation information. This involves specifi ed messages (based on the OGC standard) being transferred in a bandwidth effi cient way by the evaluation and analysis services using JMS (Java Message Service) and automatically distributed to requesting services (e.g. other analysis services, HMI, archiving service, etc.).

In addition, a third data channel, the „Streaming Bus“, is provided, which is to be specially designed for high-frequency data with high bandwidth. This relates mainly to video streams which must be made available in real time to the operator (for display purposes) or to an archiving service (for video storage).

The infrastructure of the NEST architecture however not only includes the service interfaces and the logical data channels, but also specifi cally the task-oriented control unit of the system. The „Task Execution Service“ involved here is a special service, which is responsiblefor the orchestration of services relevant to performing the surveillance job in the system. The „Task Execution Service“ generates a new instance for


Munich, Wednesday morning in the Primus Conference Hotel. The meeting rooms – seven in total – are fully booked. On the ground fl oor the large hall is being used for a scientifi c conference with 200 guests. At 12:30 pm lunch is served for the guests. Shortly before this, a member of security staff links one of the cameras installed in the hall to the screen and waits until the last guest has left the hall for the hotel restaurant. Then, using the computer mouse he selects all laptops and bags that were left in the hall, starts the automatic anti-theft protection service of the NEST system and gets on with other activities. Ten minutes later an alarm signal from the NEST system sounds. With a single click on the signal, a camera from the large hall is switched through to the screen. A person seems to be putting a laptop in a bag. The security guard immediately sets off for the large hall.

each monitoring task which executes a sequential process specific to the job type. The monitoring task is modelled with BPEL (Business Process Execution Language) as a business process. During the execution of the process, associated services are started, initialised, queried and enabled via the „Service Bus“ as appropriate. A special feature of the processing of the job is the incorporation of a common memory (or knowledge representation

scheme) of the system – the NEST model world. All active monitoring commands and associated sequential processes include the „Model Access Service“ as a fixed component. New static or dynamic information (e.g. new observations) are therefore made available to all services across all com-mands via their representation in the model world.

SCENARIO III: ANTI-THEFT PROTECTION

Fig. 4: Architecture of the NEST demonstrator with the integrated services used in the „Scenario I - Person Monitoring“.



The NEST Demonstration System at IOSB

At Fraunhofer IOSB the architecture presented here has been implemented as an example of a video-based monitoring system. The distributed sensor network consists of 25 static and mobile cameras, distributed over three fl oors of the IOSB. Three security-related applications were chosen as demonstration scenarios: Multi-sensor person monitoring, multi-sensor vehicle monitoring and interactive anti-theft protection.

The fi rst scenario has already been fully implemented and is available as a demonstration system at Fraun-hofer IOSB. All the necessary components, from the operator interface via data management, service-oriented process control, right up to the algorithms for situation analysis and video evaluation, form part of the core expertise of IOSB and have been developed in-house.

The concept and the architectural design presentedhere represent an important step towards next generation security systems. The „sensor-monitoring“ concept used today is thus superseded by a system of job-oriented semi-automatic support for the security personnel.

The user no longer interacts directly with the sensors,but rather hands over specifi c monitoring tasks to the system, allowing the information gathering,fi ltering and fusion processes to be carried out in a partly automated way by NEST services. The high level of automation is refl ected in high requirements

[1] J. Moßgraber, E. Monari, F. Reinert, S. Eckel, A.

Bauer, T. Emter und A. Laubenheimer. NEST – Network Ena-

bled Surveillance and Tracking. Future Security - 3rd Security

Research Conference, Karlsruhe, 2008.

[2] I. Gheta, T. Emter und J. Beyerer. Object Oriented

Environment Model for Video Surveillance Systems.

Future Security - 3rd Security Research Conference,

Karlsruhe, 2008.

[3] E. Monari, S. Voth, K. Kroschel. An Object- and

Task-Oriented Architecture for Automated Video Surveil-

lance in Distributed Sensor Networks. 5th IEEE Interna-

tional Conference On Advanced Video and Signal Based

Surveillance (AVSS). Santa Fe, New Mexico, USA, 2008.

on the system components. From data gathering and evaluation (video analysis, feature extraction), through situation analysis (detection of security-related events), the high-performance data transfer between services and the archiving of high-frequency data, right up to suitable man-machine interaction for optimal attention guidance for the security personnel, NEST makes important contributions to the practical use of technology at the forefront of current research.

Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSBFraunhofer Institute of Optronics, System Technologies and Image Exploitation IOSBStandort KarlsruheFraunhoferstraße 176131 KarlsruheTelefon / Phone +49 721 6091-0Fax +49 721 [email protected]

Your contacts:Dr. Andreas MeissnerLeiter GeschäftsfeldentwicklungZivile SicherheitCivil SecurityTelefon / Phone +49 721 6091-402Fax +49 721 [email protected]

M. Eng. Eduardo MonariAutonome Systeme undMaschinensehenAutonomous Systems and Machine VisionTelefon / Phone +49 721 6091-583Fax +49 721 [email protected]

Editorial notes:

Text Eduardo Monari

Layout Sibylle Wirth

English Edition

SciTech Communications GmbH

Heidelberg

Printing MeinDruckportal.de

Photo acknowledgments

page 5

invisiblekilla / pixelio.de

Sturm / pixelio.de

page 16 pixelio.de

Fraunhofer IOSB

© Fraunhofer IOSB 2010

Reproduction of any material is subject

to editorial authorization.

NEST_Produktblatt_engl.pdf

FraunhoferInstitutefor Information and Data Processing

NEST – Network Enabled Surveillance and Tracking A Concept For Next Generation Surveillance Systems Fraunhofer Institute for Information and Data Processing IITB Fraunhoferstraße 1 76131 Karlsruhe Germany Autonomous Systems and Machine Vision www.iitb.fraunhofer.de/ASM

Dipl.-Inform. Markus Müller Tel.: +49 (0) 721 / 6091 – 250 Fax: +49 (0) 721 / 6091 – 233 [email protected]

Video surveillance and monitoring is one of the most recent fields of work in research and development. Due to the increasing public crime, industrial espionage and terrorism the need for advanced surveillance technology for prevention and criminal investigation becomes more and more important.

The NEST Surveillance System developed by the Fraunhofer IITB presents the next generation of advanced surveillance systems.

Figure 1: Typical CCTV control room.

StateStateStateState----OfOfOfOf----TheTheTheThe----ArtArtArtArt

Today’s video surveillance systems have one thing in common: They are still relatively unintelligent. In the present stage of development, many systems are mainly based on CCTV technology linked to a control unit. In most cases this technology is only used for passive monitoring. In security environments, human operators (security staff) face a large number of monitors, over a long period of time and try to detect suspicious situations.

In practice, this method is quite ineffective, because of the decreasing level of attention of human beings after a short time. Additionally, in large surveillance systems the number of monitors is too large for an accurate observation. These conditions consequently limit the surveillance capabilities of a human operator.

ThThThThe Solutione Solutione Solutione Solution

The NEST Surveillance System provides automatic approaches for video analysis and surveillance assistance. NEST is able to mange a large number of sensors with constant performance, all around the clock. The integrated automatic algorithms and functionalities provide processed data and information. This enables the operator to focus on more complex tasks, like reaction management, situation analysis and awareness. Typical tasks like »Detection of Abnormal Behaviour« or »Tracking of Suspicious Persons« are performed autonomously by NEST. Thus, the operator is on demand if and only if suspicious and critical situations occur.

The NEST ArchitectureThe NEST ArchitectureThe NEST ArchitectureThe NEST Architecture

NEST is designed to manage and control a large number of objects (e. g. humans or vehicles), tasks and events. Thereby, NEST is scalable concerning the number and specific type of sensors involved. The decentralized sensor-independent system architecture allows to run NEST in very large video networks (e. g. outdoor surveillance in cities).

Figure 2: Decentralized sensor-independent architecture.

Furthermore, due to the sensor independent concept, a high expandability and upgradability of the system functionalities is given.

Figure 3: NEST-System overview.

Basic Basic Basic Basic FeaturesFeaturesFeaturesFeatures //// FunctionalitiesFunctionalitiesFunctionalitiesFunctionalities

• Object- and task-oriented automatic surveillance system.

• Sensor independent data and task processing.

• Generic system architecture.

• Unlimited upgradeability of functionalities.

• Unlimited expandability (number of sensor nodes).

• Task management for objects under observation.

• Sensor independent motion detection and tracking.

• Visualization of tracked objects and situation mapping.

• Object-related automatic video live-streaming.

• Object-related information management.

• Abandoned bag detection.

• Recording/archiving of relevant data (video, images, object attributes, alarms).

Keywords: Object- and task-oriented advanced surveillance system, automatic video analysis.

visIT_3_7.pdf

Essay – Objektorientierte Fusion

Architektur zur Objekt-verfolgung in Sensornetzwerken

Lokale Bayes’sche Fusion

Weniger ist oft mehr

Bayes’sche Fusion in der mobilen Robotik

vis IT[Fusion]

3/2007

www.iitb.fraunhofer.de

ISSN 1616-8240

vis IT3/2007 2

Inhalt

Essay

Objektorientierte Fusion –Informationsdrehscheibe und relevantes Abbild der realen WeltJürgen Beyerer

Themen

Architektur zum videobasierten Multi-Sensor Multi-Object Tracking in verteilten kollaborativen SensornetzwerkenEduardo Monari

Lokale Bayes’sche FusionJennifer Sander, Michael Heizmann

Weniger ist oft mehrDirk Mühlenberg

Bayes’sche Fusion in der mobilen RobotikThomas Emter, Christian W. Frey

Impressum

HerausgeberProf. Dr.-Ing. Jürgen Beyerer

RedaktionSibylle Wirth

Layout und graphische BearbeitungChristine Spalek

DruckEngelhardt und BauerKarlsruhe

Anschrift der Redaktion

Fraunhofer-Institut fürInformations- und Datenverarbeitung IITB

Fraunhoferstr. 176131 KarlsruheTelefon +49 721 6091-300Fax +49 721 [email protected]

© Fraunhofer IITB Karlsruhe 2007

ein Institut der Fraunhofer-Gesellschaftzur Förderung der angewandten Forschung e. V. München

8. JahrgangISSN 1616-8240

Bildnachweis

Personen Fotosindigio Werbefotografie

Deckblatt ComposéJulia Heid

Fraunhofer IITB

Nachdruck, auch auszugsweise, nur mit vollständiger Quellenangabe und nach Rücksprache mit der Redaktion.

Belegexemplare werden erbeten.

4

8

10

12

14

Seite

Seite

Seite

Seite

Seite

vis IT3/20073

EditorialLiebe Freunde des IITB,

bei vielen informationstechnischen Aufgabenstellungen hat man mehr als eine Informationsquelle, die es auszuwerten gilt, möchte man auf der Basis aller ver-fügbaren Informationen die bestmögliche Entscheidung treffen. Der Mensch geht dabei ohne größere Schwierigkeiten auch mit sehr unterschiedlichen Quellen um. Während ihm die Heterogenität der Informationen (unterschiedliche Abstraktions-grade und physikalische Diversität) weniger Probleme zu machen scheint, stößt er bald an seine Grenzen, wenn umfangreiche Datenaufkommen verschiedener Herkunft schnell und präzise ausgewertet und hinsichtlich einer Aufgabenstellung verschmolzen werden sollen. Demgegenüber haben automatisierte Systeme zur Fusion unterschiedlicher Informationsquellen vor allem mit der Heterogenität ihre Schwierigkeiten; wir berichteten über dieses Thema bereits in unserer visIT 2_2005.

Die Fusion von Sensordaten, Vorwissen, Wissensbeständen in Datenbanken usw. mit dem Ziel bestmögliche Entscheidungen im Rahmen gegebener Aufgaben-stellungen automatisch und unter Verwendung von IT-Systemen zu fällen, ist seit Jahrzehnten eine wissenschaftliche Herausforderung, die viele Forscher intensiv beschäftigt. Das IITB arbeitet schon lange und aus unterschiedlichen methodischen Blickwinkeln an diesem Themenkomplex. Mit diesem Heft wollen wir Ihnen erneut verständliche Einblicke in unsere Forschung auf dem Gebiet der Fusion heterogener Quellen geben.

Der Aufsatz »Objektorientierte Fusion« bespricht die Definition einer geeigneten Informationssenke für Informationen unterschiedlicher Quellen. Zur Beschreibung des interessierenden Geschehens in einem relevanten Ausschnitt der realen Welt wird eine objektorientierte abstrakte Modellwelt generiert, die alle anfallenden Informationen geordnet und wohlstrukturiert unterzubringen erlaubt.

Im Beitrag von Eduardo Monari wird die Objektverfolgung in einem großen ver-teilten Ensemble von Kameras vorgestellt, wie es derzeit am IITB aufgebaut wird. Der objektorientierte Fusionsansatz ist dabei einer der Kerngedanken.Wie man die Komplexität Bayes’scher Fusionsverfahren erheblich reduzieren kann, wird im Artikel »Lokale Bayes’sche Fusion« von Jennifer Sander und Dr. Michael Heizmann besprochen.Dirk Mühlenberg zeigt in »Weniger ist oft mehr« wie logikbasierte Fusion dazu dienen kann, Informationen bedarfsgerecht zu verdichten. Thomas Emter und Christian Frey schließlich behandeln in ihrem Beitrag »Fusion für Navigation und Kartenerstellung« die Verschmelzung unterschiedlicher Infor-mationsquellen für den Einsatz autonom patrouillierender mobiler Systeme.

Karlsruhe, im Dezember 2007Jürgen Beyerer

Jürgen Beyerer

vis IT3/2007 4

Essay

KO

NT

AK

T

Objektorientierte Fusion –

Informationsdrehscheibe und relevantes

In technisch kognitiven Systemen müssen automatisierte Entscheidungen oft auf der Basis von Informationen1 aus hetero-genen Quellen getroffen werden [1]. Solche Informationen können z. B. von unterschiedlichen Sensoren oder aber auf höherem Abstraktionsniveau z. B. aus Datenbanken stammen. Vorwissen und physikalische Gesetzmäßigkeiten stellen ebenfalls Informationsquellen dar, deren Berücksichtigung zur Qualität der Entscheidung beiträgt. In diesem Auf-satz soll es nun weniger um die eigent-liche Fusion unterschiedlicher Quellen gehen als vielmehr um die Festlegung eines geeigneten Fusionsresultates, das einerseits aussagekräftig die Essenz vorhandener Informationen verkörpert und andererseits technisch einfach zu realisieren ist.

Den relevanten Ausschnitt der Welt kann man abstrakt als ein Fenster des Interesses definieren, das von räum-lichen Dimensionen, aufgabenbezo-genen Sachdimensionen und der Zeit aufgespannt und in seiner Ausdehnung beschränkt wird, siehe Abbildung 1.

Zur formalen Repräsentation dieses Weltausschnittes dient ein objektorien-tiertes Modell, das alle aufgabenrele-vanten Objekte als Instanzen aufgaben-spezifischer Klassen enthält. Um den Bezug zu Objekten der realen Welt zu betonen, wird den zugehörigen spezi-ellen Klassen die Klasse Ding zugrunde gelegt. Die objektorientierte Modellwelt ist also angefüllt mit Instanzen spezieller Dinge, die mit interessierenden Attribu-ten ausgestattet und die wechselseitig durch Relationen verknüpft sind.

In Bezug auf die Fusion2 heterogener Quellen wird diese Modellwelt nun als ein »Digitaler Sandkasten« gesehen, in den Dinginstanzen als Repräsentanten erkannter Objekte der realen Welt ein-gebracht, attributiert und in Zusammen-hang mit anderen Dinginstanzen ge-bracht werden. Dabei geht es nicht nur um eine geometrische Repräsentation, sondern um die Modellierung aller relevanten Objekteigenschaften und Beziehungen zwischen Objekten.

Zur Beschreibung der Attribute von Dingen und Relationen werden im Ideal-fall Degree-of-Belief (DoB) Verteilungen verwendet, die es erlauben, neben Fakten auch deren Unsicherheiten und wechselseitige Abhängigkeiten zu be-schreiben. DoB-Verteilungen haben überdies die günstige Eigenschaft, gemischt sowohl diskrete und konti-nuierliche wie auch unterschiedlich skalierte Größen (nominal, ordinal, metrisch, absolut skalierte) ganz zwang-los behandeln zu können. In der Praxis müssen die DoBs geeignet numerisch oder parametrisch angenähert werden.

Für neue Informationen aus beliebigen Quellen stellt diese Modellwelt somit die ideale Senke dar. Das Motto ist: Für jede relevante Information muss es einen »Platz« im Modell geben, wo diese eingebracht werden kann.

Prof. Dr.-Ing. Jürgen Beyerer

Institutsleiter Fraunhofer IITB Karlsruhe

Telefon 0721 [email protected]

www.iitb.fraunhofer.de

1 Information dient hier als Sammelbegriff für alles Nützliche (Signale, Daten, Regeln, Hinweise, Wissen, Expertisen, ...) im Hinblick auf die Lösung einer gegebenen Aufgabe.2 Fusion bezeichnet das förderliche Zusammen- fassen, Überlagern und Nutzen aller relevanten Informationsquellen im Hinblick auf die Lösung einer gegebenen Aufgabenstellung.

vis IT3/20075

Abbild der realen Welt

Zufließende Informationen werden verwendet, um die Modellwelt mit Dinginstanzen zu füllen, diese zu aktualisieren, genauer zu attributieren, Beziehungen zwischen Dingen genauer zu spezifizieren, also mithin, um die Modellwelt zu einem immer detaillier-teren und genaueren Abbild des rele-vanten Weltausschnittes zu machen. Hat man z. B. neue Informationen über ein Attribut einer bereits bestehenden Dinginstanz, so fasst man deren mit diesem Attribut assoziierte DoB als a priori DoB auf, die mit der neuen Information im Sinne einer Likelihood-funktion zu einer a posteriori DoB ver-schmolzen wird, die dann wiederum in die Dinginstanz zurück geschrieben wird. Die Bayes’sche Methodik ist hierfür eine geeignete mathematische Basis [2].

Die Modellwelt entkoppelt in gewissem Sinne unterschiedliche Informations-quellen und stellt deren gemeinsames Gedächtnis dar. Jede Quelle verändert mit ihrer Information die Modellwelt in spezifischer Weise. So könnte z. B. ein Sensor Objekte detektieren und eine entsprechende Dinginstanz in die Modellwelt einspeisen. Andere Sensoren könnten dann dieses Objekt räumlich verfolgen, indem sie die Ortsattribute der Dinginstanz sukzessive aktualisieren, auch dann noch, wenn das Objekt längst aus dem Erfassungsbereich des ersten Sensors verschwunden wäre.

So gesehen stellt die Modellwelt eine Informationsdrehscheibe dar, in der Quellen ihre Informationen gezielt einspeisen können. Daneben kann man

Prozesse betreiben, die unabhängig von den Informationsquellen die Modellwelt auswerten und gegebenenfalls auch manipulierend eingreifen. Beispiele sind Prozesse, die die Konsistenz und Plau-sibilität der aktuellen Modellwelt prüfen bzw. wieder herstellen, oder aber Mechanismen, die bestimmte kritische Situationen detektieren und einen ent-sprechenden Alarm auslösen können.

Fließen über längere Zeit keine Informa-tionen zu, verliert die Modellwelt an Aktualität. Diese Alterung der Modell-welt kann durch ein dingspezifisches Anwachsen der Unsicherheiten der Attribute, d. h. durch ein Abflachen der zugehörigen DoB-Verteilungen abge-bildet und mit einem entsprechenden Prozess realisiert werden.

Abb. 1: Abstraktion des für eine Aufgabenstellung relevanten Ausschnittes der realen Welt und Abbildung auf eine objektorientierte Modellwelt.

vis IT3/2007 6

Letztendlich dient die Modellwelt in zweierlei Hinsicht der Fusion heterogener Quellen. Zum einen können verschiedene Informationen zum gleichen Attribut im engeren Sinne fusioniert werden. Zum anderen können Informationen zu unterschiedlichen Attributen in den Dinginstanzen objektbezogen zusammen-geführt werden, ohne sie im engeren Sinne zu fusionieren.

Abbildung 3 zeigt am Beispiel des Forschungsprojektes NEST3 den Nutzen einer objektorientierten Fusion. In NEST wird ein fortschrittliches Videoüber-wachungssystem am IITB entwickelt, an das viele Kameras über das Internet angeschlossen und ausgewertet werden können. Auf der Basis von Vorwissen über eine zu überwachende Liegenschaft (z. B. Lagepläne) und über die von den Kameras zufließenden Informationen wird eine Modellwelt instanziiert.

Entdeckt eine der Kameras z. B. eine Person, so wird eine entsprechende Instanz im Modell erzeugt und die durch die Kamera bestimmbaren Attribute werden mit Werten (DoBs) belegt. Ver-

Abb. 2: Jede Dinginstanz enthält eine DoB in Bezug auf die Existenz des repräsentierten Objektes. Fällt diese unter ein Niveau γv, wird die Instanz vernichtet.

Dinginstanzen werden schließlich wieder vernichtet, wenn sie das Fenster des Interesses verlassen. Da bei der Entde-ckung realer Objekte und der Instanzi-ierung entsprechender Dinginstanzen auch Fehldetektionen auftreten können, muss jede Instanz auch eine DoB über die Existenz des repräsentierten realen Objektes enthalten. Fällt diese mit der Zeit oder aufgrund neuer Informationen unter ein gewisses Niveau, wird die In-stanz ebenfalls entfernt. Allerdings muss hier eine Hysterese wirksam sein, die der Existenz von Instanzen eine gewisse Trägheit verleiht und mithin verhindert, dass bezüglich eines realen Objektes eine Sequenz kurzlebiger Dinginstanzen entsteht, siehe Abbildung 2.

Um der closed-world-assumption der OO-Modellierung zumindest teilweise zu entgehen, kann man für unbekannte Dinge eine Blanko-Klasse einführen. Diese sind mit einem Satz von Standard-attributen (z. B. Ort, Existenz) sowie Attributen mit zur Entwurfszeit unbe-kannter Semantik ausgestattet. Für die letztgenannten können zusätzlich Er-klärungsattribute eingeführt werden, um zur Laufzeit Erläuterungen zu Attributen ablegen zu können. 3 NEST: Network Enabled Surveillance and Tracking

vis IT3/20077

Literatur:[1] J. Beyerer, D. Paul, H.-B. Kuntze, R.Schönbein, Th. Usländer visiIT 2_2005 [ Fusion ] Fraunhofer IITB, 2005[2] J. Beyerer, J. Sander, S. Werling: Lokale Bayes’sche Methodik zur lokalen Fusion heterogener Informationsquellen. tm – Technisches Messen 74 (3), S. 103-111, Oldenbourg Verlag, München, 2007[3] S. Cox (Editor): Observation & Measurements - Part 1: Observation Schema. OGC Document 07-022r1, approved as OpenGIS® specification, October 2007[4] T. Usländer (Editor): Specification of the Sensor Service Architecture V0. SANY Project Deliverable D2.3.1, November 2007

Abb. 3: Beispiel einer objektorientierten Modellwelt als Basis für das verteilte Kameraüberwachungssystem NEST.

lässt die Person den Sichtbereich der ersten Kamera, so existiert die Instanz einer Person im Modell dennoch weiter; sie wird nicht vergessen, nur weil sie gerade nicht sichtbar ist. Kommt die Person dann in den Sichtbereich einer anderen Kamera, so wird diese keine neue Instanz einer Person erzeugen, sofern sie anhand der von ihr eruierten Attribute die im Modell schon vorhan-dene Instanz wiedererkennt. Allerdings kann sie für Attribute der Instanz, die bisher noch nicht bestimmt wurden ggf. Werte (DoBs) eintragen oder bereits belegte durch Fusion mit den neuen Informationen verbessern.

Die Kameras in Abbildung 3 fungieren also als Informationsquellen, die alle zur Aktualisierung und ständigen Verbesse-rung des Modells des relevanten Welt-ausschnittes beitragen. Unmittelbar ein-sichtig ist, dass natürlich auch Informa-tionen von anderen Sensoren in die Modellwelt eingespeist werden können. Ebenso klar ist, dass mehrere parallele

Prozesse, z. B. zur Aufrechterhaltung der Konsistenz oder um auffälliges Verhalten von Personen zu detektieren usw., auf die Modellwelt parallel zugrei-fen können und somit eine weitgehende Entkopplung zwischen Informations-einspeisung und Informationsnutzung gewährleistet wird. Weitere Details zu NEST finden Sie im Artikel von Herrn E. Monari in diesem Heft.

Eine interessanter Ansatz für die inte-grierte, objektorientierte Modellierung von sensorbasierten Informationen aus unterschiedlichen Quellen ist die Spezi-fikation »Observations and Measure-ments« des OGC (Open Geospatial Consortium) [3]. Dabei werden Beobach-tungen (observations) aus der realen Welt als zeit- und raumbezogenes Ereig-nis aufgefasst, das einem Verfahren und einer Dinginstanz zugeordnet ist. Das Verfahren kann sowohl für die Be-schreibung eines Sensors stehen, aber auch genauso das Ergebnis einer Simu-lation oder einer statistischen Berech-

nung sein. Der Ansatz eignet sich daher sehr gut für die formale Beschreibung eines mehrstufigen Fusionsprozesses. Das IITB arbeitet seit langem aktiv im OGC mit. Aktuelle Beiträge betreffen die Spezifikation von Sensordiensten im Rahmen des europäischen Projekts SANY (Sensors Anywhere), in dem das IITB federführend die Spezifikation einer OGC-basierten Architektur für Sensor-dienste leitet [4].

vis IT3/2007 8

Themen

KO

NT

AK

T M. Eng. Eduardo Monari

Autonome Systeme und Maschinensehen Fraunhofer IITB Karlsruhe


www.iitb.fraunhofer.de/ASM

rien (aus unterschiedlichen Sensoren) wird im Rahmen der Eigenforschung NEST der Gedanke der »objektorientier-ten Fusion« in kollaborative agenten-basierte verteilte Sensornetzwerke un-tersucht. Insbesondere liegt hier das Augenmerk auf der Konzeption eines IP-Videobasierten MSMT-Tracking-Sys-tems, dessen Einsatz auch in sehr großen Sensornetzen denkbar wäre (z. B. zur Objektverfolgung in Großstädten).

In diesem Beitrag soll der Gedanke der objektorientierten Fusion im Zusammen-hang mit der Aufgabe der kameraüber-greifenden Objektverfolgung vorgestellt werden.

Die Architektur

Der elementare Punkt der Systemarchi-tektur ist, Videoauswertungsprozesse so zu organisieren und zu steuern, dass Systemressourcen ihre Abhängigkeit von der Anzahl an Sensoren minimieren und lediglich von der Anzahl der aufge-tragenen Aufgaben und den zu obser-vierenden Objekten abhängig sind.

Karlsruhe, Montagmorgen. Ein Gast betritt das Foyer des Fraunhofer IITB und meldet sich zum Besuch bei Herrn Mustermann am Empfang an. Das Emp-fangspersonal trägt Name und Ziel des Besuchs in die NEST-Bedienersoftware ein. Dann bittet der Empfang den Gast in die Kamera über der Empfangstheke zu schauen und Sekunden später wird ein Besucherausweis mit Lichtbild aus-gedruckt.

Der Besucher macht sich auf den Weg zu Herrn Mustermann und das NEST-System nimmt im Hintergrund die Assistenztätigkeit auf. Ein Routenplaner berechnet automatisch die möglichen Wege vom Foyer zum Büro von Herrn Mustermann. Kameras behalten den Gast im Blick. Ein NEST-Dienst prüft zyklisch, ob sich der Gast auf dem richtigen Weg befindet und ob er sich in zulässigen Bereichen des IITB-Gebäudes aufhält. Wenn nicht – und nur in diesem Fall – wird das Personal am Empfang benachrichtigt. Ist der Gast bei Herrn Mustermann angekommen, wird die Überwachungsaufgabe mit einer Mel-dung an das Empfangspersonal quittiert.

Dies ist eines von vielen Szenarien die im Eigenforschungsprojekt NEST realisiert werden. Hierbei ergibt sich speziell für die Videoauswertung als Beobachtungs-einheit des NEST-Systems die Heraus-forderung des Multi-Sensor Multi-Target Tracking (MSMT). Darunter versteht man die Fähigkeit des Überwachungs-systems, mehrere Objekte sensorüber-greifend verarbeiten und verfolgen zu können. Anstelle einer zentralen Ver-waltung und Fusion von Einzeltrajekto-

Abb. 1: Objektorientierte »Processing Cluster«.

Architektur zum videobasierten Multi-Sens

in verteilten kollaborativen Sensornetzwer

vis IT3/20079

Die höchste Systemebene ist durch den Cluster Manager (CM) gegeben. Wird von einem SDA eine Auffälligkeit regis-triert, wird diese dem Cluster Manager gemeldet. Falls sich die Detektion mit einer vom Nutzer vorgegebenen Auf-gabe (Task) vereinbaren lässt, beauftragt der CM einen PRC mit der Trackingauf-gabe bzw. mit der Verarbeitung der Sensordaten. Der CM ist somit zum einen zuständig für die PRC-Verwaltung, zum anderen fungiert er als Kommuni-kations-Schnittstelle zwischen externen Komponenten (Datenbanken, User-Inter-face usw.), den SDAs und dem dynami-schen Level.

Das dynamische Level selbst besteht aus den instanziierten Verarbeitungsclustern (PRCs, Abbildung 2). PRCs sind hierbei Prozesse mit einem höheren Ressourcen-bedarf (z. B. Trackingalgorithmen) und mit der Fähigkeit multisensorielle Aus-wertungen und Datenfusion vorzuneh-men. An dieser Stelle erkennt man die objektorientierte Architektur des Sys-tems. Für jedes detektierte oder zu be-obachtende Objekt in der Welt ist ein zugehöriges PRC zuständig (Abbildung 1).

Dieser Prozess ist ausschließlich zur Ver-waltung eines einzelnen Objektes bzw. einer einzelnen Aufgabe ausgelegt.

Eine weitere Besonderheit der PRCs ist die selbständige Verwaltung der Sensor-knoten zur multisensoriellen Auswer-tung. Ein dynamisches Sensor-Clustering ermittelt zyklisch die zur aktuellen Posi-tion des Objekts relevanten Sensoren, was eine kontinuierliche Veränderung der Clustermitglieder bedingt. Dadurch findet in der objektorientierten Sicht keine wirkliche »Objekt-Übergabe« zwischen Kameras, sondern vielmehr ein dynamischer Austausch von Sensor-quellen innerhalb des Clusters statt (Abbildung 3). Zusammenfassung

Die hier vorgestellte Architektur stellt ein neues Konzept zur aufgaben- und objektorientierten Verfolgung von Ob-jekten in großen Sensornetzwerken dar. Anhand der dynamischen Verarbeitungs-cluster, die direkt an Objekte und nicht an Sensorkonten geknüpft sind, wird erreicht, dass die Trackingaufgabe auch in sehr großen Sensornetzwerken mit minimaler Rechenlast durchgeführt werden kann. Die Rechenkapazität wird hierbei nicht durch die Anzahl an Sensorknoten begrenzt, sondern durch die Anzahl an gleichzeitig zu verarbeitenden Aufgaben. Im Rahmen des Forschungsprojekts NEST wird diese »Low-Level-Architektur« dann ihre Anwendbarkeit unter Beweis stellen.

Abb. 2: Die PRC-Architektur.

Abb. 3: Dynamisches Sensor Clustering.

Um dies zu ermöglichen, wurde eine hybride Topologie entworfen (Abbil-dung 1). Mit Hilfe dieser Topologie werden die dezentral verarbeitenden Komponenten, sogenannte Specialized Detection Agents (SDAs) mit dynami-schen, aber hierarchisch verwalteten Prozessen (Processing Clusters, PRCs) kombiniert. Die Verwaltung dieses dynamischen Levels übernimmt ein »Cluster Manager« (CM). Die niedrigste Hierarchieebene besteht aus intelligenten Sensorknoten. Diese bestehen aus dem Sensor selbst sowie einer einfachen Auswertekomponente zur Ereignisdetektion (z. B. Bewegungs-detektion). Die ereignisgesteuerte Aus-wertung sorgt dafür, dass lediglich Sen-sordaten, die relevante Auffälligkeiten detektiert haben, durch komplexere Verfahren ausgewertet werden.

or Multi-Object Tracking

ken

vis IT3/2007 10

Themen

KO

NT

AK

T

Lokale Bayes’sche Fusion

Dr.-Ing. Michael Heizmann

Leiter der Forschungsgruppe Variable Bildgewinnung und -verarbeitung Fraunhofer IITB Karlsruhe

Telefon: 07 21 / 60 91-3 [email protected]

www.iitb.fraunhofer.de/VBV

beruhenden Likelihood-Funktion zur zweiten A-posteriori-Verteilung ver-schmolzen wird. Die Kette lässt sich so lange fortsetzen, bis alle Informations-quellen schrittweise zum Fusionsergeb-nis beitragen [3]. Dieser sog. »naive« Bayes’sche Fusionsansatz ist zwar für statistisch bedingt unabhängige Quellen mathematisch exakt, er besitzt jedoch den Nachteil, dass zur Gewinnung des Ergebnisses alle Verteilungen über das mehrdimensionale Definitionsgebiet multipliziert werden müssen, was in der Praxis meist zu aufwendig ist.

Der hohe Aufwand lässt sich jedoch we-sentlich reduzieren durch die Einführung lokaler Verteilungen, die eine nur teilwei-se detaillierte Analyse ermöglichen [5].

Durch eine verteilte Realisierung dieses lokalen »naiven« Bayes’schen Fusions-schemas mittels eines Multiagenten-systems sind die Vorteile der Agenten-technologie nutzbar und die Rechen-zeit bis zur Bestimmung des Fusions-resultates lässt sich weiter absenken. Zudem entsteht eine Analogie zwischen verteilter lokaler Bayes’scher Fusion und kriminalistischen Ermittlungen [1,2,4]. Charakteristisch für Letztere sind beson-ders die Heterogenität der vorliegenden Informationen und die lokalen Sicht-

Um Informationen aus unterschiedlichen Quellen zu vereinigen, müssen diese in einer für den Experten aussagekräftigen, mathematisch exakten und algorithmisch handhabbaren Struktur vorliegen. Eine solche Wissensrepräsentation ist die probabilistische Modellierung, bei der sämtliche Informationen in Gestalt von Wahrscheinlichkeitsverteilungen in einer »Degree-of-Belief«-Deutung beschrie-ben werden. Die Information über ein Objekt mit bestimmten Eigenschaften (z. B. Ort und Typ eines Fahrzeugs) lässt sich als mehrdimensionale Vertei-lung darstellen, bei der jede Eigenschaft eine eigene Dimension aufspannt (Abbildung 1). Solche Verteilungen wer-den für alle verfügbaren Informations-quellen (Sensorsysteme, aber auch A-priori-Wissen) generiert und stellen eine aussagekräftige Repräsentation der jeweils verfügbaren Information dar.

Die eigentliche Fusion besteht dann in der Multiplikation der Verteilungen. Dabei wird nach der Bayes’schen Vorgehensweise im ersten Schritt die A-priori-Verteilung mit der Likelihood-Funktion zur ersten A-posteriori-Vertei-lung fusioniert. Diese Verteilung wird zur A-priori-Verteilung für den zweiten Schritt, in welchem diese mit der auf der Information eines weiteren Sensors

KO

NT

AK

T Dipl.-Math. Jennifer SanderLehrstuhl für Interaktive Echtzeitsysteme, Institut für Technische Informatik, Universität Karlsruhe (TH)

Telefon: 07 21 / 6 08-59 [email protected]

www.ies.uni-karlsruhe.de

Abb. 1: Modellierung der Information über den Ort (kardinal, kontinuierlich) und den Typ (nominal, diskret) eines Objekts in Form einer zweidimensio-nalen »Degree-of-Belief«-Verteilung.

vis IT3/200711

weisen einzelner Ermittler, von denen jeder seine Untersuchungen ausgehend von einer Spur auf einen bestimmten örtlichen, zeitlichen und gegenständ-lichen Ausschnitt des Gesamtszenarios konzentriert.

In der Initialisierungsphase der Fusions-architektur (Abbildung 2) werden alle vorhandenen Informationsbeiträge zunächst mit datenspezifischen Opera-toren nach aufgabenrelevanten Auffäl-ligkeiten (Spuren) abgesucht. Jede Spur kann einen Fusionsagenten erzeugen, dessen Aufgabe darin besteht, wie ein kriminalistischer Ermittler durch Model-lierung und Weiterentwicklung einer lokalen Verteilung die Informations-beiträge im Hinblick auf seine Spur

auszuwerten. Die lokale Auswertung und Fusion sämtlicher Informations-beiträge geschieht nach Abschluss der Initialisierung sequentiell in der Ermitt-lungsphase. Hier wird die Signifikanz jeder Spur je nach Sachlage erhärtet oder entkräftet. Ist dabei ein Fusions-agent nicht in der Lage, auf bestimmte Informationsbeiträge zuzugreifen oder diese auszuwerten, so kann er wie ein kriminalistischer Ermittler dafür die Unterstützung eines maschinellen oder menschlichen Expertenagenten (Sach-verständigen) anfordern.

Die Fusionsarchitektur weist einen hohen Grad an Skalierbarkeit auf und kann auch im Fall stark beschränkter Ressourcen eingesetzt werden. Werden

die in der Initialisierungsphase detek-tierten Auffälligkeiten gemäß ihrer Signifikanz geordnet, so lassen sich – statt für alle – auch nur für die wich-tigsten Spuren Fusionsagenten erzeugen. Zusätzlich bietet sich eine Priorisierung der instanziierten Fusionsagenten an, indem die verfügbaren Ressourcen unter ihnen entsprechend der Signifikanz ihrer Spuren verteilt werden.

Literatur:[1] J. Beyerer, M. Heizmann, J. Sander: Fuselets – An agent based architecture for fusion of heterogeneous information and data. In: Multisensor, Multisource Information Fusion: Architectures, Algorithms, and Applications 2006, Belur V. Dasarathy (Hrsg.), Proceedings of SPIE 6242, S. 235-243, 2006[2] J. Beyerer, J. Sander, S. Werling: Fusion heterogener Informationsquellen. In: Informationfusion in der Mess- und Sensor- technik, Beiträge des VDI/VDE-GMA Experten- forums »Informationsfusion in der Mess- und Sensortechnik 2006«, J. Beyerer, F. Puente León, K.-D. Sommer (Hrsg.), S. 21-37, Universitätsverlag Karlsruhe, 2006 [3] J. Sander, J. Beyerer: Fusion agents – realizing Bayesian fusion via a local approach. In: Proceedings of the 2006 IEEE International Conference on Multisensor Fusion and Integration for Intel- ligent Systems (MFI06), S. 249-254, Heidelberg, 03.-06.09.2006 (auf CD)[4] J. Beyerer, J. Sander, S. Werling: Bayes‘sche Methodik zur lokalen Fusion heterogener Informationsquellen. In tm – Technisches Messen 74 (3), S. 103-111, Oldenbourg Verlag, München, 2007[5] J. Sander, J. Beyerer: Local Bayesian fusion realized via an agent based architecture. In: INFORMATIK 2007 – Informatik trifft Logistik, Beiträge der 37. Jahrestagung der Gesellschaft für Informatik e.V. (GI), Band 2, R. Koschke, O. Herzog, K.-H. Rödiger, M. Ronthaler (Hrsg.), S. 95-99, 2007

Abb. 2: Schematische Darstellung der Initialisierungsphase für eine Informationsquelle und der an-schließenden Ermittlungsphase eines der durch diese Quelle instanziierten Fusionsagenten (FA) für den »naiven« Bayes’schen Fusionsansatz. Der Fusionsagent hat die Aufgabe, mit Hilfe von Expertenagenten (E) seine Spur lokal weiterzuverfolgen, indem er sämtliche verfügbare Information lokal betrachtet und sie sukzessive probabilistisch kombiniert.

vis IT3/2007 12

Themen

KO

NT

AK

T

Weniger ist oft mehr

Informationssysteme ist daher das kor-rekte Filtern und Fusionieren von Daten zu Informationen, um Entscheidungs-trägern – abhängig von ihrer Rolle und Aufgabe – eine korrekte Sicht auf den stets komplexer werdenden Informati-onsraum zu geben.

Es werden vier Ebenen der Fusion nach dem amerikanischen Verteidigungsminis-terium (DoD) identifiziert (Abbildung 1). Die erste Ebene befasst sich mit der Fusion von Daten unterschiedlicher Sensoren und der Identifikation auf-klärungsrelevanter Objekte (AROs) bei einem niedrigen Vertrauenslevel und hoher Datenfülle. Die zweite Ebene betrifft das Zusammenfassen der AROs in militärische Taxonomien, eng gekop-pelt an die Sicht des Kommandeurs, welche durch seine Aufgaben und Zuständigkeit bestimmt wird. Die dritte Ebene befasst sich mit Schlussfolgerun-gen aus Level 2 in Bezug auf das Ver-halten der feindlichen Einheiten, den Absichten und der möglichen Bedro-hung für die eigenen Einheiten und die Zivilbevölkerung. Die oberste Ebene wird von der Analyse der Informations-

Dipl.-Phys. Dirk Mühlenberg

Interoperabilität und AssistenzsystemeFraunhofer IITB Karlsruhe

Telefon 0721 [email protected] www.iitb.fraunhofer.de/IAS

Logikbasierte Informationsfusion

Um schnell auf die sich ständig ändern-den und unsicheren Umgebungen mili-tärischer Missionen in heutigen Krisen-gebieten reagieren zu können, benöti-gen militärische Entscheidungsträger ein umfassendes Lagebewusstsein des Operationsgebiets. Hierzu müssen sie sich auf relevante Aufklärungsinforma-tionen entsprechend ihrer Aufgabe abstützen können. Die Entscheidungs-zyklen haben sich kontinuierlich ver-kürzt, verfügbare Daten sind wesent-lich komplexer und die Missionen variationsreicher geworden. Daher sind Kommandeure aller Ebenen auf eine erweiterte Entscheidungsunterstützung angewiesen.

Da die Menge an verfügbaren Informa-tionen stetig ansteigt, wird die Koordi-nation und korrekte Verteilung der Informationen zum Empfänger als »passend aufbereitete« Informationen immer schwieriger. Das kann zu einer Datenüberfrachtung und letztendlich wieder zum Informationsmangel führen. Eine fundamentale Aufgabe moderner

Abb. 1: Fusions-pyramide nach DoD.

vis IT3/200713

gewinnungs-Prozesse bestimmt. Hier werden die Prozesse der unteren Ebenen auf ihre Korrektheit und Effizienz be-wertet und gegebenenfalls optimiert.

Fusion im Kooperativen Informationssystem

Ein Informationssystem kann Anfragen des Nutzers mit verschiedenen Metho-den beantworten. Die vorhandenen Daten können 1. über eine Integration zusammen-

geführt und dem Nutzer kompakt angezeigt,

2. über den Zugriff auf Ontologien ermittelt und im semantischen Zusammenhang dargestellt, oder

3. über eine logikbasierte Fusion als neue Information zurückgegeben werden. Neben der Fusion über Pro-duktionsregeln (Aggregation) kön-nen auch Geschäftsregeln (Cons-traints) durchgesetzt werden.

1. Eine zentrale Komponente bildet dabei die »Bilddarstellung«, die zur Visualisierung der Bilder dient, aber auch als Hintergrund und Bezugsfläche bei der Eingabe von ortsbezogenen Koordinatenfestlegungen, z. B. für raumbezogene Abfragen oder zur Ver-messung von abgebildeten Objekten (Länge, Breite, Fläche, Volumen, Anzahl,Richtung, Abstand etc.).2. Eine Ontologie stellt eine Beschrei-bung von Konzepten (Begriffen) und Beziehungen (Relationen) in einem Diskursbereich (Domäne) dar, die der Benutzer mit einem SW-System und anderen Benutzern teilen kann. Onto-logien verbinden das menschliche Ver-ständnis von Symbolen mit der Verar-beitungsmöglichkeit von Maschinen.

Im Folgenden wird ein Beispiel für den dritten Fall vorgestellt.

Organisatorische Fusion am Beispiel einer Fahrzeugkolonne

In Abbildung 2 ist das Ergebnis einer Klassifikation einer Reihe von LKWs (z. B. Resultat eines Bildauswerteprozes-ses) auf einem Straßenabschnitt darge-stellt. Der Abstraktionsgrad der Szene ist für Auswerter korrekt, aber un-geeignet für Kommandeure. Deren Sicht muss Symbole für Aktionen beteiligter Einheiten (militärische Gruppierungen) in einer thematischen Karte unterstützen. Die Fusion erfolgt über die Identifikation der Zugehörigkeit (räumliche und zeit-liche Nähe, gemeinsames Ziel und ge-

plante Ankunftszeit) eines ARO zu einer Kolonne. Das Abonnement eines Nut-zers über sein Interessensgebiet um-fasst z. B. eine logistische Anfrage nach einer LKW Kolonne, die Ergebnisse dafür sind dem Nutzer – in einer seiner Rollen entsprechenden – Sicht zu präsen-tieren. Darüber hinaus ist der zeitliche Verlauf von Ereignissen wichtig zur Vorhersage von Feindbewegungen (Verhalten), hier wird über ein Historien-konzept eine Unterstützung zur Track-bildung und -fusion gegeben. Die Fusion basiert auf verschiedenen Logiken. Unsicherheiten in den Ausgangsdaten (Klassifikationsergebnisse) führen über die angewendeten Algorithmen zu einer Wahrscheinlichkeit für die Bildung der Kolonneninstanz und der Tracks in der Wissensbasis.

Abb. 2: Ebenengerechte Darstellung (schematisch) - Sicht für Auswerter (L1) und Kommandeur (L2), Typ 1-3 sind unterschiedliche Kraftfahrzeugtypen.

vis IT3/2007 14

Themen

KO

NT

AK

T

Bayes’sche Fusion in der mobilen Robotik

Ausgehend von einem Startpunkt, der bekannt sein muss, wird die Lokalisierung anhand der gemessenen Geschwindig-keit und Ausrichtung in bestimmten Zeit-intervallen berechnet. Da nur relative Messungen eingehen und die Sensoren fehlerbehaftet sind, akkumuliert sich der globale Fehler der Lokalisierung wie in Abbildung 2 anhand des roten Pfades zu sehen, d. h. die Unsicherheit wächst unbeschränkt über die zurück-gelegte Wegstrecke an.

Absolut messende Navigationssensoren wie GPS und Kompass sind zwar nicht der Fehlerakkumulation unterworfen, unterliegen jedoch störenden Einflüssen durch die Bebauung. So ist die Beein-trächtigung der Messungen des Kom-passes durch lokale Beeinflussungen des Erdmagnetfeldes, z. B. durch Metall-zäune, stark räumlich variant. Die maß-gebliche Fehlerquelle bei einem DGPS ist die Mehrwegausbreitung, welche von den Orbitalpositionen der Satelliten in Bezug auf die Gebäude und Emp-

Dipl.-Ing. Christian W. Frey

Mess-, Regelungs- und Diagnosesysteme Fraunhofer IITB Karlsruhe


www.iitb.fraunhofer.de/MRD

»Wo bin ich und wohin gehe ich?« ist eine der grundlegendsten Fragen, die es in der mobilen Robotik zu lösen gilt. So ist es für die autonome Navigation unbedingt erforderlich, dass sich der mobile Roboter (Abbildung 1) in seiner Umgebung selbst lokalisieren kann. Hierfür wird er mit einer Vielzahl von Sensoren ausgestattet, welche sich prin-zipiell in zwei Klassen aufteilen lassen. Propriozeptive Sensoren geben Informa-tionen über den Zustand des Roboters selbst, z. B. Inkrementalgeber zur Mes-sung der Radumdrehungen – auch Odo-metrie genannt – und Inertialsensoren zur Bestimmung der Dreh- und Linear-beschleunigungen. Exterozeptive Sen-soren nehmen die Umwelt wahr. Dazu gehören Laserscanner (LIDAR), Ultraschall, Kameras aber auch absolute Navigationssensorik wie differentelles GPS (DGPS) und Kompass.Stehen lediglich propriozeptive Sen-soren zur Verfügung, kann die Position und Ausrichtung des Roboters mittels Koppelnavigation geschätzt werden.

KO

NT

AK

T Dipl.-Ing. Thomas EmterLehrstuhl für Interaktive Echtzeitsysteme, Institut für Technische Informatik, Universität Karlsruhe (TH)


www.iitb.fraunhofer.de/MRD

Abb. 1: Mobiler Roboter.

vis IT3/200715

fänger abhängt. Daher ergeben sich je nach Bebauung lokal unterschiedliche Reflexionen und Abschattungen, welche vor allem im Nahbereich von hohen Gebäuden stark ausgeprägt sein können. Zudem ist die Mehrwegepfadsituation durch die Bewegung der Satelliten zeit-variant. Dadurch ergeben sich Fehler in der Positionsschätzung, die mehrere Meter betragen können und somit, am blauen Pfad zu sehen, keine Navigationmit ausreichender Genauigkeit erlauben (Abbildung 2).

Es besteht jedoch die Möglichkeit, die vorgenannten Sensormessungen mittels Multi-Sensor-Datenfusion unter Berück-sichtigung der jeweiligen Sensorunsi-cherheiten zu kombinieren und dadurch die Schätzung der Position und Aus-richtung zu verbessern. Auf Grundlage der Bayes’schen Methodik lässt sich die Fusion der Sensoren unter Einbezug der zugehörigen statistischen Unsicherheiten mathematisch formulieren und als ein so genanntes rekursives Bayesfilter

realisieren (z. B. Kalman- oder Partikel-filter). In Abbildung 2 ist eine signifi-kante Verbesserung der Lokalisierung durch Verwendung eines adaptiven Partikelfilters im gelben Pfad dargestellt. Als alleinige Informationsquelle zur Navigation in einer georeferenzierten Karte ist das Fusionsergebnis jedoch immer noch zu ungenau und in Gebäu-den stehen absolut messende Navigati-onssensoren nicht zur Verfügung.

Es wird also zusätzlich eine Karte benö-tigt, in der sich der Roboter mit seinen die Umgebung beobachtenden Sensoren wie LIDAR und Kameras lokalisieren kann. Da die Karte in der Regel nur mit den fehlerbehafteten Sensordaten des Roboters erstellt werden kann, resultiert folgende Problemstellung: Um eine ge-naue Karte aufzubauen, muss sich der Roboter simultan in der bisher auf-genommenen und fehlerbehafteten Karte lokalisieren und diese ständig aktualisieren. Bei der so genannten simultanen Lokalisierung und Karten-

erstellung (engl.: SLAM) besteht die Schwierigkeit darin, dass die Fehler in der Karte mit der Unsicherheit der Lokalisierung korreliert sind.

Einen Lösungsansatz bietet die Model-lierung des SLAM-Problems und dessen zugrundeliegenden statistischen Ab-hängigkeiten als dynamisches Bayes-Netz (Abbildung 3). Daraus ergeben sich als Zustandsvariablen der Pfad des Roboters und die Kartenmerkmale, die sich wieder mittels rekursiver Schätzung in jedem Zeitschritt aus den Sensordaten schätzen lassen. Durch mehrmalige Beobachtung von Kartenmerkmalen verringern sich die Unsicherheiten in der Karte und die Korrelationen zwischen den Kartenmerkmalen werden maximiert, d. h. die Karte konvergiert zu einer besseren Lösung.

Abb. 2: Eine Fahrt um das IITB. (roter Pfad: Odometrie+Intertialsensor, blauer Pfad: DGPS, gelber Pfad: Fusionsergebnis).

Abb. 3: SLAM als ein dynamisches Bayes-Netz. (xk: Pfad, uk: propriozeptive Sensoren, zk: exterozeptive Sensoren, mi: Kartenmerkmal i, k: Zeitschritt).

KarlsruheFraunhofer-Institut fürInformations- undDatenverarbeitung IITBFraunhoferstraße 176131 KarlsruheTelefon +49 721 6091-0Fax +49 721 6091-41 [email protected]

IlmenauFraunhofer-AnwendungszentrumSystemtechnik ASTAm Vogelherd 5098693 IlmenauTelefon +49 3677 461-132Fax +49 3677 461-100claudia.schrickel@ast.iitb.fraunhofer.dewww.ast.iitb.fraunhofer.de

Beijing Representative for Production and Information Technologies Unit 0610, Landmark Tower 2 8 North Dongsanhuan Road Chaoyang District 100004 Beijing, PR China Telefon +86 10 65900-621 Fax +86 10 65900-619 [email protected]

nest network enabled surveillance and tracking durch das nest plug & protect-prinzip soll erreicht...

Documents