hochschule augsburg university of applied sciences m.a.r.s. technische projektarbeit 2011 ti-5

Hochschule AugsburgUniversity of Applied Sciences

M.A.R.S.

Technische Projektarbeit 2011TI-5

Hochschule AugsburgUniversity of Applied Sciences Gliederung

• Motivation• Das Team • Hardware• HW-Optimierung• Datenbank• Interface• Parallelisierung

Hochschule AugsburgUniversity of Applied Sciences Motivation

Zielsetzung

Entwicklung eines Mobile Augmented Reality Systems,

für Schulungszwecke

Aufbauend auf Ergebnissen des Trikolus Forschungsprojektes• M.E.F.U. (2010)• HSAOpenSURF (2011)

Motivation

Team

Hardware

Datenbank

Software

VHDL

Hochschule AugsburgUniversity of Applied Sciences Motivation

Aufgabenstellung

• Gehäuse • Stromversorgung• Embedded Linux System• Anpassung an Hardware• Optimierung Kameras• Grafische Oberfläche• Datenbank-/anwendung

Motivation

Team

Hardware

Datenbank

Software

VHDL

Hochschule AugsburgUniversity of Applied Sciences Das Team

Tobias Kögelsberger

• GUI

• Dokumentation

Andrei Ehrlich

• M.E.F.U.

• Datenbank

Andreas Füger

• GUI

• Datenbank

Motivation

Team

Hardware

Datenbank

Software

VHDL


Michael Morscher

• EDV

• Embedded Linux

Christoph Schwarz

• VHDL

• Stromversorgung

Das Team

Markus Bihler

• GUI

• Datenbankkonzept

Motivation

Team

Hardware

Datenbank

Software

VHDL


Thomas Britzelmeier

• M.E.F.U.

• Präsentation

Das Team

Christopher Proske

• VHDL

• Projektleiter

Motivation

Team

Hardware

Datenbank

Software

VHDL

Hochschule AugsburgUniversity of Applied Sciences Hardware

CAMELEON FPGA Kameras

• 640x480px Auflösung, schwarz/weiss• Programmierbarer SPARTAN 3E FPGA• Softwaremodule aus Triokolos Projekten

Motivation

Team

Hardware

Datenbank

Software

VHDL


Pandaboard mit LCD Erweiterung

• Dual-Core ARM9 Prozessor• 1 Ghz Taktfrequenz• 1024 MB Arbeitsspeicher• 7” Touchscreen mit

800x480 Pixel Auflösung• SD-Kartenslot

--> Genügend Leistung!

Motivation

Team

Hardware

Datenbank

Software

VHDL


Stromversorgung Anforderungen

• 5V Konstantspannung• Genügend Leistung für Peripherie und Board• Hoher Wirkungsgrad• Handelsübliche Bauteile• Geringe Wärmeentwicklung

Hardware

Schaltregler LM2676

Komponenten Verbrauch

Pandaboard ~

CAMELEON Kameras ~

=~

Motivation

Team

Hardware

Datenbank

Software

VHDL


Stromversorgung Layout

• kompakte Abmessungen• kurze stromführende Pfade• von Hand herstellbar

Hardware

Motivation

Team

Hardware

Datenbank

Software

VHDL


Ergebnis

--> Universell einsetzbare Stromversorgungsplatine

• 8V-40V Eingangsspannung• 5V Konstantspannung• 3A maximale Belastbarkeit• Wirkungsgrad größer als 90%

• 8x2700mAh NI-MH AA Akkus

Hardware

Motivation

Team

Hardware

Datenbank

Software

VHDL


Gehäuse• Mobil, stabil, modular• Brennpunkt für Kameras• Platz für alle Komponenten

Probleme• Höhe Pandaboard• Fehlender Kamera Autofokus• Kurze Displayflachbandkabel

Kameras

Gehäuse

Objekt

ca. 30°

ca. 60 cm

Motivation

Team

Hardware

Datenbank

Software

VHDL


Gehäuse• Material: Sperrholz lackiert

• Leicht• Stabil

• Maße von 20xx10• Modulares Trägersystem• Batteriefach • AN/AUS Schalter

Motivation

Team

Hardware

Datenbank

Software

VHDL


Gehäuse

BILD VORNEBILD Hinten

Motivation

Team

Hardware

Datenbank

Software

VHDL


Motivation

Team

Hardware

Datenbank

Software

VHDL

Hochschule AugsburgUniversity of Applied Sciences Datenbank

n:1

1:nn:1

n:n

Mars XML-Datei

Motivation

Team

Hardware

Datenbank

Software

VHDL


M.A.R.S. DB-Tool• Anlegen von Komponenten• Erstellen von Tutorials

Eigenentwicklung

Datenbank

Software Paket

MEFU Database-Creator • Einlesen neuer Objekte

Ergebnis der Projektarbeit MEFU.

Motivation

Team

Hardware

Datenbank

Software

VHDL


Komponentendaten in Textdatei eingeben und als Shellskript abspeichern

DB.sh über Konsole ausführen. marsXMLgenerator.sh wird im Hintergrund ausgeführt

Ergebnis: XML-Datei die von der M.A.R.S. Software verwendet werden kann

Datenbank

M.A.R.S. DB-Tool

Motivation

Team

Hardware

Datenbank

Software

VHDL


Besonderheiten• Benutzerfreundliche Datenerfassung• Kommentare möglich• Shell Syntax Highlighting

Vorteile• Kurze Einlernphase• Hohe Kapselung• Systemunabhängig

Motivation

Team

Hardware

Datenbank

Software

VHDL


Beispiel:

Motivation

Team

Hardware

Datenbank

Software

VHDL

Hochschule AugsburgUniversity of Applied Sciences Software

Anforderungen GUI• Linux kompatibel• Ressourcenschonend• Kompatibel mit OpenCV• Intuitiv bedienbar• Interaktive Funktionalität

Unsere Wahl: GTK+• nutzt C/C++• Plattformunabhängig• einfache Programmierschnittstelle

Motivation

Team

Hardware

Datenbank

Software

VHDL


Free Mode Tutorial Mode

Modus?

Start ENDEM.E.F.U.fertig?

Allgemeiner Ablauf GUI

Motivation

Team

Hardware

Datenbank

Software

VHDL


Start

Nächstes Objektbestimmen

Erkannte Objektemarkieren

Tutorial Buttonsanzeigen

Ende

Komponenten Markieren

Next-, Prev- und Back Butten anzeigen

Beschreibungstext anzeigen

Anweisungstext anzeigen

Free Mode

Ende

Start

Tutorial Mode

Motivation

Team

Hardware

Datenbank

Software

VHDL


FPGA - Kameras MEFU MARS

Zeit

• Bild anfordern

Bild aufnehmen

Objekterkennung

• Bild abholen

• Bild abholen

• Bild anfordern

Bild aufnehmen

• neues Bild verfügbar

Leerlauf

Leerlauf

Leerlauf

GUI gesperrt!

ein gemeinsamer Thread

GUI gesperrt!

GUI neu zeichnen

Motivation

Team

Hardware

Datenbank

Software

VHDL


FPGA - Kameras MEFU - Thread MARS - Thread

Zeit

• Bild abholen

• Bild anfordern

Bild aufnehmen

Objekterkennung

• Bild anfordern

Bild aufnehmen

• Bild abholen

GUI neu zeichnen

Objekterkennung

• Bild anfordern

Bild aufnehmen

• neues Bild verfügbar

Objekterkennung

• Bild abholen

GUI neu zeichnen• neues Bild verfügbar

GUI bedien bar

GUI bedien bar

GUI bedien bar

Motivation

Team

Hardware

Datenbank

Software

VHDL

Hochschule AugsburgUniversity of Applied Sciences VHDL

KameraCypress

USB

Sensor VDEC Integralbild SURF USB

SDRAMController

μBlaze

SDRAM

FPGA (Spartan 3E)

PLB

AufgabeErstellen eines IP-Cores für eine Integralbild Berechnung

Vorteile• schnellere Berechnung• Softcore wird entlastet

Motivation

Team

Hardware

Datenbank

Software

VHDL


Orginalbild Integralbild

Integrierer IP-Core

Nutzen Integralbild--> Berechnung einer Fläche für SURF-Algorithmus

Motivation

Team

Hardware

Datenbank

Software

VHDL


Struktur des IP-Cores

VHDL

Mem CtrlMaster Burst FIFO

Integrierer + BRAM

Mem_ctrl

Sensor (VDEC)

PLB

Softcore

Daten Daten + Sync

Daten + Sync + Enabele

PLB-Control

Sync

skip

full

controllstatus integrierer_main.vhd

user_logic.vhdIntegrierer.vhd

Motivation

Team

Hardware

Datenbank

Software

VHDL


Eigenschaften

• Skalar • Höhere Taktfrequenz als PLB möglich• Geringer Ressourcenverbrauch

• 848 Slices• 1041 FlipFlop• 1194 Lookup Table• 3 BRAM Blöcke

• IP-Core kann wiederverwendet werden

Motivation

Team

Hardware

Datenbank

Software

VHDL

Hochschule AugsburgUniversity of Applied Sciences Fazit

• Herstellung eines Gehäuses

• Herstellung einer Energieversorgung

• Entwicklung eines Datenbanktools

• Erweiterung des MEFU Projekts

• Entwicklung eines Integrierer IP-Core

Funktionierendes Mobiles Augmented Reality System

Motivation

Team

Hardware

Datenbank

Software

VHDL

Fazit

hochschule augsburg university of applied sciences m.a.r.s. technische projektarbeit 2011 ti-5

Documents