einführungsvortrag 'semantic multimedia', seminar ss2010, hpi

SEMANTIC MULTIMEDIA

SeminarDr. Harald Sack / Jörg Waitelonis

Zalan Kramer / Johannes HercherHasso-Plattner-Institut für Softwaresystemtechnik

Universität PotsdamSommersemester 2010

Die nichtkommerzielle Vervielfältigung, Verbreitung und Bearbeitung dieser Folien ist zulässig (Lizenzbestimmungen CC-BY-NC).

Dienstag, 11. Mai 2010

http://creativecommons.org/licenses/by-nc/3.0/deed.de

http://creativecommons.org/licenses/by-nc/3.0/deed.de

1. Videosuche mit Yovisto

2. Linked Data und das Semantic Web

3. Explorative Videosuche

4. Evaluationsverfahren und Aufgabenstellung

Seminar: Semantic Multimedia, Dr. Harald Sack et. al., Hasso-Plattner-Institut, Universität Potsdam

2

Semantic Multimedia


Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam

Semantic Multimedia1. Videosuche mit yovisto

3 Videosuchmaschinen - prinzipielle Architektur

VideoDatabase

MetadataServer

MPEG-Dekoder

temporaleVideo-

segmentierung

Extraktion vonMPEG-7

Deskriptoren

Inde

xier

ung

Retrieval

User-interfaceQuery input, Player, Timeline, Summary,...

Metadatengenerierung



4 yovisto.com• Videosuchmaschine mit dem Schwerpunkt

akademischer Lehrveranstaltungen

• aktuell mehr als 8.000 Vorlesungen undwissenschaftliche Vorträge aus der ganzen Welt

• automatische Segmentierung und Videoanalyse

• benutzergenerierte Co-Annotation

• Social Tagging

• Diskussionen

• Rezensionen

• Wikis

• Lernmaterialien

• Zielgenauer Zugriff auf gesuchte Videoinhalte




5 yovisto.com - Arbeitsweise

WWWWWW

upload your ownacademic videorecording

analyze and link toany available academic video recording in the WWW

video analysis andsearch index creation

search forvideo content

browse, play, and annotate video results

search engine frontend




6 Metadatengewinnung




6

ICR / OCR

Metadatengewinnung




6

ICR / OCR

ASR

Metadatengewinnung




6

ICR / OCR

ASR

Dic

tiona

ry

Keyterm Spotting

Metadatengewinnung




7


■Semantische Annotation

timeMetadata Extraction



7




e.g., person xy

location yz

event abc

Entity Recognition/ Mapping



7




e.g., bibliographical data,geographical data,encyclopedic data, ..

e.g., person xy

location yz

event abc

Entity Recognition/ Mapping







8

Semantic Multimedia



9

Semantic Multimedia2. Linked Data und das Semantic Web

Vom World Wide Web zum Web of Data„The Web was designed as an information space, with the goal that it should be useful not only for human-human communication, but also that machines would be able to participate and help… “

Voraussetzung:

• Inhalte können maschinell gelesen und korrekt interpretiert (=verstanden)werden

Tim Berners-Lee, Semantic Web Roadmap, Sept 1998

Semantic Web• (Natürlichsprachliche) Web-Inhalte

werden explizit mit Hilfe von semantischen Metadaten annotiert

• semantische Metadaten tragen die Bedeutung (Semantik) der Web-Inhalte und lassen sich maschinell lesen und korrekt interpretierenNatural Language Processing

• Techniken kommen im klassischen Information Retrieval (WWW-Such-maschinen) zum Einsatz



10


Inhalte im Semantic Web maschinell „verstehen“

Text: „Frühling“

Frühling Jahreszeit

Disambiguierung

FrühlingKantate von

Rachmaninow

Carl Frühlingösterreichischer

Komponist (1868-1937)

Tim Frühling Deutscher Radio-und TV-Moderator

?

?

?

?



11


Inhalte im Semantic Web maschinell „verstehen“

Text: „Frühling“

Frühling (Instanz)

Jahreszeit

ist ein

(Klasse)

Zeitperiode

ist eine

(Klasse)

Superklasse

Subklasse

ist eine

Klassen-zugehörigkeit

Entitäten-zuweisung

•Die Bedeutung (Semantik) der Entitäten, Klassen und Relationen muss ebenfalls explizit definiert werden.

•Bedeutung wird über geeignete Wissens-repräsentationen (Ontologien) kodiert



12




13


Linked Data■ Begriff wurde von Tim Berners-Lee geprägt

(Tim Berners-Lee, Linked Data, 2006, http://www.w3.org/DesignIssues/LinkedData.html)

□ Menge von Best practices zur Veröffentlichung und Verknüpfung von strukturierten Daten im Web

□ Grundannahme:

□ Der Wert (Nützlichkeit) von Daten im Web steigt je stärker diese mit Daten aus anderen Datenquellen verknüpft sind.


http://www.w3.org/DesignIssues/LinkedData.html



14


(RDF)

(URI)

M.Hausenblas, Quick Linked Data Introduction, http://www.slideshare.net/mediasemanticweb/quick-linked-data-introduction

Linked Data■ Begriff wurde von Tim Berners-Lee geprägt

(Tim Berners-Lee, Linked Data, 2006, http://www.w3.org/DesignIssues/LinkedData.html)

The Web of data is abouta dataand namingmodel on the Web





15


Linked Data

■ technische Grundprinzipien:

□ URIs identifizieren Ressourcen eindeutig (nicht nur Dokumente)

□ HTTP URIs (URLs) als global eindeutige Namen erlauben das „Nachschlagen“ der zugehörigen Information im Web

□ RDF als universelles Datenmodell zur Veröffentlichung strukturierter Daten im Web

□ Alle URIs in RDF-Graphen aus dem Web dereferenzierbar machen

□ RDF-Verweise zwischen Daten in verschiedenen Datenquellen setzen, um (inhaltlich) zusammenhängende Informationen zu finden



Linked Data□ Die Anwendung der genannten Prinzipien führt zur Entstehung eines

,Web of Data‘

16




17


Linking Open Data■ Publiziere öffentlich verfügbare strukturierte Daten als Linked Data und

■ Verlinke die unterschiedlichen Datenquellen miteinander

LOD-WikiPage: http://esw.w3.org/topic/SweoIG/TaskForces/CommunityProjects/LinkingOpenData/


http://esw.w3.org/topic/SweoIG/TaskForces/CommunityProjects/LinkingOpenData/

http://esw.w3.org/topic/SweoIG/TaskForces/CommunityProjects/LinkingOpenData/


18




19


Datenbanktechnologie vs. Linked Data

Datenbanken Linked Data

Relationales Modell(Tabellen)

URI, RDF

SQL DDL(create table...)

RDFS, OWL

SQL Query Language(select * from ...)

SPARQL



20


Uniform Resource Identifiers - URI■ Namen (Identifikation) für beliebige Ressourcen

■ Dereferenzierbare URI = HTTP URI (URL)

■ Nutze qualifizierte Namen (QNames, Qualified Names) via XML Namespace

■ Bsp: xmlns:pers=“http://hpi-web.de/Personal# -> pers:HaraldSack

http://hpi-web.de/HaraldSack http://moresemantic.blogspot.com/

Ressource Ressource


http://hpi-web.de/HaraldSack


http://sw0910.blogspot.com



21


Resource Description Framework - RDF• definiert Datenmodell zur Beschreibung maschinen-

verarbeitbarer Semantik von Daten

• erlaubt Assoziation einfacher Semantik mit verwendeten Elementen

Objekt(Ressource)

Eigenschaften(Properties)

Wertzuweisungen(Ressource / Literal)

Aussage(Statement)

URI



22


Resource Description Framework (RDF)■ Grafische Repräsentation als Knoten-Kante-Knoten

hatTelefonNr. +331-5509-527


http://moresemantic.blogspot.com/hatBlog

Literal

Ressource

Ressource







23


Von der Datenbank zu RDF■ Stellen wir uns eine ganz normale Datenbanktabelle vor...

URL Vorname Name TelefonNr Blog

http://hpi-web.de/JoergWaitelonis Jörg Waitelonis +331-5509-537 http://yovisto.blogspot.com/

http://hpi-web.de/HaraldSack Harald Sack +331-5509-527 http://moresemantic.blogspot.com/

... ... ... ... ...

















24


Von der Datenbank zu RDF■ Zeilen (Rows) repräsentieren Ressourcen (Dinge)




... ... ... ... ...

















25


Von der Datenbank zu RDF■ Spalten (Columns) repräsentieren Eigenschaften (Properties)




... ... ... ... ...

















26


Von der Datenbank zu RDF■ Die Schnittmenge liefert und Eigenschaften von einer Ressource




... ... ... ... ...

hatTelef

onNr. +331-5509-527




















27


Von der Datenbank zu RDF■ Jetzt wählen wir mehrere Eigenschaften aus...




... ... ... ... ...

hatTelef

onNr. +331-5509-527























28


RDF Serialisierung■ RDF/XML




Literal

Ressource

Ressource<xml version=“1.0“ encoding=“utf-8“><rdf:RDF xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#“ xmlns:pers=“http://hpi-web.de/Personal#“> <rdf:Description rdf:about=“http://hpi-web.de/HaraldSack“> <pers:hatTelefonNr>+331-5509-527</pers:hatTelefonNr> </rdf:Description> <rdf:Description rdf:about=“http://hpi-web.de/HaraldSack“> <pers:hatBlog> <rdf:Description rdf:about=“http://moresemantic.blogspot.com/“></rdf:Description> </pers:hatBlog> </rdf:Description></rdf:RDF>











29


RDF Serialisierung■ RDF/Turtle Syntax




Literal

Ressource

Ressource

<http://hpi-web.de/HaraldSack> <http://hpi-web.de/Personal#hatBlog> <http://moresemantic.blogspot.com/>.

<http://hpi-web.de/HaraldSack> <http://hpi-web.de/Personal#hatTelefonNr> “+331-5509-527“.






http://moresemantic.blogspot.com

http://moresemantic.blogspot.com


30


RDF Schema• Erster W3C Draft im April 1998,

W3C Recommendation seit Feb. 2004.

• RDFSchema spezifiziert ein Datenmodell, über das RDF-Statements entworfen werden können

• Abstrakter Datentyp (Klasse)

• Hierarchisches Klassenmodell und Vererbung (Subklassen)

• Syntax für gemeinsamen Datenaustausch

• = „Beschreibungssprache zur Definition strukturierter Vokabularien…“

• RDFSchema erlaubt:• Klassendefinitonen

• Klasseninstantiierung in RDF via <rdf:type>

• Festlegung von Eigenschaften und Restriktionen (Properties)

• Festlegung von Hierarchiebeziehungen

• Subklassen und Superklassen



31


RDF Schema -- ein Beispiel

wird betreut vonhttp://hpi-web.de/ws0910#semanticweb http://hpi-web.de/HaraldSack

Vorlesung

Mitarbeiter

Prof. SeniorResearcher

Person

Lehrveranstaltung

Seminar

wird betreut von

domainrange

subClassOf

subClassOf

subClassOfsubClassOf

class

classclass class

classproperty

class

class

subClassOf

rdf:type rdf:type


http://hpi-web.de/semanticweb/

http://hpi-web.de/semanticweb/




32


Wie kommt Semantik ins WWW? -> RDFa• RDFa = RDF in HTML attributes

• bringt generische RDF-Annotationen in XHTML-Dokumente

• RDFa nutzt

•bereits vorhandene XHTML-Attribute

•href, content, rel, rev, und src

•neue XHTML-Attribute

•about, datatype, property, resource und typeof(aus XHTML2 Metainformation Attributes)



33


RDFa • Unterscheidet grundsätzlich 2 Varianten von RDF-Triples

•Triple mit URI als Objekt•Triple mit Literal als Objekt

Subjekt Prädikat Objekt

Literal als Objekt about propertycontent oder

#PCDATA

URI als Objekt about rel href



34


RDFa

• <span about=”subject”>...</span>

...erzeugt ein temporäres Subjekt für ein/mehrere Triples

• <a href=”object” rel=”predicate”>...</a>...definiert ein verlinktes Triple

• <span property=”predicate”>object</span>...definiert ein unverlinktes Triple



35


RDFa - ein kleines Beispiel

...

<div xmlns:dc="http://purl.org/dc/elements/1.1/">

I'm currently reading

<span about=”urn:ISBN:0-596-00027-8”>

<span property="dc:title">Programming Perl</span>

by

<span property="dc:creator">Larry Wall</span>

</span>.</div>...



36


RDFa - noch ein kleines Beispiel...<div typeof="foaf:Person" xmlns:foaf="http://xmlns.com/foaf/0.1/"> <p property="foaf:name"> Alice Birpemswick </p> <p> Email: <a rel="foaf:mbox" href="mailto:[email protected]"> [email protected]</a> </p> <p> Phone: <a rel="foaf:phone" href="tel:+1-617-555-7332"> +1 617.555.7332</a> </p> <p> <img src="photo1.jpg" rel="dc:creator" rev="foaf:depicts" href="http://www.blogger.com/profile/1109404" /> </p></div>...



37


Linked Data für Mensch und Maschine■ URI soll sowohl für Menschen als auch für Computer interpretierbare Informationen

liefern, d.h.

URI

Accept: application/rdf+xml

http://dbpedia.org/resource/Ernest_Hemingway

Accept: text/html

(Thing)

(RDF data) (HTML page)











38


66 Linked Data für Mensch und Maschine■ Server liefert unterschiedliche HTTP Responses in Abhängigkeit vom HTTP-Accept-

Header (Content Negotiation)

http://www4.wiwiss.fu-berlin.de/bizer/pub/LinkedDataTutorial/





39


66 Linked Data für Mensch und Maschine■ Üblicherweise verwende entsprechende Namen für unterschiedliche

Repräsentationsformen


Accept: application/rdf+xml


Accept: text/html

http://dbpedia.org/data/Ernest_Hemingway.rdf

http://dbpedia.org/page/Ernest_Hemingway

(Thing)

(RDF data) (HTML page)



















40


66


Dereferenzierung von URIs■ Bsp.: FOAF (Friend-of-a-Friend)

<rdf:RDF xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#" xmlns:rdfs="http://www.w3.org/2000/01/rdf-schema#" xmlns:foaf="http://xmlns.com/foaf/0.1/" xmlns:dbpedia=“http://dbpedia.org/resource/“></rdf:RDF>...<foaf:Person rdf:ID=“http://hpi.uni-potsdam.de/meinel/sack/foaf.rdf#harald“>

<foaf:name>Harald Sack</foaf:name><foaf:homepage rdf:resource="http://www.hpi.uni-potsdam.de/meinel/sack.html"/><foaf:based_near rdf:resource="dbpedia:Potsdam“/>

...</foaf:Person>...





http://www.w3.org/1999/02/22-rdf-syntax-ns#

http://www.w3.org/1999/02/22-rdf-syntax-ns#

http://www.w3.org/2000/01/rdf-schema#

http://www.w3.org/2000/01/rdf-schema#

http://xmlns.com/foaf/0.1/

http://xmlns.com/foaf/0.1/

http://dbpedia.org/resource/

http://dbpedia.org/resource/

http://hpi.uni-potsdam.de/meinel/sack/foaf.rdf#harald

http://hpi.uni-potsdam.de/meinel/sack/foaf.rdf#harald

http://www.hpi.uni-potsdam.de/meinel/sack.html





Dereferenzierung von URIs■ Bsp.: FOAF (Friend-of-a-Friend)

41

hpihs:harald foaf:Personrdf:type

Harald Sackfoaf:name

foaf:based_neardbpedia:Potsdam

GET /resource/Potsdam HTTP/1.0Accept: application/rdf+xml




Dereferenzierung von URIs42




dbpedia:Potsdamdp:population

skos:subject

dp:Cities_in_Germany

150.833

GET /resource/Potsdam HTTP/1.0Accept: application/rdf+xml




Dereferenzierung von URIs43




dp:population

skos:subject

dp:Cities_in_Germany

150.833

dbpedia:Berlin

dbpedia:Potsdam

skos:subject

skos:s

ubject








44

Semantic Multimedia



45

Semantic Multimedia3. Explorative Videosuche

“Information-Retrieval Systeme

•verarbeiten Dateien mit Informationsressourcen und Informationsanfragen,

• identifizieren und liefern aus diesen Dateien bestimmte

Informationsressourcen als Antwort auf eine Informationsanfrage.

•Das Finden (Retrieval) bestimmter Ressourcen hängt von der Ähnlichkeit

der Ressourcen und den Anfragen ab,

gemessen am Vergleich bestimmter Attributwerte.”

(nach Salton,G., McGill, M.J.: Introduction to Modern Information Retrieval. McGraw-Hill, New York 1983)

Menge von Anfragen

informationrequests

Menge von Dokumenten

files of records

Indexierungs-sprache

similarityIndexierungAnfrage-

formulierung



46


Key Advances in Google Search

Steven Levy: Exclusive: How Google’s Algorithm Rules the Web, Wired Magazin, 22. Feb. 2010, http://www.wired.com/magazine/2010/02/ff_google_algorithm/all/1

Backrub[Sept 1997]Stanford Search Engine wird in Google umbenannt. Durchbruch gelingt mit RelevanzrankingBasierend auf Anzahl und Qualität eingehender Links.

Neuer Algorithmus[Aug 2001]Suchalgorithmus wird komplett runderneuert, um neue Ranking-Kriterien einfacher einbinden zu können.

Analyse lokaler Konnektivität[Feb 2003]Googles erstes Patent wird gewährt auf Algorithmus der Links von autoritativen Quellen höheres Gewicht gibt.

Fritz[Sommer 2003]Initiative mit dem Ziel, den Google Index permanent im laufenden Betrieb upzudaten anstelle von offline Batchläufen.

Personalisierung[Juni 2005]Nutzer können Google Erlaubnis zur Analyse des eigenen Suchverhaltens gewähren, um personalisierte Ergebnisse zu ermöglichen.

Bigdaddy[Dezember 2005]Engine Update, erlaubt effizienteres und gebündelteres Web-Crawling

Universal Search[Mai 2007]Ergebnisse aus Bild-, Video-, News- und Buchsuche als gemeinsames universelles Suchergebnis auf derselben Seite.

Real-Time Search[Dez 2009]Ergebnisse aus Blogs und Twitter werden sofort nach Publikation im Suchergebnis berücksichtigt.




The World According to Google....

• Gezielte Suche

• Suche nach einem/mehreren speziellen Dokument(en)

• Benutzer weiß, was er/sie sucht





Was aber, wenn ich nach einem Dokument suche, das in der Ergebnisliste auf Position 1.123.456 ist ...?





• Was aber, wenn der Benutzer nicht genau weiß, welches Dokument bzw. was er/sie überhaupt finden möchte

• „was gibt es denn alles zu einem Thema?“

• „wo fängt das Thema an, wo hört es auf?“

• „wie befriedige ich meine Neugierde?“




Semantisch unterstütztes Information Retrieval• Traditionelle Metadaten werden ergänzt durch semantische Annotationen

• Semantische Annotation unterstützt Schlüsselwort-basierte Suche mit

• (semi-)automatische Erweiterung / Präzisierung der Suchergebnisse

• Herleitung von impliziten Informationen

• Herstellung von Querverweisen (Cross-Referencing)

• Nutzung von inhaltlichen Beziehungen zur

• Visualisierung und

• Navigation durch den Suchraum (Explorative Suche)




Erweiterung/Verfeinerung der Suchergebnisse• Suche liefert nicht alle inhaltlich relevanten Suchergebnisse zu einer Suchphrase

Synonyme, Metaphern und Umschreibungen

• Suche liefert zu viele inhaltlich nicht relevante Suchergebnisse zu einer Suchphrase Mehrdeutigkeit, Kontext und Pragmatik

• (semi-)automatische Erweiterung der Suchphrase (Query Refinement)• Nutzung von Wörterbüchern, Thesauri und Domain Ontologien

• Synonyme, Ober- und Unterbegriffe

• Meronyme, Holonyme, Assoziationen




Erweiterung/Verfeinerung der Suchergebnisse• Suche liefert nicht alle inhaltlich relevanten Suchergebnisse zu einer Suchphrase

Synonyme, Metaphern und Umschreibungen

• Suche liefert zu viele inhaltlich nicht relevante Suchergebnisse zu einer Suchphrase Mehrdeutigkeit, Kontext und Pragmatik

• (semi-)automatische Erweiterung der Suchphrase (Query Refinement)• Nutzung von Wörterbüchern, Thesauri und Domain Ontologien

• Synonyme, Ober- und Unterbegriffe

• Meronyme, Holonyme, Assoziationen

Bsp.: Suchphrase: Bank

Mögliche Erweiterung: Bank ∧ Kreditanstalt oder Bank ∧ Sitzgelegenheit oder Bank ∧ Sediment




Herstellung von Querverweisen□ Bereitstellung von Suchergebnissen, die zwar den Suchbegriff nicht

notwendigerweise enthalten, aber mit diesem in inhaltlichem Zusammenhang stehen

□ Nutzung von Domain Ontologien, Linked Data, Thesauri und Kookurrenzanalysen repräsentativer Dokumentenkorpora

Bsp.: Suchphrase: Hemingwayermittelter Oberbegriff zu Hemingway: amerikanischer AutorAusweitung der Suche auf andere amerikanische Autoren

dbpedia:Ernest_Hemingway

dbpedia:AmericanNovelists

rdf:type

Hemingway

Instanzerkennung

dbpedia:Edgar_Allen_Poe

rdf:type


http://www2.diego10.com.br/diego










Herstellung von Querverweisen

Bsp.: Suchphrase: Hemingwayermittelter Oberbegriff zu Hemingway: amerikanischer AutorOberbegriff zu amerikanischer Autor: Ausweitung der Suche auf andere amerikanische Autoren


yago:AmericanNovelists

rdf:type

Hemingway

Instanzerkennung

dbpedia:Edgar_Allan_Poe

rdf:type














rdf:type

Hemingway

Instanzerkennung


rdf:type

rdfs:subClassOf

yago:Novelist110363573


















rdf:type

Hemingway

Instanzerkennung


rdf:type

rdfs:subClassOf

yago:Novelist110363573yago:EnglishNovelistsrdfs:subClassOf






















rdf:type

Hemingway

Instanzerkennung


rdf:type

rdfs:subClassOf


dbpedia:Rudyard_Kipling

rdf:type

yago:EnglishNovelistsrdfs:subClassOf
























rdf:type

Hemingway

Instanzerkennung


rdf:type

rdfs:subClassOf


dbpedia:Rudyard_Kipling

rdf:type

dbpedia-owl:Person/influencedBy

yago:EnglishNovelistsrdfs:subClassOf






















Explorative Suche• Was, wenn der Benutzer nicht weiß, welches Keyword er/sie benutzen soll?

• Was, wenn der Benutzer komplexere Antworten sucht?

• Was, wenn der Benutzer das Wissensgebiet, über das er sich informieren will, nicht gut kennt?

• Was, wenn der Benutzer wissen möchte, welche Dokumente es insgesamt zu einem speziellen (komplexen) Thema in einem Repository gibt?

• Das Problem ist nicht neu




56 Explorative Suche• Ist ein spezieller Weg der Informationsrecherche, der von Informationssuchenden

beschritten wird, die

(a) nicht mit dem Themengebiet ihres Suchziels vertraut sind,d.h. sie müssen zuerst einiges über das Suchthema lernen, um zu verstehen, wie sie ihr Suchziel erreichen können

(b) unsicher darüber sind, auf welchem Weg das Suchziel zu erreichen ist (bzgl. des Suchvorgangs und der Suchtechnologie)

(c) oder überhaupt unsicher bzgl. ihres Suchziels sind, d.h. Sie wissen gar nicht genau, wonach sie suchen.

White, R.W., Kules, B., Drucker, S.M., and schraefel, M.C.Supporting Exploratory Search, Introduction to Special Section of Communications of the ACM, Vol. 49, Issue 4, (2006), pp. 36-39.




57 Explorative Suche• Abkehr vom klassischen „Google Paradigma“

• Ermöglicht es dem Benutzer

• Suchergebnisse „zufällig“ zu entdecken, die er eigentlich gar nicht gesucht hat (Serendipity)

• einen besseren Überblick über den Suchraum / Ergebnisraumzu gewinnen




58 ■How to Explore the Web of Data?


Wie soll das semantischeNetzwerk um dbpedia:Ernest_Hemingwayherum durchsucht werden?







59 ■Welche Fakten sind relevant/interessant?

■ e.g., Ernest Hemingway■ > 600 facts (triples)■ > 80 properties■ no ranking■ no relevance







60

Waitelonis, Sack: Augmenting Video Search with Linked Open Data, in Proc. I-Semantics , Graz 2009.




60

history





60

history

search term





60

history

search term

related resources with properties




61


Explorative Suche in yovisto

• Exploratives Browsen des yovisto Video-Repositories

• Wie geht man dazu vor?

• Suche Videos über US-amerikanische Präsidenten

• Wer waren die US Präsidenten von 1776 - heute?

• Mögliche Suchbegriffe

• ,Barack Obama‘, George Washington‘ ,President‘, ,USA‘, ....

• Aufgabe: Erstelle ein Referat über die Geschichte der US-amerikanischen Präsidenten


4. Tele-TASK Symposium, 25-26.02.2010, Dr. Harald Sack, HPI Potsdam

29

Semantische SuchtechnologienExplorative Suche in audiovisuellen Daten







68

Semantic Multimedia



69

Semantic Multimedia4. Evaluationsverfahren und Aufgabenstellung

Allgemeine Evaluation von Information Retrieval Systemen

• Definieren eines Portfolios unterschiedlicher Suchaufgaben

• Für jede Suchaufgabe

• Manuelle Bestimmung eines korrekten Ergebnisses, d.h. einer Menge für die Suchabfrage relevanter Dokumente(„Gold Standard“)

• Automatische Bestimmung eines Ergebnisses mit Hilfe des Information Retrieval Systems, d.h. einer Menge für die Suchabfrage gefundener Dokumente

• Durch Vergleich der Testergebnisse mit den manuell ermittelten (korrekten) Ergebnissen können Qualitätskriterien für das Information Retrieval System ermittelt werden



70


Evaluation von Information Retrieval Systemen

relevante Dokumente gefundene Dokumente

relevante Dokumente, die gefunden wurden

R P

Recall=| R ∩ P |

|R|

Precision=| R ∩ P |

|P|



70


Evaluation von Information Retrieval Systemen

relevante Dokumente gefundene Dokumente

relevante Dokumente, die gefunden wurden

R P

Recall=| R ∩ P |

|R|

Precision=| R ∩ P |

|P|

Text REtrieval Conference (TREC)Workshop Series (1992 - 2010) that encourages research in information retrieval by providing•large test collection, •uniform scoring procedures, and a •forum for organizations interested in comparing their results. •Workshop Tracks include •cross-language retrieval, retrieval of web documents, multimedia retrieval, and

question answering all in various domains.



71


Evaluation der Explorativen Suche

• Problem bei der explorativen Suche

• Das „korrekte“ Ergebnis steht nicht unbedingt von Anfang an fest

• Je nach Interesse/Neigung des Suchenden können unterschiedliche Strategien verfolgt werden

• Komplexe Suchaufgaben mit individuell verschiedener Zielsetzung/Interpretation

• Wie definiert man einen explorativen „Gold Standard“?

• Wie soll man explorative Suche evaluieren?

• Quantitative Evaluation

• Qualitative Evaluation



72


IDEE: Evaluation mit Hilfe geeigneter Spiele

■ Problem: hoher manueller Aufwand notwendig zuraussagekräftigen und objektiven Evaluation der Ergebnisse

■ Können Evaluationsprobleme in Form von einfachen Spielen ,verpackt‘ werden?

■ Spiel soll Benutzer motivieren, spielerisch Evaluationsaufgaben zu lösen und zur Gesamtevaluation beizutragen

■ Spiel soll dabei keine Experten-Vorkenntnisse verlangen

■ Spiel soll ,Spaß‘ machen = hohe Motivation bieten



73


Was genau soll evaluiert werden?

■ Qualität der Heuristiken zur explorativen Suche

■ Relevanzbewertung Properties

■ Relevanzbewertung assoziierte Instanzen

■ Generelle Disambiguierungsprobleme

■ Visuelle Analyse

■ Was ist zu sehen?

■ Gesichter (finden, erkennen, vergleichen)

■ Text (finden, erkennen)

■ Genre

■ Geoinfo



74


Qualität der Heuristiken zur explorativen Suche

■ Relevanzbewertung der Properties-Heuristiken

■ Gegeben ist ein Entity

■ ,z.B.: freie Auswahl‘ von ,wichtigen‘ Properties aus allen DBpedia Properties

■ z.B: Bewertung welche von n Property-Heuristiken ist die bessere

■ Bsp.: Was ist wichtiger?(a) Albert Einstein ist ein Physiker(b) Albert Einstein ist ein amerikanischer Vegetarier(c) Albert Einstein ist Pazifist(d) Albert Einstein ist Patentgutachter(e) ...



75


Generelle Disambiguierungsprobleme

■ Gegeben ist der folgende Satz:„Der New Yorker Flughafen John F. Kennedy ist von der Stadt aus sehr leicht zu erreichen“

■ Worum geht es?(a) um John F. Kennedy(b) um New York(c) um die Stadt(d) um den Flughafen(e) um den New Yorker Flughafen John F. Kennedy(f) ...



76


Visuelle Analyse I - Bilderkennung

Was ist das?(a) Hasso Plattner Institut, Potsdam (b) Bundestag, Berlin(c) Petersdom, Rom (c) Pantheon, Rom



77


Visuelle Analyse II - Objektdetektion

Finden und Markieren von Gesichtern und/oder Objekten?



78


Visuelle Analyse III - Objektidentifikation

Verknüpfen mit Instanzen und Konzepten

<http://dbpedia.org/resource/Cattle>

<http://dbpedia.org/resource/Motorcycle>

<http://dbpedia.org/resource/J%C3%B6rg_Waitelonis>

dbpedia-owl:Person

dbpedia-owl:Animal

opencyc:en/VehicleType


http://dbpedia.org/page/Cow









http://dbpedia.org/ontology/Person







79


Visuelle Analyse - Face Identification

Wer ist das?(a) Angela Merkel (b) Christoph Meinel(c) Edgar Alan Poe (d) Ernest Hemingway



80 Visuelle Analyse IV - Character/Text Detection/Recognition

(1) Finden von Text im Video (2) ‘Entziffern’ von Text


EIN FILM DES Defa Studios für Wochenschau und Dokumentarfilme ....


Visuelle Analyse V - Face/Object Recognition


81


Vergleichen von Bildern (z.B. Gesichter)

=

=

=

/



82


Geoinformation

Wo ist das?(a) Eisenach, Iowa, USA(b) Eisenach, Thüringen, Germany(c) Eisenach, Rheinland-Pfalz, Germany

Wartburg







83

Semantic Multimedia



84

Literatur

» P. Hitzler, M. Krötzsch, S. Rudolph, Y. Sure Semantic Web Grundlagen, Springer, 2008.

Semantic Multimedia


http://www.amazon.de/gp/product/3540339930?ie=UTF8&tag=moresemantic-21&linkCode=as2&camp=1638&creative=6742&creativeASIN=3540339930

http://www.amazon.de/gp/product/3540339930?ie=UTF8&tag=moresemantic-21&linkCode=as2&camp=1638&creative=6742&creativeASIN=3540339930

einführungsvortrag 'semantic multimedia', seminar ss2010, hpi

Entertainment & Humor