topic mapstopic maps, , , wandorawandora ja kourallinen ... · topic mapstopic maps, , ,...

Topic MapsTopic MapsTopic MapsTopic Maps, , , , WandoraWandoraWandoraWandoraja kourallinen julkaisuprojektejaja kourallinen julkaisuprojektejaja kourallinen julkaisuprojektejaja kourallinen julkaisuprojekteja

Grip Studios InteractiveGrip Studios InteractiveGrip Studios InteractiveGrip Studios Interactive, Aki Kivelä, Aki Kivelä, Aki Kivelä, Aki Kivelä14.11.200714.11.200714.11.200714.11.2007

2

Esitelmän rakenneTopic Maps

Teoriaa

Suhde muihin teknologioihin

Käyttösovelluksia

Wandora

SovellusprojektejaKiasmart

Valtion taidemuseon kokoelmaselain

3

Topic MapsISO –standardin mukainen tietämysrakenne

Tietoresursseista riippumaton tietämysverkko

Kartta tietoresursseihin

Kokoelma käsitteitä, käsitteiden välisiä yhteyksiä ja käsitteisiin liittyviä tietoresursseja

Tietoresursseihin liittyvää metatietoa

Dataresursseja

Aihekartta

4

Historiaa1991, UNIX –järjestelmätoimittajien hanke parantaa dokumentaatioiden laatua.Ongelmana hajautetusta dokumenttien tuotannosta johtuva terminologinen epäyhtenäisyys.

One major problem was how to provide master indexes for independently maintained, constantly changing technical documentation aggregated into system manual sets by the vendorsof such systems.

SOFABED – Standard Open Formal Architecture for Browsable Electronic Documents ! Topic Maps1995, ISOn käsittelyyn (ISO/IEC 13250).2000, XTM 1.0 XML Topic Maps: Creating and Using Topic Maps for the Web. ed. Jack Park; Sam Hunting.

Kappale 3: A Perspective On The Quest For Global Knowledge Interchange. Addison-Wesley, ISBN 0-201-74960-2

The HyTime Topic Maps (HyTM) Syntaxhttp://www.is-thought.co.uk/HyTM-Syntax-02.htm

XML Topic Maps (XTM) 1.0. TopicMaps.Org Specificationhttp://www.topicmaps.org

5

Aihekartta on kokoelmaAiheita (Topics)

Yhteyksiä (Associations)

Ilmentymiä (Occurrences)

TAO -malli

Teoriaa

Steve Pepper: The TAO of Topic Maps, finding the way in the age of infoglut, http://www.gca.org/papers/xmleurope2000/papers/s11-01.html

Topic Map

URI

TopicAssociation

Name

Media Documents

Occurrence

6

Aihe - TopicAihe (topic) voi olla mikä tahansa käsiteAiheella voi olla useita nimiä

Ainakin yksi perusnimi (base name)Perusnimellä voi olla useampia eri käyttöyhteyksiin tarkoitettuja variaatioita (kieli, näkökulma, konteksti jne.).

Aiheeseen voidaan liittää tunnisteitaSubject LocatorSubject Identifier

7

AssosiaatioAssosiaatio liittää kaksi tai useamman aiheen yhteen

Aiheiden välinen n-paikkainen relaatio

Assosiaatiolla on tyyppi

Jokaisella assosiaatiossa olevalla aiheella on rooli

HelsinkiSuomi

Maan pääkaupunki

kaupunki maa

8

Assosiaatio

SuomiHelsinki

MaaMaaMaaMaaKaupunkiKaupunkiKaupunkiKaupunki

Maan pääkaupunkiMaan pääkaupunkiMaan pääkaupunkiMaan pääkaupunki

Verkkoa havainnollisempi esitys assosiaatiolle voisi olla otsikoitu taulu:

9

Ilmentymä - OccurrenceIlmentymä on aiheeseen liittyvä resurssiIlmentymä voi olla aihekartan ulkopuolella

Viitataan URL-osoitteella

Ilmentymä voi olla aihekartan sisälläTekstiä

Ilmentymällä on tyyppi ja konteksti (scope).

10

Occurrence

Helsinki

Kaupungin vaakuna

suomenkielinen

11

ScopeTopicilla, assosiaatiolla tai occurrencella voi nimensä (external representation) puolesta olla useampia merkityksiä.

Esimerkiksi käsite maa voi käyttöyhteydestä riippuen tarkoittaa valtakuntaa, maapalloa tai maa-ainesta.

Merkitykset erotetaan scopella.

Scope määrittelee, missä yhteydessä aihe, assosiaatio tai occurrence on relevantti.

ScopellaPiilotetaan irrelevantti tieto

Keskitytään olennaiseen tietoon

12

Aihekartta Aihekartta

Scope – esimerkki

otetaan scope

käyttöön

13

Aihekartat ja XTMXMT on aihekarttojen esittämiseen tarkoitettu XML-formaatti.

XTM määrittelee miten aihekartan aiheet, yhteydet ja muut elementit esitetään XML-muodossa.

XTM-muotoa voidaan käyttää aihekarttojen Säilyttämiseen

Jakeluun

Muokkausmuotona

XML Topic Maps (XTM) 1.0. TopicMaps.Org Specificationhttp://www.topicmaps.org/xtm/index.html

14

Suhde muihin teknologioihin

Topic Maps ja RDF

Topic Maps ja Ontologiat

Topic Maps ja Semanttinen Web

15

Topic Maps ja RDFResource Description Framework (RDF) on W3C:n alaisuudessa kehitetty teknologia, joka on tarkoitettu Internet-resurssien annotointiin.

RDF myös XML-variantti

RDF käyttää annoitointiin Subjekti–Predikaatti–Objekti –kolmikoita

RDF on yksinkertaisempi (väljempi) tietämyksen esitysmalli kuin aihekartat.

RDF Topic MapsMahdollista, mutta ei yksikäsitteistä Ten Theses on Topic Maps and RDF

http://www.ontopia.net/topicmaps/materials/rdf.html

Topic maps, RDF, DAML, OIL, A comparisonhttp://www.ontopia.net/topicmaps/materials/tmrdfoildaml.html

Graham Moore. RDF and TopicMaps. An Exercise in Convergencehttp://www.topicmaps.com/topicmapsrdf.pdf

16

Topic Maps ja Ontologiat

Ontologia on eksplisiittisesti määritelty ja jaettu käsitteistö.

Aihekartat ovat yksi ontologioiden toteutusteknologia

Aihekartta ei sisällä kaikkia puhtaiden ontologiakielten ominaisuuksia

Ominaisuudet on mahdollista toteuttaa, mutta vaatii työtä

Toisaalta ontologiateknologiat ovat keskenäänkin hyvin erilaisia ja eri vahvuisia (vrt. esim. DAML ja KIF)

Semantic Webhttp://www.w3.org/2001/sw/

What is an Ontology?http://www-ksl.stanford.edu/kst/what-is-an-ontology.html

Martin Bryan. Thoughts on the relationship between ontologies and philosophieshttp://www.sgml.u-net.com/philosophy.doc

17


The Semantic Web is an extension of the current web in which information is given well-defined meaning, better enabling computers and people to work in cooperation.Aihekartat ovat yksi semanttisen webintoteutusteknologioista.

Aihekartat ovat kuitenkin jääneet W3C:n omien teknologioiden (RDF(S), OWL) varjoon

Semantiic Wb @ W3Chttp://www.w3.org/2001/sw/

Tim Berners-Lee, James Hendler, Ora Lassila, The Semantic Web, Scientific American, May 2001http://www.scientificamerican.com/article.cfm?articleID=00048144-10D2-1C70-84A9809EC588EF21&catID=2

Using Topic Mapsfor the representation, management & discovery of knowledgehttp://www.gca.org/papers/xmleurope2000/papers/s22-01.html

18


Unicode URI

XML, NS, xmlschema

RDF+RDF(S)

Ontologiat__

Logic

Proof

Topic MapTopic MapTopic MapTopic Map

19

Topic Maps - KäyttösovelluksiaTietämyksen kerääminen, yhdistely, hallinta ja julkaisu

Topic Map tietokantana

Web scraping, knowledge mashups jne.

Dokumenttien selaaminen, hallinta ja julkaiseminenTopic map dokumenttien metaverkkona

Datavirtojen hallinta ja ohjaaminenTopic Map datasiirtoformaattina

MallintaminenTopic Map mallinnuskielenä, prototyping

KieliteknologiaTopic Map corpuksena, terminologiana

20

Topic Maps ja dokumenttien julkaisu

Tuotetaan dokumenteista aihekartta

Dokumentit aiheiden ilmentyminä

Tuotetaan aihekartasta visualisointeja

Annetaan käyttäjän navigoida aihekarttassa (navigointiverkko)

Päästetään käyttäjä ilmentymädokumentteihin

Dataresursseja

Aihekartta

21

Topic Maps ja dokumenttien julkaisu

Miksi WWW-julkaisu ei riitä?Dokumentteihin ei haluta tai ei ole mahdollista liittää linkkejä

Dokumentteja on liian paljon päivitettäväksi

Dokumentit vaihtuvat usein

Dokumentteihin tarvitaan useita näkökulmia

Dokumenttien julkisuutta pitää rajoittaa dynaamisesti

Dataresursseja

Aihekartta

22

Julkaisu – Topic Mapin tuottaminenTopic mapin tuottaminen manuaalisesti

Henkilö tutustuu dokumenttiin ja liittää dokumenttia vastaavat aiheet ja yhteydet aihekarttaan (toimittaminen).

Vaativa ja henkilökeskeinen operaatio

Laatu pysyy hyvänä (ainakin alussa)

Muutosten tekeminen hidasta ja vaikeaa

Topic mapin automatisoitu tuottaminenOhjelma lukee dokumentin, pyrkii tulkitsemaan dokumentin aiheet ja yhteydet ja liittää ne aihekarttaan.

Erittäin nopea tuottaa

Altis tulkintavirheille, konetulkinnan semanttinen sokeus

23

Julkaisu – Topic Mapin tuottaminen

Topic Mapin tuottaminen puoliautomaattisestiHenkilöt kirjaavat dokumentteihin ohjeita konetulkinnalle (avustettu tulkinta).

Konetulkinnan apuna on käsin tuotettu aihealueen aihekartta tai ontologia, joka auttaa konetulkitsijaa erottamaan oleelliset käsitteet (opetettu tulkinta).

Konetulkki ymmärtää, milloin se on semanttisesti epävarmalla alueella ja osaa pyytää henkilöltä apua (oppiva tulkinta).

Helka Folch. Articulating conceptual spaces using the Topic Map standardhttp://www.idealliance.org/papers/xml02/dx_xml02/papers/06-03-02/06-03-02.html

Thomas Bandholtz. A Taxi in Knowledge Land. Use Case that Combines Topic Maps and Web Services in a Public Portalhttp://www.idealliance.org/papers/xmle02/dx_xmle02/html/abstract/03-05-03.html

Geir Ove Grønmo. Automagic Topic Maps. 1-2-3; Creating topic maps from existing data sourceshttp://www.idealliance.org/papers/xmle02/dx_xmle02/html/abstract/03-05-02.html

24

Julkaisu – visualisointi ja navigointiGraafinen visualisointi

Esitetään aihekartta verkkorakenteena esim. mind-mappinä

Ongelmana graafisten visualisointipakettien puute

WWW –julkaisun rajoitukset

HypertekstiesitysAihealueen huomioon ottaminen esityksessä parantaa huomattavasti esitystä.

Geneerisessä visualisoinnissa ongelmana tiedon visuaalinen yhtenäisyys.

Liike on tietoa!!!vrt. WWW-navigointi, jossa tieto saadaan vasta pysähdyttäessä

Bénédicte Desclefs-Le Grand, Michel Soto. Visualizing Topic Maps http://citeseer.nj.nec.com/desclefs-legrand00visualizing.html

WandoraWandoraWandoraWandoraGrip Studios InteractiveGrip Studios InteractiveGrip Studios InteractiveGrip Studios Interactive, Aki Kivelä, Aki Kivelä, Aki Kivelä, Aki Kivelä

14.11.200714.11.200714.11.200714.11.2007

26

WandoraYleinen tietämyseditori ja julkaisuohjelmistoTopic Map -editori

Työpöytäohjelma, Java

PiccoloTopic Mappien WWW-julkaisu, Java-servlet

Grip Studios Interactive 2000!Puolisen tusinaa sovellusprojektiaVapaasti ladattivissa ja kokeiltavissa

www.wandora.net

27

Wandora - ominaisuuksiaLayered Topic Map -paradigmaTukee useita tallennusalustoja

Tietokanta, muisti

Graafinen käyttöliittymäUseita visualisointimalleja Topic Mapeille

Lukee XTM-, LTM-, RDF-tiedostojaTiedon eristäminen

Esim. JPEG, email, BibTex, MediaWiki, MP3…

HTML-sivuston tuottaminen Topic MapistäStaattinen tai dynaaminen

Case 1: Case 1: Case 1: Case 1: KiasmartKiasmartKiasmartKiasmartGrip Studios InteractiveGrip Studios InteractiveGrip Studios InteractiveGrip Studios Interactive, Aki Kivelä, Aki Kivelä, Aki Kivelä, Aki Kivelä

10.11.200710.11.200710.11.200710.11.2007

29

Kiasmart

Kiasmaan 1999-2001 toteutettu infokioskijärjestelmä

Hajautetut mediatuotanto, keskitetty palvelin, kolme päätettä

Nykytaiteen teos- ja taiteilijatiedon jakaminen

Videoita, kuvia, tekstejä

30

Waonder -palvelin

Yleisön käytössä olevat Waonder -päätteet

Käyttöjärjestelmä jakäyttöliittymä

Mediapalvelimia

Dokumentit

Internet

31

Waonder -palvelin



Mediapalvelimia

Dokumentit

Internet

MediapalvelimetInternetissä sijaitsevia tietokoneita, kuten WWW-tai tiedostopalvelimia, joilla säilytetään Kiasmartillaesitettäviä dokumentteja.

Kiasmart hakee dokumentit URL-osoitteiden avulla.

Dokumentit voivat olla esimerkiksiPDF-tekstejä

JPEG-kuvia

MPEG-videoita

RDF-tiedostoja

XTM-tiedostoja

32

Dokumenttien metatiedotKiasmart tarvitsee dokumentteihin liittyviä metatietoja ”ymmärtääkseen” dokumenttien välisiä yhteyksiä.

Metatiedot voidaan lukeaDokumenteista: JPEG-kuvat, PDF-tekstit

Erillisistä tiedostoista: RDF- ja XTM-tiedostot

Metatiedot voivat ollaRDF- tai XTM-muodossa

Dublin Corea

Strukturoitua tekstiä

Dokumenttien sisältöä ei yritetä tulkita!Vähentää virhetulkintoja

Korostaa annotoinnin merkitystä

Tulkinnan pohjana käytetään pientä käsin tuotettua aihekarttaa.

Waonder -palvelin



Mediapalvelimia

Dokumentit

Internet

33

CrawlerOn ohjelmakomponetti, joka selaa mediapalvelimien dokumentteja ja liittää ne järjestelmään.

Crawler osaa seurata dokumenttien sisältämiä linkkejä uusiin käsiteltäviin tiedostoihin (HTML).

Uusien dokumenttien löytäminen

Lukee dokumenttien metatiedot ja tuottaa tiedoista XTM-fragmentteja.

Yhdistää XTM-fragmentit Topic Map–tiedostoksi.

Selaa dokumentit säännöllisesti

Säädettävä päivitystaajuus

Waonder -palvelin



Mediapalvelimia

Dokumentit

Internet

34

Agentti selaadokumenttienmetatietoja

Kokoa ja serialisoiaihekarttafragmentit

Crawler-hakuagentti

JPEGHandler

RDFHandler

XMT

Aihekartta-fragmentteja

Dokumentit

Handlerrajapinta

Dokumenttivarastot

Waonder -palvelin



Mediapalvelimia

Dokumentit

Internet

35

Topic Map ja yleisöliittymä

Yleisöliittymässä näytetään TopicMapin aiheita, yhteyksiä ja linkitettyjä dokumentteja.Yleisöliittymän navigointiverkko perustuu TopicMappiin metatiedoista rakentuneisiin assosiaatioihin.

Waonder -palvelin



Mediapalvelimia

Dokumentit

Internet

Topic Map

URI

TopicAssociation

Name

Media Documents

Occurrence

36

Waonder -palvelin



Mediapalvelimia

Dokumentit

Internet Asiakas näkeeHTML-visualisointeja, jotka esitetään

Räätälöidyllä WWW-selaimellaEi selaimen omia käyttöliittymäelementtejä.

Pääsy selaimen ulkopuolelle estetty.

WWW-selain on varustettu sopivin laajennuksin, joilla esitetään videoita, kuvia ja PDF-tekstejä.

Asiakas navigoi informaatiopalvelussa WWW-sivulinkein.

37

Waonder -palvelin



Mediapalvelimia

Dokumentit

Internet

Yleisöpäätteet ovatKovalevyttömiä tietokoneita, jotka käynnistyvät ja lataavat kioskikäyttöön räätälöidyn X-ympäristön ja WWW-selaimen Kiasmart-palvelimelta.

Ei mekaanisia hajoavia osia (kovalevyt)

Keskitetyt ohjelmistojen päivitykset

Uusien päätekoneiden lisääminen helppoa

Turvallisuus

38

KiasmartOtettu käyttöön huhtikuussa 2002 Kiasmassa, nykytaiteen museossa.

>2100 valokuvaa (jpg)

48 videota (mpeg+rdf)

>320 tekstiä (pdf+rdf)

>5000 aihetta

>50000 assosiaatiota

3 yleisöpäätettä

1 palvelin

39

Kiasmart – käyttöesimerkki

55

Kiasmart – kokemuksiaHajautettu dokumenttien tuotanto

Toiminut kuvien osalta, tuotantomalli oli ennestään käytössä

AnnotoinnitEnnalta valitun asiasanaston korostuminen

Sensorin puute, inhimilliset virheet ja konetulkinnan vaikeus

Aineiston määräAihekartan yllättävän suuri koko

Prosessointiaikojen vaikutus järjestelmän käytettävyyteen

KieliversiotEpäsymmetrian hallinta

Grip Studios InteractiveGrip Studios InteractiveGrip Studios InteractiveGrip Studios Interactive, Aki Kivelä, Aki Kivelä, Aki Kivelä, Aki Kivelä10.11.200710.11.200710.11.200710.11.2007

Case 2: National Case 2: National Case 2: National Case 2: National Gallery CollectionsGallery CollectionsGallery CollectionsGallery Collections

57

What? When? Who?

Large-scale topic map application to promote art collections of Finnish National Gallery

37000 artworks, 3600 artists110 000 topics, 470 000 associations, 95 000 occurrences

2006-2007, Launch May 15th

Finnish National Gallery, Aimari Oy, and Grip Studios Interactive

Finnish National Galleryhttp://www.fng.fi

Grip Studios Interactive Oyhttp://www.gripstudios.com

58

The Big Picture!(very simplified version)

CollectingData

RefiningData

PublishingData

59

Data sources – Muusa

Information system developed by FNG and Aimari

Stores the definitive knowledge about artworks and artists

Used in 18 different art museums in Finland, >70 000 artworks

CIDOC Conceptual Reference Model (ISO 21127:2006)

Relational DatabaseMuusa

http://www.muusa.netCIDOC Conceptual Reference Model

http://en.wikipedia.org/wiki/CIDOC_Conceptual_Reference_Model

60

Data sources – Muusa Export

Definitive data package

SQL ! LTM

Why LTM?Easy to generate

Compact format, small file size

Imported to Wandora as a topic map layer

CollectingCollectingCollectingCollectingDataDataDataData

RefiningData

PublishingData

61

Data sources – Enrichments

Additional knowledge to spice, expand, and refine the Muusa Export

Manual construction with Wandoradesktop application

Data extractions

Topic map layer


RefiningData

PublishingData

62

Data sources – Layers

Muusa layerInformation from a huge relational database

Layer data is updated periodically by converting original database into a topic map

Enrichment layerManaged continuously


RefiningData

PublishingData

63

Deleting unnecessary topics and associations

Using Wandora’s layers toRename topics

Merge identical topics

Thin down dense categories with merge

Special tools toProcess complex associations (CIDOC CRM)

Refining the data

CollectingData

RefiningRefiningRefiningRefiningDataDataDataData

PublishingData

64

Fixing topic typesTypes used to group similar topics

Fixing subject identitiesEase ad hoc construction if subject identifiers

Inserting data chunksIconclass vocabulary (English and Finnish)

Muusa keyword – Iconclass bridge-associations

Refining the data

CollectingData


PublishingDataIconclass

http://www.iconclass.nl

65

Other resources – ImagesNeed for 8 different versions of single image!

Subject locators and scoped occurrences were tried but found unusable

Topic map size exploded

Immature tools to handle large collections of subject locators and occurrences.

Solution: Single image identifier and separate application to resolve and generate the requested image version.

CollectingData


PublishingData

66

Publishing dataWandora-Piccolo framework

Two actions: View topic and Search

Velocity templatesProducing HTML documents

>90 template files, template hierarchy depth ~4

Choosing template using topic’s type and subject identifier

CollectingData

RefiningData

PublishingPublishingPublishingPublishingDataDataDataData

67

Publishing data

Minimized code in Velocity templates

Java library class including useful methodsGet players of topic X where association type is Y and player’s role is Z.

Get topics from given collection havingassociation X.

Sort associations along player X.

etc.Collecting

DataRefining

DataPublishingPublishingPublishingPublishing

DataDataDataData

68

Publishing data

CollectingData

RefiningData

PublishingPublishingPublishingPublishingDataDataDataData

Special GUI topics defining

GUI properties

GUI texts (! No language dependent textsin templates)

Numerous invisible topics and associations

Topic map model not visible in HTML visuals

70

Lessons learned

Asymmetry of language versionsFinnish version > English version > Swedish version

Managing subject locatorsNo subject locators but specific application resolving external resources

Keyword bridgesMuusa keywords " ! Iconclass keywords

Metadata in topic mapTopics defining GUI properties and GUI texts

71

Lessons learnedPresentation of topics

Careful template design – avoid flat hierarchyNumerous invisible topics and associationsTopic != HTML pageTopic map model notnotnotnot visible in HTML visuals

ScalabilityDatabase topic maps vs. Memory topic maps

Numbers are badDates, measures etc.Occurrences ! Topics

Sightseeing tourScreenshots from the

FNG collections site

89

Grip Studios InteractiveGrip Studios InteractiveGrip Studios InteractiveGrip Studios InteractiveKristianinkatuKristianinkatuKristianinkatuKristianinkatu 15, FIN15, FIN15, FIN15, FIN----00170 Helsinki00170 Helsinki00170 Helsinki00170 Helsinki

office@office@office@office@gripstudiosgripstudiosgripstudiosgripstudios.com.com.com.com

DownloadDownloadDownloadDownloadWandora application fromWandora application fromWandora application fromWandora application from

www.www.www.www.wandorawandorawandorawandora.net.net.net.net