1. Semantično označevanje in iskanje slik

    (s standardom MPEG-7)

    Sergej Rinc


    Predstavitev dostopna na http://sergej.rinc.ws/kiberpipa/semanticno-iskanje-mpeg-7.html

  2. Kazalo

    1. Dosedanji pristopi semantičnega označevanja slik (brez MPEG-7)
    2. Nekaj dobrih primerov (sistemi CBIR, Flickr, FlipFrames)
    3. Standard MPEG-7
    4. Odprtokodna orodja: Caliph, eXist in ogrodje OpenLaszlo
    5. Primer implementacije semantičnega iskalnika slik
    6. Prihodnost uporabe opisov MPEG-7

  3. Uvod

    1. Naraščajoč trg digitalnih fotoaparatov (od 1996)
    2. Naraščajoče število digitalnih slik doma in v spletu
    3. Število spletnih strani: ~ 25 milijard (slik naj bi bilo že enako)
    4. Primer: CeWe, foto servis za tisk prejme dnevno 4 TB naloženih slik, povprečno najstarejše stare ~ 80 dni
      (3 milijarde fotk / leto? 9 milijonov / dan?)
    5. Kako poiskati želeno sliko?

  4. Kazalo

    1. Dosedanji pristopi semantičnega označevanja slik (brez MPEG-7)

  5. Pristopi - CBIR

    1. Computer Based Image Recognition
    2. Nestandardne klasifikacije
    3. Usmerjene predvsem v statistične lastnosti slik (nizkonivojske značilke oz. deskriptorji)
    4. Iskanje po barvi, teksturi, obliki, ...
    5. Zbir sistemov CBIR (domač): www.cbir-sistemi.net

  6. Pristopi - semantika

  7. Primeri - semantika

    1. AKTive Media (RDF, centralni repozitorij)

  8. Primeri - semantika (2)

    1. rdfpic (tri sheme, DC- +2)

  9. Primeri - semantika (3)

    1. Nekaj akademskih primerov

  10. Primeri - semantika (4)

    1. Use Case: Management of Personal Digital Photo Collections
      • DC RDF + VRA Core RDF/OWL + FOAF RDFS/OWL + tri ontologije (dogodek, lokacija in krajina)
    <rdf:RDF
  xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#"
  xmlns:rdfs="http://www.w3.org/2000/01/rdf-schema#"
  xmlns:owl="http://www.w3.org/2002/07/owl#"
  xmlns:xsd="http://www.w3.org/2001/XMLSchema#"
  xmlns:dc="http://purl.org/dc/elements/1.1/"
  xmlns:foaf="http://xmlns.com/foaf/0.1/"
  xmlns:event="http://www.altova.com/ontologies/personal_history_event#" 
  xmlns:locat="http://www.altova.com/ontologies/location#" 
  xmlns:lsc="http://www.altova.com/ontologies/landscape#"
  xmlns:perph="http://www.altova.com/ontologies/usecase_personal_photo_management#"
  xmlns:vra="http://www.vraweb.org/vracore/vracore3#" >

  11. Kazalo

    1. Dosedanji pristopi semantičnega označevanja slik (brez MPEG-7)
    2. Nekaj dobrih primerov (sistemi CBIR, Flickr, FlipFrames)

  12. Primeri - CBIR

    1. PicSOM (uporabljen MPEG-7)

  13. Primeri - CBIR (2)

    1. Cortina: ("čisti" MPEG-7)

  14. Primeri - semantika (5)

    1. Flickr

  15. Primeri - semantika (6)

    1. FlipFrames

  16. Primeri - kaj pa "veliki" iskalniki?

  17. Primeri - Exalead

  18. Kazalo

    1. Dosedanji pristopi semantičnega označevanja slik (brez MPEG-7)
    2. Nekaj dobrih primerov (sistemi CBIR, Flickr, FlipFrames)
    3. Standard MPEG-7

  19. Obseg MPEG-7

  20. Velika slika MPEG-7

  21. MPEG-7, 1. del

  22. MPEG-7, 2. del

    <mpeg7:DoubleMatrixType mpeg7:dim=“2 4“>
	1.1 2.2 3.3 4.4
	5.5 6.6 7.7 8.8
</mpeg7:DoubleMatrixType>

  23. MPEG-7, 3. del

    Grafika

    Narišemo nekaj črt na ekranu in kot rezultat iskanja dobimo množico slik s podobno grafiko ali logotipom.

    Slike

    Določimo objekte (tudi barvne površine in teksture) in kot rezultat iskanja dobimo podobne slike, od katerih izberemo zanimive.

    Video

    Za dano množico video objektov določimo njihove premike, gibanje kamere ali relacije med objekti in dobimo kot rezultat iskanja seznam videoposnetkov s podobnimi ali različnimi časovnimi in prostorskimi relacijami.

    Video aktivnost

    Za dano video vsebino opišemo akcije in dobimo seznam videoposnetkov, v katerih se zgodijo podobne akcije.

  24. MPEG-7, 3. del - primer



    Primer slik s podobnima deskriptorjema skalabilne barve (SCD)

  25. MPEG-7, 3. del - CSD



    Primer slik z enakima barv. histogramoma in različnima CSD

  26. MPEG-7, 4. del

  27. MPEG-7, 5. del


  28. MPEG-7, 5. del - opis slike


  29. MPEG-7, 5. del - regije slike


    Hierarhija mirujočih regij in pridruženih lastnosti

  30. MPEG-7, 5. del - strukturne relacije

    Tip

    Normativne strukturne relacije

    Prostorske

    south, north, west, east, northwest, northeast, southwest, southeast, left, right,
    below, above, over, under

    Časovne

    precedes, follows, meets, metBy, overlaps, overlappedBy, contains, during, strictContains, strictDuring, starts, startedBy, finishes, finishedBy, coOccurs, contigous, sequential, coBegin, coEnd, parallel, overlapping

  31. MPEG-7, 5. del - tekstne oznake

    <TextAnnotation>
<!-- primer označitve s prostim besedilom -->
<FreeTextAnnotation xml:lang="sl">
		Slovenija je dosegla gol proti Italiji.
		Strelec je bil Cesar.
</FreeTextAnnotation>

<!-- primer označitve s ključnimi besedami -->
<KeywordAnnotation xml:lang="sl">
	<Keyword>gol</Keyword>
	<Keyword>Slovenija</Keyword>
	<Keyword>Italija</Keyword>
	<Keyword>Cesar</Keyword>
</KeywordAnnotation>

  32. MPEG-7, 5. del - tekstne oznake (2)

    <!-- primer strukturirane označitve -->
<StructuredAnnotation xml:lang="sl">
	<Who><Name>Slovenija</Name></Who>
	<WhatAction><Name>dosegla gol</Name></WhatAction>
	<Where><Name>Celje, Slovenija</Name></Where>
	<When><Name>Slovenija</Name></When>
</StructuredAnnotation>

  33. MPEG-7, 5. del - tekstne oznake (3)

    <!-- primer označitve s strukturo odvisnosti -->
<DependencyStructure xml:lang="sl">
<Sentence>
	<Phrase operator="subject">
		<Head type="noun">Slovenija</Head>
	</Phrase>
	<Head type="verb" baseForm="doseči">
		je dosegla
	</Head>
	<Phrase operator="object">
		<Head type="article noun">gol</Head>
	</Phrase>
	<Phrase>
		<Head type="preposition">proti</Head>
		<Phrase>
			<Head type="noun">Italija</Head>
		</Phrase>
	</Phrase>
</Sentence>
</DependencyStructure>		
</TextAnnotation>

  34. MPEG-7, 5. del - semantične relacije

    Normativne semantične relacije (neposredne, lastnostne in abstraktno/dogodkovne)

    agent, agentOf, patient, patientOf, experiencer, experiencerOf, stimulus, stimulusOf, causer, causerOf, goal, goalOf, beneficiary, beneficiaryOf, them, themOf, result, resultOf, instrument, instrumentOf, accompanier, accompanierOf, summarizes, summarizedBy, state, stateOf

    combination, specializes, generalizes, similar, opposite, exemplifies, exemplifiedBy, interchangable, identifier, part, partOf, contrasts, property, propertyOf, user, userOf, component, componentOf, substance, substanceOf, entailment, entailmentOf, manner, mannerOf, influences, dependsOn, membershipFunction

    key, keyFor, annotates, annotatedBy, shows, appearsIn, reference, referenceOf, quality, qualityOf, symbolizes, symbolizedBy, location, locationOf, source, sourceOf, destination, destinationOf, path, pathOf, time, timeOf, depicts, depictedBy, represents, representedBy, context, contextFor, interprets, intepretatedBy

  35. MPEG-7, deli 6-12

  36. Kazalo

    1. Dosedanji pristopi semantičnega označevanja slik (brez MPEG-7)
    2. Nekaj dobrih primerov (sistemi CBIR, Flickr, FlipFrames)
    3. Standard MPEG-7
    4. Odprtokodna orodja: Caliph, eXist in ogrodje OpenLaszlo

  37. Caliph

  38. Caliph (2)

  39. eXist

  40. OpenLaszlo

  41. Kazalo

    1. Dosedanji pristopi semantičnega označevanja slik (brez MPEG-7)
    2. Nekaj dobrih primerov (sistemi CBIR, Flickr, FlipFrames)
    3. Standard MPEG-7
    4. Odprtokodna orodja: Caliph, eXist in ogrodje OpenLaszlo
    5. Primer implementacije semantičnega iskalnika slik

  42. Shema iskalnika


  43. Implementacija iskalnika

  44. Kazalo

    1. Dosedanji pristopi semantičnega označevanja slik (brez MPEG-7)
    2. Nekaj dobrih primerov (sistemi CBIR, Flickr, FlipFrames)
    3. Standard MPEG-7
    4. Odprtokodna orodja: Caliph, eXist in ogrodje OpenLaszlo
    5. Primer implementacije semantičnega iskalnika slik
    6. Prihodnost uporabe opisov MPEG-7

  45. Prihodnost - MAF


  46. Prihodnost - PPMAF