Automaattisen sisällönkuvailun uudet mahdollisuudet (Assi)

Automaattisen sisällönkuvailun uudet mahdollisuudet (Assi) 7.12.2017 Minna Tamper, tohtorikoulutettava Arttu Oksanen, tohtorikoulutettava HELDIG (Helsinki Centre for Digital Humanities), Helsingin yliopisto Semanttisen laskennan tutkimusryhmä, Aalto-yliopisto etunimi.sukunimi@aalto.fi

Sisältö 1. Hankkeen taustaa 2. Case 1: semanttinen mediaseuranta 3. Case 2: löydettävyyden parantaminen mediamainonnassa

Taustaa ● Hankkeen ideana media-aineistojen julkaiseminen ihmisluettavan tekstin lisäksi koneluettavana ja koneymmärrettävänä datana ● Mahdollistaa uudenlaisten haku- ja suosittelusovellusten kehittämisen ● Haasteena tekstiaineistojen rakenteistaminen dataksi ● Osa laajempaa Severi-hanketta

Case 1: semanttinen mediaseuranta

Tavoitteet ● Tutkimushypoteesi: semanttisten kokonaisuuksien tunnistaminen tekstistä parantaa mediaseurannan tarkkuutta ja luo uusia hakumahdollisuuksia ● Tulokset ○ Entiteettihaku semanttisesti rikastetuista aineistoista ○ Innovaatiohaku

Linkitetty data ja ontologiat ● Ontologia on tietojenkäsittelytieteissä kuvaus tarkasteltavan sovellusalueen käsitteistä ja käsitteiden välisistä suhteista ● Linkitetty data on rakenteista tietoa, joka on linkitetty ontologioihin ja jota käyttäen voidaan suorittaa semanttisia kyselyitä

Linkitetty data ja ontologiat

Haun tehostaminen ● Kielten välinen haku ● Ontologiaperusteinen haku (esim. haku alakäsitteen kautta) ● Aiheperusteinen haku (haettu sana ei itse esiinny dokumentissa) ● Entiteettihaku (yksikäsitteistäminen: esim. Alvar Aalto, Aalto-yliopisto, aaltovoimala) ● Ilmiöhaku (monimutkainen ontologinen hahmo: esim. Ida Aalberg esiintyi Janakkalassa vuonna 1874)

ARPA-palvelu ● Työkalu entiteettien tunnistamiseen ja linkittämiseen tekstistä ● Etsii ja linkittää tekstistä löytyvät käsitteet ontologiaan ● Hyödyntää luonnollisen kielen käsittelyä: tekstin perusmuotoistaminen, morfologinen analyysi ja taivutusmuotojen luominen ● http://demo.seco.tkk.fi/sarpa/#/

Linkitys 1. Nimien tunnistus: tunnistetaan henkilöt, paikat, organisaatiot ym.

2. Haetaan ontologiasta vastaavat käsitteet 3. Yksikäsitteistäminen: valitaan sopivin linkki Balin Agungtulivuori syöksee ulos tuhkaa.

1. Nimien tunnistaminen

2. Haku ontologiasta

3. Yksikäsitteistäminen

Linkit näkyvät käyttäjälle WWWsivulla

4. Linkkien kirjoittaminen

Ida Aalberg Person (option 1) Place (option 2) Organization (option 3)

Aalberg Unidentified Place (option 1) Person (option 2) Organization (option 3)

Anonymisointi ● Entiteettien tunnistamista voidaan tekstisisältöjen rikastamisen lisäksi käyttää myös tekstien automaattiseen anonymisointiin ● Esim. oikeustapaukset

Esimerkki anonymisoinnista Ajanilmaisu (pp.kk.vvvv)

Henkilรถn nimi

Paikka

Semanttinen haku

Sovellusesimerkki: innovaatiohaku ● Hakupalvelu kiinnostavien ilmiöiden löytämiseen ● Aihe- ja ontologiaperusteinen haku hyödyntäen Googlen hakurajapintaa ● Haun suuntaaminen Relevance Feedback -menetelmällä ● Palvelun ensimmäinen prototyyppi valmistumassa

Case 2: lÜydettävyyden parantaminen mediamainonnassa

Tavoitteet ● Tutkimushypoteesina on, että semanttisten Schema.orgkuvailujen avulla on mahdollista parantaa sivujen ja mainosten löydettävyyttä ja näkyvyyttä verkossa ● Tulokset ○ Selvitys ja ohje Schema.org-ontologian hyödyntämisestä ○ Työkalu annotointien luomisen helpottamiseksi

Schema.org ● Hakukoneyhtiöiden yhteinen ontologia ● Schema.org määrittelee koneymmärrettävän semanttisen mallin webin keskeisimmille aineistoille ○ Henkilöille, paikoille, tapahtumille, elokuville, kirjoille jne. ○ Aineistotyypeille on määritelty omat luokat (esim. kirja), niiden ominaisuudet (esim. kirjan tekijä) ja luokkien väliset suhteet (esim. kirjan tekijä on joko henkilö tai organisaatio)

Schema.org - hyödyt ● Upottamalla web-sivuille määrittelyjen mukaista yhteentoimivaa metadataa, hakukoneet löytävät etsimänsä sisällöt paremmin ja voivat tarjota käyttäjälle hakutuloksia rikkaammassa, rakenteisessa muodossa esitettynä

Nykytilanne ● Tutkimme verkkokauppojen, uutissivustojen ja lakitietopalveluiden sivustoja ja niiden Schema.orgsanaston käyttöä ○ Verkkokaupat käyttävät erilaisia merkintätapoja ja harvoin Schema.org-sanastoa kuvailemaan yritystä, tuotteitaan ym. ○ Uutissivustot käyttävät sosiaaliseen mediaan (Open Graph) kohdistettuja merkintöjä ja ovat myös alkaneet käyttää Schema.org-sanastoa ○ Lakitietopalvelut eivät käytä Schema.org-sanastoa

Ohjeet hakukoneoptimointiin 1.

2.

3.

4.

Laadi tarpeen mukaan Wikipedia-artikkeli Lisää kuvat Wikimedia Commons -palveluun Luo Wikidata-kohde Lisää semanttiset merkkaukset sivustolle Schema.orgsanastoa käyttäen

Wikipedia ja Wikimedia Commons ● Ohjeet: ○ https://fi.wikipedia.org/wiki/Ohje:Uuden_artikkelin_luominen ○ https://commons.wikimedia.org/wiki/Commons:Aloittajan_ohjeet

● Wikipedia-artikkelit voivat hyödyntää wikidataa tiedon esittämisessä ● Wikimedia Commons -palvelun kuvia voidaan hyödyntää mm. Wikipediassa sekä Wikidatassa ● Wikipedia-artikkelin sisältöä voidaan hyödyntää myös Google-hakutuloksissa ja infoikkunassa

Wikidata ● Wikidata on Wikimedia-säätiön projekti: vapaa, yhteisesti muokattava, monikielinen, tietokanta, johon kerätään rakenteista tietoa Wikimedia-projektien tukemiseen ● Wikidataa käytetään hakukoneissa hakutulosten esittämiseen ○ Google käyttää wikidataa tiedonhakuun sekä luo eri lähteistä haettujen tietojen perusteella infoikkunan hakutuloksiin tai voi vastata kysymyksiin

Wikidata ● Schema.org-sanaston siltaus Wikidataan ○ Mahdollistaa aineistojen kuvailun eri kielillä (Wikidatassa käsitteillä suomenkieliset nimikkeet) ○ Koska näemme Wikidatan olevan tulevaisuudessa merkittävä toimija tiedon kuvailussa, päädyimme suosittelemaan Wikidatan siltausta esimerkiksi KOKO-ontologiaan helpottaaksemme Wikidata-kuvailujen tuottamista

KOKO-ontologia ● KOKO on kokoelma suomalaisia sisällönkuvailussa käytettyjä ontologioita, jotka on linkitetty toisiinsa ● Lisätietoja: https://finto.fi/koko/fi/

Semanttiset merkkaukset ● JSON-LD, RDFa, Microdata ○ Googlen suositus on käyttää JSON-LD-merkintätapaa ■ Yandex, Bing, Google tukee

● Hakukoneet hyödyntävät semanttisia merkkauksia tiedon keräämisessä ja esittämisessä ○ Google Hotel Finder

Google Hotel Finder

Kiitos!