DigiTala – sovellus suullisen kielitaidon arviointiin

DigiTala-hanke on kehittänyt prototyypin ensimmäisestä suomen ja ruotsin suullista kielitaitoa automaattisesti arvioivasta työkalusta. Toistaiseksi työkalu on testikäytössä, mutta se pyritään saamaan tulevaisuudessa laajemmin oppilaitosten käyttöön.

Teksti ja kuvat HEINI KALLIO

DigiTalan Moodle-sovelluksen avulla voi arvioida automaattisesti suomen ja ruotsin suullista kielitaitoa. Kyseessä on ensimmäinen kotimaisten kielten oppijoille suunnattu, useita suullisen kielitaidon osa-alueita kattava automaattinen arviointityökalu.

Palautetta useista kielitaidon ulottuvuuksista

Automaattinen arviointi perustuu puheentunnistukseen ja koneoppimismalleihin, joiden pohjana on eritasoisten kielenoppijoiden puhetta ja ihmisten tekemiä arvioita puhenäytteistä. DigiTalan sovellus antaa arvion yleisen taitotason lisäksi tehtävänannon täyttymisestä, sujuvuudesta, ääntämisestä ja ilmauksen laajuudesta. Palaute useasta ulottuvuudesta kerralla lisää tietoisuutta paitsi puhujan omasta kielitaidosta myös suullisesta kielitaidosta yleisesti.

Suomen ja ruotsin kaltaisten pienten kielten kohdalla automaattisen arvioinnin kehittäminen on haastavaa, koska koneopetusaineistoa on rajallisesti saatavilla. Työkalun antamassa palautteessa korostuukin se, että arvion kielitaidosta on tehnyt tekoäly: hylätty suoritus voi tarkoittaa, ettei kone ole aikaisemmin kuullut vastaavanlaista suoritusta eikä siksi osaa vielä arvioida sitä.

Testikäyttäjät tyytyväisiä

Työkalua on testattu kevään 2023 aikana lukioissa ja korkeakouluissa yhteensä noin sadalla suomen tai ruotsin oppijalla. Lukioissa testaukseen osallistui B-ruotsin lukijoita, ja korkeakouluissa työkalua testattiin sekä ”virkamiesruotsin” kurssilla että ruotsin pääaineopiskelijoilla. Palaute on ollut pääosin positiivista, vaikka kehitettävää on yhä niin käyttöliittymässä kuin automaattisen palautteen laadussakin.

Suurin osa testaajista piti saamaansa automaattista arviointiraporttia erittäin tai melko hyödyllisenä. Testaajien mukaan arviointiraportti auttoi heitä ymmärtämään paremmin omaa kielitaitotasoaan ja sitä, mitkä suullisen kielitaidon alueet kaipaavat enemmän harjoitusta.

Kielenoppijat kaipaavat palautetta ja harjoittelua Monet testikäyttäjät tarttuivat mahdollisuuteen parantaa suoritustaan palautteen pohjalta ja äänittivät itseään uudelleen moneen otteeseen. Osa jäi kuitenkin kaipaamaan tarkempaa analyyttista palautetta siitä, miten voisi kehittää itseään puhujana. Koneen tuottama, automaattisesti generoitu palaute ei ole kaikille riittävän yksilöllistä ja monipuolista.

Monet testikäyttäjät tarttuivat mahdollisuuteen parantaa suoritustaan palautteen pohjalta.

DigiTalan työkalu on suunniteltu niin, että opettajalla on mahdollisuus muokata ja täydentää koneen antamaa palautetta. Opettaja voi kuunnella omien opiskelijoidensa puhevastaukset, tarkastella heidän saamiaan automaattisia arvioita ja antaa erikseen kirjallista palautetta jokaisesta arvioidusta ulottuvuudesta.

Monille kielenoppijoille on uutta, että voi kuunnella omaa puhettaan ja peilata saamaansa palautetta siihen. Kokemuksissa korostui into ja tarve suullisen kielitaidon harjoitteluun: DigiTalan kaltaista työkalua pidetään tervetulleena lisänä monipuolistamaan kielen opiskelua. Kuitenkin osa testaajista huomautti, että oikean ihmisen kanssa olisi aina parempi harjoitella puhumista.

Materiaalit avoimia tutkijoille ja kehittäjille

Suomen Akatemian rahoittama DigiTala-hanke alkoi 2019 ja päättyi tämän vuoden elokuussa. Koska vastaavaa projektia ei ole ollut aiemmin kotimaisille kielille, hankkeessa on suunniteltu ja kerätty laaja tietokanta ja aineisto automaattisen arviointityökalun kehittämistä varten.

Hankkeen tuottamat materiaalit – esimerkiksi Moodle-liitännäinen, arviointimallit ja aineistokeruussa käytetyt materiaalit – löytyvät avoimina verkosta. Hankkeen julkaisemat tutkimukset ovat myös avoimesti saatavilla, ja suurin osa hankkeessa kerätystä puhe- ja arviointiaineistosta tallennetaan Kielipankkiin tutkimuskäyttöön.

DigiTalan arviointityökalu on toistaiseksi kontrolloidussa testikäytössä rajallisen palvelinkapasiteetin vuoksi. Projektissa toivotaan kuitenkin, että työkalu saataisiin laajempaan käyttöön tulevaisuudessa. Sitä odotellessa kehitystyö jatkuu. Tutkijoiden uudessa, Suomen Akatemian rahoittamassa hankkeessa tutkitaan kielenoppijoiden suullisen vuorovaikutuksen automaattisia arviointimenetelmiä lisäämällä esimerkiksi katseen tai eleiden tunnistusta mukaan arviointityökaluun.

LINKKEJÄ JA LISÄTIETOJA

DigiTalan käyttämät arviointikriteerit ja puhetehtävät yms. ovat Zenodossa: https://zenodo.org/communities/digitala?page=1&size=20

Moodle-sovelluksen tietovarasto: https://github.com/aalto-speech/moodle-mod_digitala

Aalto-yliopiston kehittämät puheentunnistuksen ja -tutkimuksen työkalut: https://github.com/aalto-speech

DigiTala-liitännäisen voi asentaa Moodleen, mutta sitä ei ole yhdistetty Aallon kehittämään automaattiseen arviointijärjestelmään. Sen sijaan liitännäinen antaa aina saman arvion kaikista puhenäytteistä. Opettajat voivat kuitenkin käyttää Moodle-liitännäistä omien puhetehtäviensä luontiin ja arvioida tai antaa palautetta itse opiskelijoidensa puhenäytteistä. Zenodosta löytyviä tehtäviä ja arviointikriteerejä voi myös hyödyntää vapaasti.

Automaattista arviointia on kehitetty yhteistyössä Aalto-yliopiston, Helsingin yliopiston ja Jyväskylän yliopiston kanssa. Moodle-pohjaisen käyttöjärjestelmän koodasivat neljä Helsingin yliopiston tietojenkäsittelytieteen opiskelijaa osana Ohjelmistotuotantoprojekti-kurssia.

Lisätietoja: helsinki.fi/digitala

Kirjoittaja: Heini Kallio

Foneetikko Heini Kallio on toiminut tutkijana DigiTala-hankkeessa vuodesta 2021.

Näkymä DigiTalan Moodle-sovelluksen analyyttisesta arviointiraportista. Taitotasoarvio on omalla välilehdellään