Paikallinen puheentunnistus suoriutuu myös meluisassa ympäristössä
Paikallinen puheentunnistus pystyy tunnistamaan puhetta meluisista äänitallenteista ja tuottamaan tekstiä raportointia varten. Opinnäytetyössä kehitetty järjestelmä yhdistää puheentunnistuksen ja kielimallipohjaisen raportoinnin. Puheentunnistus- ja kielimallien avulla muodostettu teksti tarvitsee kuitenkin käyttäjän tekemän tarkistuksen.
Puheella voidaan kirjata työvaiheita ja havaintoja tilanteissa, joissa kirjoittaminen on hankalaa tai epäkäytännöllistä. Ympäristöstä kantautuva melu vaikeuttaa kuitenkin puheen tunnistamista. Pelkkä puheen muuttaminen tekstiksi ei myöskään aina riitä, jos tallenteesta tarvitaan tiivis työraportti.
Turun ammattikorkeakoulussa kehitettiin paikallinen järjestelmä meluisten suomen- ja englanninkielisten äänitallenteiden käsittelyyn. Työ toteutettiin Cognitive Technologies Research Group (CoRe) -tutkimusryhmässä osana Euroopan unionin osarahoittamaa Teollisuuden Älyratkaisut (TeoÄly) -hanketta, jonka rahoituksesta vastaa alueellisesti Varsinais-Suomen liitto.
Whisper large-v3 suoriutui vertailussa parhaiten
Whisper large-v3 tuotti puheentunnistusmallien vertailussa parhaat tulokset ja valittiin järjestelmän puheentunnistusmalliksi. Mallilla voitiin tunnistaa sekä suomen- että englanninkielistä puhetta aineistosta, johon oli lisätty tehdasmelua eri voimakkuuksilla. Tulokset osoittivat, että paikallista puheentunnistusta voidaan hyödyntää meluisissa olosuhteissa.
Puheentunnistusmallin tunnistustarkkuutta mitattiin sanavirhesuhteella eli WER-mittarilla vertaamalla puheentunnistusmallin tuottamaa transkriptiota käsin laadittuun vertailutekstiin. Mitä pienempi WER-arvo on, sitä vähemmän transkriptiossa on sanavirheitä suhteessa vertailutekstiin. Normalisoidussa vertailussa esimerkiksi puhekielisiä muotoja yhdenmukaistettiin ennen arviointia.
Opinnäytetyössä käytetyllä testiaineistolla saavutettiin seuraavat normalisoidut WER-arvot:
- Itse nauhoitettu suomenkielinen aineisto: 0,0945.
- Eduskunta-aineisto: 0,0437.
- Englanninkielinen aineisto: 0,0189.
Voimakas melunpoisto ei parantanut puheentunnistuksen tarkkuutta
Äänen esikäsittely paransi itse nauhoitetun aineiston tulosta maltillisesti. Normalisoitu WER-arvo laski 0,1016:sta, 0,0945:een, joka vastaa noin 6,99 %:n suhteellista parannusta. Voimakas taustamelunpoisto ei parantanut puheentunnistuksen tarkkuutta.
Tulosten perusteella ihmisen korvaan puhtaammalta kuulostava ääni ei välttämättä ole puheentunnistusmallille helpompi tunnistaa. Parhaaksi ratkaisuksi osoittautui maltillinen esikäsittely. Asetukset valittiin ja arvioitiin samalla testiaineistolla ja niiden toimivuutta täytyy tutkia uudella ja suuremmalla määrällä ääniaineistoa.
Kielimalli auttaa muodostamaan rakenteisen raportin
Puheentunnistusmallin luomaa tekstiä eli transkriptiota voidaan korjata sääntöjen ja kielimallin avulla. Kielimalli on tekoälymalli, joka käsittelee ja tuottaa tekstiä. Kielimallikorjauksessa tarkastellaan epävarmoja sanoja niiden asiayhteyden ja toimialasanaston perusteella. Ohjelmallisilla tarkastuksilla rajataan korjauksia, jotta alkuperäisen puheen merkitys ei muuttuisi tarpeettomasti.
Raportointivaiheessa paikallinen kielimalli muodostaa transkriptiosta raportin noudattaen käyttäjän määrittelemää rakennetta. Ennen lopullista raporttia järjestelmä voi esittää selvennyskysymyksiä epäselvistä tiedoista. Käyttäjä voi tarkistaa raportin ja esittää siihen korjauksia ennen tallentamista.
Paikallinen järjestelmä tukee luottamuksellisen aineiston käsittelyä, mutta ei poista käyttäjän vastuuta
Paikallisen järjestelmän etuna on, että luottamuksellista aineistoa voidaan käsitellä omassa ympäristössä ilman ulkoisia pilvipalveluita. Tietoturva riippuu silti käyttäjätilien, käyttöjärjestelmän ja tallennettujen tiedostojen suojauksesta.
Järjestelmä osoitti, että paikallisista puheentunnistus- ja kielimalleista voidaan muodostaa toimiva kokonaisuus. Raportoinnin laatua arvioitiin kuitenkin silmämääräisesti ja sen tarkempi arviointi jäi jatkokehityskohteeksi. Käyttäjän tulee tarkistaa transkriptio sekä luotu raportti, erityisesti silloin, kun tietoa käytetään työtehtävien dokumentointiin tai turvallisuuteen liittyviin päätöksiin.
Lähteet
Lehtinen, A. (2026). Paikallisen puheentunnistus- ja raportointijärjestelmän kehittäminen meluisille äänitallenteille, Turun ammattikorkeakoulun opinnäytetyö. https://www.theseus.fi/items/b87003d2-5114-49b7-899e-91759ef1d9c0
Artikkelikuva: Mikael Blomkvist / Pexels https://www.pexels.com/photo/an-engineer-using-a-walkie-talkie-8961009/
Artikkeli on osa Turun AMK:n Cognitive Technologies Research Group (CoRe) -tutkimusryhmän julkaisuja.