Monimodaalinen tekoälysovellus yhdistää puheentunnistuksen ja kehittyneet kielimallit älykkääksi muistiinpano- ja tiedonhallintaratkaisuksi. Käyttäjä voi tallentaa sisältöä puhumalla tai kirjoittamalla sekä täydentää muistiinpanoja erilaisilla liitetiedostoilla.
Datasta tehokkuutta, tuottavuutta ja kilpailukykyä -hankkeessa on demonstroitu ja pilotoitu laajojen kielimallien (LLM) mahdollisuuksia toteuttamalla tällaista ratkaisua. Kokeilussa on yhdistetty Microsoft Speech Service -puheentunnistus ja erilaisia kielimalleja sekä tutkittu, miten tekoäly voi tukea tiedon tallentamista, käsittelyä ja myöhempää hyödyntämistä.
Puhe muunnetaan ensin tekstiksi, minkä jälkeen kielimalli korjaa tunnistusvirheitä ja muokkaa tekstistä sujuvamman. Korjauksissa hyödynnetään aihepiirin sanastoa, aiempia muistiinpanoja, liitetiedostoja ja käyttäjän tekemiä korjauksia. Lisäksi sovellus tuottaa yhteenvetoja ja muodostaa automaattisesti avainsanoja hakua varten. Käyttäjä voi muokata sisältöä, säätää korjausherkkyyttä ja tarkistaa alkuperäisen puheentunnistuksen tuloksen.
Markkinoilla on myös sujuvasti toimivia maksullisia mobiilisovelluksia. Yrityskäytössä niiden soveltuvuus riippuu kuitenkin myös tietoturvasta, tiedon hallinnasta ja muokattavuudesta. Tietojen käsittelyä ja suojausta arvioidaan palveluntarjoajan dokumentaation ja sopimusten perusteella, ja esimerkiksi SharePoint-liitännät sekä yrityskohtaisten toimintojen rakentaminen riippuvat palvelun tarjoamista mahdollisuuksista. Organisaatiolle kehitettävässä sovelluksessa tiedon kulku, käyttöoikeudet, integraatiot ja omia työnkulkuja tukevat toiminnot voidaan suunnitella sen vaatimusten pohjalta.
Pilotissa toteutettuja toiminnallisuuksia voidaan soveltaa muistiinpanojen lisäksi esimerkiksi seuraaviin käyttökohteisiin:
Organisaation tekoälyavusteinen palautekanava: Henkilöstön tai asiakkaiden palautetta voidaan kerätä puheena ja tekstinä, jäsentää aiheittain ja koostaa kehittämistä tukeviksi yhteenvedoiksi.
Huolto- ja kenttätyön raportointi: Työn aikana puhumalla tallennetut havainnot voidaan jalostaa raporttiluonnoksiksi ja yhdistää kohdetta koskeviin tietoihin.
Asiantuntijatiedon talteenotto: Työntekijöiden kokemuksia, käytäntöjä ja työohjeita voidaan tallentaa ja jäsentää myöhemmin löydettäväksi ja hyödynnettäväksi tiedoksi.
Ensimmäinen sovellusversio painottuu tietokonekäyttöön. Käyttäjäpalautteen perusteella mobiilikäyttö on luonteva jatkokehityssuunta, joka helpottaisi ideoiden ja havaintojen tallentamista heti niiden syntyessä.