Kasutades aju aktiivsuse, tehisintellekti ja kõnesüntesaatori skaneerimiseks tehnoloogiat, on Columbia ülikooli (USA) teadlased loonud seadme, mis suudab tõlkida inimese mõtted artikulatiivsesse kõnesse. Ajakirjas Scientific Reports avaldatud uurimistulemused kujutavad endast olulist sammu aju-arvuti liideste parandamisel. Tulevikus saavad selliseid seadmeid kasutada inimesed, kes on vigastuse või haiguse tagajärjel kaotanud kõnevõime.
Kõnesüntesaatori ja tehisintellekti võimalusi ühendava seadme väljatöötamiseks pöördusid uuringu autor, neuroteadlane Nima Mesgarani ja tema kolleegid sügava masinõppe ja kõnesünteesi tehnoloogiate uusimate arengute poole. Nende töö tulemus on tehisintellektil põhinev vokooder, mis suudab üsna täpselt tõlgendada ajutegevust otse kuulmiskoorest ja seejärel tõlkida see arusaadavaks kõneks. Töö autorid märgivad, et kõne on sel juhul osutunud väga arvutiliseks, kuid enamasti oskavad inimesed sõnu ära tunda.
Loojate sõnul põhineb saadud kõne reprodutseerimisel kasutatav uus seade samal tehnoloogial, mida kasutatakse digitaalsetes abistajates nagu Alexa, Siri ja Google Assistant.
Esiteks koolitasid eksperdid vokooderi inimese aju tegevuse õigesti tõlgendamiseks. Selleks kutsusid teadlased katsesse osalema viis vabatahtlikku isikut, kellele tehti epilepsiaravi. Neil kõigil viiel oli elektroentsefalogrammi lugemiseks kuulmiskooresse implanteeritud elektroodid.
“Palusime epilepsiahaigetel, kellel juba tehakse ajuoperatsioon, kuulata lauseid, mida räägivad erinevad inimesed. Samal ajal analüüsisime patsientide ajutegevuse mustreid. Vokoderit koolitati saadud närvimudelite põhjal,”selgitab Mesgarani.
Patsientidel paluti kuulata salvestusi, milles näitlejad lugesid läbi numbrite jada 0 kuni 9. Samal ajal lindistasid teadlased ajust tulevaid signaale ja viisid need seejärel läbi vokooderi, mille signaale selguse parandamiseks korrastas närvivõrk, kus analüüsiti vokooderi enda helisid, mis vastuseks neile signaalidele tekitasid. Selle tulemusel võis kuulda robotihäält, mis kordas räägitud numbrite jada. Tulemuste hindamiseks kutsusid teadlased 11 suurepärase kuulmisvõimega inimest.
“Selgus, et inimesed tunnevad sõnu ära umbes 75% ajast, mis on tunduvalt parem kõigist varasematest katsetest. Tundlik vokooder ja võimsad närvivõrgud tekitasid helisid, mida patsiendid kuulasid hämmastava täpsusega,”kommenteerib Mesgarani.
Reklaamvideo:
Edaspidi kavatseb Mesgarani meeskond õpetada närvivõrku hääldama keerukamaid sõnu, fraase ja isegi terveid lauseid. Pärast seda soovivad nad välja töötada implantaadi, mis tõlgiks inimese mõtted täies kõnes.
“Näiteks kui implantaadi omanik arvab:“Mul on vaja klaasi vett,”loeb meie süsteem ajusignaale ja tõlgib need kõneks. See annab kõigile, kes on vigastuse või haiguse tõttu kaotanud kõnevõime, uue võimaluse suhelda ümbritseva maailmaga,”lisab Mesgarani.
Nikolai Khizhnyak
