Viimasel ajal on närvivõrgud oma oskustega üllatunud - kas oleksite võinud kümme aastat tagasi uskuda, et arvuti suudab "animeerida" Dostojevski ja Marilyn Monroe portreesid? Valmistuge veelgi imestama, sest MIT-i teadlased on loonud närvivõrgu Speech2Face, mis on võimeline joonistama inimeste portreesid lihtsalt nende hääli kuulates. Tehnoloogia pole kaugeltki ideaalne, kuid selle võime määrata inimese sugu, rahvust ja vanust on muljetavaldav.
Neuraalvõrgu koolitamiseks kasutati AVSpeechi komplekti koos miljoni lühivideoga tuhandete kõnelevate inimestega. Video- ja helirajad on eraldatud, seega suutis süsteem uurida igat tüüpi materjali võimalikult detailselt. Töö esimeses etapis uuris VGG-Face algoritm videofragmente ja lõi nendel olevate inimeste portreesid täis- ja neutraalsete näoilmetena. Algoritmi teises osas uuriti hääle spektrogrammi ja rakendati saadud portreedele täiendavaid muudatusi - selle tulemusel saadi ligikaudne portree iga kõneleva inimese kohta.
Neuraalvõrk häälepõhiste portreede loomiseks on juba reaalsus
Kui võrrelda inimese nägu video ja algoritmi pakutud valikuga, võite leida palju erinevusi. Teadlased kinnitavad siiski, et nad ei soovinud algselt inimese kõige sarnasemat portree loomist - paljud tegurid mõjutavad inimese hääle tooni ja intonatsiooni, nii et nad poleks nagunii ideaalset tulemust saanud. Kuid närvivõrk teeb suurepärast tööd teadlaste jaoks olulise tähtsusega - nimelt soo, rahvuse ja vanuse täpse määramise osas.
Töö autorid märkisid, et hetkel on algoritm vanuse määramisel nõrk, kuid need võivad täpsust parandada. Samuti leiti, et algoritm taasloob paremini Euroopa ja Aasia nägusid, kuid see on tingitud ainult asjaolust, et koolitusvideotes oli ebavõrdne arv nähtusi eri rahvustest.
Reklaamvideo:
Miks vajate närvivõrku?
Kuidas saab see tehnoloogia tulevikus kasulik olla? Teise võimalusena võidakse selle abiga kunagi luua teenus, kus kasutaja virtuaalne avatar luuakse automaatselt tema hääle põhjal. Uuel uuringul on ka suured teaduslikud eelised - andmeid uurides leiavad teadlased seose inimese välimuse ja hääle vahel. Projekti veebisaidil saate kuulata hääli ja vaadata nende põhjal loodud portreesid.
Ramis Ganiev
