Neuraalvõrkude ja masinõppe tehnoloogiate arendamisega laieneb ka nende rakendusala. Kui varem kasutati närvivõrke eranditult keerukate matemaatiliste, meditsiiniliste, füüsikaliste, bioloogiliste arvutuste tegemiseks ja prognoosimiseks, siis nüüd on need tehnoloogiad omandanud laialdase populaarsuse ka „argipäevasemas” keskkonnas - meelelahutuse valdkonnas. Astudes alles esimesi samme selles suunas, suudavad nad juba näidata hämmastavaid ja mõnikord isegi silmapaistvaid tulemusi. Täna analüüsime mõnda illustreerivat näidet.
Video ümbertegemise protsess on nii keeruline ja aeganõudev, et me poleks võib-olla kunagi näinud palju maailmaklassikute meistriteoseid uue, moodsa, selge ja mahlase pildiga. Kuid maailm on täis nutikaid fänne ja entusiaste, kes on hästi kursis uute tehnoloogiate, eriti närvivõrkude ja masinõppe tehnoloogiatega, millega saate saavutada hämmastavaid tulemusi isegi kodus. Näiteks otsustas YouTube'i kasutaja Stefan Rumen varjunimega CaptRobau näidata mõnda närvivõrkude võimekust vana ulmeseeria videote töötlemisel.
Tema varasem looming on Remako Mod, klassikalise ja ülipopulaarse Jaapani RPG Final Fantasy VII kutsutud HD-uusversioon. Selleks kasutas ta AI algoritmi AI Gigapixel, millega ta suutis originaalse pildi pilti 4-kordselt skaleerida, teisendades selle HD-eraldusvõimeks ilma originaalses kujunduses olulisi muudatusi tegemata. Seega, kui ootate veel kümme aastat, kuni hetkeni, mil Jaapani arvutimängude arendaja ja väljaandja Square Enix vabastab ametlikult selle mängude sarja ühe parima osa remasteri, saate Stefan Rumeni modi ise proovida, laadides selle selle saidi alla.
Muide, hiljuti on neurovõrgutehnoloogiad vanade mängude ümbertegemiseks ja nende asjakohasema ja moodsama ilme saavutamiseks ilma üldist algset kontseptsiooni muutmata muutunud erinevate modifikaatorite seas tõeliseks trendiks. Näiteks rääkisime mitte nii kaua aega tagasi ESRGAN (Enhanced Super Resolution Generative Adversarial Networks) tehnoloogiast, mis rakendab kujutise skaleerimise tehnoloogiaid kvaliteedi suurenemisega 2–8x. Algoritm söödab algse pildi madala eraldusvõimega, pärast mida see mitte ainult ei suurenda viimase originaalset eraldusvõimet, vaid parandab ka pildi kvaliteeti, maalides realistlikke detaile ja muutes tekstuurid “loomulikumaks”.
Tekstuuri kvaliteedi võrdlus: vasakul on Morrowindi mängu algne tekstuur, paremal - närvivõrgu töödeldud.
Doomist pärit tegelane (vasakult - sai, paremalt sai).
Tausta töötlemine Resident Evil 3-s.
Reklaamvideo:
Olgu kuidas on, otsustas "Seitsmenda finaali" remastererimise vaheaegadel Stefan Rumen asuda teisele projektile - kasutada sama masinõppe tehnoloogiat, kuid seekord töödelda 90ndate klassikalise ulmeseeria raame. Rumen valis oma katsete objektiks Star Trek: Deep Space Nine.
Autor märgib, et teleseriaali reaalajas pildi skaleerimine erineb keerukusest võrreldes Final Fantasy VII eelnevalt renderdatud pildi skaleerimisega, nii et lõpptulemus, ehkki see näeb märgatavalt parem välja kui madala eraldusvõimega originaalmaterjalid, on siiski kaugel ideaalist, mille kohta oleks võinud unistada juba siis, kui esimesed Blu-ray-mängijad turule tulid. Mõnikord ilmuvad ekraanile väikesed "artefaktid". Aga jällegi, üldiselt tundub kõik enam kui väärt. Kuid üldiselt vaadake ise.
Selle projekti jaoks kasutas Rumen ka AI Gigapiksli algoritmi, mida koolitati reaalfotodel põhinevate piltide redigeerimiseks. Autor märgib, et uus pilt saadi 1080p ja 4k, kuid kuna Rumenil pole natiivse 4K eraldusvõimega telerit ega monitori, ei saa ta 4K versiooni adekvaatselt hinnata.
Kahjuks ei saa te tervet HD-sarja vaadata. Kogu lähtematerjali töötlemine oleks võtnud väga kaua aega, nii et Rumen kasutas demonstreerimiseks ainult eraldi seeriaid erinevatest sarjadest. Tema sõnul võttis ta selle projekti üles ainult ühel põhjusel - näitamaks, et see on tõesti võimalik. Tema hinnangul saab terve meeskond spetsialiste, kes töötavad suures teleettevõttes ja kellel on nende jaoks sobivam ja võimsam arvutivarustus selliseks tööks, hakkama selle ülesandega palju paremini.
Neuraalvõrkude kasutamine videomängude ja filmide vanade piltide töötlemise lihtsustamiseks pole ainsad valdkonnad, kus sellised tehnoloogiad suudavad oma andeid näidata. Kaasaegses maailmas, kus 360 kraadi tootmiseks võimelised panoraamkaamerad, aga ka virtuaalreaalsuse peakomplektid, on üha populaarsemaks muutumas, on arendajad hakanud aktiivselt uurima panoraamfotograafia potentsiaali.
Üks viimaseid arenguid selles suunas on närvivõrk, mis on võimeline esitama panoraamseid staatilisi pilte. Selle autorid on Massachusettsi ülikoolide, Columbia ülikoolide ja George Masoni ülikooli masinõppe eksperdid.
Loodud algoritm määrab fotol oleva keskkonna ja objektide tüübi ning seejärel valib ja korraldab kasutatud andmebaasist helid vastavalt nende kujutise allikatest ruumilisele ruumilisele arvutamisele. Tänu sellele omandab panoraampilt realistliku ja avara heli, mis võimaldab teil esitatud pilti hinnata täiesti uuel viisil.
Selle närvivõrgu arendajate sõnul võib tehnoloogia leida huvi VR-sisu (filmid ja mängud) arendajate seas. Viimane ei pea sel juhul kõiki panoraampildil olevaid helisid käsitsi üle katma, närvivõrk suudab seda kõike iseseisvalt teha.
Nikolai Khizhnyak
