Google'i tehisintellekti divisjon teatas uue närvivõrkude treenimise meetodi loomisest, mis ühendab endas täiustatud algoritmide ja vanade videomängude kasutamise. Õpikeskkonnana kasutatakse vanu Atari videomänge.
DeepMindi arendajad (tuletame meelde, et need inimesed lõid AlphaGo närvivõrgu, mis on korduvalt loogikamängus parimaid mängijaid alistanud) usuvad, et masinad saavad õppida samamoodi nagu inimesed. Kasutades treeningusüsteemi DMLab-30, mis põhineb laskuri Quake III ja Atari arkaadimängudel (kasutatakse 57 erinevat mängu), on insenerid välja töötanud uue IMPALA (olulisusega kaalutud näitleja-õppija arhitektuurid) masinõppe algoritmi. See võimaldab üksikutel osadel õppida, kuidas täita mitut ülesannet korraga ja seejärel omavahel teadmisi vahetada.
Paljuski põhines uus süsteem varasemal asünkroonsetel näitleja-kriitiliste esindajate (A3C) arhitektuurisüsteemil, milles üksikud agendid uurivad keskkonda, siis protsess on peatatud ja nad vahetavad teadmisi keskse komponendi ehk õpilasega. Mis puutub IMPALAsse, siis võib sellel olla rohkem agente ja õppeprotsess ise toimub pisut teistmoodi. Selles saadavad agendid teavet korraga kahele "õpilasele", kes seejärel omavahel ka andmeid vahetavad. Lisaks, kui A3C-s teevad kadumisfunktsiooni gradiendi (teisisõnu prognoositud ja saadud parameetri väärtuste erinevused) arvutamise ained ise, kes saadavad teabe kesksüdamikku, siis IMPALA süsteemis teevad seda ülesannet "õpilased".
Näide inimesest, kes mängib mängu kaudu:
Nii saab IMPALA süsteem sama ülesandega hakkama järgmiselt.
Üks peamisi väljakutseid AI arendamisel on aeg ja vajadus suure arvutusvõimsuse järele. Isegi kui autonoomne, vajavad masinad reegleid, mida nad saavad oma katsetes järgida ja probleemide lahendamise viise leida. Kuna me ei saa lihtsalt roboteid ehitada ja neil õppida lasta, kasutavad arendajad simulatsioone ja süvaõppe tehnikaid.
Selleks, et kaasaegsed närvivõrgud midagi õpiksid, peavad nad töötlema tohutul hulgal teavet, antud juhul miljardeid kaadreid. Ja mida kiiremini nad seda teevad, seda vähem aega võtab õppimine.
Reklaamvideo:
Piisavate protsessorite korral saavutab DeepMind enda sõnul IMPALA kiirusega 250 000 kaadrit sekundis ehk 21 miljardit kaadrit päevas. The Next Web väitel on see sedalaadi ülesannete jaoks absoluutne rekord. Arendajad ise kommenteerivad, et nende AI-süsteem saab ülesandega paremini hakkama kui sarnased masinad ja inimesed.
Tulevikus saab robootikas kasutada sarnaseid AI algoritme. Masinõppe süsteemide optimeerimise abil kohanevad robotid kiiremini oma keskkonnaga ja töötavad tõhusamalt.
Nikolai Khizhnyak
