Kohe, kui dr Blake Richards kuulis sügavast õppimisest, mõistis ta, et seisab silmitsi enama kui lihtsalt meetodi abil, mis revolutsiooniliselt tehisintellekti muudaks. Ta mõistis, et vaatleb inimese ajust midagi fundamentaalset. See oli 2000ndate algus ja Richards õpetas Toronto ülikoolis Jeff Hintoniga kursust. Hintonile, kes oli maailma vallutanud algoritmi loomise taga, pakuti inimajust inspireeritud sissejuhatavat kursust tema õpetamismeetodi kohta.
Võtmesõnad on siin "aju inspireeritud". Vaatamata Richardsi veendumusele mängis panus tema vastu. Inimese aju, nagu selgus, ei oma olulist funktsiooni, mis on programmeeritud sügava õppe algoritmides. Pinnal rikkusid need algoritmid bioloogilisi põhifakte, mida neuroteadlased on juba tõestanud.
Aga mis siis, kui sügav õppimine ja aju on tegelikult ühilduvad?
Ja nii pakkus Richards koostöös DeepMindiga välja uues ajakirjas eLife avaldatud uuringus uue algoritmi, mis põhineb neokorteksis olevate neuronite bioloogilisel struktuuril. Ajukoores, ajukoores, asuvad kõrgemad kognitiivsed funktsioonid, nagu mõttekäik, prognoosimine ja paindlik mõtlemine.
Meeskond ühendas oma tehisneuronid kihiliseks võrguks ja esitas sellele väljakutse klassikalise arvutinägemise ülesandele - tuvastada käsitsi kirjutatud numbrid.
Uus algoritm tegi suurepärase töö. Kuid on oluline veel üks asi: ta analüüsis õppimise näiteid samamoodi nagu sügavad õppealgoritmid, kuid see oli üles ehitatud täielikult aju fundamentaalsele bioloogiale.
"Sügav õppimine on võimalik bioloogilises struktuuris," järeldasid teadlased.
Kuna see mudel on praegu arvutiversioon, loodab Richards teatepulga edasi anda eksperimentaalsetele neuroteadlastele, kes saaksid testida, kas selline algoritm töötab päris ajus.
Reklaamvideo:
Sel juhul saab andmeid arvutiteadlastele edastada massiliselt paralleelsete ja tõhusate algoritmide väljatöötamiseks, mida meie masinad töötavad. See on esimene samm kahe valdkonna ühinemise suunas avastuste ja uuenduste "vooruslikus tantsus".
Patuoina leidmine
Ehkki olete ilmselt kuulnud, et AI võitis hiljuti Go parimatest parimatest parimaid, ei saa te peaaegu teada, kuidas selle AI taga olevad algoritmid töötavad.
Lühidalt - sügav õppimine põhineb tehislikul närvivõrgul, kus on virtuaalsed "neuronid". Nagu kõrge pilvelõhkuja, on võrk üles ehitatud hierarhias: madala taseme neuronite protsessisisend - näiteks horisontaalsed või vertikaalsed ribad, mis moodustavad numbri 4 - ja kõrgetasemelised neuronid töötlevad arvu 4 abstraktseid aspekte.
Võrgu koolitamiseks annate sellele näiteid, mida otsite. Signaal levib võrgu kaudu (ronib hoone astmetele) ja iga neuron proovib näha midagi põhimõttelist "nelja" töös.
Kuna lapsed õpivad uusi asju, ei lähe võrk alguses hästi. Ta annab välja kõik, mis tema arvates näeb välja number neli - ja saate pilte Picasso vaimus.
Kuid õppimine toimub täpselt nii: algoritm sobib väljund ideaalse sisendiga ja arvutab nende kahe erinevuse (loe: vead). Vead "levivad tagasi" võrgu kaudu, treenides iga neuroni, ütlevad nad, et see pole see, mida otsite, otsige parem välja.
Pärast miljoneid näiteid ja kordusi hakkab veeb veatult töötama.
Vea signaal on õppimisel äärmiselt oluline. Ilma tõhusa "vea tagasilöögita" ei tea võrk, millised selle neuronitest on valed. Patuoina otsimisel täiustab tehisintellekt ennast.
Ka aju teeb seda. Aga kuidas? Meil pole aimugi.
Bioloogiline ummiktee
Ilmselge on see, et süvaõppe lahendus ei tööta.
Vea tagasi paljundamine on äärmiselt oluline funktsioon. Korrektseks tööks on vaja teatud infrastruktuuri.
Esiteks peab iga võrgu neuron saama tõrketeate. Kuid ajus on neuronid ühendatud vaid mõne üksiku (kui neid on) allavoolu partneritega. Ajus töötamiseks peavad neuronid esimestel tasemetel tajuma teavet miljardite ühenduste kaudu alamkanalites - ja see on bioloogiliselt võimatu.
Ja kuigi mõned sügava õppimise algoritmid kohandavad vea tagasipropagatsiooni lokaalset vormi - peamiselt neuronite vahel -, nõuab see, et nende edasi-tagasi ühendused oleksid sümmeetrilised. Aju sünapsides seda peaaegu kunagi ei juhtu.
Moodsamad algoritmid kohandavad pisut teistsugust strateegiat, rakendades eraldi tagasisidet, mis aitab neuronitel vigu lokaalselt leida. Kuigi see on bioloogiliselt teostatavam, pole ajudel eraldi arvutusvõrku, mis oleks pühendatud patuojude leidmisele.
Kuid sellel on keeruka struktuuriga neuronid, erinevalt homogeensetest "kuulidest", mida praegu kasutatakse sügavas õppes.
Hargnevad võrgud
Teadlased võtsid inspiratsiooni püramiidirakkudest, mis täidavad inimese ajukoore.
"Enamik neist neuronitest on puude kujuga, nende" juured "asuvad sügaval ajus ja" harud "tulevad välja pinnale," ütleb Richards. "Märkimisväärselt saavad juured ühe sisendikomplekti ja oksad erinevad."
See on uudishimulik, kuid neuronite struktuur osutub sageli "täpselt selliseks, nagu see on vajalik" arvutusliku probleemi tõhusaks lahendamiseks. Võtke näiteks sensoorset töötlust: püramiidsete neuronite põhjad asuvad seal, kus nad peaksid olema sensoorse sisendi vastuvõtmiseks, ja tipud asuvad mugavalt vigade edastamiseks tagasiside kaudu.
Kas see keeruline struktuur võiks olla evolutsiooniline lahendus vale signaali käsitlemiseks?
Teadlased on varasemate algoritmide põhjal loonud mitmekihilise närvivõrgu. Kuid homogeensete neuronite asemel andsid nad talle keskmistes kihtides - sisend- ja väljundite vahele paigutatud - neuronid, mis olid sarnased reaalsetele. Käsitsi kirjutatud numbrite põhjal õppides töötas algoritm palju paremini kui ühekihiline võrk, hoolimata vea klassikalise tagapropagana puudumisest. Rakustruktuurid ise suutsid vea tuvastada. Seejärel ühendas neuron õigel hetkel mõlemad teabeallikad parima lahenduse leidmiseks.
Sellel on bioloogiline alus: neuroteadlased on juba ammu teadnud, et neuroni sisendharud teostavad kohalikke arvutusi, mida saab integreerida väljundharude tagasiulatuvate signaalidega. Kuid me ei tea, kas aju töötab tõesti nii - nii tellis Richards neuroteadlastelt selle välja selgitada.
Veelgi enam, see võrk tegeleb probleemiga sarnaselt traditsioonilise süvaõppe meetodiga: see kasutab kihilist struktuuri, et saada iga numbri kohta järk-järgult abstraktsemaid ideid.
"See on sügava õppimise tunnusjoon," selgitavad autorid.
Aju sügav õppimine
Selles loos on kahtlemata rohkem pöördeid, kuna arvutiteadlased viivad AI algoritmidesse rohkem bioloogilisi detaile. Richards ja tema meeskond vaatavad ülalt alla ennustavat funktsiooni, kus kõrgemate tasemete signaalid mõjutavad otseselt seda, kuidas madalamad tasemed reageerivad sisendile.
Kõrgemate kihtide tagasiside ei paranda mitte ainult vigade signaliseerimist; see võib julgustada ka madalama töötlusega neuroneid reaalajas "paremini" toimima, väidab Richards. Siiani pole võrk edestanud teisi mittebioloogilisi süvaõppe võrgustikke. Kuid see pole oluline.
"Sügaval õppimisel on olnud AI-le tohutu mõju, kuid seni on selle mõju neuroteadustele olnud piiratud," väidavad uuringu autorid. Nüüd on neuroteadlastel vabandus eksperimentaalse testi läbiviimiseks ja välja selgitamiseks, kas neuronite struktuur põhineb sügava õppimise looduslikul algoritmil. Võib-olla järgmise kümne aasta jooksul algab vastastikku kasulik andmevahetus neuroteadlaste ja tehisintellekti uurijate vahel.
Ilja Khel
