Jeffrey Hinton on süvaõppe kontseptsiooni kaasasutaja, 2019. aasta Turingi auhinna võitja ja Google'i insener. Eelmisel nädalal intervjueeris I / O arendaja Wired teda ja arutas tema vaimustust ajust ning tema võimet modelleerida arvutit aju närvistruktuuri põhjal. Pikka aega peeti neid ideesid jamadeks. Huvitav ja lõbus vestlus teadvusest, Hintoni tulevikuplaanidest ja sellest, kas arvuteid saab õpetada unistama.
Mis juhtub närvivõrkudega?
Alustame päevadest, mil kirjutasite oma esimesed, väga mõjukamad artiklid. Kõik ütlesid: "See on nutikas idee, kuid me ei saa tõesti arvuteid sel viisil kujundada." Selgitage, miks te enda peale nõudsite ja miks olite nii kindel, et leidsite midagi olulist.
Mulle tundus, et aju ei saa muul moel töötada. Ta peab töötama, uurides seoste tugevust. Ja kui soovite, et seade teeks midagi nutikat, on teil kaks võimalust: kas programmeerite selle või ta õpib. Ja keegi ei programmeerinud inimesi, seega pidime õppima. See meetod pidi olema õige.
Selgitage, millised on närvivõrgud. Selgitage algset kontseptsiooni
Võtate suhteliselt lihtsaid töötlemise elemente, mis meenutavad väga ebamääraselt neuroneid. Neil on sissetulevad ühendused, igal ühendusel on kaal ja see kaal võib treeningu ajal muutuda. See, mida neuron teeb, on toimingud ühendustega, mis on korrutatud raskustega, liidetakse need kokku ja seejärel otsustatakse, kas andmed saata. Kui summa trükitakse piisavalt suureks, annab see väljundi. Kui summa on negatiivne, ei saada see midagi. See on kõik. Kõik, mida peate tegema, on ühendada nende neuronite pilv raskustega ja välja mõelda, kuidas neid kaalu muuta, ja siis nad teevad kõik. Ainus küsimus on, kuidas te raskusi muudate.
Reklaamvideo:
Millal mõistsite, et see on aju töö ligikaudne kirjeldus?
Oh, jah, kõik oli algselt ette nähtud. Mõeldud tööl aju meenutama.
Nii et hakkasite karjääri mingil hetkel mõistma, kuidas aju töötab. Võib-olla sa olid kaheteistkümne aastane, võib-olla kahekümne viie aastane. Millal otsustasite proovida modelleerida arvuteid nagu ajusid?
Jah kohe. See oli kogu mõte. Kogu selle idee eesmärk oli luua ühenduste tugevuse muutmise kaudu õppimisseade, mis õpib nagu aju, vastavalt inimeste ideedele, kuidas aju õpib. Ja see polnud minu idee, Turingil oli sama mõte. Kuigi Turing leiutas suure osa tavalise arvutiteaduse alustest, uskus ta, et aju on juhusliku raskusega korrastamata seade ja ta kasutas ühenduste muutmiseks tugevdusõpet, nii et ta sai midagi õppida. Ja ta uskus, et see on parim viis luureteni.
Ja te järgisite Turingi mõtet, et parim viis masina ehitamiseks on kujundada see nagu inimese aju. Inimese aju töötab nii, seepärast loome sarnase masina
Jah, mitte ainult Turing arvas nii. Paljud arvasid nii.
Millal saabusid pimedad ajad? Millal juhtus, et teised inimesed, kes selle kallal töötasid ja uskusid Turingi ideed õigeks, hakkasid tagasi tõusma ja te jätkasite oma joone painutamist?
Alati on olnud käputäis inimesi, kes uskusid ükskõik mida, eriti psühholoogia valdkonnas. Kuid arvutiteadlaste seas juhtus vist 90ndatel nii, et andmekogumid olid üsna väikesed ja arvutid polnud nii kiired. Ja väikeste andmekogumite korral toimisid muud meetodid, näiteks tugivektorimasinad, pisut paremini. Neid ei häirinud niivõrd lärm. Nii et see kõik oli kurb, sest 80-ndatel töötasime välja tagumise leviku meetodi, mis on närvivõrkude jaoks väga oluline. Arvasime, et ta lahendab kõik. Ja nad olid hämmingus, et ta polnud midagi otsustanud. Küsimus oli tõesti skaalal, kuid siis me ei teadnud seda.
Miks sa arvasid, et see ei tööta?
Arvasime, et see ei tööta, kuna meil polnud päris õigeid algoritme ja mitte päris korrektseid objektiivseid funktsioone. Ma arvasin pikka aega, et selle põhjuseks on see, et üritasime andmete sildistamisel teha juhendatud õppimist ja kui õppimine toimub sildistamata andmetega, pidime tegema juhendamata õppe. Selgus, et küsimus oli enamasti skaalal.
See on huvitav. Nii et probleem oli selles, et teil polnud piisavalt andmeid. Arvasite, et teil on õige hulk andmeid, kuid sildistasite selle valesti. Nii et te lihtsalt diagnoosisite probleemi valesti?
Arvasin, et viga oli selles, et me kasutame üldse silte. Enamik teie koolitusest toimub ilma siltideta, proovite lihtsalt andmetes struktuuri modelleerida. Ma tegelikult ikkagi arvan seda. Arvan, et kuna arvutid saavad kiiremini, kui arvuti on piisavalt kiire, on antud suurusega mis tahes andmestiku jaoks parem treenida ilma järelevalveta. Ja kui olete juhendamata õppe lõpetanud, saate õppida vähem silte.
Nii et jätkate 1990ndatel oma uurimistööd, olete akadeemilises ringkonnas, avaldate endiselt, kuid te ei lahenda suuri probleeme. Kas teil on kunagi olnud mõni hetk, kui ütlesite: „Teate, millest piisab. Kas ma üritan midagi muud teha”? Või ütlesite endale lihtsalt, et jätkate sügava õppimisega [see tähendab süvaõppe kontseptsiooni, närvivõrkude sügavat õppimist
Jah. Midagi sellist peaks toimima. Ma mõtlen, et aju ühendused õpivad mingil moel, peame lihtsalt aru saama, kuidas. Ja ilmselt on õppeprotsessis seoste tugevdamiseks palju erinevaid võimalusi; aju kasutab ühte neist. Võib olla ka teisi viise. Kuid kindlasti vajate midagi, mis neid sidemeid õppimise ajal tugevdaks. Ma ei kahelnud selles kunagi.
Te pole selles kunagi kahelnud. Millal tundus, et see töötab?
Üks 80ndate suurimaid pettumusi oli see, et kui me teeksime palju varjatud kihtidega võrke, ei saaks me neid koolitada. See pole päris tõsi, sest saate koolitada suhteliselt lihtsaid protsesse, näiteks käekirja. Kuid me ei teadnud, kuidas treenida enamikku sügavaid närvivõrke. Ja 2005. aasta paiku tuli mul välja viis sügavate võrkude koolitamiseks ilma järelevalveta. Sisestate andmed, näiteks pikslid, ja koolitate mõnda detailiotsijat, mis lihtsalt selgitas hästi, miks pikslid olid sellised, nagu nad on. Seejärel sisestate need osadetektorid andmed ja koolitate veel ühte osadetektorite komplekti, et saaksime selgitada, miks konkreetsetel osadetektoritel on konkreetsed korrelatsioonid. Jätkate kihtide kaupa koolitamist. Kuid kõige huvitavam olimida saab matemaatiliselt lagundada ja mis tõestavad, et iga uue kihi koolitamisel ei paranda te tingimata andmemudelit, vaid peate tegelema reaga sellest, kui hea teie mudel on. Ja see vahemik paranes iga kihi lisamisega.
Mida sa mõtled vahemikus, kui hea su modell on?
Kui olete mudeli kätte saanud, võite esitada küsimuse: "Kui ebatavaline see mudel neid andmeid leiab?" Näitate talle andmeid ja esitate küsimuse: "Kas leiate kõik selle ootuspäraselt või on see ebatavaline?" Ja seda sai mõõta. Ja ma tahtsin saada mudeli, hea mudeli, mis vaatab andmeid ja ütleb: “Jah, jah. Ma teadsin seda. See pole üllatav ". Alati on väga raske täpselt välja arvutada, kui ebaharilik mudel andmeid leiab. Kuid selle vahemiku saate arvutada. Võib öelda, et mudel leiab need andmed vähem ebaharilikud. Ja võib näidata, et detailiotsijatele uute kihtide lisamisel moodustatakse mudel ja iga kihiga andmete leidmisel lisandub arusaam sellest, kui ebatavaline ta andmeid leiab.
Nii et tegite 2005. aasta paiku selle matemaatilise läbimurde. Millal hakkasite õigeid vastuseid saama? Milliste andmetega töötasite? Teie esimene läbimurre oli kõneandmetega, eks?
Need olid lihtsalt käsitsi kirjutatud numbrid. Väga lihtne. Umbes samal ajal algas ka graafikaprotsessorite (GPU) arendamine. Ja inimesed, kes tegelesid närvivõrkudega, hakkasid GPU-sid kasutama 2007. aastal. Mul oli väga hea õpilane, kes hakkas GPU-sid kasutama aerofotodelt teede leidmiseks. Ta kirjutas koodi, mille seejärel võtsid GPU abil vastu teised tudengid, et tuvastada kõnes foneeme. Nad kasutasid seda eelkoolituse ideed. Ja kui eelkoolitus oli tehtud, riputasid nad lihtsalt sildid peale ja kasutasid tagurpidi levikut. Selgus, et on võimalik luua väga sügav võrk, mida varem sel viisil koolitati. Ja siis sai rakendada tagasipaljundamist ja see tegelikult töötas. Kõnetuvastuses töötas see suurepäraselt. Alguses agasee polnud palju parem.
Kas see oli parem kui müügil olev kõnetuvastus? Kõrvaldatakse parimate teadusuuringutega kõnetuvastuse kohta?
Suhteliselt väikesel andmestikul nimega TIMIT oli see pisut parem kui parim akadeemiline töö. Ka IBM on teinud palju tööd.
Inimesed mõistsid kiiresti, et see kõik - kuna see jätab mööda standardmudelitest, mis olid arenenud 30 aastat - toimiks suurepäraselt, kui seda vähe edasi arendada. Minu lõpetajad käisid Microsoftis, IBMis ja Google'is ning Google lõi väga kiiresti töötava kõnetuvastuse. 2012. aastaks oli see 2009. aastal tehtud töö tabanud Androidi. Android on kõnetuvastuses äkki palju parem.
Rääkige mulle hetkest, kui teie, kes olete neid ideid 40 aastat säilitanud, ja avaldanud sel teemal juba 20 aastat, mööduge järsku oma kolleegidest. Mis tunne see on?
Noh, tol ajal olin neid ideid alles 30 aastat säilitanud!
Õige, õige
Oli suurepärane tunne, et see kõik oli lõpuks muutunud tõeliseks probleemiks.
Kas mäletate, millal saite esimest korda seda viitavaid andmeid?
Mitte.
Okei. Nii saate idee, et see töötab kõnetuvastusega. Millal hakkasite närvivõrke rakendama muude probleemide suhtes?
Alguses hakkasime neid rakendama igasuguste muude probleemide korral. George Dahl, kellega koos töötasime algselt kõnetuvastuse kallal, kasutas neid ennustamaks, kas molekul võib millegagi seonduda ja saada heaks ravimiks. Ja seal oli võistlus. Ta rakendas lihtsalt uimastitegevuse ennustamiseks meie kõnetehnoloogia jaoks loodud standardset tehnoloogiat ja võitis konkursi. See oli märk sellest, et teeme midagi väga mitmekülgset. Siis ilmus õpilane, kes ütles: „Tead, Jeff, see asi töötab pildi tuvastamisega ja Fei-Fei Li lõi selleks sobiva andmekogumi. Toimub avalik konkurss, teeme midagi."
Saime tulemusi, mis ületasid kaugelt tavapärase arvutinägemuse. See oli 2012.
See tähendab, et neis kolmes valdkonnas olete silma paistnud: kemikaalide modelleerimine, kõne, hääl. Kuhu sa kukkusid?
Kas saate aru, et tagasilöögid on ajutised?
Mis eraldab piirkonnad, kus see kõik töötab kõige kiiremini, ja piirkonnad, kus see võtab kõige kauem aega? Paistab, et visuaalne töötlemine, kõnetuvastus ja midagi sellist, nagu põhilised inimlikud asjad, mida me teeme sensoorse tajumisega, peetakse esimesteks tõketeks, millest üle saada, eks?
Jah ja ei, sest on ka teisi asju, mis meil hästi korda lähevad - samad motoorsed oskused. Meil on mootori juhtimine väga hea. Meie ajud on selleks kindlasti varustatud. Ja alles nüüd hakkavad närvivõrgud selle nimel konkureerima parimate teiste tehnoloogiatega. Lõpuks võidavad nad, kuid nüüd on nad alles võitmas.
Arvan, et mõtlemine, abstraktne mõtlemine on viimane asi, mida õpime. Ma arvan, et need on üks viimaseid asju, mida need närvivõrgud õpivad tegema.
Ja nii sa ütled pidevalt, et närvivõrgud hakkavad lõpuks kõikjal valitsema
Noh, me oleme närvivõrgud. Kõik, mis me suudame, nemad saavad.
Tõsi, kuid inimese aju pole kaugeltki kõige tõhusamast arvutist, mis eales ehitatud
Kindlasti mitte.
Kindlasti mitte minu inimaju! Kas on olemas võimalus masinate modelleerimiseks, mis on inimese ajust palju tõhusamad?
Filosoofiliselt ei ole mul ühtegi etteheidet ideele, et selle kõige teostamiseks võiks olla mõni täiesti erinev viis. Võib-olla, kui alustate loogikast, proovite loogikat automatiseerida, tulla välja mingi väljamõeldud teoreemi vanasõna, põhjuse ja siis otsustada, et visuaalse tajumise juurde jõuate just mõttekäigu kaudu, võib juhtuda, et see lähenemine võidab. Aga veel mitte. Mul pole sellise võidu suhtes filosoofilisi vastuväiteid. Me lihtsalt teame, et aju on selleks võimeline.
Kuid on ka asju, millega meie ajud ei saa hästi hakkama. Kas see tähendab, et ka närvivõrgud ei suuda neid hästi teha?
Võimalik, et jah.
Ja seal on eraldi probleem, milleks on see, et me ei saa täielikult aru, kuidas närvivõrgud töötavad, eks?
Jah, me ei saa tegelikult aru, kuidas nad töötavad.
Me ei saa aru, kuidas ülalt alla suunatud närvivõrgud töötavad. See on närvivõrkude toimimise põhielement, millest me ei saa aru. Selgitage seda ja lubage mul esitada mulle järgmine küsimus: kui me teame, kuidas see kõik töötab, kuidas see siis töötab?
Kui vaadata tänapäevaseid arvutinägemissüsteeme, on enamik neist enamasti tulevikku suunatud; nad ei kasuta tagasisideühendusi. Ja siis on tänapäevastes arvutinägemissüsteemides veel midagi, mis on väga altid võistlevatele vigadele. Saate paar pikslit pisut muuta ja see, mis oli pandakujutis ja näib teile ikkagi täpselt selline, nagu panda, muutub teie arusaamiseks närvivõrgust äkki jaanalinnuks. Ilmselt mõeldakse pikslite asendamise meetod välja selliselt, et meelitada närvivõrku jaanalinnu peale mõtlema. Kuid mõte on selles, et see on teile ikkagi panda.
Esialgu arvasime, et see kõik töötab suurepäraselt. Kuid siis, silmitsi tõsiasjaga, et nad vaatasid pandat ja olid kindlad, et see on jaanalind, muretsesime. Ja ma arvan, et osa probleemist on see, et nad ei ürita rekonstrueerida kõrgel tasemel asuvate vaadete põhjal. Nad proovivad õppida eraldatult, kus õpivad ainult detailidetektorite kihid ja kogu eesmärk on muuta kaalu, et paremini leida õige vastus. Hiljuti avastasime või Nick Frost leidis Torontos, et rekonstrueerimise lisamine suurendab võistleva vastuseisu. Arvan, et inimese nägemises kasutatakse rekonstrueerimist õppimiseks. Ja kuna me õpime rekonstrueerimisel nii palju, siis oleme palju vastupidavamad võistlevatele rünnakutele.
Usute, et neuraalvõrgus olev pärisuunaline kommunikatsioon võimaldab teil testida, kuidas midagi rekonstrueeritakse. Te kontrollite seda ja veenduge, et see on panda, mitte jaanalind
Minu arvates on see oluline, jah.
Kuid ajuteadlased pole sellega päris nõus?
Ajuteadlased ei väida, et kui teil on taju teel kaks ajukoore piirkonda, on alati pöördühendused. Nad vaidlevad selle üle, milleks see mõeldud on. See võib olla vajalik tähelepanu, õppimise või rekonstrueerimise jaoks. Või kõigi kolme jaoks.
Ja nii me ei teagi, mis tagasiside on. Kas ehitate oma uusi närvivõrke, lähtudes eeldusest, et … ei, isegi mitte nii - loote tagasisidet, kuna see on vajalik teie närvivõrkude rekonstrueerimiseks, ehkki te ei saa isegi päriselt aru, kuidas aju töötab?
Jah.
Kas see pole trikk? Noh, see tähendab, kui proovite teha midagi sellist nagu aju, aga te pole kindel, kas aju seda teeb?
Mitte päris. Ma ei ole arvutuslikus neuroteaduses. Ma ei ürita modelleerida, kuidas aju töötab. Vaatan aju ja ütlen: "See töötab ja kui me tahame teha midagi muud, mis töötab, peame seda jälgima ja sellest inspiratsiooni saama." Meid inspireerivad neuronid, mitte närvimudelit üles ehitades. Seega inspireerib kogu meie kasutatav neuronite mudel tõsiasja, et neuronitel on palju seoseid ja nad muudavad kaalu.
See on huvitav. Kui ma oleksin arvutiteadlane, kes töötaks närvivõrkude kallal ja tahaks Jeff Hintonist mööda pääseda, oleks üks võimalus luua allapoole suunatud kommunikatsioon ja rajada see teistele ajuteaduse mudelitele. Põhineb koolitusel, mitte rekonstrueerimisel
Kui oleks olnud paremaid mudeleid, oleksite võitnud. Jah.
See on väga-väga huvitav. Puudutame üldisemat teemat. Niisiis, närvivõrgud saavad lahendada kõik võimalikud probleemid. Kas inimese ajus on mõistatusi, mida närvivõrgud ei suuda või ei kata? Näiteks emotsioonid
Mitte.
Nii et armastust saab taastada närvivõrgu abil? Teadvust saab rekonstrueerida?
Absoluutselt. Kui olete välja mõelnud, mida need asjad tähendavad. Me oleme närvivõrgud, eks? Teadvus on minu jaoks eriti huvitav teema. Kuid … inimesed ei tea tegelikult, mida nad selle sõna all silmas peavad. Määratlusi on palju erinevaid. Ja ma arvan, et see on üsna teaduslik termin. Seetõttu, kui 100 aastat tagasi küsisite inimestelt: mis on elu? Nad vastaksid: “Noh, elusatel asjadel on elujõudu ja kui nad surevad, jätab elujõud nad maha. See on erinevus elavate ja surnute vahel: kas teil on elujõudu või teil pole. Nüüd pole meil elujõudu, arvame, et see kontseptsioon jõudis teaduse ette. Ja kui olete hakanud biokeemiast ja molekulaarbioloogiast natuke aru saama, ei vaja te enam elujõudu, saate aru, kuidas see kõik tegelikult töötab. Ja sama asi, ma arvan, juhtub ka teadvusega. Ma mõtlen,et teadvus on katse vaimseid nähtusi üksuse abil selgitada. Ja seda sisuliselt polegi vaja. Kui saate selle lahti seletada, saate selgitada, kuidas me teeme kõike, mis muudab inimesed teadlikeks olenditeks, selgitada teadvuse erinevaid tähendusi ilma erilisi üksusi kaasamata.
Selgub, et pole emotsioone, mida poleks võimalik tekitada? Pole mõtet, mida ei saaks luua? Inimese mõistus pole midagi sellist, mida teoreetiliselt ei saaks täielikult toimiva närvivõrgu abil taasluua, kui me aju toimimisest tegelikult aru saame?
John Lennon laulis ühes oma laulus midagi sarnast.
Kas olete selles 100% kindel?
Ei, ma olen bayeslane, seega olen 99,9% kindel.
Olgu, mis siis on 0,01%?
Noh, me võiksime näiteks kõik olla osa suuremast simulatsioonist.
Piisavalt õiglane. Mida me siis aju kohta arvutitega töötades õpime?
Noh, ma arvan, et viimase 10 aasta jooksul õpitu põhjal on huvitav, et kui võtta süsteem, kus on miljardeid parameetreid ja objektiivne funktsioon - näiteks täita sõnade tühimik - see töötab paremini kui peaks. See töötab palju paremini, kui võite arvata. Võite arvata ja paljud traditsiooniliste AI-uuringute inimesed arvavad, et võite võtta miljardi parameetriga süsteemi, käivitada selle juhuslikes väärtustes, mõõta objektiivfunktsiooni gradienti ja seejärel näpistada seda eesmärgi funktsiooni parandamiseks. Võite arvata, et lootusetu algoritm takerdub paratamatult. Aga ei, tuleb välja, et see on tõesti hea algoritm. Ja mida suurem on skaala, seda parem see töötab. Ja see avastus oli sisuliselt empiiriline. Selle kõige taga oli muidugi mingi teooria, kuid avastus oli empiiriline. Ja nüüd,kuna me selle leidsime, näib tõenäolisem, et aju arvutab selle gradiendiga sammu pidamiseks mõne objektiivse funktsiooni gradienti ja ajakohastab sünaptilise ühenduse kaalu ja tugevust. Peame lihtsalt välja selgitama, mis see sihtfunktsioon on ja kuidas see halveneb.
Kuid me ei saanud sellest aju näitel aru? Kas te ei saa saldo värskendusest aru?
See oli teooria. Ammu arvasid inimesed, et see on võimalik. Kuid taustal olid alati mõned arvutiteadlased, kes ütlesid: "Jah, aga idee, et kõik on juhuslik ja õppimine toimub gradiendi laskumise tõttu, ei tööta miljardi parameetriga, peate ühendama palju teadmisi." Nüüd teame, et see pole nii. Võite lihtsalt sisestada juhuslikke parameetreid ja õppida kõike.
Sukeldume veidi sügavamale. Üha enam õppides jätkame eeldatavalt üha enam ka teadmisi inimese aju toimimisest, kui viime läbi ulatuslikke mudelite katseid, mis põhinevad meie arusaamal aju talitlusest. Kui me sellest kõigest paremini aru saame, kas on siis punkt, kus me sisuliselt ümber keerutame oma ajusid, et neist saaks palju tõhusamad masinad?
Kui me tõepoolest mõistame, mis toimub, saame mõnda asja parandada, näiteks haridust. Ja ma arvan, et parandame. Oleks väga kummaline, kui mõistaksite lõpuks, mis teie ajus toimub, kuidas see õpib, ja mitte paremini kohanemiseks.
Mis te arvate, kuidas me paari aasta pärast kasutame aju kohta õpitu ja seda, kuidas sügav õpe töötab hariduse ümberkujundamisel? Kuidas te klasse vahetaksite?
Ma pole kindel, et saame paari aasta jooksul palju teada. Arvan, et hariduse muutmine võtab kauem aega. Kuid sellest rääkides on [digitaalsed] abilised üsna nutikad. Ja kui abilised saavad vestlustest aru, saavad nad lastega rääkida ja neid koolitada.
Ja teoreetiliselt saame aju parema mõistmise korral programmeerida abilised lastega paremini vestlema, tuginedes neile juba õpitud
Jah, aga ma ei mõelnud sellele eriti. Ma teen midagi muud. Kuid kõik see tundub üsna sarnane tõele.
Kas me saame aru, kuidas unistused töötavad?
Jah, mind huvitavad unistused väga. Olen nii huvitatud, et mul on vähemalt neli erinevat unistusteooriat.
Räägi meile neist - umbes esimene, teine, kolmas, neljas
Kaua aega tagasi oli selline asi, mida hakati nimetama Hopfieldi võrkudeks, ja nad uurisid mälestusi kui kohalikke ligimeelitajaid. Hopfield leidis, et kui proovite liiga palju mälestusi panna, lähevad nad segadusse. Nad võtavad kaks kohalikku atraktsiooni ja ühendavad need üheks atraktsiooniks kuskil nende vahel.
Siis tulid Francis Crick ja Graham Mitchison ja ütlesid, et nendest valedest madalatest võime vabaneda õppimisega (see tähendab, unustades õpitu). Lülitame andmesisestuse välja, paneme närvivõrgu juhuslikku olekusse, laseme rahuneda, ütleme, et see on halb, muudame ühendusi nii, et see ei satuks sellesse olekusse, ja seega saame võrku salvestada rohkem mälestusi.
Siis tulime Terry Seinowski ja mina sisse ja ütlesime: "Vaata, kas meil pole ainult mälestusi hoidvaid neuroneid, vaid hunnik teisi neuroneid, kas me leiame algoritmi, mis kasutab kõiki neid teisi neuroneid mälestuste meeldejätmiseks?" … Selle tulemusel lõime Boltzmanni masinõppe algoritmi. Ja Boltzmanni masinõppe algoritmil oli äärmiselt huvitav omadus: ma näitan andmeid ja see liigub ülejäänud üksuste kaudu läbi, kuni see läheb väga õnnelikku olekusse, ja pärast seda suurendab see kõigi ühenduste tugevust, tuginedes asjaolule, et kaks seadet on aktiivsed korraga.
Samuti peaks teil olema faas, kus lülitate sisendi välja, lasete algoritmil "roomata" ja asetate ta seisundisse, milles ta on õnnelik, nii et ta fantaseerib, ja niipea, kui tal on fantaasia, ütlete: "Võtke kõik neuronipaarid mis on aktiivsed ja vähendavad ühenduste tugevust."
Selgitan teile algoritmi protseduurina. Kuid tegelikkuses on see algoritm matemaatika ja küsimuse tulemus: "Kuidas peate neid ühendusahelaid muutma, et see närvivõrk koos kõigi nende varjatud andmeühikutega ei tunduks üllatav?" Ja seal peaks olema ka teine faas, mida me nimetame negatiivseks faasiks, kui võrk töötab ilma andmesisestuseta ja tühjeneb, olenemata sellest, millisesse olekusse selle panite.
Unistame igal õhtul mitu tundi. Ja kui äkki ärkate, võite öelda, et unistasite lihtsalt, sest unistus salvestatakse lühiajalisse mällu. Me teame, et näeme unenägusid mitu tundi, kuid hommikul, pärast ärkamist, on meil meeles ainult viimane unenägu ja me ei mäleta teisi, mis on väga edukas, sest nende tegelikkuses võiks eksida. Miks me siis oma unistusi üldse ei mäleta? Cricki sõnul on see unistuste tähendus: neid asju lahti õppida. Te õpite teistpidi.
Terry Seinovski ja mina näitasime, et see on tegelikult Boltzmanni masinate jaoks maksimaalse tõenäosusega õppimisprotseduur. See on esimene teooria unistuste kohta.
Ma tahan liikuda edasi teie teiste teooriate juurde. Kuid minu küsimus on: kas olete suutnud treenida mõnda oma sügava õppimise algoritmist, et sellest tegelikult unistada?
Mõned esimestest algoritmidest, mis võisid õppida varjatud üksustega töötama, olid Boltzmanni masinad. Nad olid äärmiselt ebaefektiivsed. Kuid hiljem leidsin viisi, kuidas töötada lähendustega, mis osutusid tõhusaks. Ja see oli tegelikult tõukeks sügava õppimisega töö jätkamisele. Need olid asjad, mis treenisid korraga ühte kihti funktsiooniandureid. Ja see oli Boltzmanni piirava masina tõhus vorm. Ja nii ta siis tegiki sedalaadi vastupidist õpet. Kuid selle asemel, et magama jääda, võiks ta iga andmetähise järel natuke fantaseerida.
Olgu, nii et androidid unistavad tegelikult elektrilistest lammastest. Liigume edasi teooriateni kaks, kolm ja neli
Teist teooriat nimetati ärkveloleku algoritmiks. Peate koolitama generatiivset mudelit. Ja teil on idee luua mudel, mis suudab andmeid genereerida, millel on funktsioonidiandurite kihid ja mis aktiveerib kõrgema ja madalama kihi ja nii edasi, kuni pikslite aktiveerimiseni - sisuliselt pildi loomine. Kuid sa tahaksid talle midagi muud õpetada. Tahaks, et see andmed ära tunneks.
Ja nii peate tegema kahe faasiga algoritmi. Ärkamisfaasis tulevad andmed sisse, ta proovib neid ära tunda ja äratundmiseks kasutatavate seoste uurimise asemel uurib ta generatiivseid seoseid. Andmed tulevad, aktiveerin peidetud üksused. Ja siis ma üritan neid peidetud üksusi õpetada nende andmete taastamiseks. Ta õpib rekonstrueerima igas kihis. Kuid küsimus on, kuidas õppida otseühendusi? Nii et mõte on selles, et kui oleksite teadnud otseühendusi, võiksite õppida pöördühendusi, kuna võiksite õppida tagurpidi insenere.
Nüüd selgub ka, et kui kasutate vastupidiseid liitumisi, saate õppida ka otseseid liitumisi, sest võite lihtsalt alustada ülaosast ja genereerida mõned andmed. Ja kuna te genereerite andmeid, teate kõigi varjatud kihtide olekuid ja saate nende olekute taastamiseks otsida otseühendusi. Ja siin juhtub, mis juhtub: kui alustate juhuslikest ühendustest ja proovite kasutada mõlemat faasi vaheldumisi, siis õnnestub. Selleks, et see hästi toimiks, peate proovima erinevaid võimalusi, kuid see töötab.
Olgu, kuidas on lood kahe teise teooriaga? Meil on jäänud vaid kaheksa minutit, ma arvan, et mul pole aega kõige kohta küsida
Andke mulle veel üks tund ja ma räägin teile kahe teise kohta.
Räägime sellest, mis edasi saab. Kuhu su uurimistöö suund on? Milliseid probleeme proovite praegu lahendada?
Lõppkokkuvõttes peate töötama millegi nimel, mille töö pole veel lõppenud. Arvan, et töötan võib-olla ka millegi nimel, mida ma kunagi ei lõpeta - nn kapslite nime all - see on teooria selle kohta, kuidas visuaalset taju tehakse rekonstrueerimise abil ja kuidas teave suunatakse õigetesse kohtadesse. Kaks peamist motiveerivat tegurit olid see, et tavalistes närvivõrkudes saadetakse teave, kihi tegevus lihtsalt kuskile automaatselt ja te ei otsusta, kuhu see saata. Kapslite idee oli teha otsuseid, kuhu teavet saata.
Nüüd, kui hakkasin tegelema kapslitega, on Google'i väga nutikad inimesed leiutanud trafod, mis teevad sama. Nad otsustavad, kuhu teave edastada, ja see on suur võit.
Tuleme järgmisel aastal tagasi, et rääkida unelmateooriatest number kolm ja number neli.
Ilja Khel
