Viimase 10 aasta jooksul oleme tänu niinimetatud süvaõppe meetodile saanud parimad tehisintellekti süsteemid - näiteks nutitelefonides olevad kõnetuvastused või Google'i uusim automaatne tõlkija. Sügav õppimine on tegelikult muutunud uueks trendiks juba kuulsates närvivõrkudes, mis on olnud moes ja tulevad välja juba üle 70 aasta. Neuraalvõrke pakkusid esmakordselt välja Warren McCullough ja Walter Pitts 1994. aastal, kaks Chicago ülikooli teadlast. 1952. aastal läksid nad tööle Massachusettsi tehnoloogiainstituuti, et panna alus esimesele tunnetusosakonnale.
Neuraalvõrgud olid üks peamisi uurimisliinid nii neuroteaduste kui ka arvutiteaduse alal kuni 1969. aastani, mil legendi kohaselt tapsid nad MIT-i matemaatikud Marvin Minsky ja Seymour Papert, kes aasta hiljem said MIT-i uue tehisintellekti labori kaasjuhtideks.
Selle meetodi taassünd 1980-ndatel, uue sajandi esimesel kümnendil varjutati pisut varju ja naasis fantaasiarikkuse saatel graafikakiipide uskumatu arengu ja nende töötlemisjõu tõttu.
"On arusaam, et ideed teaduses on nagu viiruste epideemiad," ütleb MITi kognitsiooni ja ajuteaduste professor Tomaso Poggio. „Gripiviirusi on tõenäoliselt viis või kuus peamist tüve ja üks neist tuleb tagasi kadestamisväärse 25-aastase määraga. Inimesed nakatuvad, omandavad immuunsuse ega haigestu järgmise 25 aasta jooksul. Siis ilmub uus põlvkond, kes on valmis nakatuma sama viiruse tüvega. Teaduses armuvad inimesed ideesse, see ajab kõik hulluks, peksab selle siis surma ja omandab selle suhtes immuunsuse - väsib sellest. Ideed peaksid olema sarnase sagedusega."
Kaaluküsimused
Neuraalvõrgud on masinõppe meetod, kus arvuti õpib treeningnäiteid analüüsides teatud ülesandeid täitma. Tavaliselt sildistatakse need näited eelnevalt käsitsi. Objektide tuvastamise süsteem võib näiteks absorbeerida tuhandeid sildistatud pilte autodest, majadest, kohvitassidest ja muust ning seejärel leida piltidelt visuaalseid mustreid, mis korreleeruvad kindla siltidega.
Närvivõrku võrreldakse sageli inimajuga, kus on ka selliseid võrgustikke, mis koosnevad tuhandetest või miljonitest lihtsatest töötlussõlmedest, mis on omavahel tihedalt seotud. Enamik tänapäevaseid närvivõrke on jaotatud sõlmede kihtidesse ja andmed voolavad neist läbi ainult ühes suunas. Üksiku sõlme saab seostada mitme sõlmega, mis asuvad selle all olevas kihis, kust ta andmeid võtab, ja mitme sõlmega, mis asuvad ülal asuvas kihis, kuhu ta andmeid edastab.
Reklaamvideo:
Sõlm määrab igale sisenevale lingile numbri - "kaal". Kui võrk on aktiivne, saab sõlm kõigi nende ühenduste jaoks erinevaid andmekogumeid - erinevad numbrid - ja korrutab vastava kaalu abil. Seejärel liidab ta tulemused ühe numbri moodustamiseks. Kui see arv jääb allapoole läve, ei edasta sõlm andmeid järgmisele kihile. Kui arv ületab läve, "ärkab" sõlm, saates numbri - kaalutud sisendandmete summa - kõigile väljuvatele ühendustele.
Neuraalvõrgu treenimisel seatakse kõik selle kaalud ja läved algselt juhuslikus järjekorras. Treeningu andmed suunatakse alumisse kihti - sisendkihti - ja läbib järgnevaid kihte, korrutades ja liites keerukalt, kuni lõpuks saabuvad, juba muundatud, väljundkihiks. Treeningu ajal kohandatakse pidevalt kaalu ja läve, kuni samade siltidega treeningute andmed annavad sarnaseid järeldusi.
Mõistus ja masinad
Neuruvõrkudel, mida McCullough ja Pitts kirjeldasid 1944. aastal, olid nii künnised kui ka kaal, kuid need polnud kihtide kaupa organiseeritud ja teadlased ei täpsustanud ühtegi konkreetset õppemehhanismi. Kuid McCullough ja Pitts näitasid, et närvivõrk suudab põhimõtteliselt arvutada mis tahes funktsiooni, nagu iga digitaalarvuti. Tulemus oli rohkem neuroteaduse kui arvutiteaduse valdkonnast: tuli eeldada, et inimese aju võib vaadelda kui arvutusseadet.
Neuraalvõrgud on jätkuvalt neurobioloogiliste uuringute väärtuslik vahend. Näiteks reprodutseerisid võrgu üksikud kihid või kaalu ja läve kohandamise reeglid inimese neuroanatomia ja kognitiivsete funktsioonide täheldatud iseärasusi ning mõjutasid seega seda, kuidas aju teavet töötleb.
Esimest treenitavat närvivõrku, Perceptroni (või Perceptroni) demonstreeris Cornelli ülikooli psühholoog Frank Rosenblatt 1957. aastal. Perceptroni disain sarnanes moodsa närvivõrguga, välja arvatud see, et sellel oli ühekordne reguleeritavate raskuste ja künnistega kiht, mis olid sisend- ja väljundkihtide vahel.
"Perceptroneid" uuriti aktiivselt psühholoogias ja arvutiteaduses kuni aastani 1959, mil Minsky ja Papert avaldasid raamatu "Perceptrons", mis näitas, et täiesti tavaliste tajumisarvutuste tegemine oli aja mõttes ebapraktiline.
"Muidugi kaovad kõik piirangud, kui muudate masinad pisut keerukamaks, näiteks kahes kihis," ütleb Poggio. Kuid sel ajal oli raamat närvivõrkude uurimisel jahutavat mõju avaldanud.
"Neid asju tasub ajaloolises kontekstis kaaluda," ütleb Poggio. “Selle tõestuseks oli programmeerimine keeltes nagu Lisp. Mitte kaua enne seda kasutasid inimesed vaikselt analoogarvuteid. Tollal polnud täiesti selge, milleni programmeerimine viib. Ma arvan, et nad ületasid seda natuke, kuid nagu alati, ei saa kõike jagada mustaks ja valgeks. Kui mõelda sellele kui konkurentsile analoog- ja digitaaltöötluse vahel, siis nad võitlesid selle eest, mida vaja oli."
Perioodilisus
1980. aastateks olid teadlased aga välja töötanud algoritmid närvivõrkude kaalu ja künniste muutmiseks, mis olid piisavalt tõhusad võrkude jaoks, millel on rohkem kui üks kiht, eemaldades paljud Minsky ja Paperti tuvastatud piirangud. Selles piirkonnas on toimunud renessanss.
Kuid mõistlikust vaatepunktist oli närvivõrkudes midagi puudu. Piisavalt pikk treening võib viia võrguseadete muutmiseni, kuni see hakkab andmeid kasulikult klassifitseerima, kuid mida need seaded tähendavad? Milliseid pildi tunnuseid objekti tuvastaja vaatab ja kuidas see neid autode, majade ja kohvitasside visuaalsete allkirjade moodustamiseks kokku lõikab? Üksikute ühendite massi uuring sellele küsimusele ei anna vastust.
Viimastel aastatel on arvutiteadlased hakanud leidlike meetoditega välja töötama närvivõrkude poolt vastuvõetud analüütilisi strateegiaid. Kuid 1980ndatel olid nende võrkude strateegiad arusaamatud. Seetõttu asendati sajandivahetusel neuraalvõrgud vektormasinatega, mis on puhas ja elegantne matemaatika põhinev masinaõppe alternatiivne lähenemisviis.
Hiljutine huvi närvivõrkude vastu - sügav õppimisrevolutsioon - on võlgu mängutööstusele. Kaasaegsete videomängude keerukas graafika ja kiire tempo vajavad riistvara, mis suudab trendidega sammu pidada, mille tulemuseks on GPU (graafikatöötlusseade), kus on ühes kiibis tuhandeid suhteliselt lihtsaid töötlemissüdamikke. Teadlased mõistsid peagi, et GPU arhitektuur sobib närvivõrkude jaoks ideaalselt.
Kaasaegsed GPU-d võimaldasid ehitada 1960. aastate võrgud ja 1980. aastate kahe- ja kolmekihilised võrgud tänapäeva 10-, 15- ja isegi 50-kihilisteks kimpudeks. Selle eest vastutab sõna "sügav" süvaõppes. Võrgu sügavusele. Sügav õppimine on praegu kõige tõhusamate süsteemide eest vastutav peaaegu kõigis tehisintellekti uuringute valdkondades.
Kapoti all
Võrgu läbipaistmatus muretseb endiselt teoreetikuid, kuid selles osas on tehtud edusamme. Poggio juhib intelligentsuse teoreetiliste aluste uurimisprogrammi. Hiljuti avaldasid Poggio ja tema kolleegid neuraalvõrkude teoreetilise uuringu kolmes osas.
Esimene osa, mis avaldati eelmisel kuul ajakirjas International Journal of Automation and Computing, käsitleb arvutusi, mida sügava õppe võrgud saavad teha ja kui sügavad võrgud kasutavad ära madalad. Teine ja kolmas osa, mis avaldati loengutena, käsitlevad globaalse optimeerimise väljakutseid, see tähendab, tagades, et võrk leiab sätted, mis sobivad kõige paremini tema koolitusandmetega, ja kui võrk mõistab oma koolitusandmete eripära nii hästi. mis ei saa üldistada samade kategooriate muid ilminguid.
Ees on veel palju teoreetilisi küsimusi, millele tuleb vastused anda. Kuid on lootust, et närvivõrgud suudavad lõpuks lõhkuda nende põlvkondade tsükli, mis neid kuumusesse ja mõnikord külmasse tormavad.
ILYA KHEL
