Noor tehisintellektiga tegelev ettevõte Cerebras Systems on valmis maailmale näitama Cerebras WSE (Cerebras Wafer Scale Engine) - ajaloo suurimat, võimsaimat ja nutikaimat pooljuhtkiipi.
Cerebras WSE-l on 1,2 triljonit transistorit, põhilised elektroonilised lülitid, mis on ränilaastude ehitusplokid. Võrdluseks - Inteli esimesel 1974. aastal välja antud protsessoril 4004 oli 2300 transistorit, viimasel Advanced Micro Devices protsessoril aga 32 miljardit. Kuid siin pole küsimus üldse transistoride arvust.
Suurem osa kiipidest maailmas on tegelikult kiibikomplekt, mis on loodud 12-tollise ränivahvli alusel - neid toodetakse spetsiaalsetes tehastes tohutute partiidena. Kuid Cerebras Systems kiip on 400 000 südamikku, mis on ühendatud ühe plaadiga. Ühendused on loodud töötama suurtel kiirustel, mistõttu töötab triljon transistorit ühena. Kuid see pole veel kõik.
Praeguseks on maailma suurima kiibi loonud Samsung - selle struktuur on üles ehitatud 2 triljonile transistorile. Kuid Samsungi kiip on lihtsalt tohutu mälukaart ja Cerebrasi kiip on kõige keerukam närvivõrk, mis on spetsiaalselt loodud tehisintellekti treenimiseks. Cerebrasi kiibil on 400 000 südamikku 42 225 ruutmillimeetri kohta. See on 56,7x suurem kui Nvidia suurim GPU, kõigest 21,1 miljardit transistorit.
Veel üks Cerebras WSE omadus on see, et kiip on konstrueeritud suunama ümber defektsete alade.
Kiibi valmistamise ajal ei ole võimalik tervet ränivahvlit täiustada, seetõttu loob tootmisprotsess kasutuskõlbmatuks alad. Nvidia, Intel ja muud kiibitootjad saavad probleemist mööda lihtsalt: nad nikerdavad tootmisvahvel “õigeid” kiibisid ja viskavad ülejäänud ära. Kuid seda ei saa teha, kui ränivahvli iga kiip on osa ühisest vooluringist. Seetõttu pidid Cerebrad ehitama koondatud vooluringid, nii et ühe neist rikke või läbipõlemise korral võtaksid ülejäänud funktsioonid üle. See tähendab, et tegelikult on Cerebrase kiip miniatuurne Internet, millel on oma serverid ja tööjaamad. Ja kõik need jaamad on mõeldud ühe tehisintellekti teenimiseks.
Ettevõtted, kes arendavad oma AI-d, on tänapäeval kiibitehnoloogia peamised tarbijad, ostes osi suurtes kogustes. Ja kasutatavate kiibide suurus on AI koolitusprotsessis kriitilise tähtsusega.
Reklaamvideo:
Google, Facebook, OpenAI, Tencent, Baidu ja paljud teised väidavad, et tänapäevase AI põhimõtteline piirang on see, et mudelite koolitamine võtab liiga kaua aega. Näiteks veedab Nvidia superarvuti, mis koosneb kümnetest nüüdisaegsetest GPU-dest, mitu nädalat koodi tutistama - see tähendab neutronvõrgu õppima.
Probleemi lahendus oleks suurendada kiipide arvu arvutis, kui aga kokku pannakse üle kaheksa kiipi, siis arvuti jõudlus enam ei kasva, vaid väheneb, kuna teabe vahetamisel kogunevad vead.
Arendajad ise kirjeldavad oma projekti järgmiselt: “AI kõige raskem osa on andmete liikumine. Neuraalvõrgu koolitamine nõuab igal ajal paralleelselt tuhandete toimingute tegemist ja kiibid peavad nende paralleelsete toimingute tegemise ajal pidevalt suhtlema. Kuid mitme IC-ga arvutid lagunevad, üritades andmeid IC-de vahel üle kanda aeglaste juhtmete kaudu, mis seovad need omavahel PCB-l. Teil oli vaja midagi, mis liigutaks andmeid kiibi enda kiirusel. Lahendus oli võtta suurim plaat, mida võite leida, ja lõigata sellest suurim kiip."
Mälu on mis tahes arvuti arhitektuuri põhikomponent. Arvutusüksustele lähemal asuv mälu tagab andmete teisaldamisel kiiremad arvutused, väiksema latentsuse ja parema energiatõhususe. Kuid stantsi suurus on piiratud ja suurem osa arvuti mälust asub väljaspool seda. Cerebras Systems möödus sellest probleemist, andes igale südamikule juurdepääsu 18 gigabaidisele sisemälule. Selle tulemusel on Cerebras Wafer Scale Engine'is 3000 korda rohkem mälu kui kõige arenenumal graafikaprotsessoril, pakkudes samal ajal 10 000 korda rohkem ribalaiust.
Uue kiibi esimesed proovid tulevad müüki septembris, samal ajal kui Cerebras Systems, rikkudes kõiki arvutitööstuse kehtivaid reegleid, rikkus ka arvutusüksuste ja kiipide tootmise eraldamise põhimõtet. Cerebrasi vahvlimasinat hakatakse turustama ühe ettevõtte kavandatud seadmena, mis on integreeritud keerukasse veejahutusvõrku, kuna kiip tekitab äärmuslikku kuumust, tarbides nii väikesel alal 15 kilovatti.
Cerebras Systems'i asutaja ja tegevdirektor ütleb: „Alates maast kuni AI-ga töötamiseni sisaldab Cerebras WSE põhimõttelisi uuendusi, mis viivad lõpule aastatuhandete pikkuse seisakut praeguse tehnika taseme osas. Selle tulemusel pakub Cerebras WSE moodsate moodullahendustega võrreldes jõudluse kasvu sadu või tuhandeid kordi. Ja seda kõike naeruväärse energiatarbimisega ja vähe ruumi."
Toimetuskommentaar
Esimesed Cerebras WSE-l põhinevad AI-testid näitavad, et ülesanded, mida Nvidia kõrgeim AI lahendab nädalate ja kuude jooksul, lahendab Cerebras WSE minutiga, mis on justkui rõõmu valmistav. Vandenõuteoreetikutel on selles osas siiski vähe rõõmu.
Me kõik mäletame (igal juhul meie lugejate vanemat põlvkonda) mudeli "bravuurne 90ndate" arvutibuumi, kui paari aasta pärast hüppas arvutite võimsus suurusjärku. Peagi ei ostnud keegi inimene, kes kiirgas uhkusega, 16 megabaidise mäluga arvutit, kui lühikese aja pärast see mälu L2 vahemälu kolis.
Alates 2000. aastate algusest näis aga arvutitööstus olevat peatunud: kui 1990. ja 2000. tüüpi arvutid polnud võrreldavad, siis 2000. ja 2010. aasta mudelite arvutite vahel erilist vahet polnud - võimsus kasvas märkimisväärselt, kuid mitte suurusjärkude kaupa. Ja nüüd oleme tunnistajaks teise Inteli 8086 sünnile ja nüüd hüppavad Cerebras WSE liini võimalused samas tempos: kõik lisandite ja tuumaühenduste probleemid on nüüd lahendatud.
Me ei tea juhtivate tootjate kaasaegsete AI kõiki võimalusi, kuid üldise arvamuse kohaselt pole need tooted veel AI ja nad on endiselt kaugel täieõiguslikust mõtlemisseadmest. Sellegipoolest ei astunud Cerebras WSE mitte ainult sammu õiges suunas, vaid hüppas kümme aastat, kui mitte veelgi kaugemale, ja nüüd on SkyNet juba üsna prognoositav väljavaade, mida saab sel aastal realiseerida 2025. aastal.
Pealegi pole SkyNetis erinevalt tuimadest homosapiensist edasiseks arendamiseks palju aega vaja: piisab, kui närvivõrk alustab vähemalt natuke iseseisvalt mõtlemist - ja see modifitseerib ennast hetkega, mille järel ta alustab tuumasõda või midagi sellist. Ja see on ikkagi väga hea võimalus.
Kui triljoni transistoriga mälupulk on tehtud Samsungi või Nvidia poolt, saab seda kõike ikkagi kuidagi selgitada, kuna mäluloogika ahelad on suhteliselt lihtsad ja peaaegu kogu piirkonnas ühesugused. Kuid 400 000 südamiku arendamine, mis künnavad samal ajal, on ka mõned duplikaadid ja mõned serverijaamad ja kurat teab mida. Ja selleks peate kirjutama ka juhtimisprogrammid, mis on kirjutatud juba aastaid. Siis tuleb programme testida. Kuid mille peal neid katsetati, kui seade valmistati alles nüüd?
Teisisõnu, tundub, et "marslased" on taas avanud oma prügikastid kohalike põliselanike jaoks. Ja on suuri kahtlusi, kas see tehti selleks, et mängijatele meeldida - tõenäoliselt on siin ka mõni muu ülesanne. Ja meile tundub see järgmine.
Viimastel aastakümnetel esitavad nutikad inimesed üha enam endalt elektrooniliste tehnoloogiate päritolu, universaalse kiibistamise küsimuse, mille puhul pole selge, miks seda vaja on jne. Et oma ajusid kuidagi lollitada, tulid nad välja muinasjutuga "kvantarvuti" kohta, mille põhimõtteid ei mõista isegi inimesed, kes on ametisse nimetatud ametlikeks "arendajateks". Ja kujutage nüüd ette keskmise Mehhiko koduperenaise õudust, kelle uus mobiiltelefon ei mõtle mitte ainult temast paremini, vaid kannab ka pardal mingit "kvantarvutit". See tähendab, et kohalikele põliselanikele on selline loll vastuvõetamatu - nad hakkavad uppudes hulluks minema.
Seetõttu otsustasid mõned targad “marslased” näidata planeedi Maa kahepoolsetele aborigeenidele lihtsamat imet - põhimõtteid, mida NASA vanemad saavad vähemalt kuidagi lahti seletada. Ja kui põliselanikud selle jutu aktsepteerivad, näitavad „marslased“rahvastele muid maagilisi imesid. Näiteks pistavad nad selle Cerebras WSE mobiiltelefoni ja müüvad selle saja dollari eest. Moodsate vidinate ostjate jaoks on see muidugi väga lahe ja hea, kuid inimesed mõtlevad kohe natuke targemaks: mis siis on erinevate tõsiste organisatsioonide, näiteks NSA, FBI ja CIA serveriruumides? Millised on võimalused elanike mõtete ja käitumise kontrollimiseks?
