Tehisintellekti valdkonda võrreldakse sageli õlitööstusega: kui seda on ekstraheeritud ja rafineeritud, nagu ka nafta, võib saada väga kasumlik kaup. Nüüd on aga ilmne, et see metafoor laieneb. Nagu fossiilkütused, on ka sügaval õppimisel keskkonnale tohutu mõju. Uues uuringus hindasid Massachusettsi ülikooli Amhersti teadlased mitmete ühiste suurte AI-mudelite õppimise elutsüklit.
Ta leidis, et see protsess võib tekitada üle 626 000 naela (umbes 300 000 kg) süsinikdioksiidi ekvivalenti, mis on viie aasta jooksul peaaegu viis korda suurem kui tavalise auto heitkogus (sealhulgas ka auto enda tootmine).
Kuidas AI mudeleid koolitatakse?
See on vapustav kvantifitseerimine selles, mida AI teadlased on juba pikka aega kahtlustanud.
Looduslik keeles töödeldav süsiniku jalajälg
Reklaamvideo:
Selles artiklis käsitletakse loomuliku keele töötlemise mudeli (NLP) väljaõppe protsessi, mis on AI alamväli, mis tegeleb inimkeelega töötamise koolitusmasinatega. Viimase kahe aasta jooksul on NLP kogukond teinud mitmeid olulisi verstaposte masintõlke, lausete täitmise ja muude standardsete klassifitseerimise ülesannete valdkonnas. Kurikuulus OpenAI GPT-2 mudel on näiteks õnnestunud kirjutada veenvaid võltsuudiseid.
Kuid sellised edusammud nõudsid üha suuremate mudelite väljaõppimist Internetist tõmmatud lausetest sirutatud andmekogumite jaoks. See lähenemisviis on arvutuslikult kallis ja väga energiamahukas.
Teadlased vaatasid nelja mudelit valdkonnas, mis vastutab jõudluse suurimate hüpete eest: Transformer, ELMo, BERT ja GPT-2. Nad treenisid igaüks neist ühe GPU-ga päevas, et mõõta energiatarbimist.
Seejärel võtsid nad kogu koolitusprotsessi vältel tarbitud energia arvutamiseks algsetes näidisdokumentides toodud koolitustundide arvu. See kogus muudeti naela süsinikdioksiidi ekvivalendiks, mis oli kooskõlas maailma suurima pilveteenuse pakkuja Amazoni AWS-i energiaseguga.
Selles leiti, et koolituse arvutuslikud ja keskkonnakulud kasvasid proportsionaalselt mudeli suurusega ja suurenesid seejärel plahvatuslikult, kuna mudeli lõplikku täpsust kohandati. Neuraalse arhitektuuri otsing, mis üritab mudelit optimeerida, muutes närvivõrgu struktuuri järk-järgult katse-eksituse meetodil, tekitab äärmiselt suuri kulutusi ja jõudluse vähene suurenemine. Ilma selleta jättis kõige kallim BERT-mudel kogu Ameerika läbisõidu lähedale süsiniku jalajälje 1400 naela (635 kg).
Lisaks tuleks neid arvnäitajaid käsitleda ainult lähtealusena.
Teadlaste hinnangul vajas avaldamiseks väärilise lõpliku mudeli loomise ja testimise protsess 4789 mudeli koolitamist kuue kuu jooksul. CO2 ekvivalendi järgi on see umbes 35 000 kg.
Nende numbrite olulisus on kolossaalne, eriti arvestades AI-uuringute praeguseid suundumusi. Üldiselt jätab AI uurimine tõhususe tähelepanuta, kuna suuri närvivõrke peetakse mitmesuguste ülesannete jaoks kasulikeks ja piiramatu arvutusressursiga ettevõtted kasutavad neid konkurentsieelise saamiseks.
Ilja Khel
