A mesterséges intelligencia rendszerek egyre inkább nélkülözhetetlen elemeivé válnak az életünknek, és nem csak azért, mert, ha akarjuk, szórakoztató Pixar figurává tudnak változtatni minket. Az első szélesebb körű érdeklődést kiváltó, eladható alkalmazások, melyek a mesterséges intelligenciát tudósok utópisztikus játékából valóban használható programokká fejlesztették (vagy redukálták) a szakértői rendszerek voltak, köztük a Mycin és a Dendral. Mindkettő az orvostudományban nyújtott segítséget (bár a Mycint végül a gyakorlatban nem használták) és az MI azóta is hatalmas előnyökhöz juttatja a kutatókat ezen a területen, ha új molekulák vagy orvosságok fejlesztéséről van szó.

A mély tanuló neurális hálózatok betanítása azonban, bármilyen gyorsan halad is, még mindig rengeteg energiát emészt fel. Mint az emberi agy, mely magolás közben nagyobb fokozatba kapcsol és rengeteg kalóriát éget el, a mesterséges agyak is extra tempóban fogyasztják az elektromos áramot, miközben tanulnak, márpedig nagyon szorgalmasan tanulnak: a legnagyobb modellek több milliárd paraméterrel dolgoznak, mint a NVIDIA tavaly megjelent 8,5 milliárdos MegatronLM-je vagy a Microsoft februárban kiadott 17 milliárd paraméteres Turing-Nlg-je (mindkettő nyelvi modellezésre lett kialakítva).

A Massachusetts Egyetem kutatói 2019-ben publikálták a tanulmányukat a mesterséges intelligencia rendszerek energiafogyasztásáról, ehhez pedig pontosan a nyelvi feldolgozó programokat vették alapul. Bár a vizsgálatok alatt a két kolosszus még nem volt elérhető, sőt az őket megelőző GPT-2-ről sem álltak rendelkezésre adatok, de a kisebbek, például a Google BERTje, a maga 110 millió paraméterével is hatalmas számokat produkált, a betanításának energiaköltsége 1507 kWh, ami 650 kg szén-dioxid termelésével jár. Ez még mindig elenyésző szám egy ember tevékenységei által produkált CO2 kibocsátásához képest, melyet évi 5000 kilóra becsültek átlagban, de egy neurális hálózatot élete során nem csak egyszer kell betanítani, valamint egyre nagyobbak és egyre kelendőbbek lesznek, így a szakértők az energiafogyasztás lefaragásán (és ezzel együtt a költségek csökkentésén) dolgoznak. Erre több módszer is kínálkozik, a Huawei például létrehozta BERT miniatűr verzióját, TinyBERT-et, aki a nagy BERT-től 97%-os eredményességgel tanul meg mindent, amit csak kell az úgynevezett transzformációs desztilláció módszerével, pedig mérete mindössze hetede az eredeti programnak. TinyBERT és a többi kicsiMI az energiahatékonyság és gyorsaság mellett még egy nagy előnnyel rendelkeznek: futtathatóak lesznek a jövőben akár okostelefonon is.

A betanítás ilyen személyre szabott formája, mely
a végfelhasználó eszközét használja tanulási terepnek, biztonságosabbá teszi a
mesterséges intelligencia applikációkat, hiszen így az adatok helyben tárolhatóak és nem
kerülnek ki a felhőbe.

Az IBM is ebbe az irányba szeretne haladni legújabb fejlesztésével, a 4 bites tanítói rendszerrel. A 4 bit, összehasonlítva például a manapság használatban lévő 32 vagy egyre inkább 64 bites számítógépekkel nagyon kevésnek tűnik, felmerülhet a kérdés, hogy vajon mennyire lehet precíz egy ilyen rendszer, nem fog e nagy hibákat véteni, miután a tanulás befejeztével munkához lát (ezt a dedukciós, következtetési folyamatot, vagyis a neurális hálózat munkáját hívják inferenciának). Bizonyos feladatokhoz, beleértve a képfelismerést vagy nyelvfeldolgozást, a kutatók szerint azonban ennyi is elég. Az eddig tanításra alkalmazott 16 lebegőpontos formátum redukálása a kísérletek alapján nem járt jelentős veszteséggel a modell pontossága szempontjából. A különböző mély neurális hálózatok a nyelvfeldolgozási feladatokban és a számítógépes látással kapcsolatos gyakorlatokon is jól szerepeltek, közben pedig hétszer olyan gyorsan és hetedannyi energiát fogyasztva tanultak.

Egy probléma áll csak az ígéretes fejlesztés útjában: 4 bites hardware egyelőre nem létezik.

A tanulmány szimulációkon keresztül bizonyította az ötlet életképességét, de a gyakorlati bevezetéséhez még össze kell hozni a 4 bites eszközt, és mire ez elkészül, lehetséges, hogy a neurális hálózatok olyan fejlődésen mennek keresztül, mely elavulttá vagy használhatatlanná teszi a metódust.

Az IBM azonban teljes gőzzel dolgozik az energiahatékonyság és gyorsaság problémájának megoldásán az MI Hardware Központban, melyet 2019-ben alapítottak, és ahol a minél kisebb, akár a 2017-ben bemutatott, 2 bites inferenciára képes chipet is felülmúló szetteket alkothatnak. A nagy versenytársak, a Google és a NVIDIA is a 8 bites formátumot helyezte kilátásba a jövőre nézve, így, amíg az embereknek tervezett gépek egyre több és több bitet igényelnek a jobb teljesítmény érdekében, a mesterséges intelligencia tanítása és működtetése úgy tűnik pont az ellenkező irányba halad és egyre kevesebbel fogja beérni az elkövetkező években.

(Forrás: MIT News, Fotó: Pixabay, Pixnio)

További cikkek a témában:
Hogyan teszi olcsóbbá és hatékonyabbá a mesterséges intelligencia a gyógyszeripart? Nemzetközi becslések szerint jelen pillanatban a gyógyszertesztek 90 százaléka megbukik, de a fennmaradóknak is kell legalább 10 év, mire forgalomba kerülhetnek. A modern technológia azonban hamarabb változtathat ezen, mint sejtenénk.
Mennyi energiát égetünk el gondolkodás közben? A sakkozók akár 6000 kalóriát is elégetnek egy nap alatt, de vajon a fokozott agyi tevékenység miatt?
Itt a chipekbe integrált folyadékhűtés A chipekben jelentős hő termelődik, gondoljunk csak a nagy teljesítményű számítógépes processzorokra, és ezt a hőt valahogyan kezelni kell, el kell vezetni, ha nem akarjuk, hogy idő előtt tönkremenjen az elektronika. A folyadékhűtés nem új megoldás erre, csakhogy eddig főképp a chipeken kívül működött.