Kiderült, hogy meglepően hasonló módon gondolkoznak a mély neurális hálók

2024 / 03 / 13 / Bobák Zsófia
Kiderült, hogy meglepően hasonló módon gondolkoznak a mély neurális hálók
Összehasonlították a neurális hálók működését és az összes konfiguráció esetében nagyon hasonló mintákat fedeztek fel a tanulási metódusban.

A biológiai neurális hálók mesterséges változatai nagy szerepet játszanak a gépi tanulásban és ezáltal a nyelvfeldolgozási vagy képfelismerő programokban, vagyis a mesterséges intelligencia olyan alkalmazási területein, amelyek ma már a mindennapok részét alkotják. A mély neurális hálók bonyolult, többrétegű struktúrát alkotnak és számos formát felvehetnek, attól függően, hogy milyen elrendezéssel, mérettel vagy éppen optimalizálási metódussal alakítják ki őket. Egy új tanulmány szerint azonban a mélyben nagyon hasonló mintázatok fedezhetőek fel a tanulási folyamat tekintetében, azaz a hálózatok meglepően hasonlóan "gondolkodnak".

A gondolkozás egy mesterséges rendszer esetében persze nem az emberivel egyenértékű értelmi tevékenységet jelent, hanem annak a műveletnek a megvalósulását, aminek következtében a rendszer képessé válik nagy pontossággal felismerni és osztályozni a betáplált vizuális vagy nem vizuális adatokat. Ennek a procedúrának a lefolyását vizsgálták a Cornell Egyetem, a Pennsylvania Egyetem és a Brigham Young Egyetem kutatói, egy olyan technikával, amit korábban az univerzum és a lehetséges univerzumok feltérképezéséhez és összehasonlításához fejlesztettek ki. A Cornell Egyetem által replika teóriának nevezett módszerrel egy magas dimenziójú (bonyolultabb) térben lehetséges alacsony dimenziójú mintázatokat kimutatni, így a neurális hálók betanítása során létrehozott komplex rendszerben is követni tudták a tanulás menetét.

A kísérletben hatféle neurális háló típust figyeltek meg: az úgynevezett teljesen összekötött neurális hálót, az All-CNN konvolúciós neuronhálót, a Small ResNet és Large ResNet reziduális hálózatokat, a ConvMixer neurális hálót és a ViT (Vision Transformer) transzformer neurális hálózatot. A hálókat különféle méretben, paraméterrel és szabályozási metódussal alkották meg, összesen 2296 konfigurációban. A betanításhoz 50 000 képet használtak fel, amelyeket a neurális hálóknak 10 kategóriába kellett besorolniuk, vagyis el kellett dönteniük, hogy a látott képen szereplő objektum egy repülőgép, autó, hajó, teherautó, vagy esetleg madár, macska, kutya, béka, szarvas vagy ló. Az ötvenezer kép és a tíz kategória összesen félmillió dimenziós teret képviselt. Ebben a magas dimenziójú térben a megfigyelések szerint a hálózatok nagyon hasonló alakzatú pályát jártak be, ami elvezette őket a képek felismeréséhez.

A tanulási pályái a különböző felépítésű mély neurális hálóknak a probabilisztikus elosztás feltűnően alacsony dimenziós terében játszódnak le

- írják a tanulmányban a kutatók.

A neurális hálók működésének megértése a későbbi fejlesztések szempontjából fontos lehet és a kutatók által használt módszerrel megfigyelhetővé válik, hogy a legsikeresebb hálózatok valójában hogyan tanulnak és milyen jellemzők kötik össze őket. Ez pedig elvezetheti a mérnököket a még hatékonyabb rendszerek megalkotásához, amelyek a következő generációs modelleket működtetik majd.

(Fotó: David_SMC/Pixabay, Cornell Egyetem)


Így lettek a szexuális játékszerekből digitális kütyük
Így lettek a szexuális játékszerekből digitális kütyük
Lassan már senkit sem lep meg, hogy egy intim segédeszköznek legalább olyan jól kell tudnia csatlakoznia a wifihez vagy egy telefonhoz, mint a viselőjéhez, használójához.
A robotkutya bármilyen körülmények között talpra áll
A robotkutya bármilyen körülmények között talpra áll
A Deep Robotics alapos tesztelésnek vetette alá az általuk fejlesztett négylábú robotot, de a gép jól vette az akadályokat.
Ezek is érdekelhetnek
HELLO, EZ ITT A
RAKÉTA
Kövess minket a Facebookon!
A jövő legizgalmasabb cikkeit találod nálunk!
Hírlevél feliratkozás

Ne maradj le a jövőről! Iratkozz fel a hírlevelünkre, és minden héten elküldjük neked a legfrissebb és legérdekesebb híreket a technológia és a tudomány világából.



This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.