Így szól a világ egyik leghíresebb száma közvetlenül a zenét hallgató ember agyából kiolvasva

2023 / 08 / 21 / Bobák Áron
Így szól a világ egyik leghíresebb száma közvetlenül a zenét hallgató ember agyából kiolvasva
A Kaliforniai Egyetem kutatói agy-számítógép implantátummal ellátott betegeket kértek meg arra, hogy hallgassák meg az Another Brick in the Wall egy részletét, majd az eközben rögzített adatokat visszaalakították hangfájllá.

Bár az Elon Musk által elképzelt, az embereket szinte szuperképességekkel felruházó agy-számítógépek egyelőre még a távoli jövő zenéje, a technológiát orvosi területen már ma is egyre szélesebb körben használják betegek gyógyítására. Hogy csak néhány példát mondjunk a közelmúltból: a John Hopkins Egyetemen kifejlesztett eljárás segítségével lehetővé vált, hogy egy mozgáskorlátozott beteg önállóan egyen az agyhullámaival irányított robotkar segítségével, a spanyol Miguel Hernández Egyetem kutatói egy 16 éve megvakult nő látását adták vissza a látásért felelső agyterület stimulálásával, a Brown Egyetem által kifejlesztett vezeték nélküli eszközt két gerincvelősérültnél alkalmazták sikerrel, akik így képesek voltak a gondolataikkal irányítani egy számítógépet, nemrég pedig svájci kutatók egy agy-gerinc implantátum segítségével adták vissza egy deréktól lefelé megbénult betegnek a mozgás szabadságát.

Az agy-számítógép interfészeket emellett évek óta alkalmazzák epilepsziás betegeknél is, akiknek az agyába bizonyos esetekben úgynevezett intrakraniális elektroenkefalográfot (iEEG) ültetnek. Ezt az eljárást azoknál a betegeknél alkalmazzák, akik nem reagálnak a gyógyszeres kezelésre, így az egyetlen út a gyógyuláshoz az epilepsziát okozó agyszövet eltávolítása. A beavatkozás során az idegsebészek több ezer elektródát ültetnek a páciensek agykérgébe, amelyek segítségével néhány milliméteres pontossággal tudják megállapítani, hogy mely agyterület okozza a rohamokat, így a gócot anélkül tudják eltávolítani, hogy az agy többi részében kárt tennének.

Egy ilyen kezelés természetesen hosszú időt vesz igénybe, hiszen a pontos diagnózishoz napokig vagy akár hetekig kell megfigyelni az agyműködést. Ezt használták ki a Kaliforniai Egyetem Berkeley-i kampuszának kutatói is, akik 2012-ben és '13-ban 29, kezelés alatt álló beteget kértek meg rá, hogy a fennmaradó időben segítsenek egy másik kutatásban. Ezeknek a betegeknek összesen 2668 elektródát ültettek az agyába, amelyek közül 347 elektróda azt is képes volt érzékelni, hogy hogyan dolgozza fel az agyuk a hallott zenét. A kísérlet résztvevőinek nem volt más dolguk, mint hogy meghallgassanak egy részletet a Pink Floyd 1979-es Another Brick in the Wall (Part 1) című számából, miközben rögzítik az agyuk neurális aktivitását.

A PLOS Biology című szakmai folyóiratban néhány nappal ezelőtt publikált tanulmány szerint a kutatók az így kinyert adatokat csak évekkel később tudták elkezdeni feldolgozni, ugyanis az ehhez szükséges algoritmus csak 2017 környékére érte el azt a szintet, hogy képes legyen dekódolni az eredményeket. A mesterséges intelligencia segítségével végül sikerült pontosan meghatározni, hogy a hallott zene az agy mely területein váltott ki aktivitást, a kutatók pedig végeredményként egy olyan spektrogramot kaptak, ami vizuálisan ábrázolta a hangfrekvenciák időbeli változását. Ezt később visszaalakították hangfájllá, azt remélve, hogy az eredmény közelíteni fog az eredeti számhoz.

Mielőtt megmutatnánk, hogy mit kaptak végeredményként, érdemes meghallgatni a számnak azt a verzióját is, amit az eredeti dalból nyertek ki a kutatók úgy, hogy azt átalakították egy olyan spektogrammá, ami csak a magnitúdót vette figyelembe, majd ebből a spektogramból létrehoztak egy új hangfájlt. Ha a technológia tökéletesen működne, elvileg valahogy így kéne szólnia az emberek fejéből kiolvasott dalrészletnek.

Ez pedig az a verzió, amit a 29 páciens megfigyelése során kinyert adatokból raktak össze egy algoritmus segítségével:

A kutatók egy másik változatot is közöltek, amely csak egy páciens adataira támaszkodik, mégpedig úgy, hogy a 347 helyett csak 61 elektróda volt aktív.

Ahogy az a fenti példákból is látszik, attól egyelőre még messze járunk, hogy a mai BCI technológiával pontosan rekonstruálható legyen az emberek által hallott zene, azonban mindenképpen figyelemre méltó, hogy az eredeti szám bizonyos elemei elég jól felismerhetők a dekódolt verziókban is.

Robert Knight, a tanulmány egyik szerzője a Live Science-nek nyilatkozva elmondta, hogy bár a BCI készülékek arra már ma is alkalmasak, hogy szavakat olvassanak ki az emberek agyából, a technológia arra még alkalmatlan, hogy a hangmagasságot, a hanglejtést, a ritmust és egyéb prozódiai elemeket érzékeljen. A kutatók így azt remélik, hogy az eredményeik hozzájárulhatnak ahhoz, hogy azok az emberek, akik csak gépek segítségével tudnak kommunikálni a külvilággal (például a bezártság szindrómában szenvedők) sokrétűbben tudják kifejezni az érzéseiket.

(A cikkben közölt hanganyag forrása: Phys.org/Bellier et al., 2023, PLOS Biology, CC-BY 4.0, Borítókép: Getty Images)


Hiánypótló funkcióval bővült a világszerte használt magyar szoftver
A memoQ az egyik legnépszerűbb fordítástámogató szoftver a szakmabeliek körében, a szoftver webes változata már a képernyő-felolvasó programokkal is kompatibilis, így biztosítva, hogy a vakok és gyengénlátók is önállóan tudják használni a szolgáltatást.
Itt tart ma a szexipar, nézz körül a Vágyaim.hu-nál, milyenek 2024-ben az okos-szexeszközök!
memoQ Lányok napja: a pályaválasztásról – nem csak lányoknak
memoQ Lányok napja: a pályaválasztásról – nem csak lányoknak
Véget ért a memoQ  Lányok napja, ami 2019 óta segíti a pályaválasztás előtt álló lányokat, hogy igazán kiteljesedjenek karrierjükben. Szenzitíven és nyitottan álltak a fiatalokhoz, kérdezték őket a digitális trendekről is: a TikTok az új YouTube, a Facebook régóta a boomereké, chatelni pedig már csak Instagramon szokás – beszámoló
Mire képes ma valójában a genetika, és mi az, ami csak porhintés?
Mire képes ma valójában a genetika, és mi az, ami csak porhintés?
A radiocafé Kávézó a világ végén című műsorának vendége Dr. Varga Máté egyetemi docens, az ELTE TTK Biológiai intézetének, Genetikai tanszékének az oktatója volt.
Ezek is érdekelhetnek
HELLO, EZ ITT A
RAKÉTA
Kövess minket a Facebookon!
A jövő legizgalmasabb cikkeit találod nálunk!
Hírlevél feliratkozás

Ne maradj le a jövőről! Iratkozz fel a hírlevelünkre, és minden héten elküldjük neked a legfrissebb és legérdekesebb híreket a technológia és a tudomány világából.



This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.