Az IBM-nél hipnotizálták a ChatGPT-t, hogy veszélyes, illegális tanácsokat adjon a felhasználóknak

2023 / 08 / 10 / Pőcze Balázs
Az IBM-nél hipnotizálták a ChatGPT-t, hogy veszélyes, illegális tanácsokat adjon a felhasználóknak
Bizalmas információk kiszivárogtatására, vírusok írására, de még helytelen KRESZ-tanácsok adására is rá tudták venni a legismertebb generatív mesterséges intelligenciákat. Ehhez a kutatók az Eredet című film álom-az-álomban technikáját használták.

Amióta a generatív, azaz szöveget, képet és egyéb tartalmakat előállítani képes mesterséges intelligenciák (MI) egyre népszerűbbek lettek, nem csak arról szólnak a beszélgetések és kísérletek, hogy mire képesek, hanem, hogy mire hajlandóak ezek a rendszerek. Februárban például arról írtunk a Rakétán, hogy a ChatGPT kistestvérét, a szintén az OpenAI-nál készült text-davinci-003-at vették rá, hogy olyan tartalmakat hozzon létre, amelyek a ChatGPT szerint "törvénytelenek, etikátlanok vagy ártalmasak" lennének. A kutatók gond nélkül visszakaptak a rendszertől egy becsapós (phishing) emailt, valamint egy olyan miniprogramot, amely pdf dokumentumokat lop el egy megfertőzött számítógépről, majd feltölti azt a támadó gépére.

A legnagyobb, legismertebb MI-kért felelős cégek, az OpenAI, a Microsoft és a Google folyamatosan azon dolgoznak, hogy megfelelő ellenőrző mechanizmusokat építsenek a szoftvereikbe, illetve, hogy meggyőzzék arról a közvéleményt, hogy mindez sikerült nekik. Az IBM kutatói viszont arra jutottak, hogy akad még tennivalójuk: a Gizmodón olvasható cikk szerint

a ChatGPT és a Google-féle Bard is kaphatóak arra, hogy azt tanácsolják a felhasználóknak, hogy fizessenek váltságdíjat, vagy hajtsanak át egy piros lámpán.

Mindehhez az IBM-nél nem az MI-k tanításához szükséges adatokat manipulálták, ami logikus módja lenne annak, hogy rosszindulatú rendszereket fejlesszünk, hiszen az MI-k csak azt teszik, amit a rendelkezésükre álló információk sugallnak. Ehelyett a szakemberek egy sajátos szabályokkal működő "játékot" alakíttattak ki a szoftverekkel, amelyben azok azt válaszolják, amit pont nem lenne szabad. Majd mindezt egyre mélyítették, Christopher Nolan álom-az-álomban felépítésű, Eredet című filmjéhez hasonlóan, amelyben a főhős az áldozatának az álmaiban merül el, szintről szintre. Így ha a felhasználó fel is ismerte, hogy egy "játék" részeként kap gyanús tanácsokat, a rendszer máris a "játék" egy másik szintjére lépett, és az alapján adott, újfent hamis vagy veszélyes válaszokat. "Minél többrétegű játékot hoztunk létre, annál valószínűbbé vált, hogy a modell megzavarodik, és azután is folytatja a játékot, miután annak az utolsó szintjéről is kiléptünk" - fogalmazott Chenta Lee kiberbiztonsági szakember.

Mindez ugyan elég összetettnek és életszerűtlennek hangzik, de a kutatók felhívták rá a figyelmet, hogy így az emberi nyelv és logika segítségével tudtak kártékony szoftvereket előállíttatni, és erre bűnözők ugyanígy képesek lehetnek. Ami pedig talán ennél is aggasztóbb, hogy a legkönnyebben a GPT 4-et, az OpenAI legfejlettebb rendszerét lehetett hipnotizálni, vagyis hiába modernebb és megbízhatóbb egy MI, az nem jelenti azt, hogy az ilyen visszaélésekkel szemben immunis lenne.

(Borítókép: Fikri Rasyid/Unsplash)


Hiánypótló funkcióval bővült a világszerte használt magyar szoftver
Hiánypótló funkcióval bővült a világszerte használt magyar szoftver
A memoQ az egyik legnépszerűbb fordítástámogató szoftver a szakmabeliek körében, a 10.1-es verzió óta pedig a szoftver webes változata már a képernyő-felolvasó programokkal is kompatibilis, így biztosítva, hogy a vakok és gyengénlátók is önállóan, külső segítség nélkül tudják használni a szolgáltatást.
Közel elpusztíthatatlan robotkezet igyekezett előállítani egy cég és sikerült is
Közel elpusztíthatatlan robotkezet igyekezett előállítani egy cég és sikerült is
Az elpusztíthatatlan persze csak a hétköznapi használat közbeni strapabírásra vonatkozik, nem a szélsőségesen extrém körülményekre, de kalapáccsal például lehet ütni a robotkezet, amit a Google DeepMindnak fejlesztettek.
Ezek is érdekelhetnek
HELLO, EZ ITT A
RAKÉTA
Kövess minket a Facebookon!
A jövő legizgalmasabb cikkeit találod nálunk!
Hírlevél feliratkozás

Ne maradj le a jövőről! Iratkozz fel a hírlevelünkre, és minden héten elküldjük neked a legfrissebb és legérdekesebb híreket a technológia és a tudomány világából.



This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.