A SignAll évekkel ezelőtt kezdte fejleszteni a mesterséges intelligencia alapú jelnyelvi szoftverét, amely minden eddiginél könnyebbé teszi a jelnyelv elsajátítását bárki számára. Az alkalmazást először az amerikai jelnyelv, az ASL használatára tervezték, egyrészt egy amerikai jelnyelvet ismerő kollégájukkal kapcsolatos személyes tapasztalat miatt, amiről korábbi cikkünkben számoltunk be, másrészt azért, mert az ASL az egyik legjobban ismert, leggyakrabban használt jelnyelv, amelyet az Egyesült Államokban nem csak a siketek, hanem a halló emberek is gyakorta alkalmaznak.

Az applikáció tengerentúli bemutatkozása nagy sikert hozott, az Egyesült Államokban és Kanadában is sok helyen alkalmazni kezdték, többek között a Snapchat is integrálta a technológiát a különböző jelnyelvi AR lencséi (Lenses) működtetésére, amelyekkel a felhasználók akár a saját nevüket, akár olyan egyszerű kifejezéseket, mint a szeretet vagy mosoly, megtanulhatnak kéz/ujjmozdulatokkal kifejezni. Az üzenetküldésre specializálódott közösségi platform ezzel szeretné megkönnyíteni az ASL tanulását és használatát, hogy a siket és halló felhasználók közötti kommunikációt elősegítse.

A Snapchat alkalmazásán kívül tavaly szeptemberben egy másik megjelenésre is sor került: ekkortól Androidon is elérhetővé vált az AceASL, amely a telefon kamerájának felvételei által, a Google kézmozdulatokat követő technológiájával, felismeri a felhasználók kézjeleit és, miután egy siket oktató segítségével megtanítja az amerikai jelnyelvi ABC-t és számokat, valós idejű visszajelzésekkel korrigálja a helytelen kézformákat. Emellett az app részét képezi egy kvízjáték is, amellyel gyakorolni lehet a jelek felismerését.

Mivel a SignAll algoritmusai az amerikai jelnyelvre lettek kialakítva, ezért ahhoz, hogy egy másik nyelven is működni tudjon a program alapvető átalakításra volt szükség: a magyar jelnyelvre (HSL) igazított verzió létrehozásához újra kellett rögzíteni a kézformákat/mozdulatokat, valamint, mivel a jelnyelv a testbeszédre és mimikára is épít, ezért a különböző testhelyzeteket és arckifejezéseket is meg kellett tanítani a felismerést végző neurális hálónak. Ehhez a munkához a cég szakemberei magyar siketeket is bevontak, a segítségükkel készítették el a magyar jelnyelvhez illeszkedő videókat és képeket. Az átalakítást a Vodafone támogatásával végezték el, miután 2021-ben elnyerték a Vodafone Digitális Díj Digitális Oktatás kategóriájának harmadik helyezését.

"A tengerentúli sikerek után biztosak voltunk benne, hogy szeretnénk visszaadni valamit annak az országnak, ahonnan indultunk.

A Vodafone Digitális Díj lehetővé tette, hogy elvégezhessük a magyar nyelvű adaptációhoz szükséges, fejlesztői és adatgyűjtési munkát, ill., hogy az alkalmazás hazánkban teljesen ingyenes legyen." - mondta Robotka Zsolt, a SignAll Technologies Zrt alapítója.

A végeredményt, a Magyar Jelnyelvi ABC-t ingyenesen lehet letölteni a Google Play és App Store áruházakból, és bármilyen okostelefonnal, kamerával rendelkező okoseszközzel használható. Az alkalmazásban egy instruktor mutatja be a különböző jelnyelvi kézformákat és a gyakori hibákat, valamint azt is felismeri, hogy a felhasználó a jelnyelvi ABC melyik kézformáját mutatja, így könnyedén elsajátíthatjuk vele a megfelelő mozdulatokat. Az első leckében az ABC különböző jeleit lehet memorizálni és gyakorolni, valamit egy kvízben is megmérettethetjük a tudásunkat, a további szinteken több kézformából álló teljes szavak felismerését is gyakorolhatjuk.

"Magyarországon megközelítőleg 60 ezer siket ember szembesül nap, mint nap az akadálymentes kommunikáció problémájával.

Célunk, hogy az alkalmazással a lehető legtöbb felhasználót érjük el, akik így közelebbi kapcsolatba kerülhetnek a jelnyelvvel és remélhetőleg kedvet kapnak a jelnyelv mélyebb elsajátítására is a számos magyarországi képzőhely egyikén, ezáltal hozzájárulva egy befogadóbb társadalom létrejöttéhez” - mondta Robotka a magyar nyelvű alkalmazás bemutatásakor.

(Fotó: SignAll, Snapchat, Getty Images/Brian Mitchell)

Magyar találmány helyezheti új alapokra a jelnyelvtanulást Magyar startup fejleszette ki  ASL-t beszélő rendszert.