Amióta a nagy nyelvi modellek (LLM-ek) segítségével működő, generatív mesterséges intelligenciák megjelentek a hétköznapjainkban, újra és újra felmerül, hogy melyik mire képes, miben igazán otthonos, illetve mennyivel jobb a versenytársainál. Ennek természetesen vannak objektív okai és eredményei, hiszen az, hogy a ChatGPT korábban még nem fért hozzá az aktuális internetes tartalmakhoz, vagy hogy kisebb tudásanyagon edzették, mint utódját, a GPT-4-et, látványosan befolyásolta a teljesítményét.

Mostanra szerencsére nem csak az OpenAI MI-jének a különböző verziói, hanem már a Google vagy a Meta rendszerei is versengenek egymással, a független szereplőkről nem is beszélve, vagyis egyre bonyolultabb lesz megmondani, hogy

melyikük a chatbotok éppen regnáló királya.

Az objektív összehasonlítások mellett, amilyen például a Matematikai Diákolimpia feladatsora, vagy az MMLU, hasznosak lehetnek az olyan oldalak, mint a Chatbot Arena. Ott feltehetünk egy kérdést két chatbotnak, megkapjuk a válaszaikat, majd teljesen szubjektíven megítélhetjük, hogy melyik a jobb, esetleg mindkettő ugyanolyan jó, vagy mindkettő ugyanolyan rossz. Egy vélemény persze semmit sem ér, de mindez többszázezer értékelés után már legalább olyan értékes információkat nyújt, mint a sztenderdizált mérések.

Az Ars Technica most arról számolt be, hogy míg korábban a GPT-4 Turbo gyakorlatilag mindent vitt, addig most először trónfosztásnak lehettünk szemtanúi. A volt OpenAI-alkalmazottak által indított, a börtönbüntetésre ítélt kriptomogul, Sam Bankman-Fried, az Amazon és a Google befektetéseivel is gazdálkodó Anthropic szoftvere ugyanis átvette a vezetést a legjobb chatbotok versenyében. A Claude 3 Opus Európában egyelőre csak korlátozottan elérhető, de lehetséges, hogy mire mi is kipróbálhatjuk, veszélyben lesz az első helye: a GPT-4 már több mint egy éves, és hosszabb ideje hallani róla, hogy úton az utódja, de a Google Gemini Prója is ott toporog a dobogó közelében. Az mindenesetre hatalmas eredmény, hogy míg jobbra-balra repkednek a monopóliumvádak a technológiai cégeknél, a mesterséges intelligencia területén tudnak még ilyen, meglepő eredmények születni.

(Borítókép: Bing Képgenerátor/DALL-E 3)