A mesterséges intelligencia (MI) egyre inkább átszövi mindennapjainkat, a globális modellek, mint a ChatGPT, milliárdos felhasználói bázissal rendelkeznek. Ezen technológiák magyarországi elterjedése felveti a kérdést, mennyire képesek a magyar nyelv árnyalatait pontosan kezelni. A hazai fejlesztésű Racka nevű nagy nyelvi modell (LLM) éppen erre a hiányosságra kínál megoldást, célja a magyar nyelvű MI-képességek mélyítése.
Az ELTE Informatikai Kar Mesterséges Intelligencia Tanszékének kutatói a Digitális Örökség Nemzeti Laboratóriummal együttműködve hozták létre a Rackát, mely az eddigi magyar modellekhez képest jelentős előrelépést mutat. Bár nem a globális techóriásokkal versenyez, a Racka-4B modell kulcsszerepet játszhat a magyar államigazgatás és más érzékeny területek digitalizációjában. Ehhez azonban további fejlesztésekre és állami támogatásra van szükség.
A Racka-4B az első magyar szakemberek által készített, magyar nyelvű érvelő LLM, amely már logikai és gondolkodási képességekkel is rendelkezik. Az érvelő modellek, melyek a kérdéseken végigrágva, követhető gondolatmenettel jutnak el a megoldáshoz, jelentős előrelépést hoztak a komplex feladatok megoldásában. A Racka-4B egy viszonylag kis, négy milliárd paraméteres modell, melynek teljesítménye magyar nyelvi feladatokban a kutatók szerint akár kétszer akkora modellekkel is vetekszik.
Ez a modell elsősorban kísérleti célokat szolgál, a fejlesztés során a know-how megszerzése kiemelten fontos volt. A Racka-4B-t a Komondor nevű szuperszámítógépen, adatközpontban tanították, ami lehetővé teszi a skálázhatóságot és nagyobb modellek építését a meglévő tudásra alapozva. A modell tanítási korpuszában a kulturális örökségi tartalmak aránya is jelentősen magasabb, mint a korábbi kísérletekben, ami hozzájárul a mélyebb nyelvi megértéshez.
A tanítás alapját az Alibaba Cloud nyílt forráskódú Qwen3-4B modellje adta, melynek szótárából eltávolítottak a projekt szempontjából irreleváns tokeneket. Ezek helyére kifejezetten magyar nyelvre optimalizált tokeneket illesztettek be, és a rendszert úgy hangolták, hogy ezeket részesítse előnyben. A magyar szöveg aránya a tanítókorpuszban 44 százalék volt, kiegészítve angol és német adatokkal, valamint programkóddal, elkerülve az úgynevezett katasztrofális felejtést.
A globális nagy nyelvi modellek, bár képesek magyarul kommunikálni, gyakran mutatnak hibákat a szóhasználatban vagy az angolszász logikájú mondatszerkezetekben. Ennek oka, hogy a magyar nyelvű tanítókorpusz sokkal kisebb, mint a világnyelvek esetében, és a gondolkodási képességet erősítő, részletes feladatmegoldásokat tartalmazó adatok jellemzően nem magyarul állnak rendelkezésre. Ez a probléma a magyar nyelv egyre hátrébb sorolódásához vezethet a globális MI-fejlesztésekben.
Korábban a Nyelvtudományi Kutatóközpont is fejlesztett hasonló magyar nyelvű modellt, a PULI-t, de a Racka egy összetettebb, érvelő képességekkel bíró modell. A fejlesztők hangsúlyozzák, hogy egy angolul zajló gondolkodási folyamat más eredményre vezet, mint egy magyar nyelvű, különösen komplex, nyelv- vagy kultúraspecifikus feladatok esetén. Ezért elengedhetetlen a kifejezetten magyarul gondolkodó modellek létrehozása.
A Racka létezése stratégiai fontosságú Magyarország számára, mivel csökkenti a kiszolgáltatottságot a nemzetközi techcégek által fejlesztett modellekkel szemben. Ha csak külső szolgáltatásokat használnánk, a magyar nyelvtechnológia nem fejlődne, és nem épülne ki a hazai MI-fejlesztési tudás. Ez a tudás alapvető fontosságú nemcsak LLM-ek, hanem az ezekre épülő szolgáltatások kialakításában is.
A hazai fejlesztésű, kis méretű LLM-ek nem az átlagfelhasználóknak szólnak, és nem is a ChatGPT közvetlen versenytársai. Azonban vannak olyan speciális területek, ahol nélkülözhetetlenek. Ilyenek például a jogi szövegek feldolgozása, az egészségügyben vagy az állami, állambiztonsági és nemzetbiztonsági szektorban használt érzékeny adatok kezelése, valamint az önkormányzati alkalmazások. Ezeken a területeken a biztonság, a pontosság és a nyelvi árnyalatok megértése kiemelt jelentőségű.
A Racka-4B egy kísérleti lépés, melynek célja a tudás és tapasztalat megszerzése. A kutatók már dolgoznak egy nagyobb léptékű modellen a Mynds.ai nevű magyar céggel együttműködve. Ehhez a továbblépéshez azonban jelentős mennyiségű tanítóadatra és számítási kapacitásra van szükség, melyek előállítása manuálisan vagy szintetikusan történhet. A manuális adatgyűjtés sok emberi munkát igényel, míg a szintetikus adatok generálásához számítási kapacitás szükséges.
A fejlesztők kiemelték, hogy a magyar MI-stratégia felülvizsgálatára és folyamatos frissítésére is szükség lenne, hogy az ehhez hasonló fejlesztések stabil alapokon tudjanak megvalósulni. Az állami támogatás és a hosszú távú stratégiai gondolkodás elengedhetetlen ahhoz, hogy Magyarország ne maradjon le a mesterséges intelligencia területén, és képes legyen saját, nyelvi és kulturális specifikumokra szabott megoldásokat fejleszteni.
📰 Forrás: Telex — Eredeti cikk elolvasása