TECH HÍREK – Nos, ilyet sem hallottunk még: az év végére az OpenAI éllovas nagy nyelvi modellje (LLM) mintha belassulna a statisztikák alapján.

Az OpenAI szerint a GPT-4 Turbo egyetlen lekérdezésben több összetett feladatot el tud végezni a kimerítő edzési folyamatának köszönhetően. A kiterjedtebb tokenösszefügési ablakában 128 ezer tokent tud feldolgozni. Emlékeztetőképp 1000 token kb. 750 szónal felel meg, így ez az LLM megközelítőleg 96 ezer szóból álló inputot tud egyszerre feldolgozni, ami nem tekinthető rövidnek.

Rob Lynch a Twitteren írta, hogy a GPT-4 Turbo az API-n keresztül statisztikailag jelentősen gyengébb eredményre képes most mint májusban. Ugyanazt a parancsot adta be neki API-n keresztül (egy kódbefejezési feladat, amellyel azt kéri, hogy gépi tanulású feladatot implementáljon könyvtárak használata nélkül). Két rendszerparancsot készített. Az egyik azt mondta az API-nak, hogy május van, a másik pedig azt, hogy december, majd összehasonlította a megoszlásokat. A májusi átlag 4298 (477 teszt lefuttatásából), a decemberi pedig 4086.

Ez azt jelenti, hogy az LLM rövidebb választ produkál, ha azt hiszi, hogy december van, mintha májust mondanánk neki. A produktivitás mértékének csökkenése kb. 5%. Ebből pedig kiderülhetett, hogy a mesterséges intelligenciára is vonatkozó téli szüneti elmélet igaz lehet, állítja Ethan Millick, a Wharton egyik professzora, mert megtanulhatta, hogy az ünnepek alatt kevesebbet kell dolgozni. (Érdekes, nekünk ilyen pihenő nap nem szokott lenni még akkor sem. Rossztól tanult a technológia!)

A minap halottuk, hogy az OpenAI GPT modellje egyre lustább, így a lekérdezésekre nem mindig ad teljes választ, hanem néhányszor „levágja a kanyarokat”, Néhány anekdota arra utal, hogy a felhasználók fogyatékkal élőknek tettették magukat, hogy az LLM végül mégis teljes választ biztosítson a számukra. A helyzet annyira súlyos, hogy az OpenAI-nak is reagálnia kellett, így nekik egy hotfix lesz a megoldás arra, hogy eltűnjön ez a furcsa állapot.

Úgyhogy a mesterséges intelligencia is megtanult lazulni decemberre. Még ilyet…!

Forrás: WCCFTech