TECH HÍREK – A Tesla, a SpaceX, illetve a Twitter tulajdonosa elárulta, hogy hány GPU-val edzi a Grok jövőbeli verzióját, amit meg fog előzni egy korábbi modell, és ez már lényegében a sarkon van.
Mostanában nagyon erős versenyt futnak azok a cégek, amik az a mesterséges intelligenciára koncentrálnak: mindenki igyekszik a többit megelőzve kiadni az LLM-jének (nagy nyelvi modelljének) új modelljét. Ebben a küzdelemben az xAI is részt vesz. Elon Musk cége korábban már bejelentette a Grokot, ami a Twitter előfizetői számára elérhető MI-asszisztensként. Ebből nemsokára jön a kettes verzió.
Grok 3 end of year after training on 100k H100s should be really something special
— Elon Musk (@elonmusk) July 1, 2024
A Grok 2.0 augusztusig meg is fog jelenni, de Musk a tweetjei között már a Grok 3-at emlegeti. Szerinte ez a verzió már igazán különleges lesz, ugyanis 100 ezer Nvidia H100-as GPU-val edzi, és akár már az év végén fel is bukkanhat. Ez a hardver és ennek mennyisége eddig nem látott eredményeket hozhat el. A pletykák szerint az OpenAI LLM-je, a GPT-4 mindössze 40 ezer Nvidia A100-as AI GPU-n kapott edzést. Az A itt nem az Ada Lovelace architektúrát jelenti, hanem az eggyel korábbit, az Ampere-t! A H pedig a Hoppert takarja, aminek fogyasztói variánsa az Ada Lovelace (GeForce RTX 4000-es videókártyák). Modernebb hardver, és ebből több: az OpenAI komoly vetélytársat kaphat így.
Egy korábbi tweetben Musk azt állította, hogy az LLM-ek edzése az internetes adatokkal felettéb hektikus, illetve „sok munkát igényel”. A Grok 2-es modell ebben fejlődést fog femutatni, a Grok 3 pedig az első két verzióra építkezik, úgyhogy emiatt is érdekes lesz látni, hogy mit fog összehozni vele az xAI. Musk korábban azt közölte, hogy az Nvidia jelenlegi legerősebb MI-gyorsítójából, a Blackwell B200-asból (ez az architektúra a GeForce RTX 5000-es kártyákban fog számunkra debütálni) is be szeretne tárazni. Csakhogy a H100-as készlet 3 milliárd dollár volt, és a B200-asból 9 milliárd értékben akar vásárolni.
Musk tehát mindent egy lapra tett fel…
Forrás: WCCFTech
