TECH HÍREK – A Twitter tulajdonosa szerint nem biztos, hogy elegendő energiát tudunk termelni ahhoz, hogy a mesterséges intelligencia fejlődése továbbra is olyan tempóban történenjen, ahogy eddig is javult.
A nagy nyelvi modellek (large language model = LLM) edzéséhez sok GPU szükséges. Ezt főleg az Nvidia biztosítja, de a cég nem tud annyit gyártani, hogy mindenkinek elegendő legyen. Viszont Musk szerint van egy másik probléma: az energiaszükséglet. Úgy gondolja, hogy a Grok 3, a következő generációs modelljéhez (ezt ugye az ő startup cége, az xAI fejleszti) kb. 100 ezer Nvidia H100-as GPU fog kelleni edzés céljából. Ez már önmagában sem egyszerű (és pláne nem olcsó) feladvány.
Egy H100-as GPU akár 700W-ot is elfogyaszt. Ha ezt felszorozzuk 100000-rel, akkor már 70 megawattnál járunk, és bár kizárt, hogy mindegyik GPU mindig maximális terhelés alatt legyen, a további hardver és infrastruktúra további energiaszükséglethez vezet, így több mint 100 megawattot fogyaszthat az egész. Ez egy kisebb város fogyasztása. Párizsban 2022-ben 500 megawattnyi adatközpont volt. És 100 megawatt mindössze egy LLM számára nagy probléma. Musk Nicolai Tangennek (egy norvég vagyonalap vezérigazgatója) adott interjújában azt mondta, hogy bár a GPU-hiány továbbra is nagyban akadályozni fogja az MI-modellek fejlődését, a megfelelő villamoshálózat és az azon keresztül biztosított energia egyre nagyobb korlátozó tényezővé fog előlépni.
Musk aztán egy túlzottan nagy jóslattal is élt: szerinte az AGI (áltaános mesterséges intelligencia) 1-2 éven belül okosabb lesz a legintelligensebb embernél. 2017-ben olyat állított, hogy két évre vagyunk az olyan megbízható önjáró autóktól, hogy alhatunk benne; ez még nem történt meg. 2020. március 19-én azt mondta, hogy április végére egy COVID-eset sem lesz az Egyesült Államokban… itt is jelentősen tévedett.
A Grok 2, a jelenlegi modell megelégedett 20 ezer H100-as GPU-val, szóval ötszörös rendszerigénye lesz a következő generációs, még készülő modellnek. Ez nem hangzik valami jól.
