TECH HÍREK – Az Nvidia Chat With RTX-e után itt az AMD saját lokalizált és GPT-alapú, nagy nyelvi modell (LLM) által meghajtott chatbotja, amihez viszonylag friss hardver szükséges.
Februárban mi is beszámoltunk a Chat With RTX-ről, ami a TensorRT-LLM segítségével az Nvidia GeForce RTX 4000-es és 3000-es kártyáin futtatni lehet helyileg is, helyi adatcsomagot gyártva ezzel. Most hasonlót kaptunk az AMD-től, de náluk nem csak a videókártyáikon futhat. Ha az AMD mesterséges intelligenciára képes CPU-jával rendelkezünk, akkor nem muszáj a Radeon legújabb, 7000-es sorozatából valamelyik videókártyát beszerezni a technológia működésre bírásához.
Az AMD Ryzen 7000-es és 8000-es APU-iban az XDNA NPU (MI-gyorsító), a Radeon RX 7000-es kártyákban pedig az MI-gyorsító magok vethetőek be. A cég egy blogposztban közölte, hogy miképp kell elindítani a chatbotot a PC-nken. Töltsük le az LM Studio megfelelő verzióját (For AMD Ryzen Processors, For AMD Radeon RX 7000 Series Graphic Cards), majd futtassuk. A keresés fülön másoljuk be a következő keresőkifejezést attól függően, hogy mit szeretnénk futtatni. A Mistral 7b-t esetében „TheBloke/OpenHermes-2.5-Mistral-7B-GGUF” kell, és válasszuk ki a bal oldali találatok közül, nagy eséllyel ez lesz az első a listában. Ha a LLAMA v2 7b-t szeretnénk futtatni, keressünk arra, hogy „TheBloke/Llama-2-7B-Chat-GGUF”. Más modellekkel is kísérletezhetünk: a jobb oldali panelen görgessünk a Q4 K M modellfájlig, amit töltsünk le. Az AMD a legtöbb Ryzen MI-modellhez ezt ajánlja. A chatfülre váltva várjuk be, amg el nem indul.
Kissé eltérő a helyzet akkor, ha nem ilyen processzor van a gépünkben, és helyette egy AMD Radeon 7000-es videókártyát használunk. Ekkor ki kell jelölni a jobb oldali panelon a GPU Offload opciót, amit aztán teljesen tekerjünk a maximális értékig. Ekkor az azonosított GPU-típusnál ellenőrizzük, hogy azt írja-e, hogy AMD ROCm. Ekkor nekiállhatunk a chatbot használatának.
A mesterséges intelligencia mindenféleképpen életünk részévé válik, és ezért látjuk a terjeszkedést az Nvidia és az AMD részéről.
Forrás: WCCFTech, AMD, LM Studio, LM Studio ROCm
