TECH HÍREK – Az Nvidia megerősítette a mesterséges intelligenciára vonatkozó ökoszisztémáját, és akinek viszonylag új videókártyája van, már ki is próbálhatja a chatbotot.
A Chat With RTX Windows PC-kre érhető el, és a TensorRT-LLM hajtja meg. Nem kell hozzá internetkapcsolat, így a személyre szabott GPT chatbotot bármikor elérhetjük a számítógépünkön, ha GeForce RTX 3000-es vagy 4000-es videókártyánk van. (Feltehetőleg a workstation termékcsaládban az RTX A-sorozat, illetve az RTX Ada-sorozat GPU-i is támogatják; a tegnap a hírekben felbukkant RTX 2000 biztosan, hiszen ott is szó volt a TensorRT-LLM-ről!)
Az Nvidia a TensorRT-LLM-et és a Retrieval Augmented Generation (RAG; kibővített visszakeresés-alkotás) szoftvert használja. Ezeket a cég tavaly jelentette be, és a felhasználók egy helyi adatszetthez (.txt, .pdf, .doc., .docx, .xml fájlformátum) csatlakoztathatják, hogy azzal végül például a Mistral vagy a Llama 2 nagy nyelvi modellhez (LLM) kapcsolják. Bizonyos linkeket (pl. YouTube-videókat vagy lejátszási lisátkat) is megadhatunk, hogy az adatbázis keresési találatait fejleszthessük. Ezután a Chat With RTX-et ugyanúgy használhatjuk, ahogy a ChatGPT-t: lekérdezéseket futtathatunk, és mivel a megadott adatkészleteken alapulnak a találatok, jobb válaszokat kaphatunk.
Az összes adat és projekt helyileg tárolt (de ez eléggé helyigényessé válhat, úgyhogy erre figyeljünk!), nem pedig a felhőben. Ez időt spórol, illetve pontosabb találatokhoz vezet. Az RAG egyik olyan technika, ami gyorsabbá teszi az MI-találatokat a helyi könyvtárral, és kihasználhatjuk az LLM nyelvértelmezési képességeit, hogy pontosítsuk a találatainkat. Az Nvidia a teljesítménynövekedést ödszörösnek mondja a hónap során érkező TensorRT-LLM v0.6.0-val, ami a Mistral 7B és a Nemotron 3 8B LLM-ek támogatását is magával hozza.
A rendszerigény tehát annyi, hogy Windows 10-en vagy Windows 11-en legyünk, és Ampere vagy Ada Lovelace architektúrájú Nvidia videókártya fusson a PC-nkben. Ha ez megvan, álljunk neki a driver frissítésének (minél újabb, annál jobb, optimalizálja a TensorRT-LLM futását is), akkor a Chat With RTX applikációt pillanatok alatt letölthetjük.
