{"id":125634,"date":"2024-02-15T13:32:27","date_gmt":"2024-02-15T12:32:27","guid":{"rendered":"https:\/\/thegeek.hu\/?p=125634"},"modified":"2024-02-15T20:43:26","modified_gmt":"2024-02-15T19:43:26","slug":"megjelent-az-nvidia-chatbotja-mar-le-is-toltheto-a-chat-with-rtx-video","status":"publish","type":"post","link":"https:\/\/thegeek.hu\/2024\/02\/15\/megjelent-az-nvidia-chatbotja-mar-le-is-toltheto-a-chat-with-rtx-video\/","title":{"rendered":"Megjelent az Nvidia chatbotja: m\u00e1r le is t\u00f6lthet\u0151 a Chat With RTX! [VIDEO]"},"content":{"rendered":"
<\/p>\n
A Chat With RTX Windows PC-kre \u00e9rhet\u0151 el, \u00e9s a TensorRT-LLM hajtja meg. Nem kell hozz\u00e1 internetkapcsolat, \u00edgy a szem\u00e9lyre szabott GPT chatbotot b\u00e1rmikor el\u00e9rhetj\u00fck a sz\u00e1m\u00edt\u00f3g\u00e9p\u00fcnk\u00f6n, ha GeForce RTX 3000-es vagy 4000-es vide\u00f3k\u00e1rty\u00e1nk van. (Feltehet\u0151leg a workstation term\u00e9kcsal\u00e1dban az RTX A-sorozat, illetve az RTX Ada-sorozat GPU-i is t\u00e1mogatj\u00e1k; a tegnap a h\u00edrekben felbukkant RTX 2000 biztosan, hiszen ott is sz\u00f3 volt a TensorRT-LLM-r\u0151l!)<\/p>\n
Az Nvidia a TensorRT-LLM-et \u00e9s a Retrieval Augmented Generation (RAG; kib\u0151v\u00edtett visszakeres\u00e9s-alkot\u00e1s) szoftvert haszn\u00e1lja. Ezeket a c\u00e9g tavaly jelentette be, \u00e9s a felhaszn\u00e1l\u00f3k egy helyi adatszetthez (.txt, .pdf, .doc., .docx, .xml f\u00e1jlform\u00e1tum) csatlakoztathatj\u00e1k, hogy azzal v\u00e9g\u00fcl p\u00e9ld\u00e1ul a Mistral vagy a Llama 2 nagy nyelvi modellhez (LLM) kapcsolj\u00e1k. Bizonyos linkeket (pl. YouTube-vide\u00f3kat vagy lej\u00e1tsz\u00e1si lis\u00e1tkat) is megadhatunk, hogy az adatb\u00e1zis keres\u00e9si tal\u00e1latait fejleszthess\u00fck. Ezut\u00e1n a Chat With RTX-et ugyan\u00fagy haszn\u00e1lhatjuk, ahogy a ChatGPT-t: lek\u00e9rdez\u00e9seket futtathatunk, \u00e9s mivel a megadott adatk\u00e9szleteken alapulnak a tal\u00e1latok, jobb v\u00e1laszokat kaphatunk.<\/p>\n
Az \u00f6sszes adat \u00e9s projekt helyileg t\u00e1rolt (de ez el\u00e9gg\u00e9 helyig\u00e9nyess\u00e9 v\u00e1lhat, \u00fagyhogy erre figyelj\u00fcnk!), nem pedig a felh\u0151ben. Ez id\u0151t sp\u00f3rol, illetve pontosabb tal\u00e1latokhoz vezet. Az RAG egyik olyan technika, ami gyorsabb\u00e1 teszi az MI-tal\u00e1latokat a helyi k\u00f6nyvt\u00e1rral, \u00e9s kihaszn\u00e1lhatjuk az LLM nyelv\u00e9rtelmez\u00e9si k\u00e9pess\u00e9geit, hogy pontos\u00edtsuk a tal\u00e1latainkat. Az Nvidia a teljes\u00edtm\u00e9nyn\u00f6veked\u00e9st \u00f6dsz\u00f6r\u00f6snek mondja a h\u00f3nap sor\u00e1n \u00e9rkez\u0151 TensorRT-LLM v0.6.0-val, ami a Mistral 7B \u00e9s a Nemotron 3 8B LLM-ek t\u00e1mogat\u00e1s\u00e1t is mag\u00e1val hozza.<\/p>\n
A rendszerig\u00e9ny teh\u00e1t annyi, hogy Windows 10-en vagy Windows 11-en legy\u00fcnk, \u00e9s Ampere vagy Ada Lovelace architekt\u00far\u00e1j\u00fa Nvidia vide\u00f3k\u00e1rtya fusson a PC-nkben. Ha ez megvan, \u00e1lljunk neki a driver friss\u00edt\u00e9s\u00e9nek (min\u00e9l \u00fajabb, ann\u00e1l jobb, optimaliz\u00e1lja a TensorRT-LLM fut\u00e1s\u00e1t is), akkor a Chat With RTX applik\u00e1ci\u00f3t pillanatok alatt let\u00f6lthetj\u00fck.<\/p>\n
Forr\u00e1s: WCCFTech<\/a><\/span>, Nvidia<\/a><\/span><\/p>\n<\/p>\n
<\/p>\n