Компания представила локальный ИИ-бот для видеокарт GeForce RTX 30/40. Это бесплатный ответ на ChatGPT, который работает локально на вашем ПК, что обеспечивает высокую отзывчивость и персонализацию.

Chat With RTX это персонализированная большая языковая модель, которая использует генерацию с расширенным поиском (RAG), технологию TensorRT-LLM и аппаратное ускорение RTX с помощью тензорных ядер. После установки бота его можно подключить к локальному набору данных, чтобы он помогал работать с файлами на вашем ПК. Можно добавить определенные URL-адреса, например, для работы с YouTube, чтобы улучшить поиск и т.п.

Также можно подключать внешние модели ИИ, такие как Mistral или Llama 2. По ходу общения чат-бот будет обучаться и совершенствоваться на ваших запросах и ваших данных, т.е. будет адаптироваться персонально под вас.

Для работы чат-бота требуется видеокарта GeForce RTX 30-й серии или RTX 40-й серии с 8 гигабайтами памяти, 16 ГБ оперативной памяти, Windows 11, драйвер 535.11 или новее. Скачать NVIDIA Chat With RTX можно с официального сайта.