Nvidia представила собственную альтернативу популярным чат-ботам на базе искусственного интеллекта — Chat with RTX. Как нетрудно понять из названия, он задействует вычислительные возможности графических ускорителей GeForce RTX. Главной особенностью является работа непосредственно на компьютере пользователя вместе с возможностью персонализации большой языковой модели.
В основе Chat with RTX лежат библиотека Nvidia TensorRT-LLM и метод RAG (Retrieval Augmented Generation) для заполнения пробелов в «знаниях» большой языковой модели. Пользователи могут добавить собственные заметки, документы, видео и другие данные, например, получить ответ на основе информации из YouTube. «А так как приложение работает локально на ПК или рабочей станции с Windows с RTX, результаты генерируются быстро и безопасно», — подчёркивает Nvidia.
Загрузить Chat with RTX можно с официального сайта Nvidia. В системных требования упоминаются адаптеры GeForce RTX 30- и 40-й серии, оборудованные как минимум 8-гигабайтным видеобуфером, то есть недавно выпущенная GeForce RTX 3050 6GB не подойдёт. Также потребуются 16 Гбайт оперативной памяти, операционная система Windows 11 и драйвер версии 535.11 или новее.