Реклама ООО Таймвэб
Реклама ООО Таймвэб
Реклама ООО Таймвэб

NVIDIA анонсировала Chat with RTX для запуска чат-ботов на основе LLM локально на ПК

Обсудить
NVIDIA анонсировала Chat with RTX для запуска чат-ботов на основе LLM локально на ПК
Реклама. ООО «ТаймВэб». erid: LjN8Jufqk

Компания NVIDIA представила бета-версию Chat with RTX – приложение позволяет запускать чат-бота на основе большой языковой модели (LLM) прямо на персональном компьютере. Бот может генерировать релевантные ответы на основе видео и документации юзера. Для работы требуется от 16 Гб оперативки, видеокарта GeForce RTX 30 или 40, а также операционная система Windows 11.

Chat with RTX способен анализировать видео из YouTube – для этого пользователю достаточно ввести адрес страницы ролика, после чего можно получить краткое описание ролика или задавать вопросы по видео. Также ИИ учитывает заметки, документы, данные из файлов, путь к которым укажет юзер. После ответа нейросеть пропишет название файла, который послужил основой для генерации, – это удобно для проверки результата.

Первые тесты показали, что Chat with RTX работает более оперативно, чем ChatGPT и Copilot. В частности, он быстрее обрабатывает большие объемы информации – как из видео, так и из PDF.

В The Verge отмечают, что нейросеть работает с Mistral и Llama – во всяком случае, именно это было показано в демонстрационном ролике. Установка бота на Intel Core i9-14900K с видео картой RTX 4090 занимает порядка получаса. На диске нужно свободных 40 Гб. Пользоваться Chat with RTX можно через веб-интерфейс.

Иногда приложение дает сбои – к примеру, порой берет неправильный ролик из YouTube или вылетает при попытке анализа одновременно нескольких тысяч файлов. Еще один момент – во всех папках, которые индексирует приложение, оно создает файл JSON. После тестирования ранней версии NVIDIA обещает исправить ошибки.

Если человек настраивает сервер, это не новость; новость – если сервер настраивает человека.
Новый подкаст от Timeweb

Комментарии

С помощью соцсетей
У меня нет аккаунта Зарегистрироваться
С помощью соцсетей
У меня уже есть аккаунт Войти
Инструкции по восстановлению пароля высланы на Ваш адрес электронной почты.
Пожалуйста, укажите email вашего аккаунта
Ваш баланс 10 ТК
1 ТК = 1 ₽
О том, как заработать и потратить Таймкарму, читайте в этой статье
Чтобы потратить Таймкарму, зарегистрируйтесь на нашем сайте