Сами разработчики приложения Chat with RTX объяснили, что их софт использует программное обеспечение NVIDIA TensorRT-LLM и Retrieval Augmented Generated (RAG), которое было анонсировано для ПК на Windows в прошлом году, и полностью использует тензорные ядра видеокарт RTX-серии для выполнения вычислений. После бесплатной загрузки Chat with RTX пользователи могут подключить его к локальному набору данных, доступному на ПК (в форматах .txt, .pdf, .doc, .docx, .xml), а затем задействовать возможности больших языковых моделей Mistral и Llama 2. Вы также можете вставлять конкретные URL-адреса, например, для видеороликов на YouTube или целых плейлистов, чтобы дополнительно улучшить результаты поиска в наборе данных. Довольно интересная новость, которую стоит изучить, потому что эта утилита работает очень достойно и вполне способна справляться со сложными базами данных и наборами информации из разных источников.
