ChatRTX to główna aktualizacja w stosunku do wersji demonstracyjnej Chat with RTX z lutego. Zacznijmy od tego, iż aplikacja ma kilka udoskonaleń dotyczących stabilności z Chat with RTX, które wydawały się nieco szorstkie na krawędziach. NVIDIA znacznie zaktualizowała LLM dołączone do aplikacji, w tym Mistral 7B INT4 i Llama 2 7B INT4. Dodano także obsługę dodatkowych LLM, w tym Gemma, lokalnego LLM przeszkolonego przez Google, opartego na tej samej technologii, która została wykorzystana przy tworzeniu flagowego modelu Google Gemini. ChatRTX obsługuje teraz także ChatGLM3, zarówno w przypadku podpowiedzi w języku angielskim, jak i chińskim. Być może największym ulepszeniem ChatRTX jest jego zdolność do rozpoznawania obrazów na twoim komputerze, ponieważ zawiera CLIP (wstępne szkolenie z kontrastowym obrazem językowym) z OpenAI. CLIP to LLM, który rozpoznaje to, co widzi w kolekcjach obrazów. Korzystając z tej funkcji, możesz wchodzić w interakcję z biblioteką obrazów bez potrzeby korzystania z metadanych. ChatRTX obsługuje nie tylko wprowadzanie tekstu, ale także wprowadzanie naturalnego głosu, ponieważ integruje model NLI zamiany mowy na tekst Whisper.
Podobnie jak w przypadku oryginalnej wersji demonstracyjnej Chat with RTX, największą funkcją nowej aplikacji ChatRTX jest możliwość przełączania się między modelami AI lub tworzenia i uczenia własnego zestawu danych na podstawie tekstu i obrazów na komputerze lokalnym. Możesz wskazać folder zawierający dokumenty takie jak zwykły tekst, Word (doc) i pliki PDF, a także obrazy; i przeszkoli się w zakresie odpowiadania na zapytania związane ze zbiorem danych. Istnieją pewne główne ograniczenia ChatRTX, które, jak mieliśmy nadzieję, zostaną naprawione od czasu jego lutowej premiery, a jest to kontekst – możliwość zadawania dodatkowych pytań. Najwyraźniej dalsze działania są trudniejsze do wdrożenia, niż się wydaje, ponieważ model musi łączyć nowe pytanie z poprzednimi i swoimi odpowiedziami na nie. Niedokładne jest także przypisywanie odpowiedzi odpowiednim kafelkom tekstowym. Interfejs oparty na przeglądarce obsługuje tylko przeglądarki Chrome i Edge, w przeglądarce Firefox jest błędny.
