1 tydzień temu
Czerwoni wciąż walczą z opinią, iż ich produkty nie nadają się do pracy ze sztuczną inteligencją. Nowo wypuszczone oprogramowanie może to trochę zmienić.
Tworzenie lokalnych dużych modeli językowych (LLM – Large Language Model) na własnych komputerach zyskuje coraz większą popularność. W odpowiedzi na to zainteresowanie, AMD wypuściło własną aplikację znaną jako Gaia. Jest to projekt open-source umożliwiający lokalne uruchamianie LLM na dowolnym komputerze z systemem operacyjnym Windows.
Czterech agentów odpowiadających za różne zadania
Rozwiązanie Czerwonych oferuje dodatkowe optymalizacje wydajności dla komputerów wyposażonych w procesory AMD Ryzen AI (w tym AMD Ryzen AI Max 395+). Gaia wykorzystuje otwartoźródłowe Lemonade SDK z ONNX TurnkeyML do wnioskowania LLM. Modele mogą podobno dostosowywać się do różnych zastosowań w ramach oprogramowania, w tym do podsumowywania treści i rozwiązywania złożonych problemów.
Gaia działa poprzez agenta Retrieval-Augmented Generation. RAG łączy model model z bazą wiedzy, umożliwiając LLM zapewnienie interaktywnego doświadczenia oraz bardziej precyzyjnych i kontekstowych odpowiedzi. RAG w tej chwili obejmuje czterech agentów Gaia:
- Simple Prompt Completion, agenta zaprojektowanego do bezpośrednich interakcji z modelem, przeznaczonego do testowania i oceny;
- Chaty, część chatbota LLM, który wchodzi w interakcję z użytkownikiem;
- Clip, agent z funkcjonalnością wyszukiwania na YouTube i modułem Q&A;
- Joker, generator dowcipów, który dodaje humorystyczną osobowość chatbotowi.
Nowy chatbot AI posiada dwa instalatory: główny instalator, który działa na dowolnym komputerze z systemem Windows (niezależnie od tego czy posiada sprzęt AMD, czy nie) oraz instalator „Hybrid”, zoptymalizowany dla komputerów z Ryzen AI. Ten drugi pozwala na wykonywanie obliczeń na dedykowanej jednostce przetwarzania neuronowego (NPU) oraz jego zintegrowanej grafice, co zapewnia lepszą wydajność.
Gaia to najnowszy konkurent w rosnącym segmencie lokalnych aplikacji LLM, obok takich rozwiązań jak LM Studio i ChatRTX. Uruchamianie LLM lokalnie ma znaczące zalety w porównaniu do rozwiązań chmurowych, w tym większe bezpieczeństwo, niższe opóźnienia oraz – w zależności od sprzętu – lepszą wydajność. Najważniejsze jest to, iż lokalne LLM działają offline i nie wymagają połączenia z internetem.
