„Wciąż poprawiamy wydajność sztucznej inteligencji w standardowych testach branżowych w całym naszym portfolio akceleratorów i procesorów. Dzisiejsze wyniki pokazują, iż dostarczamy rozwiązania AI, które spełniają dynamiczne i szeroko zakrojone wymagania AI naszych klientów. Zarówno produkty Intel Gaudi, jak i Xeon zapewniają naszym klientom opcje gotowe do wdrożenia i zapewniające duży stosunek ceny do wydajności” – powiedział Zane Ball, wiceprezes i dyrektor generalny firmy Intel ds. zarządzania produktami DCAI.
Opierając się na wynikach szkolenia i wnioskowania z poprzednich rund MLPerf, wyniki Intela MLPerf zapewniają klientom standardowe w branży testy porównawcze do oceny wydajności AI.
Informacje o programie Intel Gaudi 2 Wyniki: Pakiet systemu Intel Gaudi stale zwiększa pokrycie popularnych modeli wielkojęzycznych (LLM) i modeli multimodalnych. W przypadku MLPerf Inference v4.0 firma Intel przedstawiła wyniki akceleratora Gaudi 2 dla najnowocześniejszych modeli Stable Diffusion XL i Llama v2-70B.
Ze względu na duże zapotrzebowanie klientów na wnioskowanie o generowaniu tekstu o twarzy (TGI), w wynikach projektu Llama Gaudiego wykorzystano zestaw narzędzi TGI, który obsługuje ciągłe przetwarzanie wsadowe i równoległość tensorów, zwiększając wydajność skalowania LLM w świecie rzeczywistym. W przypadku Llama v2-70B Gaudi 2 dostarczył odpowiednio 8035,0 i 6287,5 dla tokenów offline i serwerowych na sekundę. W przypadku Stable Diffusion XL Gaudi 2 uzyskał odpowiednio 6,26 i 6,25 dla próbek offline na sekundę i zapytań do serwera na sekundę. Dzięki tym wynikom Intel Gaudi 2 w dalszym ciągu oferuje atrakcyjny stosunek ceny do wydajności, co jest ważnym czynnikiem przy obliczaniu całkowitego kosztu posiadania (TCO).
Informacje o wynikach procesorów Intel Xeon piątej generacji: W wyniku usprawnień sprzętu i systemu wyniki procesorów Intel Xeon piątej generacji poprawiły się o geośrednią wynoszącą 1,42x w porównaniu z wynikami procesorów Intel Xeon czwartej generacji w aplikacji MLPerf Inference v3.1. Na przykład w przypadku GPT-J z optymalizacjami oprogramowania, w tym ciągłym przetwarzaniem wsadowym, zgłoszenie Xeon 5. generacji wykazało około 1,8-krotny wzrost wydajności w porównaniu z przesłaną wersją 3.1. Podobnie DLRMv2 wykazał około 1,8-krotny wzrost wydajności i dokładność na poziomie 99,9 dzięki rozwiązaniu MergedEmbeddingBag i innym optymalizacjom wykorzystującym technologię Intel AMX.
Firma Intel jest dumna ze współpracy z partnerami OEM — Cisco, Dell, Quanta, Supermicro i WiWynn — w celu dostarczania własnych zgłoszeń MLPerf. Ponadto firma Intel przedstawiła wyniki MLPerf dla czterech generacji produktów Xeon, począwszy od 2020 r., a Xeon jest procesorem głównym w przypadku wielu zgłoszeń dotyczących akceleratorów.
Jak wypróbować rozwiązania AI w Intel Developer Cloud: Procesory Xeon piątej generacji i akceleratory Intel Gaudi 2 są dostępne do oceny w Intel Developer Cloud. W tym środowisku użytkownicy mogą prowadzić szkolenia na małą i dużą skalę (LLM lub GenAI), wnioskować o obciążeniach produkcyjnych na dużą skalę, zarządzać zasobami obliczeniowymi AI i nie tylko.
