Panmnesia wykorzystuje protokół CXL do rozszerzenia pamięci GPU dzięki dodatkowej karty DRAM lub choćby dysku SSD

Południowokoreański startup Panmnesia zaprezentował interesujące rozwiązanie mające na celu rozwiązanie ograniczeń pamięci nowoczesnych procesorów graficznych. Firma opracowała nisko-opóźnieniowy Compute Express Link (CXL) IP, który może pomóc rozszerzyć pamięć procesora graficznego dzięki zewnętrznej karty dodatkowej. Obecne aplikacje przyspieszane przez procesory graficzne w dziedzinie sztucznej inteligencji i HPC są ograniczone ustaloną ilością pamięci wbudowanej w procesory graficzne. Wraz ze wzrostem rozmiarów danych o 3x roczniesieci GPU muszą stawać się coraz większe, aby zmieścić aplikację w pamięci lokalnej, co przynosi korzyści w postaci opóźnienia i generowania tokenów. Proponowane przez Panmnesia podejście do rozwiązania tego problemu wykorzystuje protokół CXL do rozszerzenia pojemności pamięci GPU przy użyciu pamięci DRAM podłączonej do PCIe lub choćby dysków SSD. Firma pokonała znaczące przeszkody techniczne, w tym brak struktury logicznej CXL w GPU i ograniczenia istniejących systemów zunifikowanej pamięci wirtualnej (UVM).

Sercem rozwiązania Panmnesia jest zgodny z CXL 3.1 kompleks główny z wieloma portami głównymi i mostem hosta z dekoderem pamięci urządzenia zarządzanego przez hosta (HDM). Ten wyrafinowany system skutecznie oszukuje podsystem pamięci GPU, aby traktował pamięć podłączoną do PCIe jako natywną pamięć systemową. Obszerne testy wykazały imponujące wyniki. Rozwiązanie CXL firmy Panmnesia, CXL-Opt, osiągnęło dwucyfrowe nanosekundowe opóźnienie w obie strony, znacznie przewyższając UVM i wcześniejsze prototypy CXL. W testach wykonywania jądra GPU, CXL-Opt wykazał czasy wykonywania do 3,22 razy szybsze niż UVM. Starsze rozszerzenia pamięci CXL odnotowały około 250 nanosekundowe opóźnienie w obie strony, przy czym CXL-Opt potencjalnie osiągnął mniej niż 80 nanosekund. Podobnie jak w przypadku CXL, problem zwykle pule pamięci dodają opóźnienia i wydajność spada, podczas gdy te rozszerzenia CXL mają tendencję do dodawania do modelu kosztów. Jednak Panmnesia CXL-Opt może znaleźć przypadek użycia i czekamy, aby zobaczyć, czy ktoś przyjmie to w swojej infrastrukturze.

Poniżej znajdują się testy porównawcze firmy Panmnesia oraz architektura CXL-Opt.