Dell Technologies Forum 2024 | AI Edition (mini relacja)

W piątkowym podsumowaniu tygodnia wspomniałem o mojej wizycie na Dell Technologies Forum 2024 | AI Edition, które odbyło się 17 października w warszawskich halach EXPO XXI. Miałem o tym wydarzeniu napisać krótko wyłącznie w sekcji eventów cotygodniowego TechMixa, ale ostatecznie zebrałem na tyle dużo feedbacku, iż postanowiłem opowiedzieć o imprezie nieco więcej. Wszystko z uwagi na bardzo fajne spotkanie prasowe, na którym Dariusz Piotrowski (dyrektor zarządzający Dell Technologies w Polsce) i Wojciech Janusz (EMEA Data Science & AI Horizontal Lead w Dell Technologies) opowiedzieli o potencjale AI, któremu marka Dell w ostatnich latach poświęciła mnóstwo uwagi. Nie ukrywam, iż na imprezie pojawiłem się właśnie z uwagi na AI.

Dell Technologies Forum 2024 | AI Edition

Tegoroczny „zjazd” branży otrzymał trendy dopisek. „AI Edition” wydarzenia nie miał jednak nic wspólnego z marketingiem. Dell to jedna z konkretniejszych marek w świecie Sztucznej Inteligencji, a konkretnie infrastruktury dla niej. Większość z nas AI kojarzy z narzędzi, fajnych aplikacji, czy nowych „sztuczek”, które potrafią modele LLM, chatboty, czy inne platformy. Każdy dziś chce mieć jakieś AI, ale tak na dobrą sprawę, rozwiązania tego typu powinny interesować głównie przedsiębiorstwa, korporacje i ogólnie biznes, bo właśnie tam teraz należy przekierowywać środki inwestycyjne. Czytam o AI sporo, bo chcę utrzymać kontakt i świadomość oferty jaką dysponuje i właśnie dlatego wybrałem się na Dell Technologies Forum 2024.

Ostatnim razem na podobnym wydarzeniu byłem podczas dnia IBM (dokładnie w tym samym miejscu). Było to parę lat temu i przyznam, iż tamten event mocno odbiegał od mojej typowej tematyki na blogu. W tym roku obawiałem się podobnego wrażenia, ale z racji „AI Edition” spodziewałem się nieco innego harmonogramu keynote i prelekcji. Format ten sam, ale zakres wiedzy znacznie (dla mnie ciekawszy). Wciąż inny od mojego core, ale nie żałuję wizyty. Dowiedziałem się sporo. Nie o wszystkim będę tu w stanie wspomnieć. Chcę jednak, byście też mogli zrozumieć część z nowych standardów, które faktycznie odmienią niedługo nie tylko segment, ale też cały ogólnie postrzegany rynek.

Specjaliści w dziedzinie AI większość z przedstawianych na forum tematów mają dziś w małym palcu, ale i oni nie rozumieją jeszcze dokładnych mechanizmów trenujących się algorytmów. Event Dell miał inny cel niż nauka tajników AI. Firma prezentowała swój potencjał w dostarczaniu infrastruktury dla klientów – zwłaszcza serwery z odpowiednimi mocami obliczeniowymi. 40 lat w tworzeniu rozwiązań komputerowych na pewno w tym pomaga.

Obecność na wydarzeniu pozwoliła mi zrozumieć kilka kwestii, które są związane z nowymi modelami AI, m.in. energożerność samego jej szkolenia. Trenowanie AI zdecydowanie nie jest przyjazne środowisku (zaangażowanie energii w modelowanie algorytmów jest ogromne, co w Europie wymaga choćby pewnych zezwoleń). Pochłaniane są spore zasoby, co wymusza optymalizowanie procesów trenowania, co akurat jest bardzo rozwojowe dla wielu centrów badawczych.

Dell Technologies Forum 2024 | AI Edition. pic.twitter.com/xkcyk74SpN

— Smartniej (@smartniej) October 19, 2024

Dell Technologies Forum 2024 | AI Edition zorganizowano w całej jednej hali, gdzie rozmieszczono „aulę” główną dla topowych tematów i sporo pomniejszych, na których padło sporo ciekawostek. Ja akurat uczestniczyłem na tych AMD, układów Snapdragon X Elite (dla Coplilot+ PC) i nowych regulacji związanych z opiekunami wdrażania norm energooszczędności w większych firmach (tak, będzie ocenianie marek pod kątem ekologiczności). Oby tylko z faktyczną korzyścią dla globu, a nie portfeli pośredników…

Poranny keynote (ten na otwarcie forum) to wystąpienia Michaela Della (zdalnie i z odtworzenia) oraz Adriana McDonalda (Presidrnt Dell technoloies EMEA) już na scenie. Z okazji prezentacji swoich najnowszych komputerów, algorytmów AI, urządzeń i rozwiązań spokrewnionych z segmentem miało sporo większych brandów, ale i mniejszych marek. Tego typu stoiska do możliwość nawiązania kontaktu, rozmów i ogólnie pojętego networkingu. Po trosze biznesowo, po części rozrywkowo. Sądząc po mimowolnie podsłuchanych rozmowach, event był też okazją do odświeżenia znajomości. Przekrój odwiedzających stosunkowo szeroki, ale mocno branżowy.

Future made in Poland

Z mojej perspektywy (tutaj jako media) najwięcej frajdy sprawiło mi spotkanie prasowe marki Dell. Jak już na wstępie zdradziłem, spotkanie to otworzył Dariusz Piotrowski, a prezentację na temat perspektyw i wyzwań związanych z AI poprowadził Wojciech Janusz. W jedną godzinę dostałem więcej informacji niż na wielu innych eventach, w których AI było tematem wiodącym. W sumie w półtora miesiąca byłem na pięciu spotkaniach i każde w swój sposób prezentowało możliwości AI. Dla mnie to od Della było najciekawsze, bo przedstawiające ostatnie lata rozwoju Sztucznej Inteligencji. Pomysł na rozwój naszego kraju to umiejętne wykorzystywanie rozwiązań AI w celu budowania przewag wynikających z „mózgów” dostępnych w naszym kraju. prawdopodobnie wiecie, iż w rozwoju Sztucznej Inteligencji brało udział wielu Polaków (udziałowo).

Trzeba przyznać, iż w ostatnim czasie w dziedzinie AI działo się sporo. Jeszcze więcej niż dociera do was z mediów (a przecież informacji o AI jest mnóstwo). Najciekawsze wieści?

• w Polsce sprawa talentów branżowych jest dopiero na szóstym miejscu wśród priorytetów (w odróżnieniu do wielu innych rynków po prostu ich u nas nie brakuje – mamy naprawdę zdolnych ludzi w Polsce)
• AI to algorytmy + dane + moc obliczeniowa (Dell dostarcza głównie ten ostatni składnik)
• w okolicach 2012 roku przestaliśmy rozumieć jak działają algorytmy AI (nie dało się śledzić działań w procesach uczenia Sztucznej Inteligencji, co wymusiło nowe podejście do modelowania)
• to Microsoft zaufał twórcom OpenAI i jako pierwszy zainwestował w ich rozwój
• prawo Moore’a (to dot. wykładniczego wzrostu potencjału układów obliczeniowych) zaczyna być przesłaniane prawem Huanga (wydajność układów graficznych podwaja się lub choćby przekracza tę wartość co dwa lata)
• duże modele AI (LLM) potrzebują mnóstwa pamięci operacyjnej w układzie graficznym, bo żeby dalej się trenować muszą być załadowane w całości do wspomnianej pamięć
• jeśli możemy coś zaprojektować bez użycia AI to powinniśmy to robić (algorytmy najlepiej angażować w drugiej fazie)
• w ostatnich latach dominuje rozwój modeli i algorytmów, ale brakuje pomysłów na ich zmonetyzowanie (wielkie firmy skupiają się na kosztownych budowach kolejnych wersji LLM), natomiast coraz więcej ośrodków zaczyna w końcu koncentrować się na specjalistycznym ich dopieszczaniu
• to w najbliższych latach zobaczymy, jak faktycznie AI będzie „zarabiać” (dla kogo i w jaki sposób)
• modele AI cierpią na nagłe zaniki pamięci w procesie nauki (coś na wzór Alzheimera)
• trendem jest budowanie eksperckich, mniejszych modeli na bazie wytrenowanego core (tych większych)
• zdolności (nawet te najprostsze) są zależne od mocy obliczeniowej (wybrane elementy związane ze słowami, czy zadaniami matematycznymi zyskują na nagłym efekcie zależnie od progu mocy). Skuteczność wykonywania zadań jest zatem zależna od liczby (liczonej w miliardach) parametrów
• modele wymagają zaczepki, a więc dokładania zadań w łańcuchu zapytań (stąd „prompty”)
• właściwie to głównie Nvidia specjalizuje się dzisiaj w ogromnych zestawach graficznych dla AI

Rozwój AI – trochę historii

Choć te ostatnie większe modele AI pokazują swój większy potencjał od niedawna (mniej więcej od końca 2023 roku) to w rzeczywistości metody trenowania i dochodzenia do współczesnych efektów realizowane są od bardzo dawna. Pewne kamienie milowe, które pozwoliły na skokowe efekty w modelowaniu Sztucznej Inteligencji uzyskujemy od kilkunastu lat. Oczywiście, sporo z rezultatów udało się poczynić dzięki przyspieszeniu komputerów, a konkretnie ich mocy obliczeniowej.

Nie chcę zbytnio wchodzić w szczegóły, bo o historii AI można już pisać i pisać, ale o jednym istotnym momencie napomknę. Chodzi o 2012 rok, gdy Alex Krizhevsky zaproponował przełomową sieć neuronową AlexNet grupującą obrazy. Jego rozwiązanie wygrało choćby konkurs ImageNet. Kilka lat później jego algorytmy udało się wykorzystać do znacznej poprawy działania AI dzięki wykorzystaniu sieci we współpracy z o wiele mocniejszym komputerem. Okazało się, iż rezultaty tego samego rozwiązania zależą od mocy obliczeniowej.

Aktualnie wielkie firmy trenują LLM (większe modele) zużywając sporo zasobów. Mniejsi gracze mają dzięki temu szansę na wykorzystanie takiej bazy, dodawanie swoich elementów i trenowanie specjalistycznych modeli (mniejszych, ale znacznie skuteczniejszych przy realizacji konkretnych zadań). Dzięki algorytmom LoRa można dotrenować modele i stworzyć konkretniejsze efekty działania. Z kolei modele RAG I FART (jeśli dobrze pamiętam) potrafią zwrócić informacje na co AI się powoływało przy zwracaniu odpowiedzi na zapytanie.

Warto wiedzieć, iż modele można kompresować podobnie do grafiki, a więc zmniejszać bity, by udało się je wgrać do pamięci dostępnego komputera. Z tego co kojarzę, w ten sposób udało się dostarczyć na telefonach kolejne generacje wybranych chatbotów (on-device). Aktualnie w trendach rozwojowych AI zauważyłem tzw. mixtrale, czyli wiele eskperckich modeli zbiorczych w ramach jednego głównego, który oferuje efektywniejsze działania. Generalnym zyskiem przy kompresowaniu modeli jest ograniczanie AI przy przetwarzaniu promptów na zasadzie uproszczania ich języka (nie muszę być poetyckie w odpowiedziach, bo to kosztuje wiele wysiłku – wystarczy, iż będą „rozmawiać” z nami prostym, ale zrozumiałym językiem).

Ciekawostka: Nvidia dzięki działaniom software’owym (z wykorzystaniem AI) zoptymalizowała pracę swoich starszych kart graficznych uzyskując 3x lepsze efekty (a po pełnych wdrożeniu systemu choćby 5x).

Być może zauważyliście ostatnio szerszy rozwój multimodalnych modeli AI, czyli takich, które potrafią łączyć informacje różnych typów danych: od tekstowych, przez dźwiękowe, aż po widzenie komputerowe. Na kilku wcześniejszych spotkaniach dot. AI, m.in. w warszawskiej siedzibie Google, w trakcie warsztatów dla mediów szkolona nas z narzędzi, które pozwalają wgrywać własne pliki PDF i korzystać z algorytmów AI do przetwarzania baz danych na swoje potrzeby. Myślę, iż to właśnie przykład Fine Tuningu, o który wspominałem kilka akapitów wyżej.

Na koniec chciałem jeszcze szerzej napisać o agentach „AI to AI”, ale muszę chyba ten temat zgłębić więcej wiedzy. To jeden z ostatnich trendów, w którym tworzy się własne chatboty, ale też Sztuczną Inteligencję do trenowania Sztucznej Inteligencji.