1 miesiąc temu
Chciałbyś mieć własny komputer do AI? Taki, na którym używanie choćby małego modelu językowego nie jest drogą przez mękę. Nvidia ma dla Ciebie rozwiązanie – Jetson Orin Nano Super. To komputerek, który zmieści się w Twojej dłoni. Kosztuje raptem 250 dolarów a może całkiem dużo, przynajmniej przy mniejszych modelach AI.
Czym jest Jetson Orin Nano Super? Takim Raspberry Pi na AI-owych sterydach. A więc miniaturowym komputerkiem z 6-rdzeniowym procesorem w architekturze ARM, z 8 GB pamięci RAM i rdzeniami do obliczeń AI. Do tego, podobnie jak w Raspberry Pi dostajemy złącza do podłączania kamery czy złącza GPIO – bo z jednym z potencjalnych zastosowań Orina Nano Super jest robotyka.
Minikomputerek działa pod kontrolą specjalnej wersji Linuksa, więc ci, którzy mieli wcześniej do czynienia na przykład z Ubuntu będą się czuli jak w domu.
Własny mały komputer do AI. Co potrafi?
A jak jest z możliwościami AI tego cuda? Nie najgorzej. Według Nvidii, Orin Nano osiąga 67 TOPS AI, a więc 67 bilionów operacji AI na sekundę. To jak na takiego malucha całkiem sporo. Nieco więcej niż dla karty RTX 2070, choć oczywiście do wydajności najnowszych kart Nvidii sporo brakuje.
Tego typu zdolności obliczeniowe powinny nam wiele rzeczy umożliwić. Np. skorzystanie z Whispera do transkrypcji wykładów czy pogadanie sobie z jednym z mniejszych modeli językowych, takich jak Gemma czy nasz polski Bielik. Choć prawdopodobnie tylko w tak zwanej postaci skwantyzowanej, a więc wykorzystującej mniej pamięci – ale przez to nieco mniej dokładnej.
Dla kogo?
Komu mogłoby się takie cudo przydać? Przede wszystkim hobbystom-majsterkowiczom, którzy chcieliby wbudować sztuczną inteligencję w swoje projekty. Na przykład roboty czy systemy wizji – powiedzmy własny system do fotopułapek. Tu analogie z Raspberry Pi są oczywiste.
Orin Nano może również zachęcić właścicieli laptopów, którzy chcieliby popróbować AI na własnym sprzęcie, a nie za bardzo chcą wydawać znaczne kwoty na komputer stacjonarny z kartą graficzną. Za cenę Orina kupimy co najwyżej kartę graficzną – choć pewnie nieco od Orina mocniejszą w obliczeniach AI. Więc kupno minikomputerka może być tu sensowną opcją.
Jeśli mamy już komputer stacjonarny z przyzwoitą kartą graficzną Nvidii a nie mamy zacięcia do budowania systemów wbudowanych czy brzegowych (edge computing) to wszystko, co możemy osiągnąć z Orinem, jesteśmy pewnie zrobić już teraz na naszym pececie.
Nawet jeżeli dojdziemy do wniosku, iż Orin jest sensownym sprzętem, to musimy uzbroić się w cierpliwość. W dwóch sklepach oferujących cenę zbliżoną do obiecanych przez Nvidię 250 dolarów Orina na razie nie ma. Ttrzeci oferuje mało atrakcyjną cenę przeszło 2100 zł netto. Więc lepiej chyba poczekać.
Źródło zdjęcia: Nvidia
