Co to jest NPU? Oto wyjaśnienie dotyczące chipów AI

 

Wszystkie komputery PC wkrótce będą miały jednostki przetwarzania neuronowego. Co to dla Ciebie oznacza w prostych słowach wyjaśni Serwis komputerowy Poznań Yeto.
Procesory i GPU to już stare wieści. Obecnie najnowocześniejsze technologie dotyczą NPU, a producenci sprzętu chwalą wydajność NPU.

NPU to komponent komputera zaprojektowany do przyspieszania zadań AI w sposób energooszczędny, torując drogę nowym aplikacjom pulpitu Windows z potężnymi funkcjami AI. Taki jest w każdym razie plan.
Wszystkie komputery PC będą miały NPU, ale na razie mają je tylko niektóre. Oto wszystko, co musisz wiedzieć o NPU i dlaczego są tak gorącym tematem w branży komputerowej.

Czym jest NPU?

NPU oznacza jednostkę przetwarzania neuronowego. To specjalny rodzaj procesora zoptymalizowany pod kątem zadań AI i uczenia maszynowego.
Nazwa pochodzi od faktu, że modele AI wykorzystują sieci neuronowe. Sieć neuronowa to, mówiąc językiem potocznym, ogromna siatka połączonych ze sobą węzłów, które przekazują między sobą informacje. (Cały pomysł został opracowany na podstawie sposobu działania naszego ludzkiego mózgu.)
NPU nie jest oddzielnym urządzeniem, które kupujesz i podłączasz (jak na przykład GPU). Zamiast tego NPU jest „pakowany” jako część nowoczesnej platformy procesora — takiej jak Intel Core Ultra, AMD Ryzen AI oraz Qualcomm Snapdragon X Elite i Snapdragon X Plus. Te platformy mają CPU wraz ze zintegrowanym GPU i NPU.

NPU kontra CPU kontra GPU: jaka jest różnica? Wyjaśnienie

Od wielu lat komputery wykonują zadania albo na jednostce centralnej (CPU), albo na jednostce przetwarzania grafiki (GPU). Tak samo jest nadal w przypadku komputerów ze sztuczną inteligencją (czyli komputerów z jednostkami NPU).

Procesor wykonuje większość zadań na komputerze. Ale GPU, pomimo swojej nazwy, nie jest przeznaczony tylko do zadań graficznych i gier. GPU jest w rzeczywistości zoptymalizowany do innego typu zadań obliczeniowych, dlatego GPU są kluczowe dla przedsięwzięć niezwiązanych z grami, takich jak wydobywanie kryptowalut i uruchamianie lokalnych modeli AI o wysokiej wydajności. W rzeczywistości GPU są bardzo dobre w takich zadaniach AI — ale GPU są strasznie energochłonne.
Tutaj wkraczają NPU. NPU jest szybszy niż CPU w obliczaniu zadań AI, ale nie tak szybki w porównaniu z GPU. Kompromisem jest to, że NPU zużywa znacznie mniej energii niż GPU podczas obliczania tych samych zadań AI. Ponadto, podczas gdy NPU obsługuje zadania związane z AI, CPU i GPU są zwolnione, aby obsługiwać swoje własne zadania, zwiększając ogólną wydajność systemu.

Dlaczego warto używać NPU zamiast CPU lub GPU?

Jeśli uruchamiasz oprogramowanie do generowania obrazów AI, takie jak Stable Diffusion (lub inny model AI) na sprzęcie swojego komputera i potrzebujesz maksymalnej wydajności, GPU będzie najlepszym wyborem. Dlatego Nvidia reklamuje swoje GPU jako sprzęt „premium AI” zamiast NPU.

Ale są chwile, kiedy chcesz uruchomić funkcje AI, które mogą być zbyt obciążające dla zwykłego CPU, ale niekoniecznie potrzebują najwyższej klasy mocy GPU. Albo może korzystasz z laptopa i chcesz skorzystać z funkcji AI, ale nie chcesz, aby GPU rozładowywał baterię.

Dzięki NPU laptop może wykonywać lokalne (na urządzeniu) zadania związane ze sztuczną inteligencją, nie wydzielając przy tym dużo ciepła i nie zużywając nadmiernie baterii — i może wykonywać te zadania związane ze sztuczną inteligencją, nie wykorzystując zasobów procesora CPU i GPU, które mógłby wykorzystywać Twój komputer.
Nawet jeśli nie interesuje Cię sama AI, nadal możesz wykorzystać NPU do innych celów. Na targach CES 2024 firma HP zaprezentowała oprogramowanie do strumieniowego przesyłania gier, które wykorzystuje NPU do zadań strumieniowego przesyłania wideo, uwalniając GPU do uruchomienia samej gry. Dzięki wykorzystaniu dodatkowej mocy obliczeniowej NPU oprogramowanie do strumieniowego przesyłania nie zajmuje żadnych zasobów GPU… i jest znacznie szybsze niż używanie CPU do tego samego typu zadań.

Ale co tak naprawdę oprogramowanie na komputery z systemem Windows może zrobić z jednostką NPU?

W przypadku komputera ze sztuczną inteligencją (AI) jednostka NPU może być używana zarówno przez system operacyjny, jak i aplikacje zainstalowane w systemie.
Na przykład, jeśli masz laptopa ze sprzętem Intel Meteor Lake, wbudowany NPU umożliwi Ci uruchomienie efektów Windows Studio, czyli efektów kamery internetowej opartych na sztucznej inteligencji, które zapewniają takie funkcje, jak rozmycie tła i wymuszenie kontaktu wzrokowego w dowolnej aplikacji korzystającej z Twojej kamery internetowej.
Komputery Copilot+ firmy Microsoft — pierwsza fala z nich jest napędzana przez układy Qualcomm Snapdragon X — mają własne funkcje oparte na sztucznej inteligencji, które wykorzystują NPU wbudowane w tę platformę. Na przykład funkcja Windows Recall, którą Microsoft opóźnił, będzie wymagać NPU.
W listopadzie 2024 r. komputery z procesorami AMD i Intel uzyskają dostęp do tych samych funkcji Copilot+ , które wcześniej były dostępne wyłącznie dla komputerów Qualcomm, ale będą dostępne tylko dla komputerów AMD i Intel wyposażonych w nowe procesory AMD Ryzen AI serii 300 i Intel Core Ultra Series 2 (Lunar Lake).

A to tylko funkcje wbudowane w system Windows; twórcy aplikacji będą mogli również używać NPU na wiele sposobów. Nie zdziw się, jeśli zobaczysz wtyczki do Audacity i GIMP, które oferują edycję audio i zdjęć z wykorzystaniem AI, która jest obsługiwana przez NPU komputera.
Możliwości są nieograniczone, jednak sprzęt ten jest jeszcze na wczesnym etapie rozwoju, więc minie trochę czasu, zanim jego pełny potencjał zostanie wykorzystany.

Po co mi NPU, skoro mój komputer może już obsługiwać oprogramowanie AI?

Większość obecnych aplikacji, które mają funkcje AI — w tym chatbot Copilot firmy Microsoft — nie wykorzystuje jeszcze NPU. Zamiast tego uruchamiają swoje modele AI na odległych serwerach w chmurze. Dlatego możesz uruchamiać takie rzeczy jak Microsoft Copilot, ChatGPT, Google Gemini, Adobe Firefly i inne rozwiązania AI na dowolnym urządzeniu, czy to starym komputerze z systemem Windows, Chromebooku, Macu, telefonie z Androidem czy czymś innym.
Ale dla tych usług uruchamianie ich modeli AI w chmurze jest drogie. Microsoft wydaje mnóstwo pieniędzy na przykład na wykonywanie zadań Copilot AI w centrach danych. Firmy chętnie przerzuciłyby te zadania AI na Twój lokalny komputer i zmniejszyłyby własne wydatki na przetwarzanie w chmurze.

Oczywiście, nie chodzi tylko o oszczędności kosztów. Korzystasz również z możliwości uruchamiania zadań AI wymagających dużej mocy obliczeniowej na swoim lokalnym urządzeniu. Na przykład te funkcje AI będą nadal działać, nawet gdy jesteś offline, a Ty możesz zachować prywatność swoich danych zamiast cały czas przesyłać je na serwery w chmurze. (To również wielka sprawa dla firm, które chcą zachować kontrolę nad własnymi danymi biznesowymi ze względów prywatności i bezpieczeństwa.)

Jakie jednostki NPU są dostępne i jaką mają moc?

Wydajność NPU jest mierzona w TOPS, co oznacza biliony operacji na sekundę. Aby dać ci pojęcie, co to oznacza, NPU niskiej klasy może być w stanie obsłużyć tylko 10 TOPS, podczas gdy komputery PC, które kwalifikują się do marki Copilot+ PC firmy Microsoft, muszą obsługiwać co najmniej 40 TOPS.

Od jesieni 2024 r. dostępne są następujące NPU:
Intel Core Ultra Series 1 (Meteor Lake): Pierwsza generacja Core Ultra NPU firmy Intel może dostarczyć do 11 TOPS. Jest zbyt wolny dla funkcji PC Copilot+ firmy Microsoft, ale działa z Windows Studio Effects i niektórymi aplikacjami innych firm.
Intel Core Ultra Series 2 (Lunar Lake): Procesory Lunar Lake firmy Intel będą zawierać jednostkę NPU o wydajności do 48 TOPS, co przekracza wymagania komputerów Copilot+.
AMD Ryzen Pro serii 7000 i 8000: AMD po raz pierwszy wprowadziło na rynek układy NPU w komputerach PC, zanim zrobił to Intel, jednak układy NPU w procesorach Ryzen serii 7000 są zbyt wolne do obsługi funkcji Copilot+ w komputerach PC, zapewniając wydajność na poziomie 12 i 16 TOPS.
Seria AMD Ryzen AI 300: Jednostki NPU w najnowszych procesorach AMD Ryzen AI 300 mogą zapewnić wydajność na poziomie 50 TOPS, co w zupełności wystarczy dla komputerów Copilot+.
Qualcomm Snapdragon X Elite i Snapdragon X Plus: sprzęt Qualcomm oparty na architekturze Arm obejmuje procesor NPU Qualcomm Hexagon o mocy do 45 TOPS.
Warto zauważyć, że NPU nie są tylko w komputerach PC. Sprzęt Neural Engine firmy Apple był jednym z pierwszych dużych, efektownych NPU, które przyciągnęły uwagę marketingową. Platforma Tensor firmy Google dla urządzeń Pixel również zawiera NPU, podczas gdy telefony Samsung Galaxy również mają NPU.

Podsumowanie: Czy warto od razu kupić komputer z NPU, czy poczekać?

Szczerze mówiąc, bycie na czele postępu jest ryzykowne.

Jeśli specjalnie kupiłeś laptopa Meteor Lake, licząc na to, że w przyszłości wyposażysz swój komputer w funkcje AI, to faktycznie się sparzyłeś, gdy Microsoft później ogłosił, że procesory NPU Meteor Lake są zbyt wolne do obsługi funkcji Copilot+ na komputerze. (Intel się z tym nie zgodził, wskazując, że nadal otrzymujesz wszystkie funkcje, w które pierwotnie wyposażone były te laptopy).

A jaka jest pozytywna strona tego wszystkiego? Funkcje Copilot+ PC nie są jeszcze aż tak interesujące. A zwłaszcza z powodu opóźnienia Windows Recall, w Copilot+ PC nie ma nic niezwykłego. Większość największych narzędzi AI — ChatGPT, Adobe Firefly itd. — w ogóle nie używa NPU.
Mimo wszystko, gdybym kupował nowego laptopa, chciałbym kupić NPU, jeśli to możliwe. Nie musisz specjalnie się wysilać, żeby go kupić; to po prostu coś, co jest dołączone do nowoczesnych platform sprzętowych. A te nowoczesne platformy procesorów mają inne duże funkcje, takie jak duże wydłużenie żywotności baterii.
Z drugiej strony, te szybkie NPU są teraz dostępne tylko w najnowszych laptopach i często można znaleźć świetne oferty na starsze laptopy, które są niemal tak szybkie jak najnowsze modele. Jeśli zauważysz laptopa poprzedniej generacji, który jest mocno przeceniony, może nie mieć sensu wydawać mnóstwa pieniędzy tylko na NPU, zwłaszcza jeśli nie planujesz używać żadnych narzędzi AI.

Obecnie większość dużych narzędzi AI nadal działa w chmurze — lub przynajmniej oferuje taką możliwość — więc będziesz mógł je uruchomić na dowolnym laptopie z systemem Windows, Chromebooku, a nawet tablecie z systemem Android i iPadzie.

W przypadku komputerów stacjonarnych sytuacja z NPU jest inna. Procesory stacjonarne Intela nie mają jeszcze NPU. Możesz upolować układ AMD do komputerów stacjonarnych z NPU Ryzen AI, ale układy AMD Ryzen serii 7000 i 8000 i tak nie obsługują funkcji PC Copilot+. Tak więc, jeśli składasz komputer stacjonarny, odłóż na razie NPU. Po prostu nie jest to jeszcze takie ważne.
Szukasz komputera z wydajnym NPU? Rozważ laptopy z systemem Windows oparte na architekturze Arm, takie jak Surface Laptop 7 i laptopy z serii AMD Ryzen AI 300, takie jak Asus ProArt PX13. Ponadto bądź na bieżąco z naszymi recenzjami laptopów Intel z procesorami Lunar Lake, gdy się pojawią. Do tego czasu zapoznaj się ze wszystkimi żargonami dotyczącymi komputerów AI, które musisz znać.