Lokalne modele AI kontra chmura. Jest przestrzeń na koegzystencję? Relacja z redakcyjnego webinaru

Przez ostatnie lata firmy masowo wdrażały AI w chmurze, ale coraz częściej napotykały trzy bariery: bezpieczeństwo danych, wymogi regulacyjne, nieprzewidywalne koszty. Podczas webinaru zorganizowanego przez naszą redakcję Jacek Koczmierowski z HP Inc Polska i dr Bartosz Naskręcki, badacz i ekspert ds. ewaluacji modeli językowych z UAM i Politechniki Warszawskiej, sprawdzali na żywo, czy lokalny model może być równie skuteczny, a przy tym bezpieczniejszy i tańszy niż ten serwowany z chmury.

Punktem wyjścia do dyskusji była kwestia danych. Eksperci podkreślali, że w dobie powszechnego dostępu do modeli AI przewagą konkurencyjną nie jest już sam model, lecz dane, którymi organizacja go zasila. Jak zauważył Jacek Koczmierowski, Category Manager ds. stacji roboczych w HP Polska, prawdziwą wartością stają się informacje o produktach, klientach, procesach i całe know-how przedsiębiorstwa. Modele językowe są dziś dostępne niemal dla każdego, jednak efekty pracy z nimi zależą przede wszystkim od jakości i unikalności danych pozostających w posiadaniu firmy. Z kolei dr Bartosz Naskręcki zwrócił uwagę, że dane są nie tylko zasobem biznesowym, ale również elementem wymagającym ścisłej kontroli procesu przetwarzania. Organizacje chcą wiedzieć, gdzie dane trafiają, kto ma do nich dostęp i czy wykorzystywane są zgodnie z założeniami bezpieczeństwa oraz politykami compliance.

Shadow AI i presja regulacyjna

To właśnie w związku z tą kwestią pojawia się coraz częściej problem określany mianem „Shadow AI”, czyli nieformalnego wykorzystywania publicznych narzędzi AI przez pracowników bez pełnej kontroli organizacji. Użytkownicy przyzwyczajeni do wygody chatbotów bardzo często nie zastanawiają się nad tym, gdzie trafiają przesyłane dokumenty i jakie informacje są dalej przetwarzane.

W tym miejscu przytoczyłem dane z raportu EY, mówiące o tym, że od 76,6 do 90 % pracowników używa w pracy narzędzi AI, a formalną strategię użycia ma od 31 do 59 % firm. Rozjazd między praktyką pracowników a polityką firm to prawdopodobnie właśnie Shadow AI.

Jacek Koczmierowski przypomniał, że kierunek wyznaczają AI Act i NIS2, ale świadomość użytkowników nie zawsze nadąża za regulacjami. Firmy mogą zakazać wysyłania pewnych danych, jednak „zawsze znajdzie się jakiś bypass”. Drugim ryzykiem jest pokusa automatyzacji powtarzalnych zadań, której wynik bywa po prostu niepoprawny.

Dr Naskręcki opisał problem z perspektywy uczelni: „Przyzwyczailiśmy się do pewnej wygody używania chatbotów, gdzie wklejamy dane i zapominamy, że wędrują one do innego centrum danych. Nie wiemy, ile serwerów jest po drodze” – mówił. Wskazał też pułapkę metadanych: usunięcie nazwiska autora ze strony dokumentu nie usuwa go z samego pliku, a wszystko, co trafi do modelu, zostaje przetworzone.

Eksperymenty już za nami?

Niekoniecznie. Tu rozmówcy mieli różne zdania. Jacek Koczmierowski ocenił, że rynek z tej fazy wyszedł: coraz częściej firmy pytają o sprzęt do wydajnej obsługi konkretnego modelu, a rosnące ceny RAM-u i kart graficznych wynikają z większego zużycia AI. „Dzisiaj firma zastanawia się, jak optymalnie i bezpiecznie wdrożyć u siebie to rozwiązanie” – podsumował.

Bartosz Naskręcki widzi to zgoła inaczej. Małe i średnie firmy oraz niezależni użytkownicy wciąż szukają i eksperymentują, ponieważ rynek modeli jest na tyle dynamiczny, że praktycznie zmienia się z tygodnia na tydzień. Ktoś, kto rok temu opanował jedno rozwiązanie, dziś często zaczyna od nowa. Obaj eksperci jednak zgodzili się, że eksperymentowanie w jakiejś formie zostanie z nami na dłużej.

Ryzyka i hybrydowa przyszłość

Za najbardziej niedoszacowane zagrożenie ekspert HP uznał wyciek wiedzy firmowej, która może trafić do konkurencji. Bartosz Naskręcki dodał tu jeszcze błędy implementacyjne i złą interpretację działania modelu. Chmura pokazuje według niego „najgrzeczniejszą wersję” modelu, ale zamyka dostęp do pełnego spektrum możliwości. Przy modelu uruchamianym samodzielnie trzeba z kolei podejmować decyzje bez podręcznika, a błędna konfiguracja na starcie może prowadzić organizację coraz dalej w złym kierunku.

Zadałem pytanie: czy chmura jest jedyną opcją, jeśli chodzi o wdrażanie projektów bazujących na AI? „Zdecydowanie nie” – odpowiedział Bartosz Naskręcki. „Lokalny model można odciąć od sieci, a całość dopasować do organizacji jak garnitur szyty na miarę. W chmurze ktoś decyduje za nas, choćby dodając ukryte prompty”. Jacek Koczmierowski przypomniał, że kilkanaście lat temu zapowiadano przeniesienie wszystkich aplikacji do chmury, a ostatecznie nie wszystkie tam trafiły. „Kierunkiem, w którym zmierzamy, jest rozwiązanie hybrydowe. Tak jak mieliśmy hybrydowy model pracy” – mówił. Według tego eksperta dane wrażliwe i mniejsze zadania zostaną lokalnie, większa skala może działać w chmurze.

Do argumentów za lokalnością doszły też suwerenność danych, regulacje, ograniczona dostępność GPU i koszty mocy obliczeniowej. Dr Naskręcki dodał też kompetencje: wiedza budowana lokalnie się kumuluje, a firma zależna wyłącznie od chmury mogłaby zostać sparaliżowana, gdyby z powodów geopolitycznych ktoś ją odciął.

Platforma lokalna

„Istnieją świetne alternatywy do chmury, czyli rozwiązania lokalne, gdzie instalujemy wszystkie rzeczy, cały model, na naszym komputerze. W którymś momencie ten komputer możemy odciąć od sieci publicznej, a wszystkie dane pozostają na tym urządzeniu. Tu mamy wszystko od początku do końca. Tak jak w przepisie, który robimy sami. Od początku do końca wiemy, co się dzieje” – stwierdził Bartosz Naskręcki. W tym momencie doszliśmy do punktu kulminacyjnego webinaru – wspólnie przedstawiliśmy jedną z ciekawszych rynkowych opcji pracy z modelami językowymi na platformie onsite. Mowa tu o niewielkim urządzeniu HP ZGX Nano AI Station, opartym o układ NVIDIA GB10, ze 128 GB pamięci zunifikowanej, co pozwala uruchamiać modele do 200 mld parametrów. Urządzenie zapewnia pełną integrację z systemami Windows, macOS i Linux. Procesor Grace, GPU Blackwell i pamięć znajdują się na jednym układzie. Obudowa mierzy ok. 15 × 15 cm i 5 cm wysokości. Z tyłu są: złącze do spięcia dwóch jednostek, HDMI, Ethernet i USB-C. I to tyle, jeśli chodzi o parametry.

Superchip GB10 składa się z:

• 20-rdzeniowego procesora Grace ARM (10 rdzeni Cortex-X925 Prime + 10 rdzeni Cortex-A725)
• GPU NVIDIA Blackwell z 48 modułami shaderów i rdzeniami Tensor 5. generacji
• Połączenia NVLink-C2C zapewniającego 600 GB/s przepustowości między CPU a GPU
• 128 GB zunifikowanej pamięci LPDDR5X o przepustowości 273 GB/s

Ale to, co ważniejsze, to sposób działania i potencjał platformy.

Może jednak po kolei. W zestawie z ZGX Nano producent dostarcza HP ZGX Toolkit, który ma skrócić konfigurację do minimum. Dr Naskręcki na potrzeby naszego spotkania od miesiąca testował urządzenie: „W zasadzie nie musiałem nic instalować”.

Dla kogo Nano?

Dla każdego? Wielkość firmy nie jest kryterium, według ekspertów bardziej o wykorzystaniu decydują budżet i zadanie. Realnym limitem działań jest 200 mld parametrów, choć – co wybrzmiało podczas naszej rozmowy, ZGX Nano można łączyć w zestawy. Jacek Koczmierowski wyjaśnił, że dwa połączone zestawy (do tego służą wejścia z tyłu urządzenia) dają 256 GB pamięci i liniowy przyrost wydajności, natomiast dla tych, którzy chcą więcej mocy i więcej użytkowników jednocześnie, polecił „starszego brata”, HP ZGX Fury na procesorze GB300, czyli sprzęt klasy serwerowej.

Tej klasy platformy to – jak wskazali eksperci – doskonałe rozwiązanie dla organizacji z danymi wrażliwymi, zwłaszcza w ochronie zdrowia i sektorach regulowanych, oraz firm, które chcą budować kompetencje AI bez zatrudniania „dziesięciu nowych osób”.

Urządzenia lokalne, takie jak HP ZGX Nano AI Station będą coraz częściej elementem krajobrazu technologicznego w organizacjach

Finałem webinaru był pokaz możliwości HP ZGX Nano AI Station.

Bartosz Naskręcki przygotował kilka scenariuszy użycia lokalnego AI.

W pierwszym scenariuszu model sortował ankiety (uczelniane) według tematów: ok. 300 tokenów na sekundę, 50 odpowiedzi na minutę. Dla każdego wpisu widać było uzasadnienie kategorii, a nawet generowanie token po tokenie. „To jest ten komfort, którego nigdy nie mamy przy  pracy z chmurą” – wyjaśniał naukowiec. To jedna z przewag platformy HP ZGX Nano nad modelami chmurowymi. Lokalna platforma umożliwia bowiem śledzenie każdego etapu przetwarzania danych. Użytkownik może obserwować generowanie tokenów, parametry modelu, logikę klasyfikacji danych czy sposób tworzenia odpowiedzi. Rozwiązania z chmury udostępniają jedynie efekt końcowy działania modelu. „A tu mamy pełny, kompleksowy podgląd na wszystko, co się z tymi danymi dzieje.” – wyjaśniał Naskręcki. Taka transparentność modelu ma szczególne znaczenie w środowiskach regulowanych, gdzie konieczne jest dokumentowanie sposobu podejmowania decyzji przez systemy AI.

Jednym z ciekawszych scenariuszy użycia był przykład wykorzystania AI w ochronie zdrowia.

Ekspert pokazał jak na platformie model AI klasyfikuje dane pochodzące z dokumentacji medycznej –  automatycznie identyfikował kluczowe informacje, takie jak wyniki pomiarów, daty badań czy identyfikatory pacjentów, a jednocześnie umożliwiał pełny audyt procesu przetwarzania informacji. Według Bartosza Naskręckiego szczególnie istotna była tu możliwość wykrywania niespójności danych i przekazywania ich do weryfikacji przez człowieka: „Dostajemy informację: coś się nie zgadza w tych danych, więc przechodzi to do użytkownika, który musi podjąć decyzję.” Takie podejście pozwala ograniczać ryzyko tzw. halucynacji modeli językowych i budować procesy zgodne z wymaganiami organizacji.

Koszty, koszty, koszty. I zyski

Lokalna platforma do pracy z AI ma sens, jeśli za użyciem stoją realne oszczędności, przewagi, unikalne cechy. Z czym mamy do czynienia w przypadku platformy ZGX Nano? I tu znów parametry, takie jak chociażby przepustowość  do 273 GB/s (dla 128 GB pamięci). Teraz trochę praktyki: modele gęste o 30-50 mld parametrów dają ok. 10-15 tokenów na sekundę, co według Bartosza Naskręckiego wystarcza do pracy delegowanej: 10 godzin nocą to analiza tysięcy dokumentów. Dobrym kompromisem okazał się model Mixture of Experts o 35 mld parametrów, który aktywuje naraz tylko część z nich i sprawdza się w większości zastosowań biznesowych. Zmiana modelu na HP ZGX Nano trwa około 5 minut.

I w końcu cena, bo to ona też decyduje o atrakcyjności lokalnej alternatywy. Urządzenie jest dostępne z dyskiem 2 TB lub 4 TB, w cenie od ok. 25 do ponad 30 tys. zł.

Czy to dużo? Na pewno jest to większy koszt początkowy, w porównaniu z wejściem w rozwiązanie chmurowe. Ale ważne, co dzieje się dalej. Dr Naskręcki, jako intensywny użytkownik, oszacował swój miesięczny koszt tokenów w chmurze, z całą infrastrukturą wokół modelu, na 4–5 tys. zł.

Zakup ZGX Nano przy tej skali korzystania z modeli AI zwraca się po kilku miesiącach. Na pewno w ciągu roku. Wyrażając to w liczbach – platforma zwróci się po 2–3 mld tokenów.  Przy 60 tokenach na sekundę urządzenie generuje ponad 5 mln tokenów na dobę.

Co do przewag, to warto przytoczyć uwagę naukowca, który podkreślił przewidywalność modelu lokalnego: w chmurze nigdy nie wiadomo, kiedy wydajność spadnie (peak i kolejkowanie użytkowników),  lokalnie można z góry powiedzieć, że wynik będzie np. za pół dnia. I jeszcze jedno ciekawe spostrzeżenie ekspertów – pojawiające się nowe generacje modeli z lepszą kwantyzacją będą poprawiać efekty wciąż na tym samym, wydajnym i przewidywalnym sprzęcie.

Wnioski? Na pewno warto spojrzeć w innym kierunku niż chmura, nawet jeśli miałby to być model hybrydowy, wykorzystujący najlepsze cechy lokalnych platform i chmurowych przewag.

Urządzenia lokalne, takie jak HP ZGX Nano AI Station będą coraz częściej elementem krajobrazu technologicznego w organizacjach.