W ostatnich miesiącach tematem numer jeden w świecie nowych technologii jest sztuczna inteligencja. Często występuje ona w charakterze „czarnego luda”, który wyśle miliony ludzi na bezrobocie i osiągnie taką doskonałość w tworzeniu fałszywych treści, że tylko najwięksi eksperci będą potrafili je odróżnić od rzetelnych informacji. Nieco innym okiem spoglądają na rozwój SI dostawcy infrastruktury. Aplikacje SI potrzebują więcej energii aniżeli konwencjonalne oprogramowanie, ponieważ muszą odczytywać ogromne ilości danych. W ciągu kilku dni pojedynczy model SI konsumuje setki dziesiątki tysięcy kilowatogodzin. Tymczasem generatywne modele sztucznej inteligencji, takie jak technologia leżąca u podstaw stworzonego przez OpenAI chatbota ChatGPT, mogą być nawet 100 razy większe niż standardowe narzędzia SI.

Amerykański producent DDN, legitymujący się bogatym doświadczeniem w zakresie opracowywania i dostarczania pamięci masowych dla obliczeń wysokiej wydajności (HPC), wydaje się być przygotowany na nadejście nowej fali SI.

– Mamy do czynienia z drugą falą sztucznej inteligencji. Niesie ona ze sobą takie wyzwania jak ograniczona dostępność mocy, maksymalizacja wydajności, czy też zapanowanie nad rozproszonymi danymi. Trzeba w tym celu sięgnąć po innowacyjne technologie, w tym równoległe przetwarzanie danych, które pozwoli pracować z zaawansowanymi aplikacjami, począwszy od sztucznej inteligencji i analizy danych, aż po symulacje i wizualizacje – mówi Kurt Kuckein, wiceprezes DDN ds. marketingu.

Według DDN wydajne obliczenia wymagają nowej architektury i trudno osiągnąć ekstremalną wydajność bazując na protokole NFS, który posiada takie mankamenty, jak za duża liczba zastosowanego sprzętu, a także generowanie nadmiaru ruchu pomiędzy buforem a głównym magazynem danych. Praca z aplikacjami AI wiąże się z rosnącym wykorzystaniem procesorów graficznych. Dlatego też DDN blisko współpracuje z Nvidią, a owocem tej kooperacji jest między innymi zastosowanie architektury referencyjnej DGX SuperPOD w macierzach DDN. Takie rozwiązanie gwarantuje moc niezbędną do trenowania najnowocześniejszych modeli głębokiego uczenia.

– Wykorzystanie technologii pamięci masowej, która może zapewnić odpowiednią przepustowość dla odczytu, jak i zapisu, ma kluczowe znaczenie dla utrzymania wydajności – mówi Prethvi Kashinkunti, Deep Learning Systems Engineer w Nvidia.

DDN w pierwszym kwartale bieżącego roku sprzedał więcej systemów przeznaczonych do obsługi SI aniżeli w całym ubiegłym roku. Amerykański producent spodziewa się dalszego zwiększania przychodów ze sprzedaży macierzy z GX SuperPOD.

Nadzieja w wielkich zbiorach danych

Na pierwszy rzut oka mogłoby się wydawać, że biznes związany z przetwarzaniem i przechowywaniem wielkich zbiorów danych przynosi kokosy. Jednak nie wszystkim jest łatwo, co pokazuje przykład Qumulo. W ubiegłym roku firma, która opracowuje systemy do przetwarzania danych nieustrukturyzowanych, otrzymała wyróżnienie „HPE’s Global Storage Partner of the Year 2022”. HPE uzasadniło wybór tego właśnie partnera osiąganymi przez niego wyjątkowymi wynikami finansowymi, innowacyjnymi rozwiązaniami i sensowną działalnością biznesową. Niedługo potem gruchnęła wiadomość, że Qumulo zwalnia 80 osób, czyli 19 proc. swojego personelu. Biel Richter, CEO Qumulo, tłumaczył ten ruch koniecznością poprawy rentowności. Jak do tej pory firmie udało się zebrać od funduszy venture capital 347,3 mln dol. w siedmiu rundach, a ostatnia odbyła się w 2020 r.

Ryan Farris, VP for product Qumulo, podczas czerwcowego spotkania z przedstawicielami europejskich mediów w Menlo Park, przekonywał, że firma ma już trudny okres za sobą.

– Nasz przeciętny klient posiada około petabajta danych. W sumie firmy korzystające z oprogramowania Qumulo przechowują w 500 miliardach plików ponad trzy eksabajty danych, a każdego dnia wykonują ponad 200 miliardów operacji, przy czym 90 proc. z nich zajmuje mniej niż milisekundę – wylicza Ryan Farris.

Jak się łatwo domyślić, Qumulo wielkie nadzieje pokłada w przyroście danych nieustrukturyzowanych, których objętość podwaja się co 18–20 miesięcy. Wraz z tworzeniem kolejnych modeli AI tempo to powinno jeszcze bardziej wzrosnąć. To nie jedyny problem, bowiem firmy muszą zmierzyć się z dwoma innymi wyzwaniami: dekoncentracją danych (lokalne serwerownie, brzeg sieci, chmura publiczna) oraz rozproszeniem przepływów pracy.

– Niektóre systemy NAS bardzo dobrze radzą sobie z dużymi plikami, inne z małymi. Trudno jest znaleźć rozwiązanie spełniające oba kryteria. W rezultacie firmy korzystają z różnych serwerów i macierzy, przerzucając pomiędzy nimi dane, co nie jest dobre z punktu widzenia bezpieczeństwa. Coraz częściej słyszymy od naszych największych klientów, że nie chcą dodawać kolejnych rozwiązań sprzętowych. Qumulo ze swoim oprogramowaniem zamierza wypełnić tę lukę – tłumaczy Ryan Farris.

Nową bronią w arsenale Qumulo jest Scale Anywhere – system typu software defined storage, przeznaczony do pracy w środowisku chmury hybrydowej. W przypadku przedsiębiorstw korzystających z plików i obiektów istnieje możliwość udostępniania danych między wszystkimi obciążeniami i klientami — NFS, SMB i S3. Oprogramowanie jest niezależne od sprzętu i miejsca działania, może to być lokalne centrum danych, brzeg sieci, Amazon AWS, Microsoft Azure czy Google Cloud Platform.

Pamięć obiektowa bez ograniczeń

W ostatnim czasie szybko rosną akcje pamięci obiektowej. Największą zaletą tej technologii jest możliwość grupowania urządzeń w duże pule pamięci masowej i ich dystrybuowanie w wielu lokalizacjach, co pozwala uzyskać bardzo wysoką skalowalność, dużą odporność na awarie i wysoką dostępność danych.

Jednym z wyróżniających się graczy w tym segmencie rynku jest kalifornijski startup MinIO, który oferuje zdefiniowany programowo system obiektowej pamięci masowej, mogący działać na dowolnych serwerach x86 i być uruchamiany w chmurze publicznej, środowisku lokalnym czy na brzegu sieci. Użytkownicy MinIO przechowują zdjęcia, pliki dzienników czy też obrazy kontenerów i maszyn wirtualnych.

Startup z siedzibą w Redwood obalił mit o ograniczonej wydajności pamięci obiektowej, która była utożsamiana z przechowywaniem w długim okresie czasu rzadko używanych danych. Eksperci MinIO pokazali, że może być inaczej: wykorzystując system tej firmy można uzyskać maksymalną prędkość odczytu 325 Gb/s, a zapisu 117 Gb/s.

– Wydajność to nie tylko sposób pozycjonowania na rynku. Wyróżniamy się, bo jesteśmy szybcy, co pozwala klientom uruchamiać więcej węzłów w klastrze. Natomiast dostarczanie pamięci obiektowej dla potrzeb archiwalnych nie jest trudnym zadaniem – podkreśla Jonathan Symonds, Chief Marketing Officer w MinIO.

W rezultacie pamięć masowa MinIO może być wykorzystywana do obsługi dużych ilości danych generowanych podczas projektów AI oraz uczenia maszynowego. Dileeshvar Radhakrishnan, inżynier MinIO zapewnia, że system sprosta wyzwaniom jakie przyniosą ze sobą kolejne wersje ChatGPT.

– Petabajt stał się w pewnym stopniu nowym terabajtem, a my już przenosimy się do projektów z eksabajtami danych. Jeziora danych używają pamięci obiektowej zamiast macierzy NAS czy SAN. Decyduje o tym duża elastyczność i skalowalność – tłumaczy Dileeshvar Radhakrishnan.

Sztuczna inteligencja przeżywa prawdziwy rozkwit, aczkolwiek w MinIO zauważają też inne zjawisko, jakim jest rosnąca społeczność Kubernetesa. Co mają o ze sobą wspólnego pamięć obiektowa i platforma do zarządzania i wdrażania aplikacji kontenerowych? Podstawowym formatem przechowywania lub protokołem w środowiskach Kubernetes są obiekty, a nie bloki lub pliki. MinIO jest przystosowany do przechowywania dużych ilości nieustrukturyzowanych danych wytwarzanych przez aplikacje kontenerowe. Co więcej, ten magazyn obiektów jest natywny dla Kubernetes, w czym przedsiębiorstwo upatruje swoją przewagę.