Koniec ery macierzy na miarę? Scality stawia na autonomiczną infrastrukturę danych

W obliczu drastycznie rosnących cen pamięci Flash oraz coraz bardziej rygorystycznych wymogów suwerenności danych w Europie rynek potrzebuje nowego paradygmatu. Odpowiedzią Scality – dostawcy znanego przede wszystkim z platformy RING, czyli rozproszonego, skalowalnego systemu pamięci obiektowej – jest Autonomiczna Infrastruktura Danych (ADI).

Przez ostatnie dekady rynek IT przywykł do powtarzalnego schematu: pojawienie się nowego obciążenia lub aplikacji skutkowało wdrożeniem dedykowanej macierzy, zoptymalizowanej pod konkretny wzorzec wydajności. Gdy kluczowym parametrem stawały się wysokie IOPS oraz minimalne opóźnienia, naturalnym i domyślnym wyborem była technologia All-Flash.

-Dynamiczny rozwój systemów sztucznej inteligencji bezpowrotnie zniszczył ten model finansowo-technologiczny – zauważa Christopher Storzum, VP Sales for Europe w Scality.

Sztuczna inteligencja nie jest bowiem pojedynczym, jednolitym scenariuszem użycia, lecz całym ekosystemem procesów o skrajnie odmiennych charakterystykach dostępu do danych. Obejmuje etap zbierania i budowy potężnych jezior danych, krytyczną pod kątem wydajności fazę trenowania modeli, a wreszcie długoterminowe archiwizowanie kolejnych wersji na potrzeby audytów i zgodności z regulacjami.

Rachunek, którego nie udźwignie żaden budżet IT

Naiwne próby pokrycia całego cyklu życia danych AI wyłącznie za pomocą macierzy All-Flash prowadzą do błyskawicznego wyczerpania budżetów IT. Rynek mierzy się obecnie z gwałtownym, wręcz czterokrotnym wzrostem cen komponentów Flash i pamięci RAM.

-Firmy nie mogą już sobie pozwolić na bezrefleksyjne rozwiązywanie każdego problemu wydajnościowego najdroższym sprzętem – podkreśla Christopher Storzum.

Do tego dochodzą twarde ograniczenia energetyczne współczesnych serwerowni. Realne limity poboru prądu zmuszają dyrektorów IT do poszukiwania rozwiązań oferujących optymalny kompromis między wydajnością a zużyciem energii.

Jedna przestrzeń nazw zamiast silosów

Odpowiedzią na te bolączki ma być architektura Scality ADI, zaprojektowana tak, by dostosowywać poziom ochrony i wydajności do aktualnej fazy życia danych, zachowując przy tym ekonomię skali.

Największą innowacją ADI jest całkowita likwidacja silosów technologicznych. Zamiast niezależnych systemów dla danych gorących, ciepłych i zimnych, administratorzy otrzymują jedną spójną przestrzeń nazw (Single Namespace), działającą pod kontrolą systemu Scality OS, który dynamicznie i automatycznie zarządza relokacją danych między trzema warstwami dopasowanymi do profilu sprzętowego.

Hot Tier wykorzystuje dyski Flash TLC i pełni rolę bezpośredniego cache’u dla procesów Key-Value oraz pamięci podręcznej dla chatbotów LLM, osiągając opóźnienia poniżej 50 mikrosekund. Dzięki temu kosztowne procesory GPU nie tracą cykli obliczeniowych na oczekiwanie na dane. Warm Tier łączy dyski twarde z akceleracją metadanych na nośnikach Flash. Taka kombinacja zapewnia stabilną przepustowość rzędu setek gigabajtów na sekundę, tworząc środowisko dla rozległych jezior danych. Cold Tier integruje się z bibliotekami taśmowymi poprzez interfejs kompatybilny z Glacier, umożliwiając realizację restrykcyjnych polityk retencji i przechowywanie starszych wersji modeli bez generowania zbędnych kosztów zasilania i chłodzenia.

Rozwiązanie dostarczane jest jako kompletne oprogramowanie instalowane bezpośrednio na standardowym, powszechnie dostępnym sprzęcie x86 (bare-metal). Użytkownik zachowuje pełną kontrolę nad cyklem życia infrastruktury, unikając pułapki vendor lock-in. Średni cykl życia sprzętu pod kontrolą Scality wynosi 7 lat, a system pozwala swobodnie mieszać różne generacje serwerów od odmiennych dostawców.

Open Code, czyli zaufanie na żądanie

Wychodząc naprzeciw restrykcyjnym wymaganiom sektora publicznego, finansowego i militarnego, producent zdecydował się na unikalny krok – model Open Code. To nie klasyczny open source, lecz program budowy bezwzględnego zaufania, w ramach którego kluczowi klienci otrzymują pełny wgląd w kod źródłowy systemu i mogą poddać go niezależnym audytom bezpieczeństwa pod kątem ukrytych luk i podatności.

Wprowadzając nowy system, Scality chce udowodnić, że nowoczesna pamięć obiektowa przestała być jedynie „cyfrowym cmentarzyskiem” przeznaczonym na archiwa i kopie zapasowe. Dzięki integracji sztucznej inteligencji w warstwie zarządzania oraz przyspieszeniu dostępu do warstwy NVMe przez RDMA, systemy te mogą już dziś obsługiwać projekty z zakresu AI i uczenia maszynowego.