Nowe życie pamięci flash dzięki NVMe

Macierze dyskowe wyposażone wyłącznie w dyski z pamięcią flash są obecne na rynku od niemal dwóch dekad. Pionierem w tej dziedzinie był Texas Memory Systems (kupiony w sierpniu 2012 r. przez IBM). Produkty RamSan tej marki były postrzegane jako rozwiązanie bardzo niszowe, ale też ciekawy przykład nowej generacji pamięci masowych. Długo oczekiwany boom nastąpił dopiero kilka lat temu. Jak grzyby po deszczu zaczęły wyrastać startupy oferujące macierze tylko z dyskami flash.

W pewnym momencie wyglądało wręcz na to, że tradycyjni dostawcy rozwiązań bazujących na klasycznych dyskach mogą poczuć się zagrożeni, choć przez długi czas wydawali się ignorować nowopowstający rynek. Prawdopodobnie było to jednak działanie z premedytacją – czekali cierpliwie, aż nowe podmioty wyedukują klientów w zakresie macierzy all-flash, ponosząc duże koszty na marketing i rozwój produktów, aby później kupić je za korzystną cenę i zintegrować ich urządzenia z własną ofertą. Pierwszego zakupu dokonało EMC (w maju 2012 r. producent nabył izraelskie XtremIO, a potem w 2015 r. firmę DSSD), następnie wspomniany IBM, a potem Cisco, które w 2013 r. przejęło Whiptail (zaprzestało jednak produkcji macierzy all-flash w 2015 r.). Nieco później do „ataku” ruszył NetApp, kupując w 2015 r. SolidFire, a w jego ślady w 2017 r. poszły HPE (przejęło Nimble Storage) oraz Western Digital (zostając właścicielem Tegile Systems).

W międzyczasie niemal wszyscy producenci klasycznych macierzy dyskowych zaprezentowali także ich wersje w wydaniu all-flash – z reguły z nieco usprawnionym kontrolerem, większą pamięcią cache, ale z taką samą podstawową funkcjonalnością. Obecnie nie ma producenta na rynku storage, który nie miałby w ofercie macierzy all-flash. Ale z dawnych startupów na rynku liczą się tylko dwa podmioty, wymienione przez Gartnera w kwadracie liderów: Pure Storage i Kaminario. Analitycy zalecają zwrócenie uwagi także na Tintri (wizjoner) i X-IO Technologies (niszowy gracz). Pozostałe firmy (ze szczególnym wskazaniem na Violin Memory, jednego z pierwszych graczy na rynku all-flash), albo są na granicy bankructwa, albo już nie istnieją.

Sytuację na rynku macierzy all-flash można już zatem uznać za ustabilizowaną i dojrzałą. Przez długi czas spekulowano jeszcze, kto kupi firmę Pure Storage, ale przedstawiciele zarządu tego producenta wielokrotnie podkreślali, że nie dopuszczą do jego przejęcia przez inny podmiot. Pewności siebie dodaje im zresztą najwyższa pozycja w magicznym kwadrancie Gartnera dotyczącym dostawców macierzy all-flash. Poza tym każdy z poważnych graczy na rynku storage ma już kompletną ofertę, więc inwestycja w Pure Storage nie miałoby większego sensu.

Po co klientowi all-flash?

Od strony funkcjonalnej macierze all-flash mogą być wykorzystywane do tych samych zastosowań co systemy dyskowe, ale na razie nie ma to sensu ze względów ekonomicznych. Rozwiązania te zapewniają ogromny wzrost wydajności pracy aplikacji, uzyskany dzięki skróceniu o kilka rzędów wielkości czasu dostępu do danych. Można to zauważyć głównie w przypadku operacji losowego ich odczytu, które są charakterystyczne przede wszystkim dla baz danych, dużych systemów transakcyjnych oraz środowisk wirtualnych serwerów i desktopów. Ma to duże znaczenie, szczególnie w przypadku wirtualnych maszyn. Nawet jeśli wewnątrz nich  ruch ma charakter sekwencyjny, to dla macierzy dyskowej praca kilku takich maszyn wygląda podobnie jak w przypadku losowego odczytu i zapisu (zjawisko to określane jest mianem I/O blender).

Do czego natomiast nie należy stosować macierzy all-flash? Na pewno do przechowywania plików ani ich backupu, szczególnie w typowym środowisku biurowym. W takim przypadku niewielki wzrost wydajności nie zrekompensuje znacznie wyższej ceny samego urządzenia, jak i znajdujących się w nim nośników. Wyjątek mogą stanowić jedynie rozwiązania IoT oraz różnego typu systemy analityczne, w których zapisywane są i odczytywane miliony bardzo małych plików. Wówczas skrócenie czasu dostępu do nich, a to jest główna zaleta nośników flash, może znacznie wpłynąć na ogólną wydajność ich przetwarzania.

Macierze all-flash zupełnie nie sprawdzają się też w rozwiązaniach monitoringu wideo. Zapis w nich ma charakter ciągły, i do tego wykonywany jest w trybie sekwencyjnym, a odczyt jest wyjątkowo rzadki. Zdecydowanie tańsza będzie zwykła macierz lub serwer NAS, a do tego trzeba też pamiętać o zainstalowaniu specjalnych dysków, których mechanika przystosowana została do ciągłego zapisu (zwykłe twarde dyski zostały zaprojektowane z założeniem, że zapis i odczyt będą odbywały się w równych proporcjach).

Jak zadbać o komórki?

Pamięci flash mają jedną podstawową wadę – ich komórki podczas każdej operacji zapisu tracą elektroniczne właściwości, co sprawia, że w pewnym momencie nie będą w stanie przechowywać danych. Ich trwałość określana jest w cyklach zapisu i kasowania. W popularnych obecnie dyskach liczba takich cykli, w ramach których dostawca pamięci gwarantuje trwałość danych, określana jest na poziomie tysiąca. To niewiele, ale w praktyce, dla zwykłych konsumentów, jest to wartość wystarczająca. Problem rodzi się wówczas, gdy dane są zapisywane i kasowane bardzo często. Dlatego w nośnikach SSD znajdują się specjalne kontrolery wyposażone w oprogramowanie, które dba o równomierne rozłożenie zapisu danych na całym nośniku. W ten sposób minimalizowane jest prawdopodobieństwo częstego wykorzystania tych samych komórek pamięci.

Dodatkowy problem stanowi fakt, że w pamięciach flash nie można tak po prostu skasować danych z jednej komórki. Gdy zajdzie taka konieczność trzeba wymazać zawartość całego sektora. Dlatego, gdy zapełniona zostanie pojemność nośnika, a część danych zostanie przeznaczona do skasowania, oprogramowanie kontrolera musi analizować, które sektory można oczyścić w całości, a z których sektorów należy przekopiować część potrzebnych jeszcze danych do innego sektora. Proces ten nazywa się z angielskiego zbieraniem śmieci (garbage collection) i niestety znacząco wpływa na wydajność pamięci flash.

Pierwsze dyski SSD miały małą pojemność oraz wysoką cenę w przeliczeniu na gigabajt, co blokowało wzrost ich popularności. Przez długi czas w nośnikach przeznaczonych do zastosowań korporacyjnych królowały kości wyprodukowane w technologii SLC (Single-Level Cell – jeden bit na komórkę) i MLC (Multi-Level Cell – dwa bity na komórkę). Dopiero od dwóch lat popularność zyskują tańsze kości TLC (Triple-Level Cell), w których jedna komórka jest w stanie przechować trzy bity informacji. Planowane jest też stworzenie kości QLC (Quadriple-Level Cell), ale pierwsze prototypy są wciąż na tyle nietrwałe, że nie nadają się do profesjonalnych zastosowań. Natomiast dzięki zwiększonej w ten sposób gęstości zapisu w macierzach all-flash pojawiają się dziś dyski o pojemności nawet 30 TB.

Wyzwania i paradoksy

Ponieważ nośniki zawierające pamięć flash nadal są dość drogie, producenci zaczęli wyposażać macierze all-flash w mechanizmy umożliwiające zmniejszenie objętości przechowywanych danych – kompresję i deduplikację. Kompresja sprawdza się dobrze w przypadku każdego rodzaju danych, które nie są zaszyfrowane lub skompresowane z natury (jak pliki multimedialne czy zdjęcia), a szczególnie w bazach danych. Deduplikacja natomiast doskonale działa w środowiskach wirtualnych, a przede wszystkim wobec wirtualizacji desktopów. Jednak równoległe korzystanie z obu tych technik nie ma większego sensu, bo ilość odzyskanej przestrzeni będzie wówczas bardzo niewielka. Poza tym, zarówno deduplikacja, jak też kompresja, wpływają negatywnie na wydajność, a więc „zabijają” główną korzyść, dla której firmy inwestują w macierze all-flash.

Dobierając macierz all-flash dla klienta trzeba baczną uwagę zwracać na to, czy podawane przez producenta parametry dotyczące pojemności nie są wyliczone właśnie z zastosowaniem kompresji i/lub deduplikacji (często dostępne na stronach internetowych producentów kalkulatory korzyści dokonują obliczeń z włączonymi tego typu opcjami, co jest oczywistą manipulacją). Siłą rzeczy dane te nie będą wiarygodne, bo współczynniki skuteczności obu tych procesów nie będą znane, póki macierz nie zostanie zasilona właściwymi danymi klienta. Dlatego podczas porównywania urządzeń zawsze należy zwracać uwagę na rzeczywistą, „surową” pojemność (raw capacity).

Ważnym parametrem, który może mieć wpływ na finalną cenę – zarówno zakupu, jak też użytkowania – jest kwestia oprogramowania do zarządzania macierzą. W wielu przypadkach jest ono dołączane do urządzenia gratis i nielimitowane w żaden sposób. Jednak niektórzy dostawcy stosują model znany z klasycznych macierzy dyskowych, gdzie cena udzielonych licencji może być zależna od pojemności nośników czy liczby kontrolerów.

NVMe bierze wszystko

Interfejsy SATA/SAS stosowane w dyskach SSD wprowadzają wiele ograniczeń związanych z transferem danych, a wśród nich najbardziej znaczącym jest limit jego prędkości. Dlatego już dekadę temu rozpoczęto prace zarówno nad nowym protokołem transmisji danych, jak też nowym interfejsem urządzeń. Dzięki temu powstał protokół NVMe (Non-Volatile Memory Express) oraz interfejs M.2 pozwalający na podłączenie pamięci flash bezpośrednio do magistrali PCIe.

Jednym z podstawowych ograniczeń twardych dysków jest to, że w danym momencie są w stanie przetwarzać tylko jedno żądanie (głowica dysku nie jest w stanie znajdować się w dwóch miejscach w tym samym czasie), a więc transfer danych ma charakter sekwencyjny. Dlatego też interfejsy stosowane w dyskach w ogóle nie przewidują możliwości równoległego przesyłania większej ilości danych, z czym w ogóle nie ma problemu w przypadku pamięci flash. Tam w jednym cyklu teoretycznie możliwe jest wykonanie nawet 64 tys. żądań odczytu, do czego jeszcze dziś nie są gotowe same procesory, magistrale komputerów ani aplikacje, teoretycznie wydajność pamięci flash daje nam więc duży zapas.

W firmach, które korzystają z serwerów i pamięci masowych wyposażonych w nośniki NVMe, wąskie gardło często stanowi infrastruktura sieciowa. Dlatego już dwa lata temu zaprezentowano pierwszą wersję protokołu sieciowego NVMe-oF (NVM Express over Fabrics), który będzie w pełni zgodny z protokołem NVMe i w żaden sposób nie będzie ograniczał wydajności tych nośników. Obecnie sterowniki większości nowych kart sieciowych są już zgodne z NVMe-oF, więc gdy te nośniki zaczną zyskiwać należną im popularność, nie powinno być problemów z ich wdrażaniem.

Protokół NVMe przynosi ogromną korzyść w przypadku macierzy dyskowych. Eliminacja interfejsów i podłączenie nośników bezpośrednio do magistrali kontrolera macierzowego pozwoli na uzyskanie dużej wydajności za ułamek ceny, którą obecnie trzeba zapłacić za urządzenie z setkami dysków. Nośniki bazujące na protokole NVMe bardzo dobrze przyjmują się obecnie jako moduły pamięci masowej w rozwiązaniach infrastruktury hiperkonwergentnej oraz dyski w zainstalowanych tam serwerach. Powoli trafiają też do macierzy dyskowych – większość producentów zapowiedziało wprowadzenie modeli z takimi nośnikami na rynek w 2019 r. Natomiast w ogromnej większości firm barierę będzie w tym przypadku stanowiła posiadana infrastruktura sieciowa oraz wykorzystywane w niej protokoły (CIFS i NFS dla serwerów NAS oraz FC i iSCSI w sieciach SAN). Dlatego realnych korzyści z dysków NVMe oraz protokołu NVMe-oF należy zatem spodziewać się dopiero w perspektywie kilku najbliższych lat.

Stosowanie dysków NVMe w infrastrukturze serwerowej ma obecnie ograniczony sens także ze względu na architekturę aplikacji. Większość z nich nie jest gotowa na otrzymywanie tak dużej ilości danych w tak krótkim czasie. Zastosowane w oprogramowaniu algorytmy są „świadome”, że dane będą spływały umiarkowanie powoli ze zwykłych twardych dysków, więc one też nie muszą się spieszyć. Dlatego, aby uzyskać pełną korzyść z nowych rodzajów nośników, klienci powinni sprawdzić czy na tą swego rodzaju rewolucję gotowe jest też ich oprogramowanie.