Generatywne modele sztucznej inteligencji rosną niczym na drożdżach, zwiększając zapotrzebowanie na wysokowydajne procesory graficzne (GPU). Nvidia, jako główny dostawca GPU, od dłuższego czasu nie nadąża z zaspokojeniem ogromnego popytu. Tymczasem Mark Zuckerberg, dyrektor generalny Meta, oświadczył publicznie, że już niedługo niedobór GPU w centrach danych przestanie być tak poważnym problemem. Natomiast kolejnym wąskim gardłem ma się stać, według założyciela Facebooka, kwestia zasilania. Tak czy inaczej nadchodzą tłuste lata nie tylko dla dostawców procesorów, ale również firm dostarczających produkty optymalizujące pracę GPU.

Jednym z przedstawicieli nowej fali jest startup Arc Compute z Toronto. Jego portfolio składa się z trzech aplikacji: Arc HPC Nexus, Arc HPC Oracle i Arc HPC Mercury. Zadaniem każdej z nich jest rozwiązanie problemów związanych z konsumpcją energii przez GPU, a także idących w ślad za tym wysokich kosztów operacyjnych.

Michael Buchel, CTO Arc Compute, wie, że wchodzi na rynek, na którym działają już dostawcy podobnych rozwiązań. Swojej szansy upatruje w tym, że konkurencyjne produkty często degradują wydajność procesorów i sprawiają trudności w odpowiednim dostosowaniu wydajności do określonych celów biznesowych.

Arc HPC Nexus służy do zarządzania zaawansowanymi procesorami graficznymi i sprzętem, optymalizując jednocześnie ich wydajność. Arc HPC Oracle idzie o krok dalej, wykorzystując modele matematyczne do przewidywania mocy cieplnej, pobierania energii i wzorców zużycia. Prognozując wytwarzanie ciepła, operatorzy centrów danych mogą proaktywnie relokować obciążenia, aby uniknąć hotspotów i uszkodzeń sprzętu. Z kolei Mercury koncentruje się na wyborze sprzętu i skalowaniu. Odpowiada za dobór odpowiedniego urządzenia, które zapewni najwyższą przepustowość dla przeciętnego zadania wykonywanego w centrum danych. Oprogramowanie sprzedawane jest w modelu cena per GPU (4000 – 6000 dol. rocznie), a w rozwiązaniach chmurowych użytkownik płaci za godzinę pracy 0,37 dol.

W Arc Compute pracuje siedemnaście osób. Obecnie startup rozmawia z inwestorami na temat rundy finansowania A, aby przyspieszyć zatrudnianie kolejnych inżynierów, a także zbudować sieć partnerską. Czy to się powiedzie? No cóż, amerykańskie fundusze venture capital zainwestowały już mnóstwo pieniędzy w startupy utożsamiane ze sztuczną inteligencją, nawet jeśli nie generują żadnych przychodów i nie mają gotowych produktów (jednym z przykładów jest Imbue). Na tle takich projektów szanse Arc Compute na pozyskanie inwestorów wydają się być dość duże.

Petabajty danych dla modeli szkoleniowych  

Protokół S3 za sprawą Amazon AWS stał się praktycznie standardem dla usług przechowywania i dystrybucji danych w środowisku chmurowym. Jego popularność nie oznacza, że jest wolny od wad. Rui Su, współzałożyciel startupu Juice Data, dostrzega dwa poważne mankamenty S3: ograniczone możliwości w zakresie obsługi dużych obciążeń, a także ścisły związek przepustowości z pojemnością, co utrudnia niezależne skalowanie.

Startup opracował JuiceFS – system rozproszonego przechowywania i przetwarzania plików, oferowany w modelu open source. JuiceFS Community Edition jest udostępniany na licencji Apache 2.0, dzięki czemu cechuje się dużą elastycznością i można go dostosować do konkretnych potrzeb. Dodatkowy atut stanowi współpraca społeczności prowadząca do ciągłego rozwoju produktu. JuiceFS na platformie GitHub uzyskał 10 tysięcy gwiazdek, a jego popularność rośnie dużo szybciej niż ma to miejsce w przypadku konkurencyjnych rozwiązań.

Warto podkreślić, że system jest w pełni kompatybilny z protokołami dostępu POSIX, HDFS i S3, co predysponuje go do zunifikowanego przechowywania nieustrukturyzowanych danych. JuiceFS obsługuje różne bazy danych o otwartym kodzie źródłowym, w tym Redis, TiKV, MySQL/MariaDB, PostgreSQL i FoundationDB, a jego architektura umożliwia magazynowanie 100 PB danych oraz 70 mld plików na jednym woluminie.

Według Rui Su wśród firm opracowujących modele sztucznej inteligencji pokutuje przekonanie, że najwięcej środków pochłaniają procesory graficzne, a koszty przechowywania danych stanowią znikomy wydatek. Dlatego organizacje zazwyczaj wybierają wysokowydajne systemy plików – GPFS, Lustre, Weka, które bazują na pamięci masowej all-flash (NVMe) i sieciach o wysokiej wydajności.

Jednak wraz ze wzrostem mocy obliczeniowych i danych, pojawiły się nowe wyzwania. Do procesu szkolenia wstępnego potrzeba od 10 PB do nawet 100 PB danych. Ze względu na koszty, użytkownicy zazwyczaj nie przechowują wszystkich zasobów cyfrowych w wysokowydajnych systemach przechowywania plików. Wiele firm używa do magazynowania części danych pamięć obiektową. Chociaż jest to podejście bardziej opłacalne, wymaga dodatkowej siły roboczej i czasu potrzebnego na synchronizację danych, migrację i zarządzanie spójnością między dwoma systemami pamięci masowej.

JuiceFS rozwiązuje powyższy problem, umożliwiając przechowywanie nie tylko plików, ale też obiektów. Ponadto został wyposażony w elastyczne mechanizmy planowania pojemności, pozwalające zwiększać wydajność, bez konieczności ręcznego sterowania.

– Koszt płatnej wersji JuiceFS Enterprise Edition jest aż 80 procent niższy od wydatków na wysokowydajne przechowywanie plików AWS FSx dla Lustre. Zasoby sprzętowe wymagane dla warstwy buforowania mogą wykorzystywać dyski NVMe wyposażone w węzły GPU, nie generując dodatkowych kosztów – tłumaczy Rui Su.