Wraz ze wzrostem ilości danych, a także rosnącymi potrzebami związanymi z ich przetwarzaniem na rynku pojawili się nowi gracze, tacy jak Snowlake czy Databricks, a także usługi Amazon Redshift, Google BigQuery, Azure Synapse. Do tej rywalizacji próbuje się włączyć amerykański startup Hydrolix z Portland. Jego autorskim rozwiązaniem jest jezioro danych strumieniowych (streaming data lake).

Jedną z najważniejszych operacji wykonywanych podczas analizy danych jest ETL (Extract-Transform-Load), czyli integracja danych ze wszystkich systemów, aplikacji i gromadzenie ich w jednym miejscu. Chodzi o to, aby transformować dane do takiej postaci, aby można było je poprawnie analizować. Dwa największe mankamenty ETL to czasochłonność oraz skalowalność.

Inaczej wygląda to w przypadku strumieniowego przesyłania dania. Kluczowym aspektem jest tutaj analiza danych w czasie rzeczywistym. Najprostszym przykładem jest obsługa karty kredytowej, kiedy użytkownik wkłada ją do terminala płatniczego, dane w ciągu kilku sekund są przesyłane do odpowiedniego banku. Hydrolix opracował platformą pozwalającą w czasie rzeczywistym przetwarzać pochodzące z różnych źródeł wielkie zbiory danych. Autorzy rozwiązania zastosowali w nim wyszukiwanie indeksowe – zapytania odczytują tylko odpowiednie zakresy bajtów w każdej kolumnie i unikają kosztownego skanowania pełnej tabeli. Poza tym Hydrolix rozdzielił pamięć masową od części obliczeniowej, co ułatwia skalowanie.

– Oddzielenie pamięci masowej sprawia, że wszystkie dane są gorące. W rezultacie eliminujemy potrzebę zarządzania wieloma poziomami pamięci masowej. To pozwala oferować klientom w czasie rzeczywistym wysoką wydajność w skali terabajtów. Nasze oprogramowanie analizuje w czasie rzeczywistym zarówno strumieniowe dzienniki, jak i surowe dane – tłumaczy Marty Kagan, CEO i współzałożyciel Hydrolix.

System można wdrożyć na platformach Akamai Linode Kubernetes Engine, Google Kubernetes Engine, Amazon Elastic Kubernetes Engine i Azure Kubernetes Service oraz przechowywać w magazynach obiektów zgodnych z protokołem S3. Najczęściej znajduje one zastosowanie w platformach obserwowalności, systemach wykrywających anomalię czy monitorowaniu w czasie rzeczywistym użytkowników systemów IT.

Obecnie firma posiada niespełna 300 klientów, a najbardziej znani to New Balance oraz Akamai (będący równocześnie jednym z inwestorów startupu). W tym drugim przypadku partnerstwu obu firm przyczyniło się do powstania TrafficPeak – zarządzanej platforma obserwowalności działająca na Akamai Connected Cloud. Usługa umożliwia przyjmowanie, monitorowanie, przechowywanie i analizę wielkich zbiorów danych w czasie rzeczywistym. Marty Kagan wylicza, że technologia opracowana przez Hydrolix pozwala zaoferować Akamai usługę przy koszcie niższym o 75 proc. w porównaniu z innymi dostawcami. Inną zaletą jest możliwość przechowywanie danych przez 15 miesięcy lub nawet dłużej, a im więcej danych znajduje się pod rękę, tym większe możliwości w zakresie ich analizy.

Z TrafficPeak korzysta m.i Elkjøp, norweski dostawca elektroniki użytkowej i sprzętu AGD w krajach skandynawskich.

– Podczas kampanii Black Friday Weeks, w szczytowym czasie ruchu, doświadczyliśmy ataku DDoS z udziałem 3000 adresów IP w 80 krajach. TrafficPeak natychmiast wykrył atak, a służby bezpieczeństwa Akamai zapewniły nam ochronę niezbędną do powstrzymania ataku – mówi Jonas Petersson, kierownik zespołu ds. handlu elektronicznego, Elkjøp Nordic AS.

Deklaratywne obliczenia

Założyciele startupu Sync Computing wywodzą się z uczelni Massachusetts Institute of Technology (MIT) i mogą się pochwalić doktoratami w zakresie obliczeń rozproszonych, inżynierii danych czy infrastruktury chmury. Ich zdaniem jednym z największych wyzwań w świecie danych jest tworząca się przepaść między technologią a celami biznesowymi. Inżynierowie danych znajdują się pośrodku między technicznymi zawiłościami związanymi z integracją, przekształceniem i konsolidacją informacji pochodzących z różnych systemów, a celami wyznaczanymi przez menedżerów. To często prowadzi do niedopasowania priorytetów czy niewłaściwego udostępniania zasobów, a co za tym idzie generowania niepotrzebnych kosztów. Sync Computing zamierza wypełnić lukę pomiędzy informatykę a biznesem, dzięki czemu przedsiębiorstwa staną się bardziej wydajne i zwinne. Założyciele startupu określają swoją wizję jako „deklaratywne obliczenia”

Wykładniczy wzrost danych zrewolucjonizował sposób, w jaki firmy działają i podejmują decyzje. Od małych start-upów po duże przedsiębiorstwa, organizacje z różnych branż wykorzystują dane, aby uzyskać przewagę konkurencyjną, zoptymalizować operacje i napędzać innowacje. Jednak wraz z tym wzrostem danych pojawia się wyzwanie efektywnego przechowywania, przetwarzania i pobierania ogromnych ilości informacji. Ważną rolę spełniają tradycyjne rozwiązania SQLite i MySQL, ale bardzo szybko rośnie znacznie produktów wspomnianych wcześniej firm takich jak Snowflake i Databricks. Sync Computing postanowił skoncentrować swoje działania na optymalizacji tej drugiej platformy.