Według specjalistów zarządzanie i optymalizacja klastrami Databricks jest dość żmudnym i czasochłonnym procesem, nastręczającym trudności inżynierom danych. Sync Computing opracował platformę Gradient, który szkoli i dostraja każdy klaster w celu obniżenia kosztów i poprawy wydajności. Automatyczne dostrajanie klastrów sprawia, że zespoły zajmujące się danymi mogą skupić swoją uwagę na istotnych zadaniach biznesowych. Poza tym wgląd i widoczność, które zapewnia Gradient, pomagają inżynierom szybko diagnozować problemy i znajdować odpowiednie rozwiązania. Warto w tym miejscu podkreślić, iż Sync Computing opracował samodoskonalące się algorytmy uczenia maszynowego, wykorzystujące informacje zwrotne w zamkniętej pętli. To przyczynia się do ciągłego doskonalenia. Jak wynika z wyliczeń startupu znalezienie optymalnej konfiguracji pozwala obniżyć koszty funkcjonowania systemu nawet o połowę.

Kombajn do zarządzania danymi

Firmy oraz instytucje toną w morzu dokumentów. Wprawdzie na rynku istnieje szereg produktów pozwalających uporządkować chaos, ale w większości przypadków są to rozwiązania punktowe. Amerykański startup Congruity360 opracował bazującą na sztucznej inteligencji platformę Classify360, przeznaczoną do zarządzania danymi nieustrukturyzowanymi.

– Ponad połowa dużych przedsiębiorstw zarządza co najmniej 5 PB danych, z czego 80 proc. z nich należy do nieustrukturyzowanych. Tak ogromna ilość niezorganizowanych informacji prowadzi do poważnych problemów – tłumaczy Mark Ward, Chief Operating Officer, Congruity360.

W ciągu ostatnich kilku lat na rynku pojawiło się kilka nowych grup produktowych przeznaczonych do zarządzania danymi, w tym m.in Data Security Posture Management (wykrywanie i klasyfikowanie danych strukturyzowanych i nieustrukturyzowanych), AI Enablement (integracja sztucznej inteligencji z istniejącymi systemami i procesami), Governance Risk, and Compliance (zarządzanie ryzykiem i zgodnością). Do tego zestawu można też dodać systemy do optymalizacji pamięci masowych oraz migracji danych do chmury. Congruity360 zbiera wymienione rozwiązania pod jednym parasolem.

– Posiadamy kompleksową ofertę. Klient, aby rozwiązać kilka problemów nie musi inwestować w osobne narzędzia, lecz otrzymuje cały zestaw od jednego vendora. Na taki krok zdecydował się chociażby Bosch, który jest obecnie naszym największym klientem – mówi Mark Ward.

Platforma Classify360 realizuje trzy procesy: identyfikację danych w całym przedsiębiorstwie, ich kategoryzację na podstawie treści, kontekstu i metadanych oraz automatyzację działań w celu optymalizacji zabezpieczenia i zarządzania danymi.

Rozwiązanie z głębokiej niszy

Czasami zdarza się, że interesujące i pożyteczne rozwiązania nigdy nie wychodzą z głębokiej niszy. Wynika to z różnych przyczyn: zbyt małej liczby pracowników, braku środków na promocję, a czasami pomysłu jak dotrzeć do nowych grup użytkowników. Ciekawym przykładem jest iRODS (Integrated Rule-Oriented Data System) – globalny system plików rozwijany od lat dziewięćdziesiątych, a od 2006 roku dostępny w modelu open source. Co istotne, za tym projektem nie stoi firma, lecz konsorcjum o tej samej nazwie. W jego skład wchodzą uniwersytety i wiodące firmy z sektora farmaceutycznego, biotechnologicznego, nauki. Konsorcjum utrzymuje i wspiera dystrybucję iRODS klasy komercyjnej.

Argumentem przemawiającym na rzecz tego rozwiązania jest możliwość zarządzania danymi przechowywanymi na heterogenicznych infrastrukturach, nawet tych o dużej rozpiętości geograficznej. Niezależnie od tego, czy mamy do czynienia z lokalnymi mediami, systemami plików, obiektami w chmurze, czy nawet systemami archiwizacji, iRODS umożliwia utworzenie jednolitej przestrzeni nazw. Oprogramowanie używane jest w centrach superkomputerów, branży farmaceutycznej, motoryzacyjnej, przemyśle, medycynie czy transporcie.