Oprogramowanie jest wszechobecne. Uber, Skype, WhatsApp czy Spotify stały się dla wielu osób nieodłącznym elementem życia. Rozpieszczani użytkownicy mają wysokie wymagania wobec software’u – oczekują nie tylko niezawodności, ale również ekspresowego tempa pracy. W rezultacie obserwujemy szaleńczy wyścig ocierający się czasami o absurd. Analitycy Google’a wyliczyli, że oczekiwanie na wyświetlenie wyników wyszukiwania trwające 5 s oznacza 20-proc. spadek ruchu internetowego. Natomiast według Amazona 100 ms opóźnienia wiąże się z 1-proc. spadkiem przychodów ze sprzedaży. Dostawcy usług online, żeby nie tracić cennych sekund, coraz częściej sięgają po zaawansowane oprogramowanie. Z jednej strony są to systemy, które  zapewniają błyskawiczne przetwarzanie i analizę danych, z drugiej zaś narzędzia umożliwiające częste publikacje nowych wersji aplikacji.

Zmiany w świecie software’u wpływają na układ sił. Wprawdzie pierwszoplanowe role na rynku nadal odgrywają Microsoft z Oracle’em czy SAP-em, ale do walki włączają się młodzi, perspektywiczni gracze. Rywalizacja przedstawicieli „nowej fali” z weteranami zapowiada się nad wyraz ciekawie. Poza tym wraz z nadejściem DevOps powstaje zapotrzebowanie na zupełnie nowe narzędzia, o których kilka lat temu nikt nie słyszał.

 

Zmiany od ręki

Opracowanie finalnej wersji Windows 2000, zawierającej aż 30 mln linii kodu, zajęło programistom około pięciu lat. Obecnie nikt nie pozwoli sobie na tak długi czas przygotowania produktu – ze względu na tempo przemian zachodzących na rynku nowych technologii, a także presję wywieraną przez klientów. Oprogramowanie musi nadążać za szybko zmieniającymi się potrzebami użytkowników. Nie bez przyczyny do słownika programistów trafiły takie zwroty, jak Continuous Integration (ciągła integracja), Continuous Delivery (ciągłe dostarczanie) czy Continuous Deployment (ciągłe wdrażanie). 

Jednym z największych wyzwań stojących przed zespołami DevOps jest Continuous Delivery. Z naszych obserwacji wynika, że jedynie około 2 proc. przedsiębiorstw posiada odpowiednie narzędzia, które zapewniają płynną realizację tego procesu – mówi Steve Burton, wiceprezes ds. marketingu w Harness. 

Na czym polega Continuous Delivery? Zespoły programistyczne tworzą software w krótkich cyklach produkcyjnych, co umożliwia szybsze budowanie, testowanie i publikację aplikacji. Jeszcze do niedawna na taki komfort mogli sobie pozwolić jedynie giganci: Amazon, Apple, Google, Facebook czy Netflix. Jednak założyciele startupu Harness chcą, aby z tego typu rozwiązań korzystały zarówno wielkie instytucje finansowe, jak i małe firmy, które dopiero stawiają pierwsze kroki na rynku. W tym celu stworzyli platformę Continuous Delivery as a Service.

W ciągu ostatnich pięciu lat firmy musiały budować własne narzędzia Continuous Delivery. Dla przykładu Netflix opracował autorskie rozwiązania na bazie platformy open source Spinnaker. Inni rozszerzają funkcjonalność systemów przeznaczonych do Continuous Integration, takich jak Jenkins czy Bamboo, co nie zawsze kończy się sukcesem. Notabene 45 proc. naszych klientów stanowią firmy, które wcześniej próbowały wdrożyć Continuous Delivery, ale im się to nie udało – wyjaśnia Steve Burton.

Harness opracowało autorską technologię Smart Automation umożliwiającą pełną automatyzację procesu Conti-
nuous Delivery. Dodatkowym walorem jest funkcja ciągłej weryfikacji, wykorzystująca mechanizmy uczenia maszynowego. System rozpoznaje podstawowe zachowania aplikacji, niezależnie od jej jakości, wydajności czy bezpieczeństwa, i może inicjować wycofywanie zmian w przypadku wykrycia nieprawidłowej aktywności – w rezultacie unika się przestoju bądź awarii. Steve Burton zwraca także uwagę na oszczędność kosztów modelu usługowego w porównaniu z budową własnej platformy – miesięczna opłata za instancję wynosi 25 dol.

Harness istnieje dopiero od 2016 r. i zgromadziło od funduszy venture capital 1,2 mln dol. Jyoti Bansal, założyciel tego kalifornijskiego startupu, nie ukrywa, że liczy na powtórzenie sukcesu swojej poprzedniej firmy – AppDynamics, którą w ubiegłym roku sprzedał Cisco za 3,7 mld dol.

 

Baza danych dla pamięci flash

Relacyjne bazy danych SQL przez lata królowały na rynku, ale ich dalszy prymat stoi pod znakiem zapytania. Do ofensywy przechodzą dostawcy baz NoSQL, które bardzo dobrze radzą sobie z obsługą danych niestrukturyzowanych oraz pracą w środowiskach rozproszonych. Szczególnie dużą popularnością w tej grupie produktów cieszą się Cassandra oraz MongoDB. W ich cieniu znajduje się system opracowany przez firmę Aerospike, wyróżniający się unikalną architekturą Hybrid Memory. Aerospike umożliwia równoległe wykorzystanie pamięci flash (SSD, PCIe, NVMe) na jednym systemie do wykonywania odczytów z opóźnieniami rzędu milisekund przy bardzo dużych obciążeniach.

Praca z Aerospike pomaga nam analizować w czasie rzeczywistym 75 mln transakcji dziennie. Dzięki temu możemy szybko i precyzyjnie odróżnić prawdziwych użytkowników od oszustów, zapewniając naszym klientom pełne bezpieczeństwo – tłumaczy Phil Steffora, Chief Security
Officer w ThreatMetrix.

Powyższy przykład obrazuje możliwości, jakie niesie ze sobą technologia opracowana przez startup z Mountain View. Niemniej wykrywanie cyberprzestępców to tylko jedno z zadań realizowanych przez bazę Aerospike. Przedsiębiorstwa z branży AdTech wykorzystują jej wydajność do zakupu powierzchni reklamowej w modelu aukcyjnym. Aerospike działa od 2009 r. i łączą ją bliskie relacje z Intelem. Warto dodać, że startup otrzymał od funduszy venture capital 30 mln dol. – przeznacza je m.in. na rozwój produktu, który nie ogranicza się wyłącznie do bicia rekordów szybkości przetwarzania danych. W świecie biznesu występuje podział na narzędzia zaprojektowane do gromadzenia i pozyskiwania informacji (Systems of Record), np. danych abonentów telewizji kablowej, oraz społecznościowe systemy komunikacji (Systems of Engagement), które wykrywają próby oszustwa bądź prowadzą akcje online w czasie rzeczywistym. O ile druga grupa produktów wymaga zastosowania bazy danych o bardzo wysokiej wydajności, o tyle w przypadku pierwszym liczy się przede wszystkim spójność oraz precyzja. Aerospike zapewnia, że ich system łączy obie cechy, tym samym sprawdza się w różnego rodzaju zastosowaniach.

Nasza architektura umożliwia ograniczenie liczby serwerów w centrum danych. Jeden z użytkowników Cassandry posiadał klaster składający się z 450 węzłów. Po wdrożeniu naszej bazy ich liczba zmniejszyła się do 60. To przynosi ogromne oszczędności, liczone nawet w milionach dolarów. Klienci nie wierzą nam, kiedy im o tym mówimy. Jedynym sposobem, aby ich do tego przekonać, jest przeprowadzenie projektu pilotażowego – mówi Brian Bulkowski, współzałożyciel i dyrektor techniczny Aerospike.

 

Dane strukturalne nie do lamusa

Todd Mostak, założyciel i CEO MapD, rozpoczął swoją przygodę z danymi podczas Arabskiej Wiosny Ludów. W owym czasie prowadził badania dotyczące wykorzystania Twittera wśród uczestników protestów i – żeby ułatwić sobie zadanie – opracował własny system do interaktywnej analizy dużych zbiorów danych. Rok po zakończeniu rebelii Mostak otworzył startup, w który zainwestowali m.in. In-Q-Tel (spółka córka CIA), Verizon oraz Nvidia. Do tej pory inwestorzy wpompowali w startup 37,1 mln dol.

MapD stanowi połączenie bazy open source SQL oraz systemu do analityki wizualnej. Platforma wykorzystuje do przeszukiwania zbiorów procesor GPU Nvidia, choć istnieje także możliwość użycia układu CPU. Czym tłumaczyć taki wybór? Jednostki różnią się sposobem przetwarzania zadań. CPU składa się z kilku rdzeni zoptymalizowanych pod kątem sekwencyjnego przetwarzania szeregowego, natomiast GPU zawiera tysiące mniejszych rdzeni zaprojektowanych z myślą o realizacji wielu zadań jednocześnie. Baza danych MapD napędzana przez GPU przeszukuje miliardy wierszy w ciągu kilkunastu milisekund, a proces tworzenia wizualizacji odbywa się w mgnieniu oka.

Układ GPU zapewnia skanowanie danych z prędkością nawet 5 TB na sekundę, natomiast w przypadku CPU przy dużym szczęściu można osiągnąć wynik 100 GB na sekundę – dodaje Todd Mostak.

MapD znajduje szerokie zastosowanie w analityce operacyjnej, analizach geoprzestrzennych oraz badaniach naukowych. Na liście referencyjnej startupu z San Francisco znajdują się m.in.: Nividia, Verizon, Huawei, Ericsson i Fannie Mae. W marcu firma zaczęła sprzedawać swoje produkty w modelu subskrypcyjnym. Ceny zaczynają się od 150 dol. za miesiąc dla zestawu danych strukturalnych do 10 mln wierszy. Taki krok ma ułatwić dostęp do zaawansowanego narzędzia analitycznego mniejszym podmiotom. Nie ulega wątpliwości, że popyt na tego typu rozwiązania będzie szybko rosnąć. Jak wynika z badań McKinsey, firmy i instytucje poświęcają ok. 80 proc. czasu na przygotowywanie i zarządzanie danymi. Innym problemem jest deficyt specjalistów od danych. W bieżącym roku w Stanach Zjednoczonych pozostanie nieobsadzona około połowa stanowisk Data Scientist.

Procesory graficzne nie wszędzie zdają egzamin. Na przykład niezbyt łatwo radzą sobie z przetwarzaniem sekwencyjnym i danymi niestrukturalnymi. Natomiast architektura GPU świetnie sprawdza się w przypadku pracy z zasobami uporządkowanymi, które wciąż pełnią ważną rolę. Według IDC 75 proc. zarządzanych danych stanowią zasoby strukturalne. Kiedy przyjrzymy się trendom sprzętowym na rynku nowych technologii, nie dziwią rosnące akcje Nvidii – mówi Todd Mostak.

 

SAP Hana dla oszczędnych

Technologia in-memory wprowadziła spore ożywienie na rynku oprogramowania. Jej innowacyjność polega na przeniesieniu procesów zarządzania zbiorami danych z przestrzeni dyskowej do pamięci operacyjnej RAM, która oferuje kilkanaście razy szybszy odczyt i zapis aniżeli nośniki SSD. To rozwiązanie najczęściej utożsamiane jest z systemem SAP Hana, tymczasem na rynku istnieją alternatywne produkty. Ciekawy przykład stanowi amerykańska firma GridGain, która dostarcza platformę in-memory zbudowaną na bazie systemu open source Apache Ignite. 

Udostępnienie podstawowej bazy kodu źródłowego do Apache Software Foundation ma zapewnić rozwój i popularyzację technologii in-memory, a także zbudować dobrze prosperującą społeczność realizującą nowe projekty – tłumaczy Abe Kleinfeld, CEO GridGain.

Baza Ignite odnotowała milion pobrań w skali roku, zajmując piąte miejsce na liście najpopularniejszych projektów Apache
(najwyżej uplasował się Hadoop). Warto także zwrócić uwagę na to, że przychody GridGain w latach 2014–2016 wzrosły o 919 proc., osiągając poziom 4 mln dol. Firma ma ok. 100 płatnych klientów, w tym banki Barclays, Société Generale oraz ING, a także fintechy i biura podróży.

Jesteśmy czymś na wzór „open source Hana”. System SAP nie jest wdrażany przez startupy ani firmy, które wcześniej nie inwestowały w technologie niemieckiego producenta. Największą barierą są wysokie koszty. Coraz więcej przedsiębiorców przekonuje się do rozwiązań open source, wybierając je zamiast Oracle’a, Microsoftu czy SAP-a – przekonuje Abe Kleinfeld.

Według Gartnera w przyszłym roku rynek systemów in-memory osiągnie wartość 11 mld dol. Dla porównania: w 2014 r. przychody w tym segmencie wyniosły niespełna 4 mld dol. Abe Kleinfeld uważa, że w najbliższych latach stymulatorem popytu będzie cyfrowa transformacja. Nowe uwarunkowania przyczynią się do wzrostu popularności procesów hybrydowego przetwarzania transakcji i analiz, z którym nie poradzą sobie tradycyjne rozwiązania. Kolejnym czynnikiem, który powoduje wzrost zainteresowania systemami in-memory, jest omnichannel. Co ciekawe, GridGain, jako jeden z nielicznych graczy uczestniczących w wyścigu na rynku aplikacji, już na siebie zarabia, a więc – innymi słowy – nie potrzebuje inwestorskiej kroplówki. A to najlepszy dowód na to, że ten biznes ma sens i jest rozwojowy.