Wiele wskazuje na to, że w bieżącym roku sektor sztucznej inteligencji będzie głównym punktem inwestycji typu venture capital. Co nie zmienia faktu, iż społeczność inwestorów pozostaje podzielona co do przyszłości SI w 2024 roku. Część przewiduje gwałtowny wzrost liczby IPO i zwiększonego finansowania, napędzane rosnącą dojrzałością technologii AI i ich integracją z różnymi branżami. Ale niektórzy podchodzą do tematu ostrożniej, spodziewając się prawdziwego boomu dopiero w 2025 roku i później. Tak czy inaczej dostawcy z branży IT coraz odważniej wprowadzają do swoich produktów SI, co pokazały spotkania z młodymi firmami zorganizowane w ramach IT Press Tour.

Jonathan Ross zanim założył startup Groq, spędził niespełna pięć lat w Google, gdzie wraz z swoim zespołem zbudował procesor Tensor Processing. Układ bardzo szybko trafił do centrów danych Google’a. Amerykanin zachęcony sukcesem, wystartował w 2016 roku z własnym biznesem- projektowaniem procesorów przeznaczonych do obsługi modeli sztucznej inteligencji.

Ludzie stają się coraz bardziej niecierpliwi. Jak wynika z badań przeprowadzonych przez Google nawet przy niewielkich opóźnieniach rzędu 300-500 milisekund występujących podczas otwierania strony internetowej zaanagażowanie spada aż u 20 proc. osób. Nie inaczej wygląda to w przypadku sztucznej inteligencji czy dużych modelu językowych (LLM). Zdaniem Jonathana Rossa nawet najlepszy system LLM pozostanie bezużyteczny, jeśli okaże się za wolny. Dlatego bardzo ważna jest responsywność modelu, czyli szybkość inicjowania reakcji. Specjaliści oceniają, ze aby wspierać ludzi w rozwiązywaniu złożonych problemów, musi on być krótsza niż 200 ms. Szczególnie dotyczy to zapobiegania oszustwom bankowym, pracy asystentów głosowych czy obsługi sytuacji awaryjnych. Choć istnieją również aplikacje Ai, które nie wymagają najwyższego poziomu wydajności, takie jak analiza dokumentów lub danych offline, tworzenie treści.

Groq wysoko zawiesił sobie poprzeczkę opracowując procesor dostosowany do unikalnych wymagań wnioskowania LLM. W przeciwieństwie do modeli szkoleniowych, wnioskowanie odbywa się w sposób ciągły przy bardzo niskim opóźnieniu, aby móc zasilać aplikację w czasie rzeczywistym. W czasie wnioskowania wstępny model SI musi zmierzyć się ze świeżymi, nieoznakowanymi danymi i wykorzystuje do tego celu bazę przestudiowaną w czasie szkolenia. Na jej podstawie analizuje dane wejściowe i odpowiada poprawnymi danymi wyjściowymi

Specjalna konstrukcja i architektura jednostki Language Processing Unit (LPU) pozwala jej z powodzeniem rywalizować z procesorami graficznymi w procesach wnioskowania LLM. Co więcej, w przypadku dużych obciążeń procesor zaprojektowany przez Groqa jest 10 razy szybszy niż procesor graficzny Nvidii przy 10 procentach kosztów i zużywając jedną dziesiątą energii elektrycznej. W listopadzie ubiegłego roku startup pobił rekord wydajności wynoszący 300 tokenów (jednostek tekstu) na sekundę pracując z modelem LLM Llama-2 70B firmy Meta AI. Warto zauważyć, że jeszcze w lipcu 2023 roku wydajność wynosiła 65 tokenów na sekundę.

W zakamarkach infrastruktury IT

W obecnych czasach aplikacje stają się dla wielu firm czymś w rodzaju „cyfrowych witryn sklepowych”. Ich zaletą jest to, iż pozwalają dotrzeć do szerokiej grupy klientów, którzy mogą robić zakupy za pomocą dowolnego urządzenia i z każdego miejsca z dostępem do Internetu. Jeśli jednak aplikacja zacznie działać wolniej lub ulegnie awarii, automatycznie przekłada się to na przychody i reputację przedsiębiorstwa. Nie bez przyczyny coraz częściej mówi się o tzw. odporności cyfrowej. Można się tutaj doszukać pewnych analogii z odpornością ludzkiego organizmu, która powinna być budowana wielowymiarowo i zastosowaniem rozmaitych narzędzi, takich jak zdrowa dieta czy regularne badania. W przypadku odporności cyfrowej zdecydowanie większe znaczenie mają te ostatnie.

Cloud Fabrix, startup założony w 2016 roku przez grupę osób od dwóch dekad związanych z budową centrów danych oraz analityką, pracuje nad narzędziami służącymi do monitoringu danych pochodzących z różnych środowisk. Ewolucję tego segmentu rynku obrazowo opisuje Shailesh Manjrekar, CMO w Cloud Fabrix.

– Najtrudniejsza jest rola weterynarza, który nie może komunikować się ze swoim pacjentem. Zdecydowanie łatwiejsza jest już sytuacja lekarza dziecięcego. Jeszcze więcej informacji na podstawie wywiadu uzyskuje psychiatra, aczkolwiek nikt nie posiada takiej wiedzy jak specjalista ds. genomiki – tłumaczy Shailesh Manjrekar,

Cloud Fabrix chce być właśnie takim „specjalistą od genomiki” potrafiący dotrzeć do najgłębszych zakamarków infrastruktury IT i na podstawie głębokiej analizy postawić właściwą diagnozę. Startup wykorzystuje do obserwowania infrastruktury Algorithmic IT Operations (AIOps). Jest to metoda zarządzania danymi pochodzącymi z aplikacji i analizowania ich przy użyciu technologii uczenia maszynowego oraz sztucznej inteligencji. AIOps pozwala automatycznie wykrywać i mapować zależności pomiędzy aplikacjami, infrastrukturą i komponentami sieci zarówno w środowisku chmurowym, jak i lokalnym. Ponadto zbiera, normalizuje i koreluje dane z różnych narzędzi monitorowania, aby zapewnić ujednoliconą widoczność. Nie mniej istotną rolę spełnia analiza zarządzania incydentami, która wykorzystuje możliwości predykcyjne w celu przyspieszenia identyfikacji przyczyn źródłowych.

Cloud Fabrix udostępnił również samouczącą się platformę „Macaw” – użytkownicy mogą zadawać pytania prostym językiem i uzyskiwać rekomendacje i spostrzeżenia. Na przykład „podsumuj wszystkie moje krytyczne Incydenty i zaproponuj środki zaradcze”, „pokaż urządzenia z rosnącym obciążeniem procesora”, „pokaż anomalie z ostatniego tygodnia” itp. Interfejs konwersacyjny pozwala każdemu pracownikowi dotrzeć do informacji operacyjnych na żądanie za pomocą języka naturalnego – demokratyzując korzyści wykraczające poza doświadczonych inżynierów.