Jonathan Ross, zanim założył startup Groq, spędził niespełna pięć lat w Google, gdzie wraz ze swoim zespołem zbudował procesor Tensor Processing Unit (TPU). Układ bardzo szybko trafił do centrów danych Google’a. Zachęcony tym sukcesem Amerykanin wystartował następnie w 2016 r. z własnym biznesem – projektowaniem procesorów przeznaczonych do obsługi modeli sztucznej inteligencji. A ma to sens między innymi dlatego, że… ludzie stają się coraz bardziej niecierpliwi.

Jak wynika z badań przeprowadzonych przez Google, nawet przy niewielkich opóźnieniach rzędu 300–500 milisekund, występujących podczas otwierania strony internetowej, zaangażowanie spada aż u 20 proc. osób. Nie inaczej wygląda to w przypadku sztucznej inteligencji czy dużych modeli językowych (LLM). Zdaniem Jonathana Rossa nawet najlepszy system LLM pozostanie bezużyteczny, jeśli okaże się za wolny. Dlatego bardzo ważna jest responsywność modelu, czyli szybkość inicjowania reakcji. Specjaliści oceniają, że aby wspierać ludzi w rozwiązywaniu złożonych problemów, responsywność musi być krótsza niż 200 ms. Szczególnie dotyczy to zapobiegania oszustwom bankowym, pracy asystentów głosowych czy obsługi sytuacji awaryjnych. Choć istnieją również aplikacje AI, które nie wymagają najwyższego poziomu wydajności, takie jak analiza dokumentów lub danych offline, bądź tworzenie treści.

Groq zawiesił sobie poprzeczkę wysoko, bowiem opracował procesor dostosowany do unikalnych wymagań wnioskowania LLM. W przeciwieństwie do modeli szkoleniowych, wnioskowanie odbywa się w sposób ciągły przy bardzo niskim opóźnieniu, aby móc zasilać aplikację w czasie rzeczywistym. W czasie wnioskowania wstępny model SI musi zmierzyć się ze świeżymi, nieoznakowanymi danymi i wykorzystuje do tego celu bazę przestudiowaną w czasie szkolenia. Na jej podstawie analizuje dane wejściowe i odpowiada poprawnymi danymi wyjściowymi.

Specjalna konstrukcja i architektura jednostki Language Processing Unit (LPU) pozwala jej z powodzeniem rywalizować z procesorami graficznymi w procesach wnioskowania LLM. Co więcej, w przypadku dużych obciążeń procesor zaprojektowany przez Groqa jest 10 razy szybszy niż procesor graficzny Nvidia przy 10 proc. kosztów i zużywając jedną dziesiątą energii elektrycznej. W listopadzie ubiegłego roku startup pobił rekord wydajności wynoszący 300 tokenów (jednostek tekstu) na sekundę, pracując z modelem LLM Llama-2 70 B firmy Meta AI. Warto zauważyć, że jeszcze w lipcu 2023 r. wydajność wynosiła w tym przypadku 65 tokenów na sekundę.

W zakamarkach infrastruktury IT  

Cloud Fabrix, startup założony w 2016 r. przez grupę osób od dwóch dekad związanych z budową centrów danych oraz analityką, pracuje nad narzędziami służącymi do monitoringu danych pochodzących z różnych środowisk. Ewolucję tego segmentu rynku obrazowo opisuje Shailesh Manjrekar, CMO w CloudFabrix.

– Najtrudniejsza jest rola weterynarza, który nie może komunikować się ze swoim pacjentem. Zdecydowanie łatwiejsza jest sytuacja lekarza dziecięcego, a jeszcze więcej informacji na podstawie wywiadu z osobą dorosłą uzyskuje psychiatra, choć nikt nie posiada takiej wiedzy jak specjalista ds. genomiki – mówi Shailesh Manjrekar.

CloudFabrix chce być właśnie takim „specjalistą od genomiki”, który potrafi dotrzeć do najgłębszych zakamarków infrastruktury IT, aby na podstawie głębokiej analizy postawić właściwą diagnozę. Startup wykorzystuje do obserwowania infrastruktury metodę Algorithmic IT Operations (AIOps). To sposób na zarządzanie danymi pochodzącymi z aplikacji i analizowanie ich przy użyciu technologii uczenia maszynowego oraz sztucznej inteligencji. AIOps pozwala automatycznie wykrywać i mapować zależności pomiędzy aplikacjami, infrastrukturą i komponentami sieci zarówno w środowisku chmurowym, jak i lokalnym. Ponadto zbiera, normalizuje i koreluje dane z różnych narzędzi monitorowania, aby zapewnić ujednoliconą widoczność. Nie mniej istotną rolę spełnia analiza zarządzania incydentami, która wykorzystuje możliwości predykcyjne w celu przyspieszenia identyfikacji przyczyn źródłowych.

CloudFabrix udostępnił również samouczącą się platformę Macaw, której użytkownicy mogą zadawać pytania prostym językiem, aby uzyskiwać rekomendacje i spostrzeżenia. Na przykład: „podsumuj wszystkie moje krytyczne incydenty i zaproponuj środki zaradcze”, „pokaż urządzenia z rosnącym obciążeniem procesora”, „pokaż anomalie z ostatniego tygodnia” itp. Interfejs konwersacyjny pozwala każdemu pracownikowi dotrzeć do informacji operacyjnych na żądanie za pomocą języka naturalnego – demokratyzując korzyści z myślą o różnych pracownikach, nie zaś tylko doświadczonych inżynierach.