Nvidia w ostatnich tygodniach stała się ulubieńcem technologicznych mediów. Wartość koncernu sięgnęła poziomu 2 bilionów dolarów, do czego w ogromnym stopniu przyczyniły się chipy do szkolenia modeli sztucznej inteligencji. Jednak eksperci uważają, że walka zacznie powoli przenosić się na nowy front, jakim jest segment układów używanych w procesie wnioskowania. Polega on na tym, że wytrenowany model sztucznej inteligencji musi zmierzyć się ze świeżymi, nieoznakowanymi danymi. Po analizie, która nie powinna trwać dłużej niż 200 ms, odpowiada poprawnymi danymi wyjściowymi, i choć zadanie jest trudne, to okazuje się, że mogą je realizować specjalne procesory – nie tylko tańsze, ale również bardziej energooszczędne od tych wykorzystywanych przez Nvidię w modelach szkoleniowych.

W przyszłości popyt na układy do wnioskowania ma być wyższy niż na procesory służące do „treningów”. Niemniej Colette Kress, dyrektor finansowa Nvidii, ujawniła, że 40 proc. przychodu ze sprzedaży procesorów dla centrów danych wygenerowały jednostki przeznaczone do wnioskowania, co oznacza, że radość konkurentów tej marki może być przedwczesna.

Na odzyskanie pozycji hegemona liczy Intel. Szefowie koncernu uważają, że klienci będą poszukiwać rozwiązań obniżających koszty związane z obsługą modeli sztucznej inteligencji. Pat Gelsinger, CEO Intela, w grudniowym wywiadzie udzielonym „The Wall Street Journal” powiedział, że „ekonomia wnioskowania” jest bezlitosna dla takich rozwiązań jak Nvidia H100 o wartości 40 tys. dol., które na dodatek pobierają zbyt dużo energii i wymagają zastosowania nowej infrastruktury IT.

Vivek Arya, analityk w Bank of America, uważa, że umieszczenie w raporcie kwartalnym Nvidii informacji o poziomie sprzedaży procesorów do wnioskowania było rozsądnym posunięciem. Notabene po publikacji raportu akcje koncernu w ciągu tygodnia wzrosły o 8,5 proc. Niemniej Vivek Arya jest przekonany, że konkurencja w segmencie procesorów do wnioskowania nie będzie areną jednego gracza. Poza tym tempo wzrostu tych jednostek może być szybsze niż wcześniej oczekiwano. Według UBS około 90 proc. rynku procesorów do obsługi sztucznej inteligencji należy obecnie do układów wykorzystywanych do szkoleń, ale w przyszłym roku ich udział ma stopnieć do 80 proc., podczas gdy pozostałe 20 proc. przejmą procesory do wnioskowania. Natomiast Nvidia kontroluje około 80 proc. całego rynku procesorów.

Wnioskowanie szansą dla nowych dostawców

W procesie szkolenia systemów sztucznej inteligencji firmy pracują z ocenami danych, a to wymaga ogromnych możliwości obliczeniowych. Najlepiej radzą sobie z nimi procesory graficzne, a Nvidia rządzi i dzieli w tym segmencie rynku. Jednak w przypadku chipów do wnioskowania rywalizacja powinna być bardziej sprzyjająca nie tylko dla wspomnianego wcześniej Intela czy AMD, ale także startupów takich jak SambaNova Systems czy Groq. Pierwsza z wymienionych firm dostarcza pakiety składające się z chipów oraz oprogramowania, które można wykorzystać zarówno do szkoleń, jak i wnioskowania. Niemniej Rodrigo Liang, dyrektor generalny SambaNova, dostrzega w ostatnim czasie wyraźny wzrost przypadków użycia procesorów do wnioskowania. Z kolei Groq pracuje wyłącznie nad rozwojem wyspecjalizowanych procesorów do obsługi wnioskowania (więcej o tej firmie piszemy w artykule „Sztuczna inteligencja w czterech odsłonach”, str. 36). W tym roku startup ten planuje wyprodukować 42 tys. procesorów, a w przyszłym zamierza zwiększyć tę liczbę do miliona.

Co ciekawe, również wielka czwórka (Amazon, Meta, Google, Microsoft) pracuje nad własnymi procesorami do wnioskowania. Na przykład Alexa – asystentka głosowa Amazona – korzysta z takich chipów już od 2018 r., a wnioskowanie w jej przypadku stanowi około 40 proc. kosztów obliczeniowych. Jednak Jonathan Ross, CEO i założyciel Groq, a wcześniej inżynier w Google, nie daje zbyt dużych szans technologicznym gigantom w rywalizacji z producentami dostarczającymi procesory.

– Wdrożenie chipa do wnioskowania zależy od kosztów. Znam kilka modeli przeszkolonych w Google, które działały, ale 80 proc. z nich nigdy nie wdrożono, ponieważ były zbyt drogie, aby wprowadzić je do produkcji – „wyjaśnia” konkurentów Jonathan Ross…