Wydatki na AI rosną w lawinowym tempie. I choć liderzy technologiczni są przekonani, że inwestycje te ostatecznie przyniosą realny zwrot (ROI), to matematyka budżetowa zmusza ich do działania. Dyrektorzy ds. informatyki przyznają, że w walce o kontrolę nad kosztami wdrażają strategie, które szlifowali latami podczas migracji do chmury obliczeniowej – informuje The Wall Street Journal.

-Z wdrażaniem AI jest trochę tak, jakbyśmy dali kartę kredytową firmy każdemu pracownikowi. Jeśli nie wprowadzimy odpowiednich mechanizmów kontroli, a użytkownicy nie będą świadomi kosztów, bardzo szybko utoniemy w długach – ostrzega Chris Reed, starszy dyrektor ds. finansów IT w Priceline.

W przeciwieństwie do poprzednich cykli technologicznych, adopcja AI bazuje na masowym zaangażowaniu wszystkich pracowników, a nie tylko działów IT. Systemy te rozliczane są w modelu pay-per-use na podstawie zużycia tokenów, tym samym końcowy rachunek staje się trudny do przewidzenia.

FinOps wraca do łask

Firmy nie chcą wyważać otwartych drzwi. Zamiast tego adaptują podejście FinOps, metodykę łączącą finanse, inżynierię i biznes, która narodziła się podczas chmurowego boomu w poprzedniej dekadzie. W Priceline zużycie tokenów jest śledzone na bieżąco, a raporty trafiają co miesiąc na biurka dyrektorów finansowych i technologicznych. Jeśli pracownik generuje anomalie kosztowe, staje się to pretekstem do rozmowy o optymalizacji promptów. Inne firmy wdrożają systemy ostrzegania dla personelu. Pracownicy otrzymują powiadomienia, gdy zbliżają się do miesięcznego limitu operacji AI. Statystyki zużycia są widoczne dla całej firmy z podziałem na działy i menedżerów. Z kolei giganci, tacy jak CVS Health, otwierają rekrutacje na stanowiska dyrektorskie w obszarze AI Ops Engineering. Do ich głównych zadań należy zarządzanie kosztami infrastruktury sprzętowej i optymalizacja wydatków na modele językowe.

Tańsze tokeny nie oznaczają niższych rachunków

Choć dostawcy tacy jak OpenAI czy Anthropic regularnie obniżają ceny za tysiąc tokenów, całkowite wydatki firm i tak rosną. Wszystko przez zmianę paradygmatu: przechodzimy od prostych chatbotów do autonomicznych agentów AI. Zlecenie agentowi wykonania złożonego, wieloetapowego zadania biznesowego potrafi zużyć nawet 50-krotnie więcej mocy obliczeniowej niż zadanie pojedynczego pytania na czacie. Agenty AI działają w tle, komunikują się między sobą i potrafią analizować procesy przez wiele godzin. Według danych firmy Bain & Co., mimo że ceny samych modeli spadły średnio o połowę na przestrzeni ostatnich dwunastu miesięcy, to wolumen konsumpcji tokenów wzrósł w tym samym czasie aż 4,5-krotnie. Goldman Sachs szacuje z kolei, że biznesowe agenty AI zwiększą globalne zużycie tokenów aż 55-krotnie do 2040 roku.

Jak realnie obniżyć rachunek za AI?

Poza czystym monitorowaniem, korporacje wdrażają twarde mechanizmy optymalizacyjne. W firmie Qualcomm wprowadzono limity tokenów dla poszczególnych zespołów inżynieryjnych.  Specjaliści wskazują też na skuteczność wizualizacji kosztów generowanych przez dany dział oraz obciążanie budżetu konkretnego działu realnymi kosztami za AI. Przeniesienie odpowiedzialności finansowej na liderów zespołów pozwala obniżyć koszty tokenów o 20% do 30%.

Część firm rezygnuje z kierowania każdego zapytania do najdroższych, flagowych modeli, zamiast tego wdrażają zasady automatycznego dobierania narzędzi. Proste zadania tekstowe, kategoryzację czy czyszczenie danych obsługują mniejsze, tańsze modele lub starsze wersje systemów. Coraz większą popularnością cieszą się modele open-source, które firmy takie jak Qualcomm uruchamiają na własnej, lokalnej infrastrukturze sprzętowej, co całkowicie eliminuje opłaty subskrypcyjne i API.