Aż 92 proc. przedsiębiorstw deklaruje przynajmniej częściową wiedzę o tym, gdzie przechowywane i przetwarzane są dane wykorzystywane przez systemy AI. Jednak tylko 49 proc. uważa, że ma nad nimi pełną kontrolę – według badania Red Hat, które przeprowadził Censuswide wśród 500 osób odpowiedzialnych za decyzje IT w firmach europejskich. Jednak tylko 31 proc. ankietowanych podmiotów wdrożyło dojrzałe mechanizmy nadzoru nad agentową AI.

63 proc. firm ze strategią wyjścia z AI

Otóż 63 proc. przedsiębiorstw posiada formalną strategię wyjścia, która ma umożliwić taką migrację. Wśród nich 29 proc. przewiduje umiarkowany, a kolejne 10 proc. znaczący wpływ ewentualnej zmiany dostawcy na ciągłość działania biznesu. Formalna gotowość nie zawsze przekłada się na rzeczywistą odporność operacyjną.

Trzy na dziesięć firm badanych przez Red Hat nie ma planu na wypadek problemów z dostawcami AI. W 14 proc. przypadków respondenci zakładają, że ewentualna migracja byłaby stosunkowo łatwa. Jednak to przeświadczenie może wynikać z ograniczonej skali wdrożeń, a nie odporności infrastruktury. Tylko 4 proc. pytanych uważa, że ewentualna zmiana dostawcy miałaby znaczący wpływ na ciągłość ich działania.

„Rosnące uzależnienie od dostawców modeli AI zaczyna przypominać wcześniejsze doświadczenia rynku związane z uzależnieniem od pojedynczych platform chmurowych lub zamkniętych ekosystemów oprogramowania” – mówi Lubomir Stojek. Jak zaważa, migracja może być znacznie bardziej skomplikowana niż w klasycznych środowiskach IT.

„Zmiana dostawcy usługi to nie tylko kwestia podpisania nowej umowy, ale często także przebudowy procesów, konieczności wykonania nowych integracji oraz przepisania polityki bezpieczeństwa. W przypadku AI stawka jest jeszcze wyższa. Obejmuje kwestie związane z jakością udzielanych przez modele odpowiedzi, sposobem ich działania oraz kompatybilnością z własnymi zbiorami danych” – wyjaśnia ekspert.

Trudny nadzór nad agentami

Potrzebę budowania kontroli nad AI jeszcze wyraźniej pokazuje rozwój agentowej sztucznej inteligencji. Otóż według badania Red Hat 64 proc. firm wprowadziło dla niej pewien poziom monitoringu, jednak jedynie 31 proc. określa stosowane mechanizmy zarządzania jako silne i dojrzałe. Jedna czwarta wdrożyła jedynie podstawowe reguły nadzoru lub nie ma ich wcale.

Zatem podobnie jak w przypadku strategii wyjścia, wiele organizacji rozpoczęło budowę mechanizmów kontroli. Nie osiągnęło jednak poziomu, który pozwala bezpiecznie skalować wykorzystanie autonomicznych systemów.

„Sprawowanie nadzoru nad środowiskami AI nie sprowadza się już wyłącznie do wdrożenia polityki zgodności czy ochrony danych. Obejmuje również kontrolę nad sposobem działania modeli, zakresem ich autonomii i możliwością szybkiego reagowania na błędy. Dlatego konieczne jest budowanie procesów przypominających te znane z dziedziny cyberbezpieczeństwa lub zarządzania ryzykiem operacyjnym. Ważnym czynnikiem jest tu czas, ponieważ rozwój AI postępuje znacznie szybciej niż tradycyjnych środowisk IT dla firm” – mówi ekspert.

Badanie Futurum Group wskazuje, że zarządzanie AI i agentami należą do największych wyzwań bezpieczeństwa aplikacji w firmach.

Z kolei 81 proc. organizacji pytanych przez Rubrik Zero Labs uważa, że ​​agenci AI wymagają obecnie więcej ręcznego monitorowania niż czasu, który mogliby zaoszczędzić. Eksperci Rubrik Zero Labs rekomendują m.in. wdrożenie telemetrii agentowej jako wstępnego warunku obserwowalności. Zalecają też, by zespoły wdrożyły filtry treści w czasie wykonywania. Chodzi m.in. o firewallle LLM, sanityzację danych wejściowych, filtrowanie danych wyjściowych.