Zapotrzebowanie na wsparcie w zakresie testów penetracyjnych dla GenAI ma wzrosnąć w nadchodzących latach, gdy coraz więcej organizacji zacznie poważnie podchodzić do wdrażania tej technologii.

Dla dostawców MSSP (Managed Security Service Provider), takich jak amerykański Cybalt z siedzibą w Plano w Teksasie, rozmowy na ten temat już się rozpoczęły, choć na na razie są na etapie wstępnym.

– Cybalt obecnie oferuje usługi testów penetracyjnych oraz red-teaming i już niedługo możemy mieć możliwości testowania AI. Jednak na tym etapie jedynie większe organizacje mogą potrzebować takich usług – mówi założyciel i CEO firmy, Khiro Mishra.

Jego zdaniem, wykorzystanie GenAI, jest obecnie porównywalne z poziomem adaptacji chmury w latach 2017- 2018. Gdy wprowadzanie GenAI stanie się bardziej modułowe i łatwiejsze do wdrożenia, biznesowe szanse z tym związane wyraźnie urosną.

Potrzebne nowe, zautomatyzowane narzędzia

Integratorzy spodziewają się, że pojawi się fala nowych narzędzi do autonomicznego testowania AI. Wynika to z faktu, że przy aplikacjach GenAI wytwarzających „nieskończone wyniki”, bardziej zautomatyzowane podejście będzie nieodzowne.

– Jak przetestować nieskończone wyniki bez jakiegoś mechanizmu do ich autonomicznego testowania? Odnotujemy ogromny wzrost liczby produktów, które oferują pewien poziom autonomicznego testowania, aby przeprowadzać wyczerpujące testy, oceny, walidacje i weryfikacje – mówi Nicole Carignan

Inne potencjalne podatności w systemach GenAI obejmują tzw. „prompt injection”, kiedy atakujący stara się spowodować, aby aplikacja wygenerowała niezamierzoną odpowiedź, np. ujawniła informacje, których nie powinna przekazywać.

Szeregiem wyzwań związanych z integralnością AI zajmuje się wspomniana już firma Bugcrowd.

– Wśród niedawno uruchomionych usług są testy penetracyjne AI oraz program nagród za ocenę uprzedzeń AI (assessment bounty). W przypadku oferty testów penetracyjnych AI oceniać można kilka kwestii, w tym zatrucie danych – mówi Casey Ellis.

Nie ma wyjścia, branża cyberbezpieczeństwa musi opracować metodologię do kompleksowego testowania tych aplikacji w celu identyfikacji znanych podatności. Przecież w porównaniu z niektórymi powszechnie znanymi zagrożeniami związanymi z GenAI, zatrucie danych potencjalnie większym zagrożeniem dla przyszłości tej technologii, ale mniej zrozumiałym.

Trzeba zauważyć, że postęp w dziedzinie zabezpieczania AI choć powoli, to jednak zachodzi. Przykładem może być publikacja listy głównych podatności, które mogą dotyczyć aplikacji zasilanych przez GenAI, czyli „OWASP Top 10 for Large Language Model Applications”.

Jako branża musimy bardzo poważnie podchodzić do ochrony tych modeli. Nie tylko poprzez tworzenie odpowiednich zestawów danych, ale także poprzez zabezpieczenie przed ich zanieczyszczeniem. Oprócz ochrony przed celowym zatruwaniem danych, równie ważne jest, aby dane wykorzystywane do szkolenia modeli AI były od początku dokładne – mówi Patrick Harr, CEO SlashNext, dostawcy zabezpieczeń e-mail opartych na AI.

Innymi słowy, istnieje ryzyko, że organizacje mogą same zanieczyszczać swoje własne modele AI poprzez ich trenowanie na błędnych danych.

– Musimy upewnić się, że dane są oczyszczone, aby móc podejmować trafne decyzje na ich podstawie. W gruncie rzeczy AI jest tak dobra, jak dane, na podstawie których podejmuje decyzje podsumowuje Patrick Harr.