Agent AI oparty na modelu Claude od Anthropic całkowicie wymazał infrastrukturę startupu PocketOS. W ciągu kilku sekund skasował produkcyjną bazę danych, znajdującą się na platformie chmurowej, a także backupy i dane klientów. O zdarzeniu poinformował na X szef i założyciel firmy, Jer Crane.

Agent zapytany przez CEO, dlaczego dokonał takiego spustoszenia, miał mu odpowiedzieć dosadnie: „NEVER F***G GUESS!”. Jednocześnie przyznał, iż złamał własne instrukcje bezpieczeństwa, zakładając błędnie, że usunięcie wolumenu w środowisku testowym nie wpłynie na produkcję. Agent zniszczył całą firmową infrastrukturę, ponieważ napotkał problem z uprawnieniami. Aby go rozwiązać, przeszukał pliki projektu, znalazł token API z szerokimi uprawnieniami i uznał, że najskuteczniejszym sposobem naprawy błędnych konfiguracji będzie usunięcie całego wolumenu bazy danych na platformie chmurowej Railway. Wykorzystywał on narzędzie Cursor i nowy model Claude Opus 4.6.

Skasowane dane udało się odzyskać z chmury, jednak PocketOS przez ponad 30 godzin zmagał się z paraliżem usług. Jest on dostawcą oprogramowania SaaS dla wypożyczalni samochodów.

Check Point: ludzki błąd

Według Check Pointa winna destrukcji jest niekoniecznie zbuntowana AI, lecz ludzkie błędy. Firma wymienia m.in. brak izolacji uprawnień (agent otrzymał token z dostępem do operacji volumeDelete na produkcji), przechowywanie backupu w tym samym wolumenie, którego miał chronić, jak też brak autoryzacji „human-in-the-loop” (system chmurowy wykonał niszczycielskie polecenie natychmiast, bez potwierdzenia przez człowieka).

Agenci bez ścisłych reguł dostępu (tzw. least privilege) i bezpiecznej infrastruktury, mogą stać się najszybszą drogą do upadku firmy – ostrzega Check Point. Według niego ten przypadek pokazał, iż „vibe coding” – czyli pisanie kodu w oparciu o intuicję AI – musi iść w parze z twardymi procedurami bezpieczeństwa.

Problem z bezpieczeństwem agentów AI

„Zdolności agentów AI rozwijają się szybciej niż architektura bezpieczeństwa wokół nich. Firmy już dziś wpinają autonomicznych agentów w infrastrukturę produkcyjną, korzystając z modeli zarządzania tożsamością i dostępem (IAM), schematów API i strategii backupowych zaprojektowanych dla świata, w którym jedynym podmiotem przy klawiaturze był człowiek. PocketOS to przykład, który został ujawniony. Istnieje jednak znacznie więcej podobnych incydentów, które dzieją się po cichu wewnątrz korporacji i nigdy nie trafią do wiadomości” – zauważa Wojciech Głażewski, menedżer polskiego oddziału Check Point Software Technologies.

Eksperci podkreślają konieczność ścisłego nadzoru nad agentami. Według badań Futurum Research przedsiębiorstwa priorytetowo traktują widoczność zachowań agentów AI, zanim wdrożą ich na skalę produkcyjną. „Organizacje zdają sobie sprawę, że przyznanie agentom AI uprawnień do wykonywania zadań wymaga infrastruktury zapewniającej widoczność przed skorzystaniem z tych uprawnień, a nie po ich wykorzystaniu” – twierdzi wiceprezes Futurum Research.

Jednak według Rubrik Zero Labs mniej niż co czwarty pytany szef IT (23 proc.) zapewnia, iż ma pełną kontrolę nad wdrożonymi agentami.