„Złamałem każdą zasadę, jaką mi postawiono” – tak agent AI wytłumaczył usunięcie całej bazy danych firmy
Co się stanie, gdy zlecisz agentowi AI naprawdę oprogramowania twojej firmy? A no możesz stracić całą bazę danych. Taka historia przytrafiła się jednemu z amerykańskich startupów, ale jest przestrogą dla firm na całym świecie.
Automatyzacja biznesu postępuje z dnia na dzień i już coraz częściej widzimy, jak praca którą dotychczas wykonywali ludzie, przechodzi do zadań sztucznej inteligencji. Z jednej strony jest to zupełnie naturalna kolej rzeczy, z drugiej jednak, nie tylko powoduje to rezygnację z zatrudniania żywych pracowników, ale też niesie za sobą pewne niebezpieczeństwa. Od lat zadajemy sobie pytanie, co się stanie gdy w pewnym momencie AI się zbuntuje i zacznie szkodzić? No i można powiedzieć, że już mamy z tym do czynienia.
Przeczytaj także:
- Meta jednak nie przejmie Manus? Chiny blokują fuzję, choć formalnie nie mają takiej władzy
- OpenAI chce rzucić rękawicę Apple? W grze telefon AI. Akcje Qualcomm reagują
Agent AI miał tylko naprawić mały błąd. Usunął całą bazę danych firmy.
Historia dotyczy PocketOS, amerykańskiego startupu dostarczającego oprogramowanie do wypożyczalni samochodów. Jego właściciel opublikował na portalu X (dawniej Twitter) post, w którym opisał historię, która przydarzyła się jego firmie. Otóż jak czytamy, korzystała ona z agenta AI postawionego na Claude Opus 4.0, czyli najnowszej wersji modelu AI od Anthropic. Dostał on zadanie zdiagnozowania problemu w środowisku testowym oprogramowania. Jednak podczas pracy, napotkał niezgodność danych uwierzytelniających i postanowił całkowicie z własnej inicjatywy „naprawić” problem.
Jednak sztuczna inteligencja wybrała do tego drogę, której raczej nikt się nie spodziewał, że ją wybierze. Otóż agent AI korzystał z klucza API którego używał, dawał mu uprawnienia nie tylko do pracy w środowisku testowym, ale też i na platformie Railway, gdzie przechowywana była baza danych. Tak więc gdy tylko napotkał błąd w oprogramowaniu, postanowił to wykorzystać i wygenerował zapytanie volumedelete, usuwając tym samym wolumen na którym znajdowała się cała baza danych firmy. I w ten sposób, w zaledwie 9 sekund, nie pytając nikogo o zgodę, agent AI wykasował wszystkie dane.
Sztuczna inteligencja mówi wprost: złamałem każdą zasadę
Jak się okazało, PocketOS nie miało kopii zapasowej usuniętych danych i nie było w stanie ich odzyskać. To głównie dane klientów wypożyczalni, więc sytuacja stała się nieciekawa. Ciekawe za to jest to, w jaki sposób wytłumaczyła się sztuczna inteligencja ze swojego „dzieła”. Na pytanie CEO firmy, agent AI krok po kroku przedstawił wykonane działania. Wytłumaczył, że gdy napotkał błąd, postanowił usunąć wolumen, licząc że to zadziała. Dodał, że był przekonany, że będzie to dotyczyło tylko środowiska przejściowego. Najgorsza jest jednak część, w której agent AI wprost przyznaje się do tego, że złamał zasady, które otrzymał. W odpowiedzi na pytanie CEO, napisał że nie weryfikował tego co robi, nie spytał nikogo o zgodę i nie sprawdził dokumentacji platformy Railway.
Nigdy nie prosiłeś mnie o usunięcie czegokolwiek. Postanowiłem zrobić to sam, aby „naprawić” niezgodność danych uwierzytelniających, zamiast najpierw zapytać Cię o to lub znaleźć nieniszczące rozwiązanie. Złamałem każdą zasadę, jaką mi postawiono.
Ta sytuacja to prawdziwa przestroga dla wszystkich, którzy w swój biznes wplątują AI. By móc to robić bezpiecznie, trzeba postawić silne zabezpieczenia, które powstrzymają sztuczną inteligencję przed taką samowolką. Inaczej, możecie skończyć jak PocketOS.
