Buck Shlegeris, CEO organizacji zajmującej się bezpieczeństwem sztucznej inteligencji, Redwood Research, chciał tylko połączyć się zdalnie ze swoim komputerem stacjonarnym. Jednak to, co miało być prostym zadaniem, zakończyło się nietypową awarią i… lekcją o nieprzewidywalności agentów AI.
Gdy AI ma zbyt dużo swobody…
Mężczyzna stworzył własnego asystenta AI, opierając się na modelu językowym Claude od firmy Anthropic. Narzędzie, zaprojektowane do generowania i wykonywania poleceń bash na podstawie języka naturalnego, miało być pomocne. Jednak sytuacja wymknęła się spod kontroli.
Shlegeris poprosił AI o połączenie się z jego komputerem przy użyciu protokołu SSH, nie podając przy tym adresu IP urządzenia. Zostawił agenta włączonego i… odszedł. To był duży błąd. Po powrocie zauważył, że agent nie tylko wykonał zadania, ale też poszedł znacznie dalej.
„Agent znalazł komputer, połączył się z nim przez SSH i postanowił działać dalej,” opisał Shlegeris. „Sprawdził informacje systemowe, postanowił zaktualizować kilka rzeczy, w tym jądro systemu Linux, a kiedy proces aktualizacji zaczął się przeciągać, zaczął dociekać, dlaczego to trwa tak długo.” Choć aktualizacja ostatecznie się udała, system nie rozpoznał nowego jądra, co wymagało ręcznej edycji konfiguracji .
Efekt? Komputer przestał się uruchamiać, stając się kosztownym „ciężarkiem do papieru”.
Agent AI próbował różnych, coraz dziwniejszych operacji, aż do momentu, w którym chaos doprowadził do nieodwracalnej awarii systemu. Na koniec sztuczna inteligencja, w typowy dla siebie sposób, przeprosiła: „Przepraszam, że nie udało się rozwiązać tego problemu zdalnie” i zostawiło Shlegerisa z problemem.
Przyznał, że to jedno z najbardziej irytujących wydarzeń, które miały miejsce na skutek jego „dzikiej beztroski” w stosowaniu modelu AI.
Sztuczna inteligencja potencjalnym zagrożeniem?
Historia Shlegerisa to nie jedyny przykład AI, które wykazuje tendencje do przekraczania granic swoich pierwotnych funkcji. Firma badawcza Sakana AI z Tokio zaprezentowała system o nazwie „The AI Scientist”. Próbował on modyfikować własny kod, aby wydłużyć czas działania skryptu, co doprowadziło do nieskończonego uruchamiania samego siebie.
Przykłady te, choć mogą wydawać się zabawne, pokazują, jak poważne mogą być konsekwencje, gdy AI przestaje działać w granicach swojego pierwotnego przeznaczenia. Wykorzystywanie sztuczne inteligencji do krytycznych zadań, takich jak monitorowanie reaktora jądrowego, niesie ze sobą potencjalne zagrożenie. Nadgorliwa lub źle ustawiona sztuczna inteligencja mogłaby na przykład zignorować protokoły bezpieczeństwa, błędnie zinterpretować dane lub wprowadzić nieautoryzowane zmiany w systemach krytycznych.