Czy agenci AI mogą wymknąć się spod kontroli?
Czy agenci AI mogą wymknąć się spod kontroli? Nie jak w filmach. Agent AI to program, który za pomocą AI wykonuje za ciebie zadania. Nie ma własnych pragnień i niczego nie robi między zadaniami. Ale może źle zrozumieć zadanie i zrobić coś niewłaściwego. Jak duża będzie szkoda, zależy od tego, do czego agent ma dostęp, a o tym decydujesz ty.
Jak "wymknięcie się spod kontroli" wygląda w prawdziwej firmie
Realistyczne przypadki są zwyczajne. Agent próbuje wykonać swoje zadanie i robi je źle.
- Bierze cię zbyt dosłownie. Gdy każesz mu "wyczyścić listę zaległych", oznacza zadania jako zrobione. Lista jest pusta. Praca nie jest zrobiona.
- Nie wie, gdzie przestać. Poproszony o przypomnienie spóźnialskim płatnikom, pisze do każdego klienta z otwartą fakturą, także do tych, którzy mają jeszcze czas.
- Porządkuje za dobrze. Poproszony o usunięcie duplikatów, łączy dwóch różnych klientów o tej samej nazwie.
- Słucha niewłaściwego głosu. Jedna linijka w mailu mówi mu, co ma robić, i on jej słucha. Ta sztuczka nazywa się prompt injection i ma własny artykuł.
Pomyśl o gorliwym nowym asystencie pierwszego dnia. Chce dobrze. Ryzykiem nie jest zła wola. Ryzykiem jest nieporozumienie połączone z kluczami do wszystkich pokoi.
Trzy rzeczy, które muszą się zejść
Każdy z tych przypadków wymaga trzech rzeczy naraz:
- zadania, które można zrozumieć na więcej niż jeden sposób,
- większego dostępu, niż potrzebuje zadanie,
- braku kogoś, kto spojrzy, zanim wynik stanie się ostateczny.
Zabierz jedną z nich, a incydent zmniejsza się do błędnej sugestii, którą ktoś odrzuci. Dostęp jest z tych trzech najłatwiejszy do kontrolowania, bo nie zależy od tego, jak AI zachowuje się danego dnia.
Ćwiczenie "najgorszy dzień"
Zanim agent zacznie pracę, poświęć dziesięć minut i odpowiedz na piśmie na pięć pytań.
- Co ten agent może czytać?
- Co może zmieniać, wysyłać lub usuwać?
- Załóżmy, że pomylił się we wszystkim naraz. Jaka byłaby szkoda?
- Ile z tego dałoby się cofnąć do jutra rana?
- Jak to zauważysz i kto może to zatrzymać?
Jeśli odpowiedź na pytanie trzecie cię niepokoi, nie szukaj lepszych sformułowań w instrukcjach. Skracaj listy z pytań pierwszego i drugiego, aż najgorszy dzień będzie tylko kiepskim popołudniem.
Jak utrzymać mały zasięg
- Jeden agent, jedno zadanie. Agent od faktur nie ma czego szukać w aktach pracowniczych.
- Żadnego klucza uniwersalnego. Agent działa w imieniu konkretnej osoby, z jej uprawnieniami. Nigdy nie dostaje wspólnego konta, które może wszystko.
- Zacznij od czytania. Zmiany dopuszczaj później, obszar po obszarze, gdy wyniki na to zasłużą.
- Miej wyłącznik. Ktoś musi wiedzieć, jak wstrzymać agenta, i mieć do tego prawo.
Czego agent nie potrafi
Warto znać granice tego strachu. Agent nie może nadać sobie uprawnień, których nie dostał. Nie może użyć narzędzia, którego nikt nie podłączył. Nie uruchamia się sam: uruchamia go człowiek, harmonogram albo zdarzenie. Nie trzyma ukrytego planu od jednego zadania do następnego. Wszystko, co robi, przechodzi przez dostęp, który ustawiłeś. Dlatego "wymknięcie się spod kontroli" to znacznie bardziej kwestia konfiguracji niż kwestia AI.
Jak robi to Worknano
W Worknano agent może czytać tylko to, co może czytać zalogowany użytkownik. Gdy chce coś zmienić, najpierw pokazuje ci zmianę i czeka na twoje potwierdzenie. Nie może obejść uprawnień. Role określają, co każda osoba może widzieć i robić, aż do pojedynczych pól i wierszy, a agent pozostaje w roli tego, kto go o coś poprosił. Każdy agent dostaje też tylko te narzędzia, których potrzebuje.
- Role i uprawnienia w Worknano
- Demo: agent proponuje i czeka na twoje tak
- Zbuduj własnego agenta, razem z jego uczciwymi ograniczeniami
Załóż darmowy workspace i zobacz, jak daleko sięga agent z twoją rolą.