¿Pueden los agentes de IA descontrolarse?
¿Pueden los agentes de IA descontrolarse? No como en las películas. Un agente de IA es un programa que usa IA para ejecutar tareas por ti. No tiene deseos propios y no hace nada entre una tarea y otra. Pero puede malinterpretar una tarea y hacer lo que no toca. El daño que cause depende de a qué se le permite llegar al agente, y eso lo decides tú.
Cómo es un «descontrol» en una empresa real
Los casos realistas son corrientes. El agente intenta hacer su trabajo y lo hace mal.
- Te toma demasiado al pie de la letra. Si le dices «limpia la lista de atrasadas», marca las tareas como hechas. La lista queda vacía. El trabajo no está hecho.
- No sabe dónde parar. Si le pides que recuerde el pago a los morosos, escribe a todos los clientes con una factura abierta, incluidos los que aún están a tiempo.
- Ordena demasiado bien. Si le pides que quite duplicados, fusiona a dos clientes distintos que comparten nombre.
- Escucha a la voz equivocada. Una línea dentro de un correo le dice lo que debe hacer, y obedece. Este truco se llama prompt injection y tiene su propio artículo.
Piensa en un asistente nuevo y entusiasta en su primer día. Tiene buena intención. El riesgo no es la mala intención. El riesgo es un malentendido combinado con las llaves de todas las habitaciones.
Tres cosas que deben coincidir
Cada uno de estos casos necesita tres cosas a la vez:
- una tarea que se puede entender de más de una manera,
- más acceso del que el trabajo necesita,
- nadie que mire antes de que el resultado sea definitivo.
Si quitas una, el incidente se reduce a una sugerencia equivocada que alguien rechaza. El acceso es la más fácil de controlar de las tres, porque no depende de cómo se comporte la IA un día concreto.
El ejercicio del peor día
Antes de que un agente empiece a trabajar, dedica diez minutos a responder por escrito cinco preguntas.
- ¿Qué puede leer este agente?
- ¿Qué puede cambiar, enviar o borrar?
- Supón que se equivocara en todo eso a la vez. ¿Cuál sería el daño?
- ¿Cuánto podrías deshacer antes de mañana por la mañana?
- ¿Cómo te darías cuenta, y quién puede pararlo?
Si la respuesta a la tercera pregunta te preocupa, no busques una mejor redacción de las instrucciones. Acorta las listas de la primera y la segunda hasta que el peor día sea solo una mala tarde.
Mantener corto el alcance
- Un agente, un trabajo. Un agente de facturas no tiene nada que hacer en los expedientes del personal.
- Sin llave maestra. El agente actúa en nombre de una persona concreta, con los permisos de esa persona. Nunca recibe una cuenta compartida que pueda hacerlo todo.
- Empieza leyendo. Permite los cambios más tarde, área por área, cuando los resultados lo hayan merecido.
- Ten un interruptor de apagado. Alguien debe saber cómo pausar al agente y tener permiso para hacerlo.
Lo que un agente no puede hacer
Ayuda conocer los límites de la preocupación. Un agente no puede darse a sí mismo permisos que no se le dieron. No puede usar una herramienta que nadie conectó. No arranca solo: lo inicia una persona, un calendario o un evento. No guarda un plan oculto de una tarea a la siguiente. Todo lo que hace pasa por el acceso que tú configuraste. Por eso «descontrolarse» es mucho más una cuestión de configuración que una cuestión de IA.
Cómo lo resuelve Worknano
En Worknano, un agente solo puede leer lo que el usuario con sesión iniciada puede leer. Cuando quiere cambiar algo, te muestra primero el cambio y espera tu confirmación. No puede saltarse los permisos. Los roles definen qué puede ver y hacer cada persona, hasta campos y filas concretos, y el agente se queda dentro del rol de quien lo pidió. Además, cada agente recibe solo las herramientas que necesita.
- Roles y permisos en Worknano
- Demo: el agente propone y espera tu sí
- Crea tu propio agente, con sus límites explicados con franqueza
Crea un workspace gratuito y comprueba hasta dónde llega un agente con tu rol.