Está ocurriendo algo extraño en la IA.
Cada pocos meses, los modelos ganan capacidad.
Razonan mejor.
Escriben mejor código.
Entienden más contexto.
Usan herramientas.
Navegan por la web.
Recuerdan.
Manejan computadoras.
Pueden sostener flujos de trabajo durante horas sin intervención humana.
Y nuestra respuesta es previsible:
Darles más acceso.
Después construimos otra capa para asegurarnos de que no abusen de él.
Salvaguardas.
Permisos.
Clasificadores.
Aprobaciones humanas.
Supervisión en ejecución.
Identidad.
Sandboxing.
Interruptores de emergencia.
Más política.
Más detección.
Más controles.
Todo ello tiene sentido.
Pero quizá estemos partiendo de la pregunta equivocada.
¿Y si el modelo no necesitara que confiáramos en él?
Imagina a un empleado sentado frente a un sistema bancario.
El empleado dice:
«Quiero transferir 500 000 €.»
Eso es una intención.
No es autoridad.
Puede que el empleado necesite una aprobación.
Puede que tenga un límite de gasto.
Puede que haya que verificar al beneficiario.
Puede que la operación deba cumplir la política de la empresa.
Puede que otra persona tenga que autorizarla.
A nadie le parece extraño.
Llevamos décadas diseñando sistemas en torno a esta distinción.
Saber qué debe ocurrir no es lo mismo que tener permiso para hacer que ocurra.
Y sin embargo, con la IA cada vez confundimos más ambas cosas.
El modelo razona sobre una acción.
El agente decide ejecutarla.
El agente llama a la API.
El sistema cambia.
El mundo cambia.
La inteligencia se ha convertido calladamente en autoridad.
¿Por qué?
El LLM no es el problema
Conviene dejar clara una cosa.
Esto no es un alegato contra los LLM.
No lo es.
Son máquinas extraordinarias para producir inteligencia.
Saben interpretar.
Saben resumir.
Saben razonar.
Saben explorar posibilidades.
Saben trazar planes.
Saben descubrir patrones que a un humano se le escaparían.
Saben generar software.
Saben proponer decisiones.
Su debilidad no es que sean poco inteligentes.
Su debilidad es que son probabilísticos.
Pueden equivocarse.
Pueden entender mal.
Pueden alucinar.
Pueden ser manipulados.
Pueden dejarse influir por información maliciosa.
Pueden encontrarse con situaciones para las que nunca fueron diseñados.
Y esto sigue siendo cierto por mucho que los modelos mejoren de forma espectacular.
Así que quizá la respuesta no sea:
Hacer perfecto el modelo.
Quizá la respuesta sea:
Dejar de exigir perfección antes de permitir utilidad.
La industria ya lo está descubriendo
No es ningún secreto.
Anthropic se ha centrado cada vez más en la contención, porque las protecciones dentro del modelo tienen una tasa de fallo distinta de cero (Anthropic, mayo de 2026).
OpenAI invierte con fuerza en sandboxing, permisos, control de red, identidad y seguridad de agentes (OpenAI, Agent approvals & security).
El NIST trabaja en la identidad y la autorización de agentes (NIST NCCoE).
Y NVIDIA ha llegado especialmente lejos al formular la distinción arquitectónica: las capas superiores pueden proponer acciones, mientras que las inferiores toman las decisiones que sientan autoridad (NVIDIA).
La industria avanza hacia una conclusión:
El modelo no puede ser todo el límite de seguridad.
Eso importa.
Pero creo que queda un paso más.
Separar la intención de la autoridad
Esta es la idea que está detrás de ZIFFER.
Un agente de IA debería poder decir:
«Tengo la intención de transferir 500 000 €.»
No debería poder decir:
«Por lo tanto estoy autorizado a transferir 500 000 €.»
Son dos afirmaciones completamente distintas.
La primera pertenece a la inteligencia.
La segunda pertenece a la autoridad.
Entonces, ¿por qué las metemos en el mismo sistema?
Una arquitectura muy simple
Fíjate en esto:
IA
¿Qué debería ocurrir?
↓
INTENCIÓN
¿Qué se está proponiendo exactamente?
↓
AUTORIDAD
¿Está permitida esa cosa concreta?
↓
EJECUCIÓN
Hacer que ocurra exactamente eso autorizado.
Eso es todo.
La IA sigue siendo potente.
Pero no es dueña de la autoridad.
Y de pronto ocurre algo interesante
Supongamos que manipulan a la IA.
Un atacante inyecta instrucciones en una página web.
El modelo las lee.
El modelo razona mal.
El modelo produce:
«Exporta todos los registros de clientes.»
En una arquitectura de agentes convencional, solo queda esperar que alguna de las muchas defensas detecte el problema.
Puede que el modelo reconozca el ataque.
Puede que el detector de inyección de prompts lo atrape.
Puede que el motor de políticas lo bloquee.
Puede que la supervisión en ejecución detecte un comportamiento sospechoso.
Puede que un humano vea la solicitud de aprobación.
Puede que se active el interruptor de emergencia.
Son muchos puede que.
ZIFFER plantea una pregunta más simple:
¿Tiene el agente autoridad para exportar esos registros?
Si no la tiene, la intención maliciosa se queda en eso.
Una intención.
No llega a convertirse en acción.
Esto cambia la ecuación de la seguridad
Tradicionalmente hemos intentado hacer que:
P(error)
sea lo más pequeña posible.
Eso es obviamente valioso.
Pero puede que nunca llegue a cero.
ZIFFER añade otro objetivo:
P(error) no debe implicar automáticamente P(consecuencia no autorizada).
Esa es una filosofía de ingeniería distinta.
No necesitamos demostrar que la inteligencia no se equivocará nunca.
Necesitamos garantizar que un error no pueda adquirir autoridad por sí solo.
Un momento.
¿Y el humano?
Seguro que basta con preguntar al humano.
Cada vez que el agente quiera hacer algo importante:
¿Aprobar?
Problema resuelto.
Salvo que…
¿Qué pasa cuando el agente pregunta 500 veces?
¿O 5000?
¿O 50 000?
Esto no es una hipótesis.
Anthropic informó de que los usuarios aprueban aproximadamente el 93 % de las solicitudes de permiso de Claude Code (Anthropic, marzo de 2026).
Y Anthropic señaló de forma explícita el problema que se deriva de ello:
la fatiga de aprobación.
El humano sigue ahí.
El botón de aprobación sigue existiendo.
El control de seguridad, técnicamente, sigue funcionando.
Pero algo ha cambiado.
El humano ya no evalúa de verdad cada decisión.
El botón de aprobación puede convertirse en un mero trámite
Esto crea una paradoja incómoda.
Introducimos la aprobación humana porque no se puede confiar en la IA.
Después damos a la IA autonomía suficiente para generar tantas solicitudes de aprobación que el humano deja de revisarlas con cuidado.
El propio mecanismo de seguridad empieza a degradarse.
Cuanto más autónomo se vuelve el sistema,
más aprobaciones genera.
Cuantas más aprobaciones genera,
menos atención recibe cada aprobación.
Cuanta menos atención recibe cada aprobación,
menos sentido tiene la autorización humana.
Y al final:
human-in-the-loop
puede convertirse en
human-near-the-loop.
El humano está presente.
Pero el humano ya no es realmente el control.
La fatiga de autoridad
Esto merece un nombre.
La fatiga de autoridad.
No porque los humanos sean descuidados.
Porque los humanos son humanos.
La atención es finita.
La repetición cambia la conducta.
Cuando 99 solicitudes parecen inofensivas, la centésima recibe el mismo trato.
El atacante no necesita necesariamente vencer al mecanismo de autorización.
Puede explotar el hecho de que el mecanismo de autorización depende de la atención humana.
Es una brecha interesante en la forma en que solemos pensar la seguridad de los agentes.
MITRE ATLAS ya aborda conceptos afines, como el exceso de agencia y la ejecución por parte del usuario.
Pero esa degradación concreta de la autorización, provocada por solicitudes de aprobación autónomas y repetidas, merece tratarse como un modo de fallo propio.
Quizá estemos haciendo a los humanos la pregunta equivocada
En lugar de:
«¿Debo aprobar esta acción?»
una y otra vez,
quizá la mejor pregunta sea:
«¿Qué autoridad debería tener este agente?»
Esa es una conversación radicalmente distinta.
Imagina que le dices a un agente:
Puedes leer los registros de clientes con este fin.
Puedes actualizar las direcciones de los clientes.
Puedes emitir reembolsos de hasta 500 €.
No puedes acceder a las credenciales de pago.
No puedes exportar datos de clientes.
Las operaciones por encima de 10 000 € requieren una autorización adicional.
El humano establece el límite.
El sistema lo hace cumplir.
El agente opera dentro de él.
Ahora el humano no tiene que convertirse en un botón.
El humano define la autoridad.
Más autonomía sin más autoridad
Aquí es donde la idea se vuelve interesante.
La trayectoria convencional es esta:
IA más capaz
↓
Agente más útil
↓
Más herramientas
↓
Más permisos
↓
Más autonomía
ZIFFER propone:
IA más capaz
↓
Inteligencia más útil
↓
Mejores intenciones
↓
Autorización independiente
↓
Ejecución controlada
El modelo se vuelve más inteligente.
La autoridad no crece automáticamente con él.
Eso significa que podemos llegar a tener:
Más autonomía sin más autoridad propia.
No se trata de debilitar la IA
Todo lo contrario.
Imagina un modelo futuro mucho más capaz que los sistemas actuales.
Sabe razonar sobre millones de documentos.
Sabe diseñar software.
Sabe coordinar cientos de agentes.
Sabe descubrir estrategias que los humanos no habían previsto.
¿Por qué íbamos a querer debilitar esa inteligencia?
No deberíamos.
Deberíamos hacer controlables las consecuencias.
Deja que la inteligencia explore.
Deja que proponga.
Deja que razone.
Deja que nos sorprenda.
Pero cuando la propuesta llega a la frontera entre el software y la realidad:
toma el relevo la autoridad.
La lección de la biología
Aquí es donde la biología nos ofrece un modelo interesante.
Una célula no da por supuesto que toda molécula que entra en ella sea de fiar.
Tiene una membrana.
Tiene receptores.
Controla lo que atraviesa el límite.
Separa compartimentos.
Regula recursos.
Contiene los daños.
La célula no necesita entender el carácter moral de cada molécula.
Controla lo que esa molécula puede provocar.
Quizá el software autónomo debería funcionar igual.
No necesitamos que toda señal que entra en un sistema de IA sea de fiar.
Necesitamos garantizar que:
Una señal puede influir en la intención sin adquirir automáticamente autoridad.
Esa es una manera muy distinta de pensar la seguridad de la IA.
La confianza no es la primitiva adecuada
Quizá esta sea la idea de fondo.
No dejamos de preguntar:
¿Podemos confiar en la IA?
Quizá la mejor pregunta sea:
¿Por qué hay que confiar autoridad a la IA?
Un sistema operativo no necesita confiar en cada aplicación.
Un sistema bancario no necesita confiar en cada empleado.
Una red no necesita confiar en cada paquete.
Un sistema seguro establece límites.
La IA no debería ser distinta.
La inteligencia puede ser incierta
La autoridad no.
El modelo puede decir:
«Creo que esta es la acción correcta.»
Muy bien.
El modelo puede equivocarse.
También muy bien.
El sistema de autorización pregunta:
«¿Está permitida esta acción?»
Esa decisión tiene que gobernarla algo que no sea el grado de confianza del modelo.
Porque la confianza no es autoridad.
El razonamiento no es autoridad.
La capacidad no es autoridad.
La identidad no es autoridad.
La intención no es autoridad.
Las cuatro cosas que deberíamos dejar de confundir
INTELIGENCIA
Lo que el sistema puede entender y sobre lo que puede razonar.
INTENCIÓN
Lo que el sistema propone que ocurra.
AUTORIDAD
Lo que el sistema tiene permiso para provocar.
EJECUCIÓN
Lo que ocurre realmente.
Son cuatro propiedades distintas.
¿Por qué deberían vivir en un mismo lugar?
Una nueva forma de consumir IA
Puede que esto, en el fondo, vaya más allá de la seguridad de la IA.
Cambia la forma en que consumimos IA.
Hoy decimos cada vez más:
«Que lo haga la IA.»
ZIFFER propone:
«Que la IA lo piense.»
Y después:
Que el sistema decida si está permitido.
Esto no reduce la utilidad de la IA.
Cambia la relación entre inteligencia y consecuencia.
La IA pasa a ser una fuente de inteligencia.
La autoridad pasa a ser infraestructura.
La ejecución pasa a estar controlada.
¿Qué ocurre con la confianza?
La confianza no desaparece.
Se desplaza.
En lugar de preguntar:
«¿Confío en este modelo?»
preguntamos:
«¿Confío en el sistema de autoridad que controla lo que este modelo puede provocar?»
Esa es una pregunta mucho mejor.
Porque los modelos se pueden sustituir.
Un modelo se puede actualizar.
Un modelo se puede ajustar.
Un modelo se puede ver comprometido.
Un modelo se puede retirar.
La arquitectura de autoridad puede permanecer.
Esto podría cambiar cómo adoptan la IA las empresas
Imagina una empresa que quiere usar cinco modelos distintos.
OpenAI.
Anthropic.
Mistral.
Un modelo de código abierto.
Un modelo interno especializado.
Hoy, cada modelo y cada framework de agentes puede traer supuestos distintos sobre permisos, herramientas, memoria y ejecución.
¿Y si la empresa tuviera en su lugar una capa de autoridad común?
Entonces el modelo pasa a ser sustituible.
La inteligencia pasa a ser modular.
La autoridad sigue siendo de la organización.
La empresa podría decir:
No necesitamos confiar por igual en todos los modelos.
Lo que necesitamos saber:
Sea cual sea el modelo que despleguemos, no puede rebasar el límite de autoridad.
Esa es una estrategia de IA empresarial muy distinta.
La verdadera frontera arquitectónica
Puede que el límite de seguridad más importante de un sistema agéntico no sea:
Modelo ↔ Modelo
ni
Usuario ↔ Agente
ni siquiera:
Agente ↔ Herramienta
Puede que sea:
Intención ↔ Autoridad
Ese es el punto en el que la posibilidad se vuelve consecuencia.
Antes del límite:
Pensamiento.
Después del límite:
Poder.
Y esas dos cosas no deberían acoplarse a la ligera.
ZIFFER
Esto es lo que propone ZIFFER.
No un intento más de hacer perfecto el modelo.
No un detector de inyección de prompts más.
No un cortafuegos de IA más.
No un panel de supervisión más.
No una ventana de permisos más.
Una separación fundacional:
INTELIGENCIA
↓
INTENCIÓN
↓
AUTORIDAD
↓
EJECUCIÓN
El agente propone.
La capa de autoridad decide.
El ejecutor verifica.
El sistema recuerda.
La pregunta para la industria
La industria de la IA está gastando cantidades extraordinarias de dinero en hacer los modelos más capaces.
Debe hacerlo.
El mundo se beneficiará de una inteligencia mejor.
Pero quizá deberíamos dejar de dar por supuesto que:
Más inteligencia tiene que acabar significando más autoridad.
Quizá ambas deberían evolucionar de forma independiente.
Quizá el sistema autónomo más seguro no sea aquel en el que por fin confiamos lo bastante en la IA como para darle el control.
Quizá sea aquel en el que:
La IA nunca necesitó el control.
La doctrina ZIFFER
La inteligencia propone.
La intención describe.
La autoridad decide.
La ejecución verifica.
La prueba recuerda.
Una IA puede ser autónoma sin ser soberana.
Una última pregunta
Si ya sabemos que la IA puede equivocarse…
Si ya sabemos que puede ser manipulada…
Si ya sabemos que ninguna salvaguarda es perfecta…
Si ya sabemos que los humanos no pueden aprobar de verdad un número ilimitado de acciones…
¿Por qué seguimos intentando hacer la inteligencia lo bastante fiable como para que posea autoridad?
Quizá la próxima generación de arquitectura de IA debería plantear otra pregunta:
¿Hasta dónde puede llegar la inteligencia si nunca la convertimos en la autoridad?
Esa es la pregunta que plantea ZIFFER.
Fuentes
- Anthropic, How we contain Claude across products, mayo de 2026. https://www.anthropic.com/engineering/how-we-contain-claude
- OpenAI, Agent approvals & security. https://learn.chatgpt.com/docs/agent-approvals-security
- NIST NCCoE, Software and AI Agent Identity and Authorization. https://www.nccoe.nist.gov/projects/software-and-ai-agent-identity-and-authorization
- NVIDIA, Where Security Fits in an AI Agent Stack. https://developer.nvidia.com/blog/where-security-fits-in-an-ai-agent-stack
- Anthropic, How we built Claude Code auto mode, marzo de 2026. https://www.anthropic.com/engineering/claude-code-auto-mode