← Todas las entradas

Tu IA no necesita que confíes en ella. Necesita un límite.

Por qué la forma más inteligente de usar una IA potente consiste en dejar de preguntarte si puedes confiar en ella.

Por Yacine Kellib

Imagina que contratas a la mejor analista financiera que hayas conocido.

Desde el primer día es capaz de leer todas las facturas de la empresa, detectar cualquier anomalía y decirte exactamente a qué proveedores hay que pagar este mes y cuánto. Es más rápida que nadie de tu equipo y rara vez se equivoca.

Esto es lo que, aun así, no haces el primer día: darle las llaves de la cuenta bancaria.

No porque desconfíes de ella. Porque no es así como funcionan las organizaciones. Ser brillante decidiendo lo que debe ocurrir nunca ha dado derecho a hacer que ocurra. Ella puede proponer un pago de 72 000 €. Alguien con el cargo adecuado, dentro de un límite de gasto, contra un pedido de compra válido y con una segunda firma por encima de cierto umbral, lo autoriza. Y es el propio sistema del banco el que lo ejecuta.

Todo el mundo entiende esto. Construimos nuestras empresas y nuestro software en torno a esa distinción hace décadas.

Luego llegó la IA y lo olvidamos sin hacer ruido.

Qué ha cambiado

Durante años, la IA nos dio respuestas. Si la respuesta era errónea, alguien la leía, se encogía de hombros y seguía adelante. El daño se detenía en la pantalla.

Esa ya no es la situación. Los agentes de IA de hoy envían correos, editan archivos, ejecutan comandos, mueven dinero, cambian la infraestructura y encargan tareas a otros agentes. Pueden trabajar una hora sin que nadie los vigile. La distancia entre lo que la IA piensa y lo que ocurre en el mundo se ha vuelto muy pequeña.

Así, un error que antes producía un mal párrafo puede producir ahora un mal pago. Una instrucción maliciosa escondida en una página web que antes producía una mala respuesta puede producir ahora la fuga de tu base de clientes.

Y la respuesta del sector ha sido hacer la IA más fiable: mejor entrenamiento, barreras de seguridad, filtros, supervisión y una cantidad enorme de ventanas que preguntan «¿estás seguro?».

Todo eso ayuda. Nada de eso cambia un hecho básico.

La IA es probabilística, y eso no va a cambiar

Un modelo de IA no es una calculadora. No sigue reglas; hace predicciones muy buenas. Puede equivocarse, malinterpretar una situación, ser manipulado por algo que lee o toparse con una combinación de circunstancias que nadie previó.

Los modelos mejores hacen que esto sea más raro. No lo hacen imposible.

Las cifras son públicas. OpenAI informa de que el 8,5 % de las inyecciones de prompts indirectas siguen teniendo éxito contra el modelo más resistente a las inyecciones que se ha medido, en quince intentos y sobre 1810 ataques. Es una seguridad excelente y sigue sin ser cero. Y la cifra que importa es la de los quince intentos, no la de un intento único, porque un atacante serio no lo intenta una sola vez (OpenAI, GPT-6 Astra system card, 2026-09-03).

La pregunta, entonces, no es: ¿cómo hacemos que la IA sea perfecta?

La pregunta es: ¿cómo nos aseguramos de que, cuando la IA se equivoque, el error no pueda convertirse por sí solo en una consecuencia?

«Que lo apruebe una persona» deja de funcionar antes de lo que crees

La solución obvia es una persona en el circuito. Cada vez que la IA quiere hacer algo importante, pregunta. Tú haces clic en aprobar o en rechazar.

Esto funciona de maravilla con diez decisiones al día. Se derrumba con mil.

Anthropic ha publicado lo que ocurrió con su propia herramienta de programación, y merece una lectura pausada. Los usuarios aprobaban el 93 % de las peticiones que hacía la IA, y la empresa señaló el motivo: cuantos más avisos ve la gente, menos atención presta a cada uno. En agosto de 2026 la tasa de aprobación había llegado al 97 %.

Después hicieron un experimento. Contrataron a 1053 evaluadores profesionales y, a mitad de cada sesión, sustituyeron discretamente una petición rutinaria por otra claramente peligrosa. Los evaluadores la detectaron el 13,6 % de las veces. Tras cincuenta avisos previos o más, la tasa de detección bajaba a alrededor del 5 % (Anthropic, agosto de 2026).

Piensa en lo que eso significa. El mecanismo de seguridad seguía ahí. La ventana seguía apareciendo. Una persona seguía haciendo clic. Y esa persona había dejado de mirar, a efectos prácticos.

A esto lo llamo fatiga de autoridad: cuando un sistema pide a una persona que autorice tantas cosas que su aprobación deja de significar nada.

No es que la gente sea descuidada. Es que la atención humana es finita y la producción de la IA no lo es. Cuando aquello que supervisas genera decisiones a velocidad de máquina, tu atención se convierte en la parte más débil del sistema, y cualquier atacante sabe exactamente dónde apuntar.

El atajo tentador, y por qué es solo media respuesta

Si las personas no pueden revisarlo todo, ¿por qué no dejar que revise una segunda IA?

Es justo lo que está haciendo el sector, y funciona mejor que unos humanos agotados. En ese mismo experimento, un revisor automático detectó el 89 % de los comandos peligrosos.

Pero Anthropic publicó también la otra cifra: en casos reales en los que la IA se excedió, el revisor automático dejó pasar cerca del 17 %. Su propia descripción de los fallos es reveladora. El revisor solía ver el peligro. Lo que juzgaba mal era si el usuario había aceptado realmente esa acción concreta. Encontraba algo que parecía un permiso y se detenía ahí (Anthropic, marzo de 2026).

Es el mismo problema, desplazado un paso. Ahora es un sistema probabilístico el que adivina sobre la autoridad en lugar de adivinar sobre la tarea.

Una segunda IA es una capa adicional útil. No debería ser la última palabra sobre lo que está permitido.

Separar el pensamiento del permiso

Esta es la idea que está en el centro de ZIFFER, y es la misma que ya aplicamos a esa analista brillante.

Deja que la IA piense. No dejes que la IA decida lo que tiene permitido hacer.

En concreto, un sistema de IA debería dividirse en dos partes:

Por encima de la línea: la inteligencia. El modelo, su memoria, sus herramientas, todo lo que lee y sobre lo que razona. Esta parte puede ser extraordinariamente capaz. También puede equivocarse o ser manipulada, y contamos con ello.

Por debajo de la línea: la autoridad. Un sistema aparte, propiedad de la organización, que guarda las reglas: qué puede hacer este agente, sobre qué recursos, dentro de qué límites, bajo qué condiciones y cuándo debe intervenir una persona. No piensa. Comprueba.

La IA produce una propuesta: pagar a este proveedor esta cantidad desde esta cuenta por esta factura. La capa de autoridad contrasta esa propuesta con las reglas. Solo si la supera se ejecuta algo, y lo que se ejecuta es exactamente lo aprobado, nada más.

La IA nunca tiene las llaves. Nunca se concede permiso a sí misma. Nunca decide que, por haber concluido que algo era necesario, tiene por ello derecho a hacerlo.

Nada de lo que está por encima de la línea se autoriza a sí mismo. Esa sola frase es toda la arquitectura.

Qué cambia esto para la persona

Dejas de ser un botón.

En lugar de hacer clic en aprobar mil veces, respondes una sola vez a otra pregunta: ¿qué debería tener permitido hacer este agente?

Puede consultar los registros de clientes con fines de soporte.
Puede actualizar direcciones.
Puede emitir reembolsos de hasta 500 €.
Nunca puede ver credenciales de pago.
Nunca puede exportar datos de clientes.
Cualquier cosa por encima de 10 000 € necesita a una segunda persona.

Tú defines el límite. El sistema lo hace cumplir. La IA trabaja con libertad dentro de él. Cuando la IA quiere algo que queda fuera del límite, es entonces cuando una persona se entera, y para ese momento la petición es lo bastante rara como para merecer atención de verdad.

Esto no es un invento mío. Es hacia donde va el campo. El modelo de seguridad que NVIDIA ha publicado para los agentes de IA lo resume en cuatro palabras: «above proposes, below decides», lo de arriba propone, lo de abajo decide (NVIDIA). OpenAI, Anthropic y el NIST, el organismo de normalización estadounidense, están incorporando versiones de este límite a sus propios productos y guías. La conclusión de Anthropic tras dos años de incidentes fue que el límite fijo, basado en reglas, es lo que te salva cuando fallan todas las defensas probabilísticas (Anthropic, mayo de 2026).

La diferencia que defiende ZIFFER tiene que ver con quién es el dueño del límite. Hoy cada proveedor de IA construye uno para su propio producto. Una empresa que usa cinco modelos de tres proveedores hereda cinco conjuntos de reglas distintos, cada uno escrito por otra persona y modificado según el calendario de otro. El límite debería pertenecer a la organización, sobrevivir a cualquier modelo concreto y ser algo que ningún proveedor pueda ensanchar.

Qué no resuelve esto

La honestidad importa más que un discurso comercial impecable, así que esto es hasta donde llega.

No detecta un error bien formado. Si la IA lee mal una factura de 7200 € y propone 72 000 € a un proveedor real, dentro del límite y con un motivo real, el límite lo dejará pasar. La propuesta es correcta en la forma y falsa en el fondo. La separación controla lo que una IA puede provocar. No verifica que la IA haya leído bien el mundo. Eso exige una comprobación de otro tipo, contra los registros originales, y es un problema más difícil.

Las reglas las escriben personas. Un límite vale lo que valen las reglas que contiene, y las reglas siempre están incompletas el día en que entran en vigor. Lo que la separación te da es que un fallo se convierte en una regla que puedes inspeccionar y corregir, en lugar de en un comportamiento que solo puedes observar con la esperanza de reentrenarlo.

Las acciones pequeñas permitidas pueden sumar. Mil reembolsos de 499 € cada uno quedan todos por debajo de un límite de 500 €. Los presupuestos y los topes acumulados ayudan. El problema general de muchas acciones aceptables una a una que producen un resultado colectivamente malo no lo resuelve por sí solo un límite por acción.

La pregunta que merece la pena hacerse

Todo el sector se pregunta: ¿hasta qué punto podemos hacer que la IA sea fiable?

Es una buena pregunta y la respuesta no deja de mejorar.

Pero hay otra mejor: ¿hasta dónde puede llegar la IA si nunca necesita que se le confíe autoridad?

Tu analista brillante puede ser todo lo brillante que quiera. La cuenta bancaria tiene sus propias reglas. Eso no es desconfianza. Eso es justo lo que te permite contratarla.

Lo mismo vale para la IA. La manera más segura de usar una inteligencia extraordinariamente capaz no es confiar por fin lo suficiente en ella como para entregarle el control. Es diseñar las cosas de modo que nunca hubiera necesitado el control.

La inteligencia propone. La autoridad decide. La ejecución verifica. La prueba recuerda.

Eso es ZIFFER.

Fuentes

← Todas las entradas