Il se passe quelque chose d’étrange dans l’IA.
À quelques mois d’intervalle, les modèles gagnent en capacité.
Ils raisonnent mieux.
Ils écrivent un meilleur code.
Ils comprennent davantage de contexte.
Ils utilisent des outils.
Ils naviguent sur le web.
Ils se souviennent.
Ils pilotent des ordinateurs.
Ils peuvent dérouler des processus pendant des heures sans intervention humaine.
Et notre réponse est prévisible :
Leur donner plus d’accès.
Puis nous construisons une couche de plus pour être sûrs qu’ils n’en abusent pas.
Des garde-fous.
Des permissions.
Des classifieurs.
Des approbations humaines.
De la surveillance à l’exécution.
De l’identité.
Du sandboxing.
Des coupe-circuits.
Plus de politique.
Plus de détection.
Plus de contrôles.
Tout cela se tient.
Mais nous partons peut-être de la mauvaise question.
Et si le modèle n’avait pas besoin qu’on lui fasse confiance ?
Imaginez un employé assis devant un système bancaire.
L’employé dit :
« Je veux virer 500 000 €. »
C’est une intention.
Ce n’est pas de l’autorité.
L’employé aura peut-être besoin d’une approbation.
Il est peut-être soumis à un plafond de dépenses.
Le bénéficiaire devra peut-être être vérifié.
L’opération devra peut-être respecter la politique de l’entreprise.
Il faudra peut-être qu’une autre personne l’autorise.
Personne ne trouve cela étrange.
Nous avons passé des décennies à concevoir des systèmes autour de cette distinction.
Savoir ce qui doit arriver n’est pas la même chose qu’avoir le droit de le faire arriver.
Pourtant, avec l’IA, nous confondons de plus en plus ces deux choses.
Le modèle raisonne sur une action.
L’agent décide de l’accomplir.
L’agent appelle l’API.
Le système change.
Le monde change.
L’intelligence est discrètement devenue de l’autorité.
Pourquoi ?
Le LLM n’est pas le problème
Une chose doit être claire.
Il ne s’agit pas ici de dire que les LLM sont mauvais.
Ils ne le sont pas.
Ce sont des machines extraordinaires à produire de l’intelligence.
Ils savent interpréter.
Ils savent résumer.
Ils savent raisonner.
Ils savent explorer des possibilités.
Ils savent élaborer des plans.
Ils savent découvrir des régularités qui échapperaient à un humain.
Ils savent produire du logiciel.
Ils savent proposer des décisions.
Leur faiblesse n’est pas d’être inintelligents.
Leur faiblesse est d’être probabilistes.
Ils peuvent se tromper.
Ils peuvent mal comprendre.
Ils peuvent halluciner.
Ils peuvent être manipulés.
Ils peuvent être influencés par une information malveillante.
Ils peuvent rencontrer des situations pour lesquelles ils n’ont jamais été conçus.
Et cela reste vrai alors même que les modèles s’améliorent de façon spectaculaire.
Alors la réponse n’est peut-être pas :
Rendre le modèle parfait.
La réponse est peut-être :
Cesser d’exiger la perfection avant d’autoriser l’utilité.
L’industrie est déjà en train de le découvrir
Ce n’est pas un secret.
Anthropic s’est de plus en plus concentré sur le confinement, parce que les protections au niveau du modèle ont un taux d’échec non nul (Anthropic, mai 2026).
OpenAI investit massivement dans le sandboxing, les permissions, le contrôle réseau, l’identité et la sécurité des agents (OpenAI, Agent approvals & security).
Le NIST travaille sur l’identité et l’autorisation des agents (NIST NCCoE).
Et NVIDIA est allé particulièrement loin dans la formulation de la distinction architecturale : les couches hautes peuvent proposer des actions, les couches basses prennent les décisions qui font autorité (NVIDIA).
L’industrie s’achemine vers un constat :
Le modèle ne peut pas constituer à lui seul la limite de sécurité.
C’est important.
Mais il existe, je crois, une étape de plus.
Séparer l’intention de l’autorité
C’est l’idée qui fonde ZIFFER.
Un agent IA doit pouvoir dire :
« J’ai l’intention de virer 500 000 €. »
Il ne doit pas pouvoir dire :
« Je suis donc autorisé à virer 500 000 €. »
Ce sont deux énoncés entièrement différents.
Le premier relève de l’intelligence.
Le second relève de l’autorité.
Alors pourquoi les placer dans le même système ?
Une architecture très simple
Réfléchissez à ceci :
IA
Que devrait-il se passer ?
↓
INTENTION
Qu’est-ce qui est exactement proposé ?
↓
AUTORITÉ
Cette chose précise est-elle autorisée ?
↓
EXÉCUTION
Faire arriver exactement cette chose autorisée.
Voilà tout.
L’IA reste puissante.
Mais elle ne détient pas l’autorité.
Et soudain, il se passe quelque chose d’intéressant
Supposons que l’IA soit manipulée.
Un attaquant injecte des instructions dans une page web.
Le modèle les lit.
Le modèle raisonne de travers.
Le modèle produit :
« Exporte tous les dossiers clients. »
Dans une architecture d’agent classique, il ne reste plus qu’à espérer que l’une des nombreuses défenses rattrape le problème.
Peut-être que le modèle reconnaîtra l’attaque.
Peut-être que le détecteur d’injection de prompt la repérera.
Peut-être que le moteur de politique bloquera.
Peut-être que la surveillance à l’exécution détectera un comportement suspect.
Peut-être qu’un humain verra passer la demande d’approbation.
Peut-être que le coupe-circuit sera actionné.
Cela fait beaucoup de peut-être.
ZIFFER pose une question plus simple :
L’agent a-t-il l’autorité d’exporter ces dossiers ?
Si ce n’est pas le cas, l’intention malveillante en reste là.
Une intention.
Elle ne devient pas une action.
Cela change l’équation de la sécurité
Nous avons traditionnellement cherché à rendre :
P(erreur)
aussi petite que possible.
C’est évidemment précieux.
Mais elle n’atteindra peut-être jamais zéro.
ZIFFER ajoute un autre objectif :
P(erreur) ne doit pas impliquer automatiquement P(conséquence non autorisée).
C’est une philosophie d’ingénierie différente.
Nous n’avons pas besoin de prouver que l’intelligence ne se trompera jamais.
Nous devons garantir qu’une erreur ne peut pas acquérir d’autorité toute seule.
Un instant.
Et l’humain ?
Il suffit sûrement de demander à l’humain.
Chaque fois que l’agent veut faire quelque chose d’important :
Approuver ?
Problème résolu.
Sauf que…
Que se passe-t-il quand l’agent demande 500 fois ?
Ou 5 000 ?
Ou 50 000 ?
Ce n’est pas une hypothèse d’école.
Anthropic a rapporté que les utilisateurs approuvent environ 93 % des demandes de permission de Claude Code (Anthropic, mars 2026).
Et Anthropic a explicitement nommé le problème qui en découle :
la fatigue d’approbation.
L’humain est toujours là.
Le bouton d’approbation existe toujours.
Le contrôle de sécurité fonctionne toujours, techniquement.
Mais quelque chose a changé.
L’humain n’évalue plus vraiment chaque décision.
Le bouton d’approbation peut devenir une simple formalité
Cela crée un paradoxe inconfortable.
Nous introduisons l’approbation humaine parce qu’on ne peut pas faire confiance à l’IA.
Puis nous donnons à l’IA assez d’autonomie pour qu’elle produise tant de demandes d’approbation que l’humain cesse de les examiner avec soin.
Le mécanisme de sécurité lui-même commence à se dégrader.
Plus le système devient autonome,
plus il produit d’approbations.
Plus il produit d’approbations,
moins chaque approbation reçoit d’attention.
Moins chaque approbation reçoit d’attention,
moins l’autorisation humaine a de sens.
Et pour finir :
human-in-the-loop
peut devenir
human-near-the-loop.
L’humain est présent.
Mais l’humain n’est plus vraiment le contrôle.
La fatigue de l’autorité
Cela mérite un nom.
La fatigue de l’autorité.
Non parce que les humains seraient négligents.
Parce que les humains sont des humains.
L’attention est finie.
La répétition modifie le comportement.
Quand 99 demandes paraissent inoffensives, la centième reçoit le même traitement.
L’attaquant n’a pas nécessairement besoin de vaincre le mécanisme d’autorisation.
Il peut exploiter le fait que le mécanisme d’autorisation repose sur l’attention humaine.
C’est une brèche intéressante dans notre façon habituelle de penser la sécurité des agents.
MITRE ATLAS traite déjà de notions voisines, comme l’autonomie excessive et l’exécution par l’utilisateur.
Mais cette dégradation particulière de l’autorisation, causée par des demandes d’approbation autonomes et répétées, mérite d’être traitée comme un mode de défaillance à part entière.
Nous posons donc peut-être la mauvaise question aux humains
Au lieu de :
« Dois-je approuver cette action ? »
encore et encore,
la meilleure question est peut-être :
« Quelle autorité cet agent doit-il avoir ? »
C’est une conversation d’une tout autre nature.
Imaginez que vous disiez à un agent :
Vous pouvez lire les dossiers clients à cette fin.
Vous pouvez mettre à jour les adresses des clients.
Vous pouvez émettre des remboursements jusqu’à 500 €.
Vous ne pouvez pas accéder aux identifiants de paiement.
Vous ne pouvez pas exporter les données clients.
Les opérations supérieures à 10 000 € exigent une autorisation supplémentaire.
L’humain pose la limite.
Le système la fait respecter.
L’agent opère à l’intérieur.
L’humain n’a plus à devenir un bouton.
L’humain définit l’autorité.
Plus d’autonomie sans plus d’autorité
C’est là que l’idée devient intéressante.
La trajectoire habituelle ressemble à ceci :
Une IA plus capable
↓
Un agent plus utile
↓
Plus d’outils
↓
Plus de permissions
↓
Plus d’autonomie
ZIFFER propose :
Une IA plus capable
↓
Une intelligence plus utile
↓
De meilleures intentions
↓
Une autorisation indépendante
↓
Une exécution contrôlée
Le modèle devient plus intelligent.
L’autorité ne grandit pas automatiquement avec lui.
Cela signifie que nous pouvons potentiellement obtenir :
Plus d’autonomie sans plus d’autorité propre.
Il ne s’agit pas d’affaiblir l’IA
Bien au contraire.
Imaginez un modèle futur, beaucoup plus capable que les systèmes actuels.
Il sait raisonner sur des millions de documents.
Il sait concevoir des logiciels.
Il sait coordonner des centaines d’agents.
Il sait découvrir des stratégies que les humains n’avaient pas anticipées.
Pourquoi voudrions-nous affaiblir cette intelligence ?
Nous ne le devrions pas.
Nous devrions rendre les conséquences contrôlables.
Laissez l’intelligence explorer.
Laissez-la proposer.
Laissez-la raisonner.
Laissez-la nous surprendre.
Mais quand la proposition atteint la frontière entre le logiciel et le réel :
l’autorité prend le relais.
La leçon de la biologie
C’est là que la biologie nous offre un modèle intéressant.
Une cellule ne présume pas que toute molécule qui entre en elle est digne de confiance.
Elle a une membrane.
Elle a des récepteurs.
Elle contrôle ce qui franchit la limite.
Elle sépare des compartiments.
Elle régule des ressources.
Elle contient les dégâts.
La cellule n’a pas besoin de comprendre la moralité de chaque molécule.
Elle contrôle ce que cette molécule peut provoquer.
Le logiciel autonome devrait peut-être fonctionner de la même manière.
Nous n’avons pas besoin que tout signal entrant dans un système d’IA soit digne de confiance.
Nous devons garantir que :
Un signal peut influencer l’intention sans acquérir automatiquement de l’autorité.
C’est une tout autre manière de penser la sécurité de l’IA.
La confiance n’est pas la bonne primitive
C’est peut-être l’idée la plus profonde.
Nous ne cessons de demander :
Peut-on faire confiance à l’IA ?
La meilleure question est peut-être :
Pourquoi faudrait-il confier de l’autorité à l’IA ?
Un système d’exploitation n’a pas besoin de faire confiance à chaque application.
Un système bancaire n’a pas besoin de faire confiance à chaque employé.
Un réseau n’a pas besoin de faire confiance à chaque paquet.
Un système sûr pose des limites.
L’IA ne devrait pas faire exception.
L’intelligence peut être incertaine
L’autorité ne le peut pas.
Le modèle peut dire :
« Je pense que c’est la bonne action. »
Très bien.
Le modèle peut se tromper.
Très bien aussi.
Le système d’autorisation demande :
« Cette action est-elle permise ? »
Cette décision doit être gouvernée par autre chose que le degré de confiance du modèle.
Car la confiance n’est pas l’autorité.
Le raisonnement n’est pas l’autorité.
La capacité n’est pas l’autorité.
L’identité n’est pas l’autorité.
L’intention n’est pas l’autorité.
Les quatre choses que nous devrions cesser de confondre
INTELLIGENCE
Ce que le système peut comprendre et sur quoi il peut raisonner.
INTENTION
Ce que le système propose de faire arriver.
AUTORITÉ
Ce que le système est autorisé à provoquer.
EXÉCUTION
Ce qui arrive réellement.
Ce sont quatre propriétés différentes.
Pourquoi devraient-elles vivre au même endroit ?
Une nouvelle manière de consommer l’IA
Cela dépasse peut-être, au fond, la seule sécurité de l’IA.
Cela change la manière dont nous consommons l’IA.
Aujourd’hui, nous disons de plus en plus :
« Laissons l’IA le faire. »
ZIFFER propose :
« Laissons l’IA y réfléchir. »
Puis :
Laissons le système décider si c’est permis.
Cela ne réduit pas l’utilité de l’IA.
Cela change le rapport entre l’intelligence et la conséquence.
L’IA devient une source d’intelligence.
L’autorité devient une infrastructure.
L’exécution devient contrôlée.
Qu’advient-il de la confiance ?
La confiance ne disparaît pas.
Elle se déplace.
Au lieu de demander :
« Est-ce que je fais confiance à ce modèle ? »
nous demandons :
« Est-ce que je fais confiance au système d’autorité qui contrôle ce que ce modèle peut provoquer ? »
Voilà une bien meilleure question.
Car les modèles sont remplaçables.
Un modèle peut être mis à niveau.
Un modèle peut être affiné.
Un modèle peut être compromis.
Un modèle peut être retiré.
L’architecture d’autorité, elle, peut demeurer.
Cela pourrait changer la façon dont les entreprises adoptent l’IA
Imaginez une entreprise qui veut utiliser cinq modèles différents.
OpenAI.
Anthropic.
Mistral.
Un modèle open source.
Un modèle interne spécialisé.
Aujourd’hui, chaque modèle et chaque framework d’agents peut introduire ses propres hypothèses sur les permissions, les outils, la mémoire et l’exécution.
Et si l’entreprise disposait plutôt d’une couche d’autorité commune ?
Le modèle devient alors remplaçable.
L’intelligence devient modulaire.
L’autorité reste organisationnelle.
L’entreprise pourrait dire :
Nous n’avons pas besoin de faire confiance à chaque modèle de la même façon.
Ce que nous devons savoir :
Quel que soit le modèle déployé, il ne peut pas dépasser la limite d’autorité.
Voilà une stratégie d’IA d’entreprise très différente.
La véritable frontière architecturale
La limite de sécurité la plus importante d’un système agentique n’est peut-être pas :
Modèle ↔ Modèle
ni
Utilisateur ↔ Agent
ni même :
Agent ↔ Outil
C’est peut-être :
Intention ↔ Autorité
C’est le point où le possible devient conséquence.
Avant la frontière :
La pensée.
Après la frontière :
Le pouvoir.
Et ces deux choses ne devraient pas être couplées à la légère.
ZIFFER
Voilà ce que propose ZIFFER.
Pas une tentative de plus pour rendre le modèle parfait.
Pas un détecteur d’injection de prompt de plus.
Pas un pare-feu IA de plus.
Pas un tableau de bord de surveillance de plus.
Pas une fenêtre de permission de plus.
Une séparation fondatrice :
INTELLIGENCE
↓
INTENTION
↓
AUTORITÉ
↓
EXÉCUTION
L’agent propose.
La couche d’autorité décide.
L’exécuteur vérifie.
Le système garde la mémoire.
La question posée à l’industrie
L’industrie de l’IA dépense des sommes extraordinaires pour rendre les modèles plus capables.
Elle a raison.
Le monde bénéficiera d’une meilleure intelligence.
Mais nous devrions peut-être cesser de supposer que :
Plus d’intelligence doit finir par signifier plus d’autorité.
Les deux devraient peut-être évoluer indépendamment.
Le système autonome le plus sûr n’est peut-être pas celui où nous finissons par faire assez confiance à l’IA pour lui donner le contrôle.
C’est peut-être celui où :
L’IA n’a jamais eu besoin du contrôle.
La doctrine ZIFFER
L’intelligence propose.
L’intention décrit.
L’autorité décide.
L’exécution vérifie.
La preuve garde la mémoire.
Une IA peut être autonome sans être souveraine.
Une dernière question
Si nous savons déjà que l’IA peut se tromper…
Si nous savons déjà qu’elle peut être manipulée…
Si nous savons déjà qu’aucun garde-fou n’est parfait…
Si nous savons déjà que les humains ne peuvent pas approuver valablement un nombre illimité d’actions…
Pourquoi continuons-nous à vouloir rendre l’intelligence assez digne de confiance pour détenir l’autorité ?
La prochaine génération d’architecture IA devrait peut-être poser une autre question :
Jusqu’où l’intelligence peut-elle aller si nous ne lui donnons jamais l’autorité ?
C’est la question que pose ZIFFER.
Sources
- Anthropic, How we contain Claude across products, mai 2026. https://www.anthropic.com/engineering/how-we-contain-claude
- OpenAI, Agent approvals & security. https://learn.chatgpt.com/docs/agent-approvals-security
- NIST NCCoE, Software and AI Agent Identity and Authorization. https://www.nccoe.nist.gov/projects/software-and-ai-agent-identity-and-authorization
- NVIDIA, Where Security Fits in an AI Agent Stack. https://developer.nvidia.com/blog/where-security-fits-in-an-ai-agent-stack
- Anthropic, How we built Claude Code auto mode, mars 2026. https://www.anthropic.com/engineering/claude-code-auto-mode