← Tous les articles

Votre IA n’a pas besoin d’inspirer confiance. Elle a besoin d’une limite.

Pourquoi la manière la plus intelligente d’utiliser une IA puissante consiste à cesser de se demander si vous pouvez lui faire confiance.

Par Yacine Kellib

Imaginez que vous recrutiez la meilleure analyste financière qu’il vous ait été donné de rencontrer.

Dès le premier jour, elle sait lire toutes les factures de l’entreprise, repérer la moindre anomalie et vous dire exactement quels fournisseurs payer ce mois-ci, et à quelle hauteur. Elle va plus vite que quiconque dans votre équipe et se trompe rarement.

Voici pourtant ce que vous ne faites toujours pas le premier jour : lui confier les clés du compte en banque.

Non par méfiance. Parce que ce n’est pas ainsi que fonctionnent les organisations. Exceller à décider de ce qui doit arriver n’a jamais valu le droit de le faire arriver. Elle peut proposer un paiement de 72 000 €. Quelqu’un qui détient le rôle voulu, dans la limite d’un plafond de dépenses, en regard d’un bon de commande valide, avec une seconde signature au-delà d’un certain seuil, l’autorise. Et c’est le système de la banque qui l’exécute.

Tout le monde comprend cela. Nous avons bâti nos entreprises et nos logiciels autour de cette distinction il y a des décennies.

Puis l’IA est arrivée, et nous l’avons discrètement oubliée.

Ce qui a changé

Pendant des années, l’IA nous a donné des réponses. Si la réponse était fausse, quelqu’un la lisait, haussait les épaules et passait à autre chose. Les dégâts s’arrêtaient à l’écran.

Ce n’est plus la situation. Les agents IA d’aujourd’hui envoient des e-mails, modifient des fichiers, exécutent des commandes, déplacent de l’argent, changent l’infrastructure et confient des tâches à d’autres agents. Ils peuvent travailler une heure sans que personne les surveille. L’écart entre ce que l’IA pense et ce qui arrive dans le monde est devenu très faible.

Une erreur qui produisait autrefois un mauvais paragraphe peut donc désormais produire un mauvais paiement. Une instruction malveillante cachée dans une page web, qui produisait autrefois une mauvaise réponse, peut désormais produire une fuite de votre base clients.

Et la réponse du secteur a consisté à rendre l’IA plus digne de confiance : meilleur entraînement, garde-fous, filtres, surveillance, et quantité de fenêtres qui demandent « êtes-vous sûr ? ».

Tout cela aide. Rien de tout cela ne change un fait élémentaire.

L’IA est probabiliste, et cela ne changera pas

Un modèle d’IA n’est pas une calculatrice. Il ne suit pas des règles ; il fait de très bonnes prédictions. Il peut se tromper, mal interpréter une situation, être manipulé par ce qu’il lit, ou tomber sur un concours de circonstances que personne n’avait prévu.

De meilleurs modèles rendent cela plus rare. Ils ne le rendent pas impossible.

Les chiffres sont publics. OpenAI indique que 8,5 % des injections de prompt indirectes réussissent encore contre le modèle le plus résistant aux injections jamais mesuré, en quinze tentatives, sur 1 810 attaques. La sécurité est excellente, et elle n’est toujours pas de zéro. Et le chiffre qui compte est celui des quinze tentatives, non celui d’une tentative unique, car un attaquant sérieux ne s’y prend pas une seule fois (OpenAI, GPT-6 Astra system card, 2026-09-03).

La question n’est donc pas : comment rendre l’IA parfaite ?

La question est : comment faire en sorte que, lorsque l’IA se trompe, l’erreur ne puisse pas se transformer d’elle-même en conséquence ?

« Il suffit de demander à un humain » cesse de fonctionner plus vite qu’on ne le croit

Le correctif évident, c’est une personne dans la boucle. Chaque fois que l’IA veut faire quelque chose d’important, elle demande. Vous cliquez sur approuver ou sur refuser.

Cela fonctionne à merveille pour dix décisions par jour. Cela s’effondre à mille.

Anthropic a publié ce qui s’est passé avec son propre outil de codage, et cela mérite une lecture attentive. Les utilisateurs approuvaient 93 % des demandes formulées par l’IA, et l’entreprise en a nommé la raison : plus les gens voient de messages, moins ils prêtent attention à chacun. En août 2026, le taux d’approbation avait atteint 97 %.

Puis ils ont mené une expérience. Ils ont recruté 1 053 testeurs professionnels et, au milieu de chaque session, ont discrètement remplacé une demande de routine par une demande manifestement dangereuse. Les testeurs l’ont repérée 13,6 % du temps. Après cinquante messages ou plus, le taux de détection tombait à environ 5 % (Anthropic, août 2026).

Mesurez ce que cela signifie. Le mécanisme de sécurité était toujours là. La fenêtre s’affichait toujours. Un humain cliquait toujours. Et cet humain avait, en pratique, cessé de regarder.

J’appelle cela la fatigue de l’autorité : lorsqu’un système demande à une personne d’autoriser tant de choses que son approbation ne veut plus rien dire.

Ce n’est pas que les gens soient négligents. C’est que l’attention humaine est finie et que la production de l’IA ne l’est pas. Lorsque ce que vous supervisez génère des décisions à la vitesse de la machine, votre attention devient le maillon le plus faible du système, et tout attaquant sait exactement où viser.

Le raccourci tentant, et pourquoi il ne répond qu’à moitié

Si les humains ne peuvent pas tout examiner, pourquoi ne pas confier l’examen à une seconde IA ?

C’est exactement ce que fait le secteur, et cela fonctionne mieux que des humains épuisés. Dans cette même expérience, un relecteur automatisé a intercepté 89 % des commandes dangereuses.

Mais Anthropic a publié l’autre chiffre : sur des cas réels où l’IA était allée trop loin, le relecteur automatisé en a manqué environ 17 %. La description que l’entreprise donne de ces échecs est éloquente. Le plus souvent, le relecteur voyait le danger. Ce qu’il jugeait mal, c’est si l’utilisateur avait réellement consenti à cette action précise. Il trouvait quelque chose qui ressemblait à une permission et s’en tenait là (Anthropic, mars 2026).

C’est le même problème, décalé d’un cran. Un système probabiliste se met à deviner l’autorité au lieu de deviner la tâche.

Une seconde IA est une couche supplémentaire utile. Elle ne doit pas être le dernier mot sur ce qui est permis.

Séparer la pensée de la permission

Voici l’idée au cœur de ZIFFER, et c’est celle que nous appliquons déjà à cette brillante analyste.

Laissez l’IA penser. Ne la laissez pas décider de ce qu’elle a le droit de faire.

Concrètement, un système d’IA doit être scindé en deux parties :

Au-dessus de la ligne : l’intelligence. Le modèle, sa mémoire, ses outils, tout ce qu’il lit et sur quoi il raisonne. Cette partie peut être extraordinairement capable. Elle peut aussi se tromper ou être manipulée, et nous le prévoyons.

En dessous de la ligne : l’autorité. Un système distinct, détenu par l’organisation, qui porte les règles : ce que cet agent peut faire, sur quelles ressources, dans quelles limites, à quelles conditions, et quand un humain doit intervenir. Il ne pense pas. Il vérifie.

L’IA produit une proposition : payer ce fournisseur, ce montant, depuis ce compte, pour cette facture. La couche d’autorité confronte cette proposition aux règles. Rien ne s’exécute si elle ne passe pas, et ce qui s’exécute est exactement ce qui a été approuvé, rien de plus.

L’IA ne détient jamais les clés. Elle ne s’accorde jamais elle-même une permission. Elle ne décide jamais que, parce qu’elle a conclu qu’une chose était nécessaire, elle a par là même le droit de la faire.

Rien de ce qui se trouve au-dessus de la ligne ne s’autorise soi-même. Cette seule phrase est toute l’architecture.

Ce que cela change pour l’humain

Vous cessez d’être un bouton.

Au lieu de cliquer mille fois sur approuver, vous répondez une seule fois à une autre question : qu’est-ce que cet agent doit avoir le droit de faire ?

Il peut consulter les dossiers clients à des fins de support.
Il peut mettre à jour des adresses.
Il peut émettre des remboursements jusqu’à 500 €.
Il ne doit jamais voir d’identifiants de paiement.
Il ne doit jamais exporter de données clients.
Au-delà de 10 000 €, il faut une seconde personne.

Vous définissez la limite. Le système la fait respecter. L’IA travaille librement à l’intérieur. Lorsqu’elle veut quelque chose qui sort de la limite, c’est là qu’un humain en entend parler, et la demande est alors assez rare pour mériter une véritable attention.

Ce n’est pas une invention de ma part. C’est la direction que prend le domaine. Le modèle de sécurité publié par NVIDIA pour les agents IA tient en quatre mots : « above proposes, below decides », ce qui est au-dessus propose, ce qui est en dessous décide (NVIDIA). OpenAI, Anthropic et le NIST, l’organisme de normalisation américain, inscrivent tous des versions de cette limite dans leurs propres produits et recommandations. La conclusion d’Anthropic, après deux ans d’incidents, est que c’est la limite fixe, fondée sur des règles, qui vous sauve lorsque toutes les défenses probabilistes échouent (Anthropic, mai 2026).

La différence pour laquelle ZIFFER plaide porte sur à qui appartient la limite. Aujourd’hui, chaque fournisseur d’IA en construit une pour son propre produit. Une entreprise qui utilise cinq modèles de trois fournisseurs hérite de cinq jeux de règles différents, chacun écrit par quelqu’un d’autre et modifié selon le calendrier de quelqu’un d’autre. La limite doit appartenir à l’organisation, survivre à tout modèle particulier, et rester quelque chose qu’aucun fournisseur ne peut élargir.

Ce que cela ne règle pas

L’honnêteté compte davantage qu’un argumentaire bien tenu ; voici donc où s’arrête cette approche.

Cela ne rattrape pas une erreur bien formée. Si l’IA lit mal une facture de 7 200 € et propose 72 000 € à un fournisseur réel, sous le plafond, pour un motif réel, la limite laissera passer. La proposition est correcte dans la forme et fausse sur le fond. La séparation contrôle ce qu’une IA peut provoquer. Elle ne vérifie pas que l’IA a lu le monde correctement. Cela demande un contrôle d’une autre nature, face aux pièces d’origine, et c’est un problème plus difficile.

Les règles sont écrites par des humains. Une limite ne vaut que ce que valent les règles qu’elle contient, et les règles sont toujours incomplètes le jour où elles entrent en vigueur. Ce que la séparation vous apporte, c’est qu’une défaillance devient une règle que vous pouvez inspecter et corriger, plutôt qu’un comportement que vous ne pouvez qu’observer en espérant le faire disparaître par un nouvel entraînement.

De petites actions autorisées peuvent s’additionner. Mille remboursements de 499 € chacun passent tous sous un plafond de 500 €. Les budgets et les plafonds cumulés y aident. Le problème général de nombreuses actions individuellement acceptables qui produisent un résultat collectivement mauvais n’est pas résolu par une limite portant sur la seule action.

La question qui mérite d’être posée

Tout le secteur demande : jusqu’à quel point pouvons-nous rendre l’IA digne de confiance ?

C’est une bonne question, et la réponse ne cesse de s’améliorer.

Mais il en est une meilleure : jusqu’où l’IA peut-elle aller si elle n’a jamais besoin qu’on lui confie l’autorité ?

Votre brillante analyste peut être aussi brillante qu’elle le souhaite. Le compte en banque a ses propres règles. Ce n’est pas de la méfiance. C’est précisément ce qui vous permet de la recruter.

Il en va de même pour l’IA. La façon la plus sûre d’employer une intelligence extraordinairement capable n’est pas de lui faire enfin assez confiance pour lui remettre le contrôle. C’est de concevoir les choses de sorte qu’elle n’ait jamais eu besoin du contrôle.

L’intelligence propose. L’autorité décide. L’exécution vérifie. La preuve garde la mémoire.

C’est cela, ZIFFER.

Sources

← Tous les articles