The quiet problem
AI governance has drifted into theater. Policies, model cards, RACI matrices, risk registers — elaborate descriptions of how a system ought to behave. The missing question is whether the running system behaves that way at all. A document can assert "meaningful human oversight." The system's own behavior can quietly testify that no scrutiny ever took place. Both cannot be true — yet today, almost nothing forces them to confront each other.
One idea, taken seriously
Karl Popper drew a line between claims that can be tested and claims that cannot. A statement that forbids no observation, that is compatible with every possible outcome, tells you nothing. Carry that into governance:
A governance claim that produces no observable operational difference is, epistemically, indistinguishable from its absence.
See it on a real system
We ran this on an agentic trading platform. The results are available — enter your email to access the audit dossier.
✅ Done — redirecting to the audit dossier…
This is the whole move. If an assertion of control leaves no trace anyone can verify, then for the party who must trust it, the assertion and its absence are the same object. That reframes the work entirely. The question is no longer "what does the documentation claim?" but "what, in the observable world, would be different if the claim were true — and is it?"
That is not a compliance checklist. It is an epistemology of governance evidence. It aligns with regulation, but it does not depend on any particular one.
Two axes, and only two
We pressure-tested every part of the approach against a simple challenge: can it be reduced further? It can — to two questions, asked of any object:
Provenance
"How do I know this is true?" A single ladder of evidential strength, from undeclared assertion up to externally verifiable proof — crowned by an honest top rung: not assessable, used whenever the channel that would carry the evidence does not exist. Refusing to score what cannot be known is itself a result.
Consistency
"Does the observed behavior contradict the declared claim?" Not consistency of data — consistency between what is said and what is done. This is where governance theater becomes visible: the claim points one way, the system's behavior points another.
Everything else we build is an instance of these two axes, never a new pillar. Depth comes from applying them relentlessly, not from multiplying dimensions.
One illustration, no recipe
Consider an organization that documents human approval for every high-risk action. The documentation is impeccable. The behavior tells a different story: the approvals arrive faster than a human could possibly have read what they were approving. Nothing in the claim is false on its face — and yet the claim and the reality are in open contradiction. The document describes oversight; the behavior is its signature absence. You did not need to read a single policy to know this. You needed to ask what oversight would look like if it were real.
That is the entire method in one image — applied, deliberately, across many kinds of objects we don't enumerate here.
The posture, including the boundary
Demonstrations over declarations. Effectiveness over existence. And a boundary we state out loud: when a claim leaves no artifact at all, we do not invent one. Its quality is reported as unobservable — only its absence remains detectable. A system that cannot be honestly evaluated is labeled as such, never dressed up as a passing grade.
A deliberate line
The method is public. The implementation is not — and that is by design. The framework is meant to be argued with, adopted, made into common ground. The engine that operationalizes it is the product. We are not confusing the two.
So argue with it. The framework is published (Zenodo, DOI 10.5281/zenodo.20673491). If you can name a governance claim these two axes cannot place, or a contradiction the frame would structurally miss — that is exactly the conversation we want.
Le problème silencieux
La gouvernance de l'IA a glissé vers le théâtre. Politiques, model cards, matrices RACI, registres de risques — des descriptions élaborées de la manière dont un système devrait se comporter. La question manquante : se comporte-t-il seulement ainsi ? Un document peut affirmer « supervision humaine effective ». Le comportement du système peut, en silence, témoigner qu'aucune scrutation n'a eu lieu. Les deux ne peuvent être vrais — et pourtant, aujourd'hui, presque rien ne les force à se confronter.
Une idée, prise au sérieux
Popper a tracé une ligne entre les affirmations testables et celles qui ne le sont pas. Un énoncé qui n'interdit aucune observation, compatible avec tout résultat possible, n'apprend rien. Portons-le dans la gouvernance :
Une affirmation de gouvernance qui ne produit aucune différence opérationnelle observable est, épistémiquement, indistinguable de son absence.
Voir sur un vrai système
Nous avons appliqué ce cadre sur une plateforme d'agents financiers. Les résultats sont disponibles — entrez votre email pour accéder au dossier d'audit.
✅ Parfait — redirection vers le dossier d'audit…
Tout est là. Si une affirmation de contrôle ne laisse aucune trace vérifiable, alors pour celui qui doit lui faire confiance, l'affirmation et son absence sont un seul et même objet. Cela recadre tout le travail. La question n'est plus « que prétend la documentation ? » mais « qu'est-ce qui, dans le monde observable, serait différent si la prétention était vraie — et l'est-ce ? »
Ce n'est pas une checklist de conformité. C'est une épistémologie de la preuve de gouvernance. Elle s'aligne avec la réglementation, sans dépendre d'aucune en particulier.
Deux axes, et deux seulement
Nous avons mis chaque partie de l'approche à l'épreuve d'un défi simple : peut-on réduire davantage ? Oui — à deux questions, posées à n'importe quel objet :
Provenance
« Comment sais-je que c'est vrai ? » Une seule échelle de force probante, de l'assertion non déclarée jusqu'à la preuve vérifiable de l'extérieur — couronnée d'un sommet honnête : non évaluable, employé chaque fois que le canal qui porterait la preuve n'existe pas. Refuser de scorer ce qui ne peut être su est, en soi, un résultat.
Consistency
« Le comportement observé contredit-il la prétention déclarée ? » Non pas cohérence des données, mais cohérence entre ce qui est dit et ce qui est fait. C'est là que le théâtre de la gouvernance devient visible : la prétention pointe d'un côté, le comportement de l'autre.
Tout le reste de ce que nous construisons est une instance de ces deux axes, jamais un pilier nouveau. La profondeur vient de leur application sans relâche, pas de la multiplication des dimensions.
Une illustration, pas une recette
Soit une organisation qui documente une approbation humaine pour chaque action à haut risque. La documentation est impeccable. Le comportement raconte autre chose : les approbations arrivent plus vite qu'un humain n'aurait pu lire ce qu'il approuvait. Rien dans la prétention n'est faux à la lettre — et pourtant prétention et réalité sont en contradiction ouverte. Le document décrit une supervision ; le comportement en est l'absence signée. Vous n'avez eu besoin de lire aucune politique pour le savoir. Vous avez eu besoin de demander à quoi la supervision ressemblerait si elle était réelle.
C'est la méthode entière en une image — appliquée, délibérément, à de nombreux types d'objets que nous n'énumérons pas ici.
La posture, frontière comprise
Démonstrations plutôt que déclarations. Effectivité plutôt qu'existence. Et une frontière que nous énonçons tout haut : quand une prétention ne laisse aucun artefact, nous n'en inventons pas. Sa qualité est rapportée comme inobservable — seule son absence reste détectable. Un système qui ne peut être honnêtement évalué est étiqueté comme tel, jamais maquillé en note de passage.
Une ligne délibérée
La méthode est publique. L'implémentation ne l'est pas — et c'est voulu. Le cadre est fait pour être discuté, adopté, transformé en terrain commun. Le moteur qui l'opérationnalise est le produit. Nous ne confondons pas les deux.
Alors discutez-le. Le cadre est publié (Zenodo, DOI 10.5281/zenodo.20673491). Si vous pouvez nommer une affirmation de gouvernance que ces deux axes ne savent pas placer, ou une contradiction que le cadre manquerait structurellement — c'est exactement la conversation que nous voulons.
Critique Ledger · Living Document
Discussion & Critiques
This essay is a working research position.
We actively seek critiques from auditors, regulators, AI governance specialists, security practitioners and researchers.
Selected critiques and responses are published below.
Registre de critiques · Document vivant
Discussion & Critiques
Cet essai est une position de recherche en cours.
Nous cherchons activement des critiques d'auditeurs, régulateurs, spécialistes de la gouvernance IA, praticiens de la sécurité et chercheurs.
Les critiques sélectionnées et nos réponses sont publiées ci-dessous.
AcceptedAccepté
Partially AcceptedPartiellement accepté
Open QuestionQuestion ouverte
RejectedRejeté
| CritiqueCritique |
SourceSource |
StatusStatut |
|
Oversight quality requires challenge artifacts, not just approval timestamps
La qualité de la supervision requiert des artefacts de contestation, pas seulement des horodatages d'approbation
|
AI governance specialist · Jun 2026 |
AcceptedAccepté |
|
Evidence thresholds themselves may drift under persuasive AI output
Les seuils de preuve peuvent eux-mêmes dériver sous l'effet d'une sortie IA persuasive
|
AI ethics researcher · Jun 2026 |
Open QuestionQuestion ouverte |
|
Auditable AI requires traceability, explainability and meaningful human review
L'IA auditable requiert traçabilité, explicabilité et revue humaine significative
|
Security practitioner · Jun 2026 |
Partially AcceptedPartiellement accepté |
Critique #1Critique n°1
AI governance specialist
· Jun 2026
AcceptedAccepté
ObservationObservation
"A runtime approval proves participation, not scrutiny."
« Une approbation à l'exécution prouve la participation, pas le contrôle. »
ImplicationImplication
Positive evidence of meaningful oversight may require capturing challenge artifacts during review — a recorded objection, a conditional flag, a deferred decision — not merely the presence of a timestamp.
Une preuve positive de supervision réelle requiert des artefacts de contestation — une objection enregistrée, un signalement conditionnel, un report de décision — pas uniquement la présence d'un horodatage.
FactNotebook
Accepted. The Consistency axis detects the behavioral signature of rubber-stamping — approval velocity faster than reading time — but cannot assess the quality of attention inside a valid time window. That gap is real and correctly named. A challenge artifact would be the observable difference between scrutiny and mere presence. We classify this as NOT ASSESSABLE in current deployments: the artifact channel does not exist. Naming that absence is itself a result.
Accepté. L'axe Consistency détecte la signature comportementale du tampon en caoutchouc — vitesse d'approbation supérieure au temps de lecture — mais ne peut évaluer la qualité de l'attention dans une fenêtre temporelle valide. Cette lacune est réelle et correctement identifiée. Un artefact de contestation serait la différence observable entre contrôle réel et simple présence. Nous classons cela comme NON ÉVALUABLE dans les déploiements actuels : le canal d'artefact n'existe pas. Nommer cette absence est en soi un résultat.
Critique #2Critique n°2
AI ethics researcher
· Jun 2026
Open QuestionQuestion ouverte
ObservationObservation
"Evidence thresholds themselves may drift when outputs appear persuasive. Confidence and evidential sufficiency are not the same thing."
« Les seuils de preuve peuvent eux-mêmes dériver lorsque les sorties paraissent persuasives. La confiance et la suffisance probatoire ne sont pas la même chose. »
ImplicationImplication
The governance problem is not only evidence sufficiency — it is the preservation of the original evidentiary baseline. If the declared threshold shifts informally before it changes on paper, there is no fixed reference point against which to detect the drift.
Le problème de gouvernance n'est pas seulement la suffisance probatoire — c'est la préservation de la ligne de base probatoire d'origine. Si le seuil déclaré se déplace informellement avant d'être modifié sur le papier, il n'existe aucun point de référence fixe pour détecter la dérive.
FactNotebook
Open Question. The framework detects declared-vs-observed consistency at a fixed point in time. It does not yet detect temporal drift of the declared threshold itself. If the standard shifts informally — through habit, normalization, or persuasive output — before becoming an explicit policy change, there is no documented baseline to compare against. This is a genuine structural gap, not a measurement gap. One candidate solution: require that any declared evidentiary standard be timestamped and immutable once set, with amendments requiring explicit re-declaration. We are investigating the detection mechanism. The observation stands open.
Question ouverte. Le cadre détecte la cohérence déclaré-vs-observé à un moment fixe. Il ne détecte pas encore la dérive temporelle du seuil déclaré lui-même. Si le standard se déplace informellement — par habitude, normalisation ou sortie persuasive — avant de devenir un changement de politique explicite, il n'existe aucune ligne de base documentée à comparer. C'est une lacune structurelle, pas une lacune de mesure. Une piste : exiger que tout standard probatoire déclaré soit horodaté et immuable une fois fixé, tout amendement nécessitant une re-déclaration explicite. Nous étudions le mécanisme de détection. L'observation reste ouverte.
Critique #3Critique n°3
Security practitioner
· Jun 2026
Partially AcceptedPartiellement accepté
ObservationObservation
"Auditable AI requires traceability, explainability and meaningful human review."
« L'IA auditable requiert traçabilité, explicabilité et revue humaine significative. »
ImplicationImplication
These three properties are often bundled as equivalent requirements. The key question is whether satisfying all three is necessary and sufficient — or whether a system can exhibit all three and still fail the test of meaningful governance.
Ces trois propriétés sont souvent regroupées comme des exigences équivalentes. La question clé est de savoir si les satisfaire toutes les trois est nécessaire et suffisant — ou si un système peut les exhiber toutes et échouer malgré tout au test d'une gouvernance réelle.
FactNotebook
Partially accepted. Traceability maps directly to the Provenance axis. Meaningful human review maps to the Consistency axis — detectable through behavioral signatures like approval velocity. Explainability is covered when explanation artifacts exist; marked NOT ASSESSABLE when they don't. The key disagreement: "requires" is not the same as "guarantees." A system can be fully traceable, explainable, and still have its review rendered meaningless by rubber-stamping. The two-axis framework separates these properties precisely to avoid that conflation — treating bundle compliance as a proxy for actual governance is part of what the framework is designed to challenge.
Partiellement accepté. La traçabilité correspond directement à l'axe Provenance. La revue humaine significative correspond à l'axe Consistency — détectable via des signatures comportementales comme la vitesse d'approbation. L'explicabilité est couverte lorsque des artefacts d'explication existent ; marquée NON ÉVALUABLE dans le cas contraire. Le désaccord principal : « requiert » n'est pas synonyme de « garantit ». Un système peut être pleinement traçable, explicable, et voir malgré tout sa revue rendue vide de sens par un tampon en caoutchouc. Le cadre à deux axes sépare précisément ces propriétés pour éviter cette confusion — traiter la conformité au bundle comme un substitut d'une gouvernance réelle fait partie de ce que le cadre est conçu à contester.