Essay · MethodEssai · Méthode · June 2026

Unfalsifiable Governance Is
Indistinguishable From Absent Governance

We stopped reading AI governance documents. We started asking whether they make any observable difference.

Une gouvernance infalsifiable est
indistinguable d'une gouvernance absente

Nous avons cessé de lire les documents de gouvernance IA. Nous avons commencé à demander s'ils produisent la moindre différence observable.

Patrick Etoua · FactNotebook

DOI: 10.5281/zenodo.20673491

The quiet problem

AI governance has drifted into theater. Policies, model cards, RACI matrices, risk registers — elaborate descriptions of how a system ought to behave. The missing question is whether the running system behaves that way at all. A document can assert "meaningful human oversight." The system's own behavior can quietly testify that no scrutiny ever took place. Both cannot be true — yet today, almost nothing forces them to confront each other.

One idea, taken seriously

Karl Popper drew a line between claims that can be tested and claims that cannot. A statement that forbids no observation, that is compatible with every possible outcome, tells you nothing. Carry that into governance:

A governance claim that produces no observable operational difference is, epistemically, indistinguishable from its absence.

See it on a real system

We ran this on a real autonomous coding-agent run, reconstructed from its public trajectory — the declared patch, the observed test outcome, and the contradiction between them. Published with its SHA-256 manifest and an external RFC 3161 timestamp you can verify yourself, without trusting us.

See the evidence package → Ask for a run on your system →

This is the whole move. If an assertion of control leaves no trace anyone can verify, then for the party who must trust it, the assertion and its absence are the same object. That reframes the work entirely. The question is no longer "what does the documentation claim?" but "what, in the observable world, would be different if the claim were true — and is it?"

That is not a compliance checklist. It is an epistemology of governance evidence. It aligns with regulation, but it does not depend on any particular one.

Two axes, and only two

We pressure-tested every part of the approach against a simple challenge: can it be reduced further? It can — to two questions, asked of any object:

Provenance

"How do I know this is true?" A single ladder of evidential strength, from undeclared assertion up to externally verifiable proof — crowned by an honest top rung: not assessable, used whenever the channel that would carry the evidence does not exist. Refusing to score what cannot be known is itself a result.

Consistency

"Does the observed behavior contradict the declared claim?" Not consistency of data — consistency between what is said and what is done. This is where governance theater becomes visible: the claim points one way, the system's behavior points another.

Everything else we build is an instance of these two axes, never a new pillar. Depth comes from applying them relentlessly, not from multiplying dimensions.

One illustration, no recipe

Consider an organization that documents human approval for every high-risk action. The documentation is impeccable. The behavior tells a different story: the approvals arrive faster than a human could possibly have read what they were approving. Nothing in the claim is false on its face — and yet the claim and the reality are in open contradiction. The document describes oversight; the behavior is its signature absence. You did not need to read a single policy to know this. You needed to ask what oversight would look like if it were real.

That is the entire method in one image — applied, deliberately, across many kinds of objects we don't enumerate here.

The posture, including the boundary

Demonstrations over declarations. Effectiveness over existence. And a boundary we state out loud: when a claim leaves no artifact at all, we do not invent one. Its quality is reported as unobservable — only its absence remains detectable. A system that cannot be honestly evaluated is labeled as such, never dressed up as a passing grade.

A deliberate line

The method is public. The implementation is not — and that is by design. The framework is meant to be argued with, adopted, made into common ground. The engine that operationalizes it is the product. We are not confusing the two.

So argue with it. The framework is published (Zenodo, DOI 10.5281/zenodo.20673491). If you can name a governance claim these two axes cannot place, or a contradiction the frame would structurally miss — that is exactly the conversation we want.

Le problème silencieux

La gouvernance de l'IA a glissé vers le théâtre. Politiques, model cards, matrices RACI, registres de risques — des descriptions élaborées de la manière dont un système devrait se comporter. La question manquante : se comporte-t-il seulement ainsi ? Un document peut affirmer « supervision humaine effective ». Le comportement du système peut, en silence, témoigner qu'aucune scrutation n'a eu lieu. Les deux ne peuvent être vrais — et pourtant, aujourd'hui, presque rien ne les force à se confronter.

Une idée, prise au sérieux

Popper a tracé une ligne entre les affirmations testables et celles qui ne le sont pas. Un énoncé qui n'interdit aucune observation, compatible avec tout résultat possible, n'apprend rien. Portons-le dans la gouvernance :

Une affirmation de gouvernance qui ne produit aucune différence opérationnelle observable est, épistémiquement, indistinguable de son absence.

Voir sur un vrai système

Nous l'avons appliqué à une vraie exécution d'agent de code autonome, reconstituée depuis sa trajectoire publique — le patch déclaré, le résultat de tests observé, et la contradiction entre les deux. Publié avec son manifeste SHA-256 et un horodatage RFC 3161 externe que vous pouvez vérifier vous-même, sans nous faire confiance.

Voir le paquet de preuve → Demander un passage sur votre système →

Tout est là. Si une affirmation de contrôle ne laisse aucune trace vérifiable, alors pour celui qui doit lui faire confiance, l'affirmation et son absence sont un seul et même objet. Cela recadre tout le travail. La question n'est plus « que prétend la documentation ? » mais « qu'est-ce qui, dans le monde observable, serait différent si la prétention était vraie — et l'est-ce ? »

Ce n'est pas une checklist de conformité. C'est une épistémologie de la preuve de gouvernance. Elle s'aligne avec la réglementation, sans dépendre d'aucune en particulier.

Deux axes, et deux seulement

Nous avons mis chaque partie de l'approche à l'épreuve d'un défi simple : peut-on réduire davantage ? Oui — à deux questions, posées à n'importe quel objet :

Provenance

« Comment sais-je que c'est vrai ? » Une seule échelle de force probante, de l'assertion non déclarée jusqu'à la preuve vérifiable de l'extérieur — couronnée d'un sommet honnête : non évaluable, employé chaque fois que le canal qui porterait la preuve n'existe pas. Refuser de scorer ce qui ne peut être su est, en soi, un résultat.

Consistency

« Le comportement observé contredit-il la prétention déclarée ? » Non pas cohérence des données, mais cohérence entre ce qui est dit et ce qui est fait. C'est là que le théâtre de la gouvernance devient visible : la prétention pointe d'un côté, le comportement de l'autre.

Tout le reste de ce que nous construisons est une instance de ces deux axes, jamais un pilier nouveau. La profondeur vient de leur application sans relâche, pas de la multiplication des dimensions.

Une illustration, pas une recette

Soit une organisation qui documente une approbation humaine pour chaque action à haut risque. La documentation est impeccable. Le comportement raconte autre chose : les approbations arrivent plus vite qu'un humain n'aurait pu lire ce qu'il approuvait. Rien dans la prétention n'est faux à la lettre — et pourtant prétention et réalité sont en contradiction ouverte. Le document décrit une supervision ; le comportement en est l'absence signée. Vous n'avez eu besoin de lire aucune politique pour le savoir. Vous avez eu besoin de demander à quoi la supervision ressemblerait si elle était réelle.

C'est la méthode entière en une image — appliquée, délibérément, à de nombreux types d'objets que nous n'énumérons pas ici.

La posture, frontière comprise

Démonstrations plutôt que déclarations. Effectivité plutôt qu'existence. Et une frontière que nous énonçons tout haut : quand une prétention ne laisse aucun artefact, nous n'en inventons pas. Sa qualité est rapportée comme inobservable — seule son absence reste détectable. Un système qui ne peut être honnêtement évalué est étiqueté comme tel, jamais maquillé en note de passage.

Une ligne délibérée

La méthode est publique. L'implémentation ne l'est pas — et c'est voulu. Le cadre est fait pour être discuté, adopté, transformé en terrain commun. Le moteur qui l'opérationnalise est le produit. Nous ne confondons pas les deux.

Alors discutez-le. Le cadre est publié (Zenodo, DOI 10.5281/zenodo.20673491). Si vous pouvez nommer une affirmation de gouvernance que ces deux axes ne savent pas placer, ou une contradiction que le cadre manquerait structurellement — c'est exactement la conversation que nous voulons.

Critique Ledger · Living Document

Discussion & Critiques

This essay is a working research position.
We actively seek critiques from auditors, regulators, AI governance specialists, security practitioners and researchers.
Selected critiques and responses are published below.

Registre de critiques · Document vivant

Discussion & Critiques

Cet essai est une position de recherche en cours.
Nous cherchons activement des critiques d'auditeurs, régulateurs, spécialistes de la gouvernance IA, praticiens de la sécurité et chercheurs.
Les critiques sélectionnées et nos réponses sont publiées ci-dessous.

AcceptedAccepté Partially AcceptedPartiellement accepté Open QuestionQuestion ouverte RejectedRejeté
CritiqueCritique SourceSource StatusStatut
Oversight quality requires challenge artifacts, not just approval timestamps La qualité de la supervision requiert des artefacts de contestation, pas seulement des horodatages d'approbation AI governance specialist · Jun 2026 AcceptedAccepté
Evidence thresholds themselves may drift under persuasive AI output Les seuils de preuve peuvent eux-mêmes dériver sous l'effet d'une sortie IA persuasive AI ethics researcher · Jun 2026 Open QuestionQuestion ouverte
Auditable AI requires traceability, explainability and meaningful human review L'IA auditable requiert traçabilité, explicabilité et revue humaine significative Security practitioner · Jun 2026 Partially AcceptedPartiellement accepté
Critique #1Critique n°1 AI governance specialist · Jun 2026
AcceptedAccepté

ObservationObservation

"A runtime approval proves participation, not scrutiny." « Une approbation à l'exécution prouve la participation, pas le contrôle. »

ImplicationImplication

Positive evidence of meaningful oversight may require capturing challenge artifacts during review — a recorded objection, a conditional flag, a deferred decision — not merely the presence of a timestamp. Une preuve positive de supervision réelle requiert des artefacts de contestation — une objection enregistrée, un signalement conditionnel, un report de décision — pas uniquement la présence d'un horodatage.

FactNotebook

Accepted. The Consistency axis detects the behavioral signature of rubber-stamping — approval velocity faster than reading time — but cannot assess the quality of attention inside a valid time window. That gap is real and correctly named. A challenge artifact would be the observable difference between scrutiny and mere presence. We classify this as NOT ASSESSABLE in current deployments: the artifact channel does not exist. Naming that absence is itself a result. Accepté. L'axe Consistency détecte la signature comportementale du tampon en caoutchouc — vitesse d'approbation supérieure au temps de lecture — mais ne peut évaluer la qualité de l'attention dans une fenêtre temporelle valide. Cette lacune est réelle et correctement identifiée. Un artefact de contestation serait la différence observable entre contrôle réel et simple présence. Nous classons cela comme NON ÉVALUABLE dans les déploiements actuels : le canal d'artefact n'existe pas. Nommer cette absence est en soi un résultat.

Critique #2Critique n°2 AI ethics researcher · Jun 2026
Open QuestionQuestion ouverte

ObservationObservation

"Evidence thresholds themselves may drift when outputs appear persuasive. Confidence and evidential sufficiency are not the same thing." « Les seuils de preuve peuvent eux-mêmes dériver lorsque les sorties paraissent persuasives. La confiance et la suffisance probatoire ne sont pas la même chose. »

ImplicationImplication

The governance problem is not only evidence sufficiency — it is the preservation of the original evidentiary baseline. If the declared threshold shifts informally before it changes on paper, there is no fixed reference point against which to detect the drift. Le problème de gouvernance n'est pas seulement la suffisance probatoire — c'est la préservation de la ligne de base probatoire d'origine. Si le seuil déclaré se déplace informellement avant d'être modifié sur le papier, il n'existe aucun point de référence fixe pour détecter la dérive.

FactNotebook

Open Question. The framework detects declared-vs-observed consistency at a fixed point in time. It does not yet detect temporal drift of the declared threshold itself. If the standard shifts informally — through habit, normalization, or persuasive output — before becoming an explicit policy change, there is no documented baseline to compare against. This is a genuine structural gap, not a measurement gap. One candidate solution: require that any declared evidentiary standard be timestamped and immutable once set, with amendments requiring explicit re-declaration. We are investigating the detection mechanism. The observation stands open. Question ouverte. Le cadre détecte la cohérence déclaré-vs-observé à un moment fixe. Il ne détecte pas encore la dérive temporelle du seuil déclaré lui-même. Si le standard se déplace informellement — par habitude, normalisation ou sortie persuasive — avant de devenir un changement de politique explicite, il n'existe aucune ligne de base documentée à comparer. C'est une lacune structurelle, pas une lacune de mesure. Une piste : exiger que tout standard probatoire déclaré soit horodaté et immuable une fois fixé, tout amendement nécessitant une re-déclaration explicite. Nous étudions le mécanisme de détection. L'observation reste ouverte.

Critique #3Critique n°3 Security practitioner · Jun 2026
Partially AcceptedPartiellement accepté

ObservationObservation

"Auditable AI requires traceability, explainability and meaningful human review." « L'IA auditable requiert traçabilité, explicabilité et revue humaine significative. »

ImplicationImplication

These three properties are often bundled as equivalent requirements. The key question is whether satisfying all three is necessary and sufficient — or whether a system can exhibit all three and still fail the test of meaningful governance. Ces trois propriétés sont souvent regroupées comme des exigences équivalentes. La question clé est de savoir si les satisfaire toutes les trois est nécessaire et suffisant — ou si un système peut les exhiber toutes et échouer malgré tout au test d'une gouvernance réelle.

FactNotebook

Partially accepted. Traceability maps directly to the Provenance axis. Meaningful human review maps to the Consistency axis — detectable through behavioral signatures like approval velocity. Explainability is covered when explanation artifacts exist; marked NOT ASSESSABLE when they don't. The key disagreement: "requires" is not the same as "guarantees." A system can be fully traceable, explainable, and still have its review rendered meaningless by rubber-stamping. The two-axis framework separates these properties precisely to avoid that conflation — treating bundle compliance as a proxy for actual governance is part of what the framework is designed to challenge. Partiellement accepté. La traçabilité correspond directement à l'axe Provenance. La revue humaine significative correspond à l'axe Consistency — détectable via des signatures comportementales comme la vitesse d'approbation. L'explicabilité est couverte lorsque des artefacts d'explication existent ; marquée NON ÉVALUABLE dans le cas contraire. Le désaccord principal : « requiert » n'est pas synonyme de « garantit ». Un système peut être pleinement traçable, explicable, et voir malgré tout sa revue rendue vide de sens par un tampon en caoutchouc. Le cadre à deux axes sépare précisément ces propriétés pour éviter cette confusion — traiter la conformité au bundle comme un substitut d'une gouvernance réelle fait partie de ce que le cadre est conçu à contester.

Challenge this thesis Contester cette thèse

FactNotebook is being developed as a falsifiable framework. We are actively looking for auditors, AI governance specialists, security practitioners, regulators, legal experts, and researchers willing to identify where the methodology breaks. FactNotebook est développé comme un cadre falsifiable. Nous recherchons activement des auditeurs, spécialistes de la gouvernance IA, praticiens de la sécurité, régulateurs, juristes et chercheurs capables d'identifier là où la méthodologie échoue.

Questions we are particularly interested in Questions qui nous intéressent particulièrement

  • → What evidence would be mandatory for an audit dossier to be admissible in a real regulatory investigation? Quelles preuves seraient obligatoires pour qu'un dossier d'audit soit recevable dans une véritable enquête réglementaire ?
  • → Where would you expect false positives — governance flagged as absent when it is real? Où attendriez-vous des faux positifs — une gouvernance signalée comme absente alors qu'elle est réelle ?
  • → Where would you expect false negatives — governance passing the test while failing in practice? Où attendriez-vous des faux négatifs — une gouvernance validée par le cadre mais défaillante en pratique ?
  • → Which assumptions in the two-axis framework would fail under a real regulatory or legal investigation? Quelles hypothèses du cadre à deux axes s'effondreraient lors d'une véritable enquête réglementaire ou juridique ?
  • → What governance claims remain fundamentally unverifiable — and should the framework say so explicitly? Quelles affirmations de gouvernance restent fondamentalement invérifiables — et le cadre devrait-il le dire explicitement ?

We read every submission. Selected critiques are published above with a formal response. Nous lisons chaque soumission. Les critiques sélectionnées sont publiées ci-dessus avec une réponse formelle.