The seductive mistake
Healthcare, finance, legal — billions are flowing into logging. The reasoning feels airtight: capture everything the AI system did, and you can answer for it later. But there is a failure mode this never closes. A perfect log can document a perfectly unauthorized decision. The record can be complete, immutable, beautifully formatted — and still describe an action nobody was entitled to take, with a rationale that reads entirely in the system's favor.
The reason is uncomfortable: a generative system can write its own governance. It can produce the log, generate the explanation, and reconstruct the path that "led" to a decision. Any authority that lives in a document is authority a fluent system can manufacture after the fact.
Two questions that look like one
Most debates here collapse two different things into a single axis, as if one replaces the other:
- Enforcement — did the system block the bad output at the moment of action?
- Verification — can you prove, to someone outside the system, that the enforcement actually operated as claimed?
These are orthogonal, not sequential. A runtime gate answers the first. It cannot answer the second about itself: no system certifies itself from inside. The claim "this was controlled before the consequence" is itself a claim — one that has to be evidenced to a regulator, an insurer, a court. The moment they evaluate it, they do so after. There is no escaping the after; there is only the question of whether the evidence they're handed is trustworthy.
A control no one can independently verify is just another black box. So is enforcement without independent verification.
Why "after" is the whole problem
Reconstructing a decision path after the event is not evidence of governance. It is a receipt for governance that may have been absent at the only moment it could have existed. Consider the field every thorough review is supposed to contain: the alternatives that were considered and rejected. If a system records an empty alternatives: [], you cannot tell a rigorous deliberation from a rubber stamp. And a fluent system can fill that field with a plausible rationale that was never actually weighed. The text proves nothing — because the text is exactly what generative systems are built to produce.
The one property that can't be back-filled
There is a single property a generator cannot forge: order. Forging it would require editing the past. In 1991, Haber and Stornetta showed how "before-ness" is established — by binding a record into a sequence the present cannot rewrite. That is the lever. Evidence is trustworthy not because it is detailed, but when it is:
- committed before the consequence it governs,
- ordered in a sequence its own author cannot rewrite,
- witnessed by something other than the system under review.
We call evidence that satisfies all three contemporaneously bound. It is the observable difference between a record sealed as governance and one assembled as narrative. Crucially, this is the same discipline clinical trials enforce with pre-registration: without it, knowledge of the outcome silently contaminates the standard you claim to have applied.
When the channel never existed: NOT ASSESSABLE
There is an honest third answer most systems refuse to give. If the channel that would have captured the evidence was not active when the event occurred, the right output is not "violation" and not "compliant." It is NOT ASSESSABLE — absence of observation, not evidence of absence. A governance claim can only be assessed if the observation channels needed to falsify or corroborate it were live at the time the claim became operational. Reporting NOT ASSESSABLE honestly is what separates an evidence layer from a scoring theater.
Where the boundary sits
None of this decides whether a contradiction is acceptable. Evidence attests the conditions; an accountable authority decides admissibility. The job of the evidence layer is narrower and more durable: make the governance claim observable, contradictable, and independently evidenced — so that "we prevent failure by design" stops being an article of faith and becomes something an outsider can actually check.
It can be built — and reconstructed
It would be easy to read all this as a counsel of despair — logs can't be trusted, so nothing can. That is not the conclusion. The three properties are producible: a record can be committed before the consequence it governs, ordered so its own author cannot rewrite it, and witnessed by something outside the system under review. And where a system was never instrumented for them, they can often be reconstructed after the fact from records that already exist — agent trajectories, logs, tickets, repository history. What that yields is not a score and not a reassurance, but a file that states what can be shown, grades how firmly each fact can be stood behind, and marks the rest NOT ASSESSABLE. This is a discipline, not a proposal: one such file, reconstructed from a real agent run, is public and open to inspection.
See a real one, then ask for yours
A complete evidence package, reconstructed from a real coding-agent run — published with its SHA-256 manifest and an external RFC 3161 timestamp you can verify yourself with openssl, without trusting us.
See the evidence package →
Ask for a run on your system →
New to this? Most people don't know the answer can be reconstructed at all. Start with what AI evidence reconstruction is, and how you reconstruct a decision when nothing was instrumented for it. Related: Unfalsifiable Governance Is Indistinguishable From Absent Governance. Formalized in the Governance Falsifiability Infrastructure paper.
L'erreur séduisante
Santé, finance, juridique — des milliards affluent vers la journalisation. Le raisonnement paraît imparable : capturer tout ce que le système IA a fait, et l'on pourra en répondre plus tard. Mais il reste un mode de défaillance que cela ne ferme jamais. Un journal parfait peut documenter une décision parfaitement non autorisée. Le registre peut être complet, immuable, magnifiquement formaté — et décrire malgré tout une action que personne n'avait le droit de prendre, avec une justification entièrement à l'avantage du système.
La raison est dérangeante : un système génératif peut écrire sa propre gouvernance. Il produit le journal, génère l'explication, reconstruit le chemin qui « a mené » à une décision. Toute autorité qui vit dans un document est une autorité qu'un système fluide peut fabriquer après coup.
Deux questions qui n'en semblent qu'une
La plupart des débats fondent ici deux choses distinctes en un seul axe, comme si l'une remplaçait l'autre :
- Le contrôle (enforcement) — le système a-t-il bloqué la sortie au moment de l'action ?
- La vérification — peut-on prouver, à quelqu'un d'extérieur, que ce contrôle a réellement opéré comme prétendu ?
Elles sont orthogonales, pas séquentielles. Un gate runtime répond à la première. Il ne peut pas répondre à la seconde sur lui-même : aucun système ne se certifie de l'intérieur. L'affirmation « ceci a été contrôlé avant la conséquence » est elle-même une affirmation — qui doit être prouvée à un régulateur, un assureur, un juge. Au moment où ils l'évaluent, c'est après. On n'échappe pas à l'après ; reste seulement la question de la fiabilité de la preuve qu'on leur tend.
Un contrôle que personne ne peut vérifier indépendamment n'est qu'une autre boîte noire. Le contrôle sans vérification indépendante aussi.
Pourquoi « l'après » est tout le problème
Reconstruire un chemin de décision après l'événement n'est pas une preuve de gouvernance. C'est le reçu d'une gouvernance peut-être absente au seul moment où elle pouvait exister. Prenez le champ que toute revue rigoureuse est censée contenir : les alternatives envisagées puis rejetées. Si un système enregistre un alternatives: [] vide, on ne distingue pas une délibération sérieuse d'un tampon automatique. Et un système fluide peut remplir ce champ d'une justification plausible jamais réellement pesée. Le texte ne prouve rien — car le texte est précisément ce que les systèmes génératifs sont faits pour produire.
La seule propriété qu'on ne peut pas reconstituer
Il existe une propriété qu'un générateur ne peut pas falsifier : l'ordre. La falsifier exigerait de réécrire le passé. En 1991, Haber et Stornetta ont montré comment établir l'« antériorité » — en liant un enregistrement dans une séquence que le présent ne peut réécrire. C'est le levier. Une preuve est fiable non parce qu'elle est détaillée, mais quand elle est :
- engagée avant la conséquence qu'elle gouverne,
- ordonnée dans une séquence que son propre auteur ne peut réécrire,
- attestée par autre chose que le système examiné.
Une preuve qui satisfait ces trois conditions est liée de façon contemporaine. C'est la différence observable entre un enregistrement scellé comme gouvernance et un autre assemblé comme récit. C'est la discipline même qu'imposent les essais cliniques avec la pré-enregistrement : sans elle, la connaissance du résultat contamine silencieusement le standard qu'on prétend avoir appliqué.
Quand le canal n'a jamais existé : NON ÉVALUABLE
Il existe une troisième réponse honnête que la plupart des systèmes refusent de donner. Si le canal qui aurait capturé la preuve n'était pas actif au moment de l'événement, la bonne sortie n'est ni « violation » ni « conforme ». C'est NON ÉVALUABLE — absence d'observation, pas preuve d'absence. Une affirmation de gouvernance n'est évaluable que si les canaux d'observation nécessaires pour la falsifier ou la corroborer étaient actifs au moment où elle est devenue opérationnelle. Reporter honnêtement NON ÉVALUABLE, c'est ce qui sépare une couche de preuve d'un théâtre de scoring.
Où se situe la frontière
Rien de tout cela ne décide si une contradiction est acceptable. La preuve atteste les conditions ; une autorité responsable décide de l'admissibilité. Le rôle de la couche de preuve est plus étroit et plus durable : rendre l'affirmation de gouvernance observable, contredisable et attestée indépendamment — pour que « nous prévenons la défaillance par conception » cesse d'être un acte de foi et devienne quelque chose qu'un tiers peut réellement vérifier.
Cela peut se construire — et se reconstituer
On pourrait lire tout ceci comme un conseil de désespoir — les logs ne sont pas fiables, donc rien ne l'est. Ce n'est pas la conclusion. Ces trois propriétés sont productibles : un enregistrement peut être engagé avant la conséquence qu'il gouverne, ordonné pour que son propre auteur ne puisse le réécrire, et attesté par autre chose que le système examiné. Et là où un système n'a jamais été instrumenté pour elles, elles peuvent souvent être reconstituées après coup depuis des enregistrements qui existent déjà — trajectoires d'agents, logs, tickets, historique de dépôt. Ce qui en résulte n'est ni un score ni une réassurance, mais un dossier qui déclare ce qui peut être montré, gradue jusqu'où chaque fait peut être tenu, et marque le reste NON ÉVALUABLE. C'est une discipline, pas une proposition : un tel dossier, reconstitué depuis une vraie exécution d'agent, est public et ouvert à l'inspection.
Voyez-en un vrai, puis demandez le vôtre
Un paquet de preuve complet, reconstitué depuis une vraie exécution d'agent de code — publié avec son manifeste SHA-256 et un horodatage RFC 3161 externe que vous pouvez vérifier vous-même au openssl, sans nous faire confiance.
Voir le paquet de preuve →
Demander un passage sur votre système →
Nouveau sur le sujet ? La plupart des gens ignorent qu'on peut reconstituer la réponse. Commencez par ce qu'est la reconstitution de preuve IA, et comment reconstituer une décision quand rien n'était instrumenté. À lire aussi : Une gouvernance infalsifiable est indistinguable d'une gouvernance absente. Formalisé dans le papier Governance Falsifiability Infrastructure.