1. Scénarios et oracle
Le manifeste déclare chaque scénario, ses fixtures synthétiques, la présence ou l’absence d’une anomalie attendue et l’unité mesurée. Le runner compare ensuite le résultat observé à cet oracle. Une divergence fait échouer le benchmark.
2. Chaîne mesurée
Les scénarios exécutent les importeurs, contrôles comptables et règles de rapprochement déterministes du produit. Les montants sont comparés en unités monétaires mineures entières. L’OCR navigateur n’est pas noté par le runner Node : le scénario image-only vérifie uniquement que la frontière OCR-required est signalée.
3. Mesures
TP, TN, FP et FN sont calculés au niveau des scénarios déclarés. La précision et le rappel décrivent donc ce corpus et cette version, pas une fréquence d’erreurs ni une performance statistique sur les factures françaises réelles.
4. Classes de preuve
- Automatisation reproductible : tests, benchmark et sorties déterministes sur fixtures synthétiques.
- Validation contrôlée : observation locale ou staging, dépendante d’un navigateur ou d’un environnement déclaré.
- Preuve terrain : échantillon représentatif et gouverné de cas réels. Cette classe n’est pas présente dans le benchmark public v1.
5. Reproduction et publication
- Lire la version, la date, le périmètre et les limites.
- Exécuter la commande de benchmark dans le dépôt autorisé.
- Vérifier que JSON, CSV et compteurs du ledger concordent.
- Ne publier que les agrégats et éléments explicitement approuvés.
Le dépôt source reste privé. La page publique suffit pour examiner les résultats publiés, mais ne fournit ni l’implémentation du matcher, ni le parser, ni le corpus privé complet.
Les 29 cas synthétiques et reproductibles approuvés pour l’export public documentent notamment la cohérence des montants et les comparaisons PDF/XML en CSV et JSON. Consulter les cas de test et résultats structurés sur data.gouv.fr.
Le dépôt distinct einvoi-research publie uniquement les synthèses, la méthode et les résultats approuvés. Il ne contient pas le code de l’application.
La version publique figée v1.0.0 conserve les mêmes résultats, limites et fichiers vérifiables pour une citation permanente.