Formats et extraction
PDF texte natif, CII, UBL et conteneur Factur-X synthétique avec CII embarqué.
Recherche et méthode — version 1.0.0
Einvoi Factur-X Benchmark 2026
Un corpus synthétique et reproductible pour vérifier des scénarios PDF, Factur-X/CII, UBL, comptables et multicanaux — sans facture client.
Publié le 16 août 2026Unité : scénario contrôléPublication : Einvoi
Statut produit
Cette implémentation est déployée en production
Le statut de production d’Einvoi a été vérifié après le déploiement de la version 97f56a4. Le score 20/20 reste celui d’un corpus synthétique contrôlé : aucune précision représentative sur des documents clients réels n’est revendiquée.
Consulter le statut de production JSONArchive publique vérifiable — v1.0.0Résultat contrôlé
20/20 scénarios passés
Ces résultats s’appliquent uniquement au corpus synthétique v1. Ils ne mesurent ni toutes les factures réelles ni une population de clients.
- Fixtures identifiées
- 22
- Précision scénario
- 100 %
- Rappel scénario
- 100 %
- FP / FN
- 0 / 0
Corpus
Ce qui a été testé
Contrôles comptables
Identité, montants, TVA, avoir, date d’échéance manquante et incohérence déclarée.
Relations
Même facture sous deux mises en page, conflit de total, date différente et copie multicanale.
États sûrs
PDF protégé, document vide et entrée image-only qui demande le traitement OCR navigateur séparé.
Méthodologie
Un oracle déclaré avant le résultat
- Le manifeste fixe les scénarios, fixtures et résultats attendus.
- Le runner appelle les importeurs, contrôles comptables et règles de rapprochement du produit.
- Chaque résultat observé est comparé à l’oracle ; une régression fait échouer la commande.
- JSON et CSV exposent le résultat et l’évidence de chaque scénario.
Lire la méthodologie complète et les classes de preuve
Les doublons, copies multicanales et relations entre versions ou corrections figurent aussi dans un export public de 29 cas. Consulter les cas de test et résultats structurés sur data.gouv.fr.
Résultats détaillés
Les 20 scénarios déclarés
| Scénario | Oracle | Résultat | Statut |
|---|---|---|---|
| French native-text PDF | Cas valide | EXPECTED EXTRACTION | PASS |
| English native-text PDF | Cas valide | EXPECTED EXTRACTION | PASS |
| German native-text PDF | Cas valide | EXPECTED EXTRACTION | PASS |
| Spanish native-text PDF | Cas valide | EXPECTED EXTRACTION | PASS |
| Mixed VAT PDF | Cas valide | EXPECTED EXTRACTION | PASS |
| Missing due date | Anomalie attendue | MISSING DUE DATE | PASS |
| Credit note | Cas valide | EXPECTED EXTRACTION | PASS |
| Multi-page PDF | Cas valide | EXPECTED EXTRACTION | PASS |
| Same invoice in two visual layouts | Anomalie attendue | EXACT DUPLICATE | PASS |
| Same invoice with conflicting totals | Anomalie attendue | CONFLICT | PASS |
| Password-protected PDF | Anomalie attendue | PDF PASSWORD REQUIRED | PASS |
| Blank PDF | Anomalie attendue | SCAN OCR REQUIRED | PASS |
| Image-only PDF without browser OCR | Anomalie attendue | SCAN OCR REQUIRED | PASS |
| Valid CII invoice | Cas valide | VALID DOCUMENT | PASS |
| CII declared tax mismatch | Anomalie attendue | ACCOUNTING CONTROL FAILURE | PASS |
| Valid UBL invoice | Cas valide | VALID DOCUMENT | PASS |
| UBL credit note | Cas valide | VALID DOCUMENT | PASS |
| Factur-X embedded CII | Cas valide | VALID FACTUR X | PASS |
| Same identity with different issue dates | Anomalie attendue | LIKELY DUPLICATE | PASS |
| Same invoice received through two channels | Anomalie attendue | MULTI CHANNEL COPY | PASS |
Limites
Ce que le score ne permet pas d’affirmer
- Results apply only to this controlled synthetic corpus and benchmark version.
- Scenario-level metrics are not estimates of field performance or customer error rates.
- Image-only inputs report the deterministic OCR-required boundary in Node; browser OCR quality is validated separately.
- Native-text PDF extraction scenarios score the declared identity/amount extraction target; separately listed accounting-control failures are not silently reclassified as extraction failures.
- No real customer invoice is included or persisted by this benchmark.
La précision sur un échantillon représentatif de factures réelles, le taux d’erreur client et les économies obtenues sont non mesurables avec les preuves actuelles.
Frontière de preuve
Aucune preuve terrain dans ce score
Le corpus est entièrement synthétique et contrôlé. Aucun échantillon représentatif de factures réelles ou clients n’est inclus ; la performance terrain reste non mesurée dans cette publication.
Conditions de lecture et de citation · Historique de la version
FAQ
Questions sur le benchmark
Le score décrit-il toutes les factures réelles ?
Non. Il décrit uniquement les scénarios déclarés du corpus synthétique Einvoi Factur-X Benchmark 2026 v1.
Le benchmark contient-il des factures clients ?
Non. Les entrées sont synthétiques et publiables. Aucun document client ou secret n’est inclus.
Comment reproduire les résultats ?
Le dépôt fournit le manifeste, les fixtures, la méthodologie, le runner et une commande dédiée qui régénère les sorties JSON et CSV.
L’OCR navigateur est-il noté dans ce score ?
Non. Le runner Node vérifie la frontière OCR-required. La qualité de l’OCR local navigateur fait l’objet d’une validation séparée.