Méthode
Ce que le rapport mesure, exactement.
TrustCheckIA produit un faisceau d'indices - et non une preuve - organisé en cinq couches complémentaires. Cette page décrit ce que le rapport affiche réellement, avec les pondérations utilisées dans le code.
Les cinq couches du rapport
1 · Indice d'apport humain (indicateur principal)
Le rapport s'ouvre sur un score 0-100 mesurant l'effort et la contribution propre du rédacteur, indépendamment de l'usage d'IA. Il agrège quatre composants pondérés :
- Ancrage propre - 35 % : éléments concrets du dossier (chiffres, dates, montants, références) propres au rédacteur, hors données d'identité et hors éléments déjà présents dans les pièces fournies.
- Traces de reprise - 20 % : part des mots en passages classés humains par la mesure statistique, signes humains relevés dans le texte, marqueurs de reprise explicites et nombre de révisions enregistrées dans le fichier Word. Sans aucune trace matérielle (ni marqueur, ni signe humain, ni révision), la composante est plafonnée à 25.
- Prose hors listes à puces - 15 % : part du texte rédigée en prose plutôt qu'en listes à puces, le contenu d'une puce ne valant aucun apport humain.
- Référents vérifiables - 30 % : référents vérifiables extraits du livrable (mesures relevées, obstacles, corrections datées, identifiants traçables) et absents des pièces fournies.
2 · Signature technique IA (indice secondaire)
Score 0-100 issu du seul faisceau statistique déterministe (répartition publiée : 100 % statistique, 0 % sémantique) ; l'analyse sémantique n'entre pas dans ce score. Il n'apparaît qu'en indicateur secondaire pour ne pas écraser la lecture principale (l'apport humain). Plafonné à 97/100 : TrustCheckIA assume un faisceau d'indices et non une preuve.
3 · Hypothèse de reconstruction du processus de génération
Un modèle expert propose une reconstruction plausible : nombre de prompts probablement utilisés, types de prompts (rôle, ton, plan imposé, injection de sources), traces d'itérations. Cette couche est indicative, orientée débat contradictoire.
4 · Cartographie par paragraphe
Chaque paragraphe reçoit un label à partir de sa mesure statistique : IA à partir de 60/100, humain jusqu'à 40/100, mixte entre les deux ; trois signes humains ou plus le classent humain (sous 60). Un paragraphe classé IA qui porte au moins deux types d'ancrage propres au rédacteur (hors données d'identité et hors éléments repris des pièces fournies) est ramené à « mixte » si sa mesure reste sous 78/100. Les paragraphes de moins de 20 mots sont regroupés avec leur voisin ; un passage qui compte encore moins de 15 mots après ce regroupement est marqué comme non évalué, sans peser sur la moyenne.
5 · Artefacts d'assistant
Détection d'artefacts non ambigus (placeholders `[votre nom]`, préambules « en tant qu'IA », balises `<thinking>`, meta-instructions oubliées). Un artefact fort déclenche un plancher de 70/100 sur la signature IA ; deux artefacts un plancher de 85/100. La liste littérale est restreinte pour éviter les faux positifs sur tournures humaines ordinaires.
Le faisceau statistique - pondérations réelles
Les familles d'indicateurs ne pèsent pas à égalité. Le pipeline (voir src/lib/analysis/stats.ts) applique les poids suivants avant renormalisation à 100 % :
| Famille | Poids |
|---|
Uniformité des phrases (burstiness) Coefficient de variation de la longueur des phrases de prose. Les rédacteurs humains alternent phrases courtes et longues ; les modèles produisent une longueur plus homogène. Les phrases sont découpées en tenant compte des abréviations juridiques (art., al., L., C. civ.) ; titres, puces, énumérations, tableaux et signatures sont exclus. Non mesuré sous 8 phrases de prose ou si la phrase moyenne fait moins de 12 mots ; neutralisé si le document est majoritairement en listes ou si la qualité d'extraction du texte est insuffisante (lignes recollées, césures, en-têtes restés). | 49 % |
Connecteurs formulaïques Dictionnaire de 65 tournures bilingues (FR 33 entrées, EN 32 entrées), pondérées : les signatures LLM caractéristiques (« il convient de noter », « en somme », « in conclusion ») comptent pour 1.0, les connecteurs ordinaires pour 0.3. Les matches sont dédupliqués par position et normalisés sans accents. | 28 % |
Prédictibilité lexicale (proxy perplexité) Combine trois signaux : densité de mots outils du Top-100, proportion d'hapax (mots uniques) et uniformité des débuts de phrases. Calibré sur 200 à 400 mots : sur un document plus long, les deux premiers signaux sont mesurés par fenêtres de 300 mots (médiane), et les débuts de phrases sur la seule prose. | 6 % |
Uniformité structurelle des paragraphes Coefficient de variation de la longueur des paragraphes de prose (≥ 25 mots). Mesuré sur un corpus d'articles professionnels humains, l'indicateur s'est révélé non discriminant : il est affiché à titre informatif et son poids est nul dans le score. | 0 % (informatif) |
N-grammes répétés Trigrammes ≥ 3× et bigrammes ≥ 4× rapportés à la longueur du texte, hors n-grammes contenant un nom propre du document ou un terme du contexte de mission. Conservé à titre informatif, avec un poids nul dans le score. | 0 % (informatif) |
Richesse lexicale (TTR) Type-token ratio moyen sur fenêtres consécutives de 200 mots. Non mesuré sous 400 mots. | 5 % |
Densité et uniformité des puces (gabarit) Part des lignes en puces et uniformité de leur longueur. Activé seulement à partir de 8 puces et 15 % de lignes en puces. Sur un document majoritairement en listes, la burstiness n'est pas fiable : elle est neutralisée et le gabarit passe à 0,45. | 30 % (45 % sur document en listes) |
Ponctuation & typographie (tiret cadratin) Densité pondérée de tirets cadratins et demi-cadratins pour 1 000 mots, hors titres (« Article 3 — Objet »). Un traitement de texte (Word, LibreOffice, Google Docs) remplace automatiquement les tirets saisis : pour un document qui en est issu, le signal est divisé par deux et plafonné à 45/100. Non mesuré sous 500 mots. L'effet du signal sur le score reste borné (voir les ajustements). | 12 % |
Ces poids sont les poids NOMINAUX du code (0,49 · 0,28 · 0,06 · 0,05 · 0,12, soit une somme de 1 ; 0 pour les deux indicateurs informatifs ; gabarit de puces 0,30, porté à 0,45 sur un document majoritairement en listes, activé seulement à partir de 8 puces). Le score est une moyenne pondérée des seuls indicateurs évalués : chaque indicateur porte un statut publié dans le rapport, « évalué », « neutralisé » (avec sa raison) ou « non mesuré » - un indicateur non mesuré n'est jamais affiché comme 0. Quand la burstiness est neutralisée sur un document qui n'est pas en listes, les connecteurs passent à 0,42 et la prédictibilité à 0,20 avant renormalisation, quelle que soit la raison de la neutralisation (échantillon trop court, phrases courtes, extraction dégradée) ; sur un document majoritairement en listes, le gabarit de puces (0,45) prend le relais, et si le gabarit n'est pas activé, seuls les indicateurs restants sont renormalisés.
Les poids effectifs d'un document diffèrent donc des poids nominaux : ils sont renormalisés selon les indicateurs réellement mesurables sur ce document. Chaque rapport affiche, pour chaque indicateur, son poids effectif dans le score (et, entre parenthèses, sa valeur nominale renormalisée).
Ajustements appliqués au score
Après la moyenne pondérée, quelques ajustements bornés peuvent s'appliquer. Ils sont tous listés ici avec leurs bornes, et chaque ajustement appliqué à un document figure dans la composition du score de son rapport.
- Tiret cadratin — Hausse bornée à 12 points ; si le score sans ce signal reste dans la zone humaine, le score est plafonné à 49 (non-bascule).
- Tournures de registre formel — Hausse bornée à 10 points, plafond de non-bascule à 49.
- Gras et balises markdown restés dans le texte — Hausse bornée à 12 points, plafond de non-bascule à 49.
- Généricité (registre formel) — Hausse bornée à 8 points, plafond de non-bascule à 49.
- Métadonnées du fichier .docx — +8 points si au moins deux signaux concordent (auteur générique, une seule révision, création = modification), +2 pour un seul.
- Structure d'une présentation .pptx — +12 ou +6 points, seulement si le texte va déjà dans le même sens.
- Prose humaine caractérisée — Plafond de 45 quand connecteurs, gabarit et prédictibilité sont tous bas.
- Artefacts d'assistant — Plancher de 70 pour un artefact non ambigu (« en tant qu'IA », balise oubliée), 85 pour plusieurs, 60 pour du markdown brut.
- Collage direct après génération — Plancher de 85 si, ensemble : au moins 3 filets markdown restés en texte (« --- »), 30 % de lignes en puces, 10 % au plus de puces portant un élément vérifiable, aucune trace de reprise.
- Filets horizontaux — Aucun effet sur le score ni sur l'indice d'apport humain depuis la version 2.0.0 : leur comptage confond en-têtes, pieds de page, tableaux et lignes de signature. Ils sont affichés à titre informatif.
- Aucun indicateur mesurable — Score fixé à la valeur neutre 50, sans valeur probante.
- Bornes finales — Le score est toujours compris entre 0 et 97 : aucune mesure n'est une preuve.
Analyse sémantique
Un modèle expert (Claude Haiku en standard, Opus en mode approfondi) évalue quatre dimensions polarisées côté IA : homogénéité stylistique, spécificité des références, engagement / prise de position, ruptures de style trahissant une édition humaine partielle. Chaque dimension reçoit un sous-score commenté, cité avec des extraits littéraux.
Contrôle des références
Les articles de codes cités sont rapprochés d'un référentiel de 55 codes en vigueur et de leurs abréviations usuelles (C. civ., CPI, CSS, CGI…). Chaque référence reçoit l'un de trois statuts. « Vérifiée » : code reconnu et numérotation conforme à ce code (vérification de forme), ou existence de l'article confirmée sur Légifrance lorsque cette vérification est active. « Non vérifiable » : l'outil ne peut pas conclure ; ce n'est pas un défaut. « Incohérente » : numérotation impossible pour le code cité - seul statut à examiner. Lorsque la vérification Légifrance est activée, seuls le nom du code et le numéro de l'article sont transmis, jamais le texte du document. Ce contrôle n'entre pas dans le score.
Temps de production et effort minimal documenté
Le temps publié est reconstruit à partir de compteurs relevés dans le livrable (relecture au volume, référents vérifiables, faits opératoires, éléments de décision, marqueurs de reprise, itérations documentées), jamais à partir d'une estimation du modèle. Quand un recours à l'IA est retenu, le temps machine s'y ajoute et la valeur se lit comme un majorant du temps de production plausible.
Quand aucun recours à l'IA n'est retenu, le temps de rédaction manuelle n'est pas compté : la valeur est alors publiée comme un effort minimal documenté, et non comme un maximum. Le temps réel peut être nettement supérieur ; aucun montant d'écart de facturation n'est chiffré en euros sur cette base.
Ce qui est déterministe, ce qui dépend du modèle
Déterministes (mêmes entrées, mêmes résultats) : les scores statistiques et la signature technique IA, l'indice d'apport humain, les minutes publiées (majorant ou effort minimal documenté, répartition par phase), le travail de décision et le contrôle des références.
Dépendants du modèle : la lecture qualitative et l'accord entre ses passes, dont découlent la confiance, le contrôle de cohérence, la marge du verdict et donc le statut de délivrance du certificat ; la rédaction de la synthèse, contrôlée contre le verdict et remplacée par un texte type au moindre écart. Deux analyses du même document peuvent donc différer sur ces seuls points.
Métadonnées & format
Pour les .docx, TrustCheckIA lit le nombre de révisions, l'auteur, les dates de création et de modification. Le champ TotalTime (temps d'édition Word) est neutralisé car peu fiable dans la pratique (documents copiés, rouverts, versions Web). Pour les .pptx, un score métadonnées plafonné à 55/100 est calculé à partir de marqueurs pondérés (temps, révisions, structure, uniformité, notes, images, police), reformulés en observations factuelles réfutables. Le bonus de convergence PPTX ne s'applique que si le texte concorde.
Réconciliation & confiance
Quand la signature IA et l'apport humain pointent tous deux dans la même direction alors qu'ils devraient s'opposer, un encart de réconciliation apparaît dans le rapport et la confiance est ramenée à « modérée ». Le score global est plafonné à 97/100 : nous refusons d'afficher un 100/100 probabiliste.