Accessibilité web : pourquoi un score d'audit ne dit pas ce que vous croyez

Des pourcentages qui circulent partout, mais qui ne se comparent pas

Quelle part des tests d'accessibilité peut être automatisée ? Selon les sources, la réponse varie énormément : l'estimation la plus courante dans le secteur tourne autour de 20 à 30 %, mais certains acteurs annoncent 57 %, voire 80 % ou plus. Ces chiffres apparaissent dans les présentations commerciales, sur LinkedIn et dans les rapports d'audit qui arrivent sur le bureau des directions digitales.

Comment un même concept peut-il produire un tel écart ? Parce que la « couverture automatique » n'est pas une propriété de l'outil : c'est une propriété de la méthodologie d'audit qui l'entoure. La formule derrière la plupart de ces affirmations est simple : couverture automatique = anomalies détectées automatiquement ÷ total des anomalies trouvées. Et c'est le dénominateur, le total des anomalies, qui détermine le résultat final.

Le paradoxe du dénominateur : un chiffre élevé peut signaler un audit faible

Imaginez deux audits du même site, avec le même outil automatique, sur le même périmètre. Les deux détectent 100 anomalies automatiquement. Le premier audit, approfondi, identifie en plus 400 anomalies par tests manuels : sa couverture automatique est de 20 % (100 sur 500). Le second, plus superficiel, n'en trouve que 100 manuellement : sa couverture automatique grimpe à 50 % (100 sur 200).

Rien n'a changé côté automatisation. L'audit le plus rigoureux affiche pourtant le pourcentage d'automatisation le plus bas, simplement parce qu'il a trouvé davantage de problèmes nécessitant un regard humain. Dans ce cas, un chiffre d'automatisation élevé révèle un audit plus faible, pas un outil plus performant.

Le dénominateur dépend de nombreuses variables : ce que l'outil détecte réellement, la profondeur des tests manuels, l'expertise des auditeurs, la méthodologie employée, la façon de définir et de compter les anomalies, ou encore la granularité du rapport. D'où une règle pratique : des chiffres ne sont comparables que si les méthodologies le sont. Au sein d'une méthodologie constante, un pourcentage de couverture peut servir à suivre une tendance dans le temps ; entre outils différents, il ne permet de comparer rigoureusement rien du tout.

Ce que révèlent 100 audits d'accessibilité réels

Pour objectiver le débat, UsableNet a analysé 100 audits récents réalisés par ses auditeurs, évalués selon les WCAG 2.2 niveau AA (Web Content Accessibility Guidelines, le référentiel international d'accessibilité numérique sur lequel s'appuie notamment le RGAA français). Il s'agit d'audits manuels complets, et non de simples scans automatiques : chaque audit représente en moyenne 40 à 80 heures de travail.

Chaque critère de succès est décomposé en vérifications unitaires, en consignant non seulement les échecs mais aussi les succès. Au total, ces 100 audits représentent plus de 371 000 vérifications individuelles, dont environ 91 000 signalées comme anomalies.

La répartition des anomalies : l'humain reste au cœur du processus

Comment ces anomalies ont-elles été trouvées ? La répartition approximative est la suivante :

• 29 % détectées automatiquement ;
• 67 % en mode semi-automatisé ;
• 4 % de façon entièrement manuelle.

La catégorie « semi-automatisée », rarement évoquée, mérite une explication : il s'agit de problèmes potentiels que la plateforme signale à un auditeur pour confirmation. Exemple typique : une image avec un attribut alt vide. L'automatisation peut repérer l'attribut vide et identifier l'image comme possiblement décorative, mais elle ne peut pas connaître l'intention de l'auteur. Si l'image est informative, elle nécessite un texte alternatif et l'auditeur la marque en échec ; si elle est réellement décorative, il la valide. La décision finale exige un jugement humain.

En additionnant le semi-automatisé et le manuel pur, environ 70 % des anomalies nécessitent un humain dans la boucle, que l'outil guide l'auditeur ou non.

Les mêmes données, des histoires différentes selon la mesure

L'étude va plus loin et montre comment le même jeu de données produit des chiffres très différents selon le mode de calcul. Sur ces 100 audits, environ 30 000 anomalies ont été trouvées automatiquement.

• Mesuré par rapport aux anomalies : 30 000 sur 91 000, soit environ 30 % — cohérent avec l'estimation sectorielle de 20 à 30 %.
• Mesuré par rapport aux vérifications : 30 000 sur 371 000, soit environ 8 %.

Les deux chiffres sont honnêtes et décrivent les mêmes détections automatiques. Seul le dénominateur change, et chacun raconte une vérité différente. Le 30 % indique la part des anomalies rapportées trouvées automatiquement, mais ne signifie pas que l'effort de l'auditeur se limite aux 70 % restants : l'auditeur doit aussi évaluer tout ce qui, au final, passe les tests. Ces vérifications réussies ne figurent pas dans le rapport d'anomalies, mais elles exigent du temps d'analyse. Vu sous l'angle des vérifications, seules 8 % environ ont été résolues automatiquement : les 92 % restantes ont nécessité l'évaluation d'un auditeur, qu'elles aboutissent à une anomalie ou à un succès.

Même la méthode de calcul déplace le résultat

Plus troublant encore : en mesurant exactement la même chose, le mode de calcul fait bouger le chiffre. La moyenne du pourcentage d'automatisation sur les 100 audits individuels donne environ 29 % ; le calcul à partir des totaux agrégés donne environ 33 %. Mêmes données, même métrique, près de cinq points d'écart. Comme le note l'auteur de l'étude, un éditeur pourrait annoncer « environ 35 % d'anomalies automatisées » sans techniquement mentir — et c'est exactement le problème.

La moyenne elle-même masque une forte dispersion : sur ces 100 audits, la couverture automatique varie de 0 % à 73 %. Le « 30 % moyen » est le milieu d'une distribution très large, pas une valeur attendue sur un audit donné. C'est aussi dans ce contexte que les revendications de 80 % trouvent leur place : un tel chiffre peut décrire le plafond théorique d'un outil, mais pas une réalité représentative.

Ce qu'il faut en retenir pour piloter l'accessibilité

Pour une direction digitale, la leçon est double. D'abord, un score issu d'un scan automatique ne mesure qu'une fraction minoritaire des problèmes d'accessibilité : il peut servir de baromètre pour suivre une tendance, pas de preuve de conformité au sens des WCAG ou du RGAA (Référentiel Général d'Amélioration de l'Accessibilité, le cadre réglementaire français). Ensuite, avant d'utiliser un pourcentage pour arbitrer un budget ou choisir un prestataire, il faut comprendre comment il a été produit : quel dénominateur, quelle profondeur de tests manuels, quelle méthodologie. Un chiffre élevé d'automatisation peut tout aussi bien trahir un audit superficiel qu'un bon outil.

C'est le message central de l'étude : ne faites pas confiance au chiffre, comprenez le chiffre. L'accessibilité réelle d'un site se construit avec une évaluation humaine approfondie, dont l'automatisation est un accélérateur précieux mais jamais un substitut.