« Il ne se fatigue jamais, il ne fait jamais preuve de mauvaise humeur » : cet argument revient systématiquement pour justifier l’automatisation d’une tâche de classement ou de tri par un modèle de langage. Un audit mené sur un échantillon de deux mille classifications automatiques a montré autre chose : l’absence de fatigue n’empêche pas un biais de se reproduire de façon parfaitement constante.
Ce constat ne remet pas en cause l’intérêt d’un modèle pour automatiser un classement répétitif. Il remet en cause l’idée reçue selon laquelle l’absence de variabilité humaine garantirait, par construction, un traitement plus équitable. C’est l’inverse qui s’est produit : le modèle a traité de façon identique des cas qu’un relecteur humain aurait distingués au premier coup d’œil.
Le cas observé : un classement de candidatures
L’audit portait sur un outil de présélection de candidatures pour un formulaire de recrutement intégré à WordPress, où un modèle attribuait un score de pertinence à partir du contenu du message et de l’intitulé du poste visé. Sur dix-sept pour cent des dossiers audités, deux profils objectivement équivalents en expérience et en formation recevaient un score différent, corrélé à une différence de formulation dans la lettre de motivation plutôt qu’à une différence de compétence réelle.
Un relecteur humain, confronté aux deux mêmes dossiers côte à côte, aurait immédiatement identifié l’équivalence des profils malgré la différence de style rédactionnel. Le modèle, lui, traitait la formulation comme un signal de pertinence, reproduisant cet écart de façon parfaitement systématique sur tous les cas similaires de l’échantillon.
Pourquoi la constance du modèle aggrave le problème
Un biais humain varie d’une personne à l’autre et d’un jour à l’autre, ce qui dilue statistiquement son effet sur un grand nombre de décisions. Un biais reproduit par un modèle s’applique de façon identique à chaque cas similaire, ce qui le rend à la fois plus prévisible à corriger et plus dommageable tant qu’il n’est pas identifié, puisqu’il touche systématiquement le même type de profil.
- Un biais humain se dilue statistiquement sur un grand volume de décisions
- Un biais de modèle s’applique de façon identique à chaque cas comparable
- L’absence de variabilité masque le problème tant qu’aucun audit croisé n’est mené
- La correction, une fois identifiée, s’applique immédiatement à l’ensemble des futurs cas
Ce que l’audit a permis de corriger
La correction n’a pas consisté à abandonner l’outil, mais à retirer du prompt toute référence implicite au style rédactionnel et à demander explicitement au modèle de ne noter que les éléments factuels listés — durée d’expérience, formations citées, compétences mentionnées — sans évaluer la qualité de la formulation elle-même.
$prompt = "Évalue uniquement les éléments factuels suivants : "
. "durée d'expérience, formations citées, compétences mentionnées. "
. "Ignore le style rédactionnel et la longueur du texte.";Ce recadrage a fait chuter l’écart mesuré de dix-sept à quatre pour cent sur un nouvel échantillon testé un mois plus tard, un niveau encore surveillé mais nettement plus proche d’une variation acceptable.
Ce que ce cas ne prouve pas
Ce constat ne signifie pas qu’un modèle de langage serait par nature moins fiable qu’un relecteur humain sur ce type de tâche. Il signifie qu’un biais non identifié dans les données ou dans le prompt se reproduit avec une constance qu’un humain n’aurait jamais eue, ce qui impose un audit régulier plutôt qu’une confiance acquise une fois pour toutes.
Sur nos projets, l’audit croisé de cas similaires reste la seule méthode qui a permis de repérer un biais qu’aucune relecture ponctuelle n’aurait détecté.
Notre verdict
L’argument de l’absence de fatigue ou de mauvaise humeur ne dit rien de la fiabilité réelle d’un modèle sur une tâche de tri. Seul un audit comparatif régulier, portant sur des cas volontairement proches, permet de vérifier qu’un biais silencieux ne s’est pas installé dans le traitement automatisé.
