Introduction
HackerRank a récemment ouvert son système de suivi des candidatures (ATS) en open source, permettant aux entreprises d'évaluer les candidats de manière automatisée. Cependant, lorsqu'un utilisateur a testé l'outil avec son propre CV, il a constaté des résultats contradictoires, allant de 90/100 à 74/100, puis à 88/100, soulignant les limites de l'évaluation automatique.
Contexte Technique
L'outil d'HackerRank utilise un modèle de langage (LLM) pour analyser les CV et attribuer des notes. Le processus implique le parsing du CV en texte, l'extraction d'informations structurées, telles que les compétences, l'expérience professionnelle et les projets, puis l'évaluation de ces informations à l'aide d'un LLM. Les notes sont attribuées en fonction de critères tels que les contributions open source, les projets personnels, l'expérience professionnelle et les compétences techniques.
Le modèle par défaut utilisé est le gemma3:4b, avec une température de 0,1, ce qui est censé favoriser les sorties déterministes. Cependant, les tests ont montré que même avec cette configuration, les résultats peuvent varier considérablement, notamment pour les catégories telles que les projets, où le modèle a du mal à porter des jugements cohérents.
Analyse et Implications
L'analyse a révélé que les catégories telles que les compétences techniques présentent une grande cohérence dans les notes, car il s'agit essentiellement de vérifier des cases. En revanche, les catégories comme les projets et l'expérience professionnelle montrent une grande variation dans les notes, ce qui suggère que le modèle de langage a des difficultés à évaluer ces aspects de manière fiable.
Ces résultats soulignent les risques de l'utilisation d'outils d'évaluation automatique pour le recrutement, car ils peuvent introduire un élément de hasard dans le processus de sélection, plutôt que de garantir une évaluation juste et équitable des candidats. Les entreprises doivent être prudentes lorsqu'elles utilisent de tels outils et considérer les limites de l'évaluation automatique pour éviter de passer à côté de candidats qualifiés.
Perspective
À l'avenir, il sera important de surveiller les développements dans le domaine de l'évaluation automatique et de considérer les implications éthiques de l'utilisation de tels outils dans le processus de recrutement. Les entreprises doivent être conscientes des limites de ces outils et prendre des mesures pour garantir que le processus de sélection reste équitable et juste pour tous les candidats. Cela pourrait inclure la mise en place de mécanismes de contrôle et de validation pour les résultats des outils d'évaluation automatique, ainsi que la formation du personnel du recrutement pour une utilisation responsable de ces technologies.
