Contexte et méthodologie
Mercor a croisé la taxonomie O*NET du Département du Travail américain – qui recense 923 professions et 18 797 tâches – avec une sélection de 29 benchmarks jugés économiquement pertinents. Chaque benchmark a été associé, par un juge LLM puis validé par des experts humains, aux tâches O*NET qu’il représente. Une tâche est considérée comme « couverte » dès qu’au moins cinq prompts du jeu de 29 y font référence. Cette procédure permet d’estimer la part de temps de travail liée à des tâches effectivement mesurées par les benchmarks existants.
Résultats de couverture
Sur les 923 professions, seules 208 possèdent au moins une tâche couverte par cinq prompts, et six des 22 familles professionnelles n’en ont aucune. En combinant ces couvertures avec les estimations de Hatgis‑Kessell et al. sur la répartition horaire des tâches, Mercor conclut que près de 90 % des heures de travail américaines concernent des tâches peu ou pas du tout représentées dans les benchmarks actuels. La répartition n’est pas aléatoire : les tâches les plus exposées à l’automatisation par IA sont six fois plus susceptibles d’apparaître, ce qui explique la forte présence de logiciels et d’analyses financières, tandis que des métiers comme conducteur de camion ou opérateur d’usine restent marginalisés.
Analyse des biais et limites
Le processus de sélection favorise les professions à forte masse salariale et les tâches évaluées comme importantes (note 1‑5). Les tâches notées les plus importantes sont 6 à 10 fois plus présentes que les moins importantes, ce qui introduit un biais de visibilité vers les emplois les mieux rémunérés. De plus, la taille restreinte du corpus (29 benchmarks) implique une sous‑estimation probable de la couverture réelle, car les benchmarks non inclus pourraient combler certaines lacunes. Mercor souligne que les critères qualitatifs comme « realism économique » restent difficiles à formaliser, ajoutant une part de subjectivité. Enfin, la méthode de pondération O*NET, qui attribue un poids égal à chaque tâche, atténue le risque de sur‑représentation des tâches fréquemment benchmarkées, mais ne résout pas le manque de données pour la majorité des activités professionnelles.
