GENÈVE (OIT Infos) – L’Organisation internationale du Travail (OIT) a publié une nouvelle étude sur la manière dont l’intelligence artificielle (IA) évalue le prestige et la valeur sociale des professions, mettant en lumière le potentiel et les risques liés à l’utilisation de ces méthodes pour la recherche sociologique et professionnelle.
Le document, intitulé A Technological Construction of Society: Comparing GPT-4 and Human Respondents for Occupational Evaluation in the UK, compare les évaluations des professions réalisées par GPT-4 (un type d’IA de type Large Language Model (LLM) capable de reconnaître et de générer du texte) avec celles d’une enquête de haute qualité menée au Royaume-Uni.
L’évaluation des professions rend compte de la perception qu’ont les gens des professions dans la société. Les chercheurs ont utilisé la classification des professions la plus universellement applicable – la Classification internationale type des professions (CITP-08) de l’OIT – pour organiser les emplois en groupes clairement définis en fonction de leurs tâches et de leurs fonctions.
Dans un premier temps, les personnes interrogées au Royaume-Uni ont été invitées à classer le prestige et la valeur sociale d’une sélection de professions. Ensuite, le GPT-4 a été invité à fournir un classement similaire, en prenant le rôle de 100 répondants aléatoires ayant ce qu’il considère comme un «profil britannique moyen». Les évaluations humaines ont ensuite été comparées à ces opinions algorithmiques, afin de comprendre dans quelle mesure le système d’IA était capable de prédire les opinions humaines, et si sa façon de percevoir les opinions humaines s’alignait sur des groupes démographiques particuliers.
L’étude a révélé une forte corrélation entre les résultats générés par les deux approches différentes. Le système GPT-4 s’est montré très compétent pour prédire les opinions moyennes des Britanniques sur le prestige et la valeur sociale des différentes professions, et pour utiliser ces prédictions afin de créer des classements relatifs des professions. Cette «compréhension algorithmique» des opinions humaines générales pourrait potentiellement permettre à l’IA d’être utilisée pour la recherche professionnelle, avec des avantages tels que l’efficacité, la rentabilité, la rapidité et la précision dans la saisie des tendances générales.
Toutefois, l’étude a également révélé certains problèmes. Le modèle d’IA a eu tendance à surestimer le prestige et la valeur des professions associées à l’économie numérique ou comportant de fortes composantes de marketing et de vente. Il a également sous-estimé, par rapport aux évaluateurs humains, le prestige et la valeur sociale accordés à certaines professions illicites ou traditionnellement stigmatisées. En outre, les chercheurs ont manipulé les instructions algorithmiques de l’IA, montrant qu’elle n’était pas en mesure de comprendre les hiérarchies de prestige et de valeur sociale des professions telles qu’elles sont perçues par les minorités démographiques dans le contexte britannique.
L’article met en garde contre le fait que les LLM actuels tendent à refléter principalement les opinions des populations occidentales, éduquées, industrialisées, riches et démographiques (WEIRD), qui constituent une minorité démographique mondiale, mais qui ont produit la majorité des données sur lesquelles ces modèles d’IA ont été entraînés. Par conséquent, s’ils peuvent constituer un outil de recherche complémentaire utile – par exemple pour le traitement de grandes quantités de textes non structurés, de voix et d’images – ils comportent un risque sérieux d’omettre les points de vue des minorités démographiques ou des groupes vulnérables. Les chercheurs estiment que ces limites doivent être soigneusement prises en compte lors de l’application des systèmes d’IA au monde du travail, par exemple lorsqu’il s’agit de fournir des conseils de carrière ou de procéder à des évaluations algorithmiques des performances.
L’article a été co-écrit par Paweł Gmyrek de l’OIT, Christoph Lutz de la Norwegian Business School et Gemma Newlands de l’Oxford Internet Institute.
