Une équipe de recherche étend les méthodes d’évaluation sémantique automatique

« A quoi pourrait-on utiliser une brique sinon pour construire une maison ? » Dans la recherche sur la créativité humaine, les participants à l’étude sont souvent invités à proposer des utilisations inhabituelles pour divers objets. Cette phase est ensuite suivie d’un processus de codage subjectif et très long. Pour cette raison, les chercheurs s’efforcent depuis longtemps de trouver des moyens plus rapides et plus objectifs d’évaluer la créativité des participants à l’étude.

Un nouveau développement apparu ces dernières années est la notation automatisée et informatisée, dans laquelle un algorithme calcule la distance sémantique entre les réponses des participants aux tâches de créativité.

Toutefois, jusqu’à présent, cette méthode a été principalement utilisée avec des données en langue anglaise. Dirigée par John D. Patterson et Roger Beaty de l’Université d’État de Pennsylvanie, aux États-Unis, une grande équipe de recherche internationale, comprenant des chercheurs de l’Institut Max Planck d’esthétique empirique (MPIEA) de Francfort-sur-le-Main, en Allemagne, a testé la méthode pour l’utiliser dans autres langues.

L’étude sera publiée dans la revue Psychologie de l’esthétique, de la créativité et des arts.

Dans une étude multilaboratoire impliquant plus de 6 500 participants, 28 chercheurs au total ont collecté des données sur la créativité dans 12 langues différentes : arabe, chinois, néerlandais, anglais, français, allemand, hébreu, italien, persan (farsi), polonais, russe, et espagnol. Ils ont utilisé deux modèles basés sur la méthode d’apprentissage profond de l’IA pour calculer la distance sémantique dans les différentes langues. Les chercheurs ont ensuite comparé les mesures automatiques avec les évaluations humaines.

« Le modèle le plus performant pour chaque langue était cohérent avec les évaluations humaines. Cela a confirmé la validité de la méthode pour les 12 langues », rapporte Julia F. Christensen du MPIEA.

Les auteurs fourniront un accès ouvert à l’ensemble de données multilingues pour le développement futur d’algorithmes, ainsi qu’au code Python permettant de calculer la distance sémantique dans toutes les langues mentionnées.

Plus d’information:
John D. Patterson et al, Distance sémantique multilingue : évaluation automatique de la créativité verbale dans de nombreuses langues., Psychologie de l’esthétique, de la créativité et des arts (2023). DOI : 10.1037/aca0000618

Fourni par la Société Max Planck

ph-tech