Dévoilement de la première technologie portable de reconnaissance des émotions humaines en temps réel au monde

Le professeur Jiyun Kim et son équipe du Département de science et d’ingénierie des matériaux de l’Institut national des sciences et technologies d’Ulsan (UNIST) ont développé une technologie pionnière capable d’identifier les émotions humaines en temps réel. Cette innovation de pointe est appelée à révolutionner diverses industries, notamment les systèmes portables de nouvelle génération qui fournissent des services basés sur les émotions.

Comprendre et extraire avec précision les informations émotionnelles constitue depuis longtemps un défi en raison de la nature abstraite et ambiguë des effets humains tels que les émotions, les humeurs et les sentiments. Pour résoudre ce problème, l’équipe de recherche a développé un système multimodal de reconnaissance des émotions humaines qui combine des données d’expression verbale et non verbale pour utiliser efficacement des informations émotionnelles complètes.

Innovation dans la technologie portable

Au cœur de ce système se trouve le système d’interface faciale personnalisée intégrée à la peau (PSiFI), qui est auto-alimenté, facile, extensible et transparent. Il est doté d’un capteur triboélectrique bidirectionnel de contrainte et de vibration, le premier en son genre, qui permet la détection et l’intégration simultanées de données d’expression verbales et non verbales. Le système est entièrement intégré à un circuit de traitement de données pour le transfert de données sans fil, permettant la reconnaissance des émotions en temps réel.

Utiliser apprentissage automatique Grâce à ces algorithmes, la technologie développée démontre des tâches de reconnaissance précises et en temps réel des émotions humaines, même lorsque les individus portent des masques. Le système a également été appliqué avec succès dans une application de conciergerie numérique dans un environnement de réalité virtuelle (VR).

La technologie est basée sur le phénomène de « charge par friction », où les objets se séparent en charges positives et négatives lors du frottement. Notamment, le système est auto-généré, ne nécessitant aucune source d’alimentation externe ni dispositif de mesure complexe pour la reconnaissance des données.

Personnalisation et reconnaissance en temps réel

Le professeur Kim a commenté : « Sur la base de ces technologies, nous avons développé un système d’interface faciale intégrée à la peau (PSiFI) qui peut être personnalisé pour les individus. » L’équipe a utilisé une technique de semi-durcissement pour fabriquer un conducteur transparent pour les électrodes de charge par friction. De plus, un masque personnalisé a été créé grâce à une technique de prise de vue multi-angle, alliant flexibilité, élasticité et transparence.

L’équipe de recherche a intégré avec succès la détection de la déformation des muscles du visage et des vibrations des cordes vocales, permettant ainsi la reconnaissance des émotions en temps réel. Les capacités du système ont été démontrées dans une application de réalité virtuelle de « conciergerie numérique », où des services personnalisés basés sur les émotions des utilisateurs ont été fournis.

Jin Pyo Lee, le premier auteur de l’étude, a déclaré : « Avec ce système développé, il est possible de mettre en œuvre la reconnaissance des émotions en temps réel avec seulement quelques étapes d’apprentissage et sans équipement de mesure complexe. Cela ouvre à l’avenir des possibilités pour les dispositifs portables de reconnaissance des émotions et les services de plateforme numérique de nouvelle génération basés sur les émotions.

De gauche à droite : le professeur Jiyun Kim et Jin Pyo Lee du Département de science et d’ingénierie des matériaux de l’UNIST. Crédit : UNIST

L’équipe de recherche a mené des expériences de reconnaissance des émotions en temps réel, collectant des données multimodales telles que la déformation des muscles du visage et la voix. Le système a montré une reconnaissance émotionnelle élevée précision avec une formation minimale. Sa nature sans fil et personnalisable garantit portabilité et commodité.

En outre, l’équipe a appliqué le système aux environnements VR, en l’utilisant comme « concierge numérique » pour divers environnements, notamment les maisons intelligentes, les salles de cinéma privées et les bureaux intelligents. La capacité du système à identifier les émotions individuelles dans différentes situations permet de fournir des recommandations personnalisées pour la musique, les films et les livres.

Le professeur Kim a souligné : « Pour une interaction efficace entre les humains et les machines, les dispositifs d’interface homme-machine (IHM) doivent être capables de collecter divers types de données et de gérer des informations intégrées complexes. Cette étude illustre le potentiel de l’utilisation des émotions, qui sont des formes complexes d’informations humaines, dans les systèmes portables de nouvelle génération.

La recherche a été menée en collaboration avec le professeur Lee Pui See de l’Université technique de Nanyang à Singapour et a été soutenue par la Fondation nationale de recherche de Corée (NRF) et l’Institut coréen des matériaux (KIMS) relevant du ministère des Sciences et des TIC.