Pour la première fois, une équipe internationale d'ingénieurs et d'informaticiens a développé une technologie combinant la détection par radiofréquence et l'intelligence artificielle pour lire sur les lèvres et identifier ses mouvements.
Les aides auditives d'aujourd'hui aident les personnes malentendantes en amplifiant tous les sons de l'environnement, ce qui est utile dans plusieurs applications. Cependant, dans les environnements bruyants, le large spectre d’amplification de ces appareils peut rendre difficile pour les utilisateurs de se concentrer sur des sons spécifiques. Par exemple, une conversation avec une certaine personne.
Une solution possible à ce problème, connue sous le nom de « l’effet cocktail », consiste à créer des aides auditives « intelligentes ». Nouveaux appareils combinant une amplification audio conventionnelle avec un deuxième appareil qui collecte des données supplémentaires pour de meilleures performances.
Édition de la singularité de la lecture labiale
Dans un nouvel article paru aujourd'hui dans le magazine Communications Nature (je mets le lien ici), une équipe dirigée par l'Université de Glasgow montre l'utilisation d'une technologie de détection de pointe pour lire sur les lèvres. Leur système préserve la confidentialité en collectant uniquement des données radiofréquences, sans exploiter les images (et donc sans problèmes de confidentialité, du moins sur les images).
Pour développer le système, les chercheurs ont demandé à des volontaires masculins et féminins de répéter les cinq voyelles (A, E, I, O et U) d'abord sans masque, puis avec un masque chirurgical. Leurs visages ont été scannés à la fois avec la bouche fermée et pendant la prononciation, en utilisant des signaux de radiofréquence provenant d'un capteur radar dédié et d'un émetteur wifi.
Les 3.600 XNUMX échantillons de données collectés grâce aux analyses ont été utilisés pour « entraîner » des algorithmes d’apprentissage automatique et d’apprentissage profond à reconnaître les mouvements caractéristiques de la bouche et à lire sur les lèvres, en associant chaque mouvement à un son.
Résultat?
Le système a montré un taux de précision 95% pour les lèvres non masquées, et 83% pour les lèvres masquées. Impressionnant.
Le docteur Qammer Abbassi de l'Université de Glasgow, l'auteur principal de l'article, explique le travail effectué. « Environ 5 % de la population mondiale, soit 430 millions de personnes, souffrent d'une forme ou d'une autre de déficience auditive. Les appareils auditifs ont fait une différence pour beaucoup d’entre eux. Les nouvelles technologies qui collectent des données pour améliorer l’amplification du son pourraient faire un pas en avant décisif. »
En résumé : Cette recherche montre que les signaux radiofréquences, et même les signaux Wi-Fi, peuvent permettre de lire sur les lèvres même lorsqu'elles sont couvertes par un masque. Je laisse la réflexion sur les usages « négatifs » de cette technologie à l’imagination de chacun, et je me concentre uniquement sur les aspects positifs.
Les futures aides auditives multimodales élimineront toutes les différences entre les gens, amenant ces 5 % de la population mondiale souffrant de problèmes auditifs sur la même « longueur d'onde » (il faut le dire) que tous les autres.
