Un laboratoire informatique travaillant à simplifier l’interaction homme-machine pour les personnes de toutes capacités a développé un lecteur labial numérique doté de son propre système d’apprentissage automatique qui aide l’utilisateur à mieux comprendre.
Type de lèvres C'est l'invention du professeur Ahmed Sabbir Arif et son laboratoire. En bref: lisez le mouvement des lèvres. Il le lit si bien qu'il permet aux gens d'envoyer des messages texte ou des e-mails sur des PC et des smartphones, et d'avoir des interactions sans contact avec des appareils publics tels que des guichets automatiques ou d'autres kiosques. sans parler à haute voix.
Il existe d'autres appareils de lecture labiale, mais ils ne sont pas largement utilisés car ils sont lents et souvent défectueux.
Un bond en avant
Il existe de nombreuses erreurs de dictée, notamment dans les endroits bruyants. Les personnes ayant des problèmes de langage ont également du mal à se faire comprendre, peut-être à cause de leur accent. LipType fonctionne pour tout le monde. Les gens peuvent avoir besoin d'envoyer un message privé dans un espace public ou lors d'une réunion, et avec LipType, ils peuvent simplement bouger les lèvres sans faire de son.
Arif ses étudiants ont ajouté divers filtres avec différents algorithmes l'intelligence artificielle pour permettre la lecture labiale dans différentes conditions d'éclairage. Ils ont ensuite introduit un correcteur d'erreur basé sur différents modèles de langage et ont constaté que LipType était nettement plus rapide que les autres appareils existants.
Le test de lecture labiale
Pour accompagner le test du logiciel, le laboratoire d'Arif a mené une étude sociale pour voir si les gens utiliseraient une telle technologie. Ils ont contacté des étudiants et des personnes de la communauté, y compris des personnes handicapées, et ont mené une enquête en ligne. Les réactions ont été enthousiastes.
Les résultats des tests logiciels étaient également exceptionnels. "Le LipType a fonctionné 58 % plus rapidement que les autres modèles", déclare le chercheur. Laxmi Pandey. « L'appareil s'est avéré être à la pointe de la technologie dans divers contextes réels, avec une faible luminosité et un faible bruit. Le succès de LipType me fait croire qu'il peut révolutionner notre interaction les uns avec les autres et avec les appareils informatiques."
L'étude sociale et l'étude sur les lecteurs labiaux LipType ont été acceptées pour publication et présentation lors de la grande conférence internationale sur l'interaction homme-machine.
Les applications possibles du lecteur labial LipType
Il existe plusieurs applications possibles pour ce système de lecture labiale. De toute évidence, LipType peut rapprocher les personnes handicapées des outils numériques. Dans de nombreux cas, il pourrait être utile à la police de comprendre ce qui se passe dans des scénarios dans lesquels elle ne peut pas accéder en écoutant. Les interfaces de voiture peuvent également être utiles, vous permettant ainsi d'écrire des messages même en écoutant de la musique. Il existe une philosophie de conception pour tout : la limite est votre imagination.
