L'intelligence artificielle et les algorithmes d'apprentissage automatique capables de lire les lèvres à partir de vidéos n'ont en fait rien d'extraordinaire.
En 2016, des chercheurs de Google et de l'Université d'Oxford ont détaillé un système capable de lire sur les lèvres et d'annoter des films avec une précision de 46,8%. Cela vous semble-t-il peu? Il surclassait déjà la précision de 12,4% d'un lecteur labial humain professionnel. Et il n'y avait pas encore de LIBS.
Cependant, 46,8% ne sont pas à la hauteur des capacités que l'intelligence artificielle peut montrer aujourd'hui. Les systèmes de pointe ont du mal à surmonter les ambiguïtés dans les mouvements des lèvres, qui empêchent leurs performances de surpasser celles de la reconnaissance vocale basée sur l'audio.
A la recherche d'un système plus performant, les chercheurs Alibaba, Université du Zhejiang et Stevens Institute of Technology ils ont conçu une méthode baptisée Lèvre par parole (LIBS), qui utilise des fonctionnalités extraites de la reconnaissance vocale pour servir d'indices complémentaires. Le système élève la barre de 8% supplémentaires et peut encore s'améliorer.
LIBS et d'autres solutions similaires peuvent aider les personnes malentendantes à suivre des vidéos sans sous-titres. On estime que 466 millions de personnes dans le monde souffrent de déficience auditive, soit environ 5% de la population mondiale. D'ici 2050, ce nombre pourrait atteindre plus de 900 millions, selon l'Organisation mondiale de la santé.
La méthode AI pour lire la lèvre
LIBS tire des informations audio utiles de plusieurs facteurs: Comme un cryptographe expérimenté, l'IA recherche des mots compréhensibles. À ce moment-là, il les compare avec la correspondance labiale et va chercher toutes les correspondances labiles similaires. Mais cela ne s'arrête pas là: il compare également la fréquence vidéo de ces images, et d'autres indices techniques, affinant la recherche pour lire la lèvre même dans des mots incompréhensibles à notre oreille.
Si cela semble compliqué, réessayez, mais je ne promets rien.
Je cite Document de présentation technologique. «Les composants de reconnaissance vocale et de lecteur labial LIBS sont tous deux basés sur une architecture séquence-séquence basée sur l'attention, une méthode de traduction automatique qui mappe une entrée à une séquence (audio ou vidéo). »
Les chercheurs ont formé l'IA sur une première base de données contenant plus de 45.000 100.000 phrases prononcées par la BBC et CMLR, le plus grand corpus chinois disponible pour la lecture labiale en mandarin, avec plus de XNUMX XNUMX phrases naturelles.
Les domaines d'application ne se limitent pas à l'aide aux sourds. La coutume d'attribuer une utilisation «socialement noble» à chaque technologie ne doit jamais faire oublier que l'utilisation principale de ces technologies se situe dans le secteur militaire ou sécuritaire.
Personne n'a pensé au fait que ce système peut rendre la surveillance de la sécurité encore plus infaillible et omniprésente étonnantes nouvelles caméras de sécurité, ou de nouveaux systèmes satellitaires?
Avec l'IA, devenez maintenant un œil omniscient ce sera une blague à écouter (ou reconstruire) nos chuchotements même depuis un satellite en orbite.
