Des bio-ingénieurs de l'Université de Californie à Los Angeles ont conçu un appareil en forme de gant capable de traduire la langue des signes en mots écoutables en temps réel. Recherche a été publié dans la revue Nature Electronics.
Jun Chen, professeur adjoint de bio-ingénierie à la UCLA Samueli School of Engineering est l'auteur principal de la recherche. "Nous espérons que cette technologie deviendra un outil simple pour traduire la langue des signes et communiquer directement avec ceux qui ne la connaissent pas, sans avoir besoin d'un intermédiaire", a-t-il déclaré. « Nous espérons également que cela pourra aider davantage de personnes à apprendre la langue des signes par elles-mêmes. »
Comment sont fabriqués les gants de traduction
Le système se compose de deux appareils portables. Ce sont des gants avec des capteurs fins et extensibles qui parcourent la longueur de chacun des cinq doigts. Ces capteurs, fabriqués avec des fils électriquement conducteurs, détectent les mouvements de la main et les positions des doigts indiquant des lettres, des chiffres, des mots et des phrases individuels.
L'appareil transforme ensuite les mouvements des doigts en signaux électriques, qui sont envoyés à un appareil de la taille d'un poignet comme une pièce de monnaie. La carte transmet ces signaux sans fil à un smartphone qui traduit la langue des signes en mots, à raison d'environ un mot par seconde.
Les chercheurs ont également ajouté des capteurs adhésifs sur les visages des testeurs (entre les sourcils et les côtés de la bouche) pour capturer les expressions faciales qui font partie de la langue des signes.
Traduire la langue des signes est plus facile
Les systèmes portables précédents qui offraient une traduction en langue des signes étaient limités par des appareils encombrants et lourds ou étaient inconfortables à porter, a déclaré Chen.
L'appareil développé par l'équipe UCLA est composé de polymères légers, bon marché mais durables et extensibles. Les capteurs électroniques sont également très flexibles et bon marché.
Lors du test du dispositif, les chercheurs ont travaillé avec quatre personnes sourdes qui utilisent la langue des signes. Les porteurs répétaient chaque geste de la main 15 fois. Un algorithme d’apprentissage automatique personnalisé a transformé ces gestes en lettres, chiffres et mots qu’ils représentaient. Le système a reconnu 660 signes, dont toutes les lettres de l'alphabet et les chiffres de 0 à 9.
L'amélioration de cette technologie permettra de briser une barrière importante. Sa miniaturisation garantira qu'un jour, au lieu de gants, il pourra y avoir de simples anneaux portables capables de traduire la langue des signes. Ou il s'ouvrira à des environnements de réalité virtuelle où il y a un dialogue immédiat entre tout le monde, quelle que soit la langue (verbale ou non verbal) connu.
