Les chercheurs du Carnegie Mellon University (CMU) ont développé un système de caméra capable de détecter les vibrations sonores avec un niveau de précision permettant de recréer l'audio sans inférence ni microphone. L'entreprise? Travail de l'équipe de Institut de Robotique (IR) de la CMU School of Computer Science pour construire le système, composé de deux caméras et d'un laser.
Le système de caméra peut détecter « des vibrations de surface à grande vitesse et de faible amplitude » que l'œil humain ne peut pas voir, a déclaré l'université dans un communiqué. un communiqué de presse.
Caméras à bas prix, très hautes performances
Le système est équipé de caméras classiques plutôt que de caméras à grande vitesse utilisées dans les recherches précédentes, ce qui entraînera une réduction significative des coûts. "Nous avons rendu le microphone optique beaucoup plus pratique et utilisable", a-t-il déclaré. Srinivasa Narasimhan, professeur de robotique et responsable du laboratoire d'éclairage et d'imagerie. « Nous avons amélioré la qualité tout en réduisant les coûts. »
Un algorithme compare les motifs de taches capturés par un obturateur et un obturateur global. Utilise les différences entre les modèles pour calculer les vibrations et recréer l'audio. Un motif moucheté (qui dans ce cas est créé par le laser) fait référence au comportement d'une lumière cohérente dans l'espace après avoir été réfléchie par une surface rugueuse. Ce comportement change lorsque la surface vibre. Le volet roulant numérise rapidement une image d'un bout à l'autre, tandis qu'un volet roulant capture une image entière à la fois.
"Ce système repousse les limites de ce qui peut être fait avec la vision par ordinateur", a déclaré le professeur adjoint Matthew O'Toole, co-auteur de un document à propos du système, a-t-il déclaré. "Il s'agit d'un nouveau mécanisme permettant de capturer de minuscules vibrations à grande vitesse et présente un nouveau domaine de recherche."
Isolez les différents sons avec un tournage vidéo normal
Les chercheurs affirment avoir réussi à isoler le son des guitares jouées en même temps. Ils affirment que le système était capable de se concentrer sur un sac de chips et d'utiliser uniquement ses vibrations pour reconstruire son son. Le son a été transmis depuis un haut-parleur avec une fidélité jamais atteinte auparavant.
Il existe de nombreuses applications potentielles pour cette technologie. Les chercheurs suggèrent, par exemple, que le système puisse surveiller les vibrations des machines d'une usine pour rechercher des signes de problèmes. Les ingénieurs du son peuvent également isoler le son d'un instrument pour améliorer le mixage. Essentiellement, cela pourrait aider à éliminer le bruit ambiant des enregistrements audio.
