Nvidia a démontré un nouvel algorithme d'intelligence artificielle étonnant qui peut transformer automatiquement certaines photos en une scène 3D réaliste.
L'algorithme, basé sur un réseau neuronal d'apprentissage profond, a pu créer une scène 3D à partir de seulement 12 plans, avec un rendu en quelques secondes seulement. Les résultats sont encore loin d'être parfaits mais époustouflants : ils montrent la promesse d'applications futures dans des domaines tels que le montage vidéo et le rendu de visages, de personnes ou de paysages.
Nvidia a publié une vidéo démontrant l'algorithme en action – vérifiez-la par vous-même.
NERF instantané, la « magie » 3D de Nvidia.
L'outil développé par Nvidia est connu sous le nom d'Instant NERF, dérivé des « champs de rayonnement neuronal », une technique de Google Research et de l'Université UC San Diego de Californie lancée en 2020.
Si vous voulez vraiment en savoir plus jetez un oeil ici (Texte en anglais). Si, par contre, vous êtes satisfait de ce que je comprends : en substance, la technique couple les données de couleur et d'intensité lumineuse de certaines images 2D pour produire une scène 3D. Et en fait, en plus des photographies, le système a besoin d'informations sur la position de la caméra.
Les chercheurs travaillent depuis quelques années à améliorer ce type de modèle de la 2D à la 3D, ajoutant ainsi plus de complexité aux rendus, tout en réduisant simultanément les délais d'exécution. En fait, Nvidia affirme que sa nouvelle méthode de rendu avec Instant NeRF est peut-être la plus rapide jamais créée : la procédure passe de quelques minutes à une réalisation pratiquement instantanée.
Champs d'application possibles
Au fur et à mesure que la technique devient plus rapide et plus facile à mettre en œuvre, elle pourrait être utilisée pour tous les types d'entreprises, déclare Nvidia dans un article de blog. décrivant le travail.
Instant NeRF peut être utilisé pour générer des avatars ou des environnements pour des mondes virtuels, capturer les participants à une vidéoconférence et leur environnement en 3D, ou recréer des paramètres pour des cartes numériques 3D, selon Isha Salyan de Nvidia.
Cette technologie pourrait être utilisée pour enseigner aux robots et aux voitures autonomes comment identifier la taille et la forme d’objets du monde réel en prenant des photographies ou des vidéos en 2D. Il sera également très utile en architecture et en divertissement. Il aidera les startups (y compris italiennes, comme celui-ci) pour créer des représentations numériques plus rapides d'environnements réels que les créateurs peuvent modifier et développer en un clin d'œil.
