Une équipe de chercheurs de l'Université de Californie et des deux départements de Facebook Reality Labs et AI Research a développé un réseau de neurones capable de créer des images 3D et des figures 3D à partir d'images 2D.
Pifu HD, qui signifie Fonction implicite alignée sur les pixels HD, a été formé pour convertir des images 3D et des vidéos qui reproduisent des personnes habillées en 2D.
En plus des traits du visage tels que la bouche et le nez, le système est capable de convertir avec précision les rides et la texture des vêtements en un modèle 3D correspondant. Les poses photographiques féminines sont éloquentes et les poses masculines ne plaisantent pas non plus.
Pifu HD est une version améliorée du précédent AI Pifu, introduit l'année dernière. Avec plus d'informations sur les pixels, vous pouvez transférer des détails plus petits vers un modèle 3D, tels que les plis et la position des doigts. Le scientifique Shunsuke Saito a présenté le nouveau travail dans deux vidéos. Il y a aussi document scientifique avec des informations détaillées.
Formation Pifu HD
Intelligence artificielle est formé pour produire des images 3D en utilisant des images 2D, qui agissent comme des points de repère. Dans le cas spécifique, un ensemble d'images de mode a été utilisé, qui contient des modèles photographiques masculins et féminins dans diverses poses et avec différents vêtements.
Tout comme cela fonctionne pour l’IRM médicale, chaque niveau de profondeur scanné donne lieu à une figure tridimensionnelle. Un encodeur d'image calcule les coordonnées 3D respectives pour chaque pixel 2D et estime s'il se trouve à l'intérieur ou à l'extérieur de la section transversale de l'image considérée. Et de l’image à la 3D, il n’y a qu’un pas.
Pifu HD encode les images parallèles en résolution réduite et utilise les informations pour créer son propre modèle 3D.
La démo vidéo fonctionne assez bien. Par conséquent, Pifu peut générer une figure humaine 3D à partir d'images de modèles. De plus, un modèle 3D beaucoup plus détaillé à partir de différentes images de la même personne cible avec différents angles de vision.
Il nous faut encore du temps
Pifu n'est pas encore complètement développé et n'est pas assez efficace pour être utilisé de manière productive avec ses modèles 3D. La vitesse de création et d'apprentissage de ce logiciel est cependant stupéfiante.
