Experts de Google Recherche et dell 'Université hébraïque de Jérusalem ils ont développé Dreamix, un logiciel qui peut utiliser n'importe quel matériel pour créer des vidéos qui correspondent aux instructions textuelles. Une nouvelle avancée de l'intelligence artificielle générative dans la protection de toutes les formes d'expression (après textes, images e acoustique). La particularité de Dreamix est qu'il ne se limite pas à des instructions textuelles, mais accepte également des photos ou des vidéos de référence pour une meilleure adaptabilité aux idées des utilisateurs.
Trois modes de fonctionnement à partir d'instructions textuelles, d'images, de clips
À partir d'images, de clips ou d'instructions textuelles, Dreamix propose trois fonctionnalités principales : montage vidéo, génération d vidéo à partir d'images et génération basé sur le sujet.
Avec 'montage vidéo, Dreamix peut facilement lire des vidéos d'entrée et remplacer des éléments par vos objets préférés. Par exemple, vous pouvez télécharger un clip d'une personne coupant un morceau de fruit et demander à l'IA de remplacer le fruit par un morceau de gâteau. Vous pouvez fournir des images d'un champ de maïs et créer des paysages plus spectaculaires. Comme toujours, je vais d'abord vous montrer les clips des deux exemples.
Dreamix est capable de produire des vidéos commencer par les images (et/ou instructions textuelles). Dans cet exemple, l'IA a transformé une image statique en une œuvre dynamique en insérant un requin nageur et en faisant bouger la tortue. La position et l'arrière-plan sont restés fidèles à l'image d'origine, tandis que la direction de la tortue a été modifiée.
La dernière des trois fonctionnalités permet à Dreamix de créer des vidéos animées à partir d'une petite collection d'images montrant le même sujet. Par exemple, si vous donnez à cette IA des images d'un pompier jouet, elle extrait les caractéristiques visuelles du sujet et les anime afin que le sujet puisse effectuer des actions définies dans des instructions textuelles.
En bref
Cette technologie pourrait changer la donne pour les créatifs qui non seulement s'appuient sur le langage verbal, mais qui s'inspirent également des arts visuels. Pour le moment, les résultats semblent encore très incertains, mais ils démontrent toujours la capacité de l'IA à comprendre les instructions textuelles et le contexte des images d'entrée.
Dreamix sera d'une grande aide pour accélérer la création de storyboards ou générer des illustrations de référence. Il n'est pas accessible au public pour le moment (et nous nous demandons si Google en fera l'un des "porteurs standard" pour répondre à ChatGPT), mais il ne faudra pas longtemps avant de voir cet outil ou d'autres outils similaires développés par différentes entreprises.
L'intelligence artificielle générative a aussi vocation à avoir son mot à dire auprès de la télévision et du cinéma. Vous voulez plus d'exemples ? Voici toute la présentation.
