Experts de Google Recherche et dell 'Université hébraïque de Jérusalem ils ont développé Rêveix, un logiciel capable d'utiliser n'importe quel matériel pour créer des vidéos correspondant à des instructions textuelles. Une nouvelle avancée pour l’intelligence artificielle générative dans la sauvegarde de toutes les formes d’expression (après textes, images e acoustique). La particularité de Dreamix est qu'il ne se limite pas à des instructions textuelles, mais accepte également des photos ou des vidéos de référence pour une meilleure adaptabilité aux idées des utilisateurs.
Trois modes de fonctionnement à partir d'instructions textuelles, d'images, de clips
À partir d'images, de clips ou d'instructions textuelles, Dreamix propose trois fonctionnalités principales : montage vidéo, génération d vidéo à partir d'images et génération basé sur le sujet.
Avec le 'montage vidéo, Dreamix peut facilement lire des vidéos d'entrée et remplacer des éléments par vos objets préférés. Par exemple, vous pouvez télécharger un clip d'une personne coupant un fruit et demander à l'IA de remplacer le fruit par une part de gâteau. Vous pouvez fournir quelques clichés d'un champ de maïs et créer une scène plus dramatique. Comme toujours, je vais d'abord vous montrer les clips des deux exemples.
Dreamix est capable de produire des vidéos commencer par les images (et/ou instructions textuelles). Dans cet exemple, l’intelligence artificielle a transformé une image statique en une œuvre dynamique en insérant un requin nageant et en faisant bouger la tortue. La position et l'arrière-plan sont restés fidèles à l'image originale, tandis que la direction de la tortue a été modifiée.
La dernière des trois fonctionnalités permet à Dreamix de créer des vidéos animées à partir d'une petite collection d'images montrant le même sujet. Par exemple, si vous fournissez à cette IA des images d'un pompier jouet, elle extrait les caractéristiques visuelles du sujet et les anime afin que le sujet puisse effectuer des actions définies dans des instructions textuelles.
En bref
Cette technologie pourrait changer la donne pour les créatifs qui ne s’appuient pas uniquement sur le langage verbal, mais qui s’inspirent également des arts visuels. Pour l'instant, les résultats semblent encore très incertains, mais ils démontrent néanmoins la capacité de l'IA à comprendre les instructions textuelles et le contexte des images saisies.
Dreamix peut être une aide précieuse pour accélérer la création de storyboards ou générer des illustrations de référence. Il n'est pas actuellement accessible au public (et on se demande si Google en fera l'un des « porte-étendards » pour répondre à ChatGPT), mais il ne faudra pas longtemps pour voir cet outil ou d'autres outils similaires développés par différentes sociétés.
L’intelligence artificielle générative est appelée à avoir son mot à dire également avec la télévision et le cinéma. Voulez-vous plus d'exemples? Voici toute la présentation.
