L’utilisation de modèles génératifs est devenue monnaie courante grâce à la popularité de ChatGPT. Aujourd’hui, ces intelligences artificielles couvrent tous les supports de créations, écrit, audio, images et désormais vidéos. Runway, la start-up derrière Stable Diffusion, vient de sortir Gen-1, un système capable de transformer des vidéos.
Qu’est-ce que Gen-1 ?
La start-up Runway, à l’origine de Stable Diffusion, revient avec son nouvel outil, Gen-1. Ce nouveau modèle, alimenté par l’intelligence artificielle, ajoute des filtres ou des modifications visuelles sur des vidéos. Via un module de compréhension du langage humain NLP, les utilisateurs peuvent demander des modifications de leurs vidéos avec une simple commande textuelle.
Disponible sur le Cloud de Runway, Gen-1 a été développé par et pour les experts de la création vidéo. Le modèle devrait être disponible au grand public dans quelques semaines.
Quel est le potentiel de Gen-1 ?
Gen-1 peut synthétiser ou modifier des vidéos existantes pour en créer de nouvelles. Il peut utiliser cinq modes : Stylisation pour donner un style graphique à la vidéo ; Storyboard en transformant une vidéo en un rendu totalement animé ; Masque pour isoler les sujets de la vidéo et les remanier à la demande de l’utilisateur ; Render afin de convertir des modélisations 3D non texturés en une vidéo ; Personnalisation de façon à exploiter tous les modes en même temps.
De nombreuses études d’utilisateurs ont montré que Gen-1 est considéré comme plus performant que Stable Diffusion 1.5 et Text2Live, deux applications de conversions d’image à image ou vidéo à vidéo.
La popularité de modèles génératifs comme ChatGPT a permis le développement d’outils créatifs arborant le domaine de l’écrit, de l’audio, de l’image et désormais de la vidéo. Si les modèles de générations vous intéresse, n’hésitez pas à découvrir le modèle vocal de Microsoft, VALL-E, ou alors renseignez-vous sur le concurrent Google de ChatGPT, Bard. Dans tous les cas, si la Data Science vous intéresse ou si vous envisagez une carrière dedans, n’hésitez pas à découvrir nos offres de formations et nos autres articles sur DataScientest.
Source : research.runwayml.com
