Le laboratoire NVIDIA AI de Toronto présente un modèle Text-to-Video basé sur Stable Diffusion Dans le cadre de la Conférence IEEE sur la vision par ordinateur et la reconnaissance des formes (CVPR) 2023, l’équipe de recherche du laboratoire NVIDIA AI de Toronto présente ses recherches sur la synthèse vidéo haute résolution avec les modèles de diffusion latente, notamment un modèle de synthèse Text-to-Video haute résolution basé sur le modèle Stable Diffusion open source de Stability AI. Entraîner un modèle de diffusion dans un espace latent permet d’obtenir une synthèse d’image de haute qualité tout en évitant les demandes de calcul excessives. Pour appliquer le paradigme LDM à la génération vidéo haute résolution, une tâche particulièrement gourmande en ressources, l’équipe de recherche a utilisé des LDM d’image pré-entraînés prêts à l’emploi. Les LDM vidéo “Nous présentons des modèles de diffusion latente vidéo (LDM vidéo) pour une génération vidéo...