Sommaire
Google réalise une vidéo de votre site web
Chez Google, ils explorent activement comment les gens peuvent utiliser des outils de créativité alimentés par l’apprentissage automatique et des méthodes de calcul lors de la production de contenu multimédia, de la création de musique et du recadrage de vidéos au dessin et plus. Un processus créatif en particulier, la production vidéo, peut particulièrement bénéficier de ces outils, car il nécessite une série de décisions sur le contenu le mieux adapté à un public cible, comment positionner les actifs disponibles dans le champ de vision et quel arrangement temporel donnera le récit le plus convaincant. Mais que se passerait-il si l’on pouvait tirer parti des ressources existantes, comme lorsqu’on va créer un site Web, pour se lancer dans la création vidéo? Les entreprises hébergent généralement des sites Web contenant de riches représentations visuelles de leurs services ou produits, qui pourraient tous être réutilisés pour d’autres formats multimédias, tels que des vidéos, permettant potentiellement à ceux qui n’ont pas de ressources importantes de toucher un public plus large.
Dans « Création vidéo automatique à partir d’une page Web », publié à l’ UIST 2020 , Google présente URL2Video, un prototype de pipeline de recherche pour convertir automatiquement une page Web en une courte vidéo, compte tenu des contraintes temporelles et visuelles fournies par le propriétaire du contenu. URL2Video extrait les ressources (texte, images ou vidéos) et leurs styles de conception (y compris les polices, les couleurs, les mises en page graphiques et la hiérarchie) à partir de sources HTML et organise les ressources visuelles en une séquence de prises de vue, tout en conservant une apparence et une sensation similaires à la page source. Compte tenu d’un rapport hauteur / largeur et d’une durée spécifiés par l’utilisateur, il convertit ensuite les matériaux réutilisés en une vidéo idéale pour la publicité de produits et de services.
Présentation d’URL2Video
Supposons qu’un utilisateur fournisse une URL vers une page Web qui illustre son entreprise. Le pipeline URL2Video sélectionne automatiquement le contenu clé de la page et décide de la présentation temporelle et visuelle de chaque élément, sur la base d’un ensemble d’heuristiques dérivées d’une étude d’entrevue avec des concepteurs familiarisés avec la conception de site Web et la création d’annonces vidéo. Ces heuristiques informées par le concepteur capturent les styles de montage vidéo courants, y compris la hiérarchie du contenu, limitant la quantité d’informations dans une prise de vue et sa durée, fournissant une couleur et un style cohérents pour la marque, etc. À l’aide de ces informations, le pipeline URL2Video analyse une page Web, analyse le contenu et sélectionne du texte ou des images visuellement saillants tout en préservant leurs styles de conception, qu’il organise en fonction des spécifications vidéo fournies par l’utilisateur.
Analyse de page Web
À partir d’une URL de page Web, URL2Video extrait les informations de modèle d’objet de document (DOM) et les matériaux multimédias. Pour les besoins de notre prototype de recherche, Google limite le domaine aux pages Web statiques qui contiennent des actifs et des en-têtes saillants conservés dans une hiérarchie HTML qui suit les principes de conception Web récents, qui encouragent l’utilisation d’éléments proéminents, de sections distinctes et d’un ordre de focalisation visuelle qui guide les lecteurs dans la perception de l’information. URL2Video identifie ces éléments visuellement distinctifs comme une liste candidate de groupes d’actifs, chacun d’entre eux pouvant contenir un en-tête, une image de produit, des descriptions détaillées et des boutons d’appel à l’action, et capture à la fois les actifs bruts (fichiers texte et multimédia) et des spécifications de conception détaillées (balises HTML, styles CSS et emplacements de rendu) pour chaque élément. Il classe ensuite les groupes d’actifs en attribuant à chacun un score de priorité basé sur leur apparence visuelle et leurs annotations, y compris leurs balises HTML, les tailles de rendu et l’ordre affiché sur la page. De cette manière, un groupe d’actifs qui occupe une plus grande zone en haut de la page reçoit un score plus élevé.
Sélection d’actifs basée sur les contraintes
Deux objectifs sont considérés lors de la composition d’une vidéo: (1) chaque plan vidéo doit fournir des informations concises, et (2) la conception visuelle doit être cohérente avec la page source. Sur la base de ces objectifs et des contraintes vidéo fournies par l’utilisateur, y compris la durée de la vidéo prévue (en secondes) et le format d’image (généralement 16: 9, 4: 3, 1: 1, etc.), URL2Video sélectionne et classe automatiquement l’élément. groupes pour optimiser le score de priorité total. Pour rendre le contenu concis, il ne présente que les éléments dominants d’une page, comme un titre et quelques éléments multimédias. Il limite la durée de chaque élément visuel pour que les téléspectateurs perçoivent le contenu. De cette façon, une courte vidéo met en évidence les informations les plus importantes du haut de la page, et une vidéo plus longue contient plus de campagnes ou de produits.
Composition de scène et rendu vidéo
Étant donné une liste ordonnée d’actifs basée sur la hiérarchie DOM, URL2Video suit l’heuristique de conception obtenue à partir des études d’entretien pour prendre des décisions sur la disposition temporelle et spatiale pour présenter les actifs dans des plans individuels. Il transfère la disposition graphique des éléments dans le rapport hauteur / largeur de la vidéo et applique les choix de style, y compris les polices et les couleurs. Pour rendre une vidéo plus dynamique et attrayante, il ajuste la synchronisation de présentation des éléments. Enfin, il rend le contenu dans une vidéo au format conteneur MPEG-4.
Contrôle de l’utilisateur
L’interface du prototype de recherche permet à l’utilisateur de revoir les attributs de conception dans chaque plan vidéo extrait de la page source, de réorganiser les matériaux, de modifier la conception détaillée, comme les couleurs et les polices, et d’ajuster les contraintes pour générer une nouvelle vidéo.
Cas d’utilisation d’URL2Video
Cela démontre les performances du pipeline URL2Video de bout en bout sur une variété de pages Web existantes. Ci-dessous est mis en évidence un exemple de résultat où URL2Video convertit une page qui intègre plusieurs clips vidéo courts en une vidéo de sortie de 12 secondes. Notez comment le pipeline prend des décisions d’édition automatiques sur les choix de police et de couleur, la synchronisation et l’ordre du contenu dans une vidéo capturée à partir de la page source.
La vidéo ci-dessous fournit une démonstration supplémentaire:
Pour évaluer les vidéos générées automatiquement, une étude utilisateur est menée avec des designers de Google. Less résultats montrent qu’URL2Video a extrait efficacement les éléments de conception d’une page Web et a pris en charge les concepteurs en amorçant le processus de création vidéo.
Prochaines étapes
Alors que cette recherche actuelle se concentre sur la présentation visuelle, de nouvelles techniques sont en développement et prennent en charge la piste audio et une voix off dans le montage vidéo. Dans l’ensemble, un avenir est envisagé où les créateurs se concentrent sur la prise de décisions de haut niveau et un modèle ML suggère de manière interactive des modifications temporelles et graphiques détaillées pour une création vidéo finale sur plusieurs plates-formes.
Source : GoogleBlog