Le modèle de texte-à-image Pinterest Canvas est entraîné sur plus de 1,5 milliard de paires texte-image de haute qualité pour générer des images visuellement attrayantes. Le modèle de base est affiné pour générer des arrière-plans photoréalistes pour les produits, en utilisant un processus d'entraînement en deux étapes qui implique le remplissage et préserve les limites des objets. Les images de conditionnement sont utilisées pour guider le processus de génération, avec l'intégration de l'embedding visuel unifié (UVE) qui s'est avérée particulièrement efficace pour influencer les sorties. Le modèle est amélioré avec IP-Adapter pour traiter des prompts d'image supplémentaires, ce qui lui permet de générer des arrière-plans dans des styles visuels spécifiques. Les améliorations futures incluent la mise à niveau vers une architecture de diffusion de transformateur, l'exploration d'approches de masquage souple et l'intégration d'embeddings visuels optimisés pour Pinterest pour une meilleure condition textuelle. Pinterest Canvas permet de visualiser les produits dans de nouveaux contextes et d'améliorer les images et les produits existants sur la plateforme.