Модель Pinterest Canvas - это текстово-изображательная модель, обученная на более чем 1,5 миллиарда высококачественных пар текст-изображение, чтобы генерировать визуально привлекательные изображения. Базовая модель дообучается для генерации фотографически реалистических фонов для продуктов, используя двухэтапный процесс обучения, который включает в себя заполение пробелов и сохранение границ объектов. Условные изображения используются для направления процесса генерации, с Unified Visual Embedding (UVE), которая особенно эффективна в влиянии на результаты. Модель улучшается с помощью IP-Adapter для обработки дополнительных визуальных подсказок, что позволяет ей генерировать фоны в конкретных визуальных стилях. Будущие улучшения включают обновление до архитектуры диффузионного трансформатора, исследование подходов мягкого маскирования и включение визуальных вложений, оптимизированных для Pinterest, для улучшения текстового условного влияния. Pinterest Canvas позволяет визуализировать продукты в новых контекстах и улучшать существующие изображения и продукты на платформе.