Модели преобразования текста в изображение часто испытывают трудности с точным улавливанием намерений пользователя из одиночных запросов. Данное исследование представляет PASTA, агента обучения с подкреплением, который совместно дорабатывает генерацию изображений посредством взаимодействия с пользователем. PASTA устраняет необходимость утомительных проб и ошибок с запросами, вступая в управляемый диалог. В рамках проекта был разработан новый набор данных последовательных пользовательских предпочтений на основе человеческих оценок. Затем PASTA был обучен на смеси реальных и симулированных данных для достижения превосходных результатов. Сбор достаточного количества реальных пользовательских данных затруднен из-за проблем с конфиденциальностью. Стратегия обучения сочетала первоначальную обратную связь от реальных людей с масштабным моделированием пользователей. Была разработана модель пользователя с компонентами полезности и выбора, идентифицирующая скрытые типы пользователей. Эта симулированная обратная связь от пользователей сгенерировала более 30 000 траекторий взаимодействия. PASTA, как агент обучения с подкреплением, основанный на ценности, выбирает оптимальные расширения запросов для максимизации удовлетворенности пользователя. В ходе тестирования PASTA, обученный на комбинированных реальных и симулированных данных, значительно превзошел базовые модели. Оценщики-люди подавляющим большинством предпочли изображения, сгенерированные PASTA, демонстрируя его адаптивность к индивидуальным творческим замыслам. Исследование освещает будущее более интерактивного и адаптивного к предпочтениям генеративного ИИ.