텍스트-이미지 모델은 종종 단일 프롬프트에서 사용자의 정확한 의도를 파악하는 데 어려움을 겪습니다. 본 연구는 사용자 상호작용을 통해 이미지 생성을 협력적으로 개선하는 강화 학습 에이전트인 PASTA를 소개합니다. PASTA는 안내된 대화를 통해 지루한 프롬프트 시행착오의 필요성을 제거합니다. 이 프로젝트는 인간 평가를 통해 순차적인 사용자 선호도에 대한 새로운 데이터셋을 개발했습니다. PASTA는 이후 실제 데이터와 시뮬레이션 데이터를 혼합하여 훈련되어 우수한 결과를 달성했습니다. 개인 정보 보호 문제로 인해 충분한 실제 사용자 데이터를 수집하는 것은 어렵습니다. 훈련 전략은 초기 실제 인간 피드백과 대규모 사용자 시뮬레이션을 결합했습니다. 유틸리티 및 선택 구성 요소가 있는 사용자 모델이 개발되어 잠재적인 사용자 유형을 식별했습니다. 이 시뮬레이션된 사용자 피드백은 30,000개 이상의 상호작용 궤적을 생성했습니다. 가치 기반 강화 학습 에이전트인 PASTA는 사용자 만족도를 극대화하기 위해 최적의 프롬프트 확장을 선택합니다. 테스트에서 실제 데이터와 시뮬레이션 데이터를 결합하여 훈련된 PASTA는 기준 모델보다 훨씬 뛰어난 성능을 보였습니다. 인간 평가자들은 PASTA가 생성한 이미지를 압도적으로 선호했으며, 이는 개별 창의적 비전에 대한 적응성을 보여줍니다. 본 연구는 보다 상호작용적이고 선호도에 적응하는 생성 AI의 미래를 강조합니다.