NDSS 2025 – TrajDeleter: 오프라인 강화학습 에이전트에서 궤적 망각 활성화

논문 "TrajDeleter: 오프라인 강화 학습 에이전트에서 궤적 망각 활성화"가 NDSS 심포지엄에서 발표되었습니다. 이 논문의 저자는 버지니아 대학교와 중국 과학원의 Hen Gong, Kecen Li, Jin Yao, Tianhao Wang입니다. 이 논문은 미리 수집된 데이터 세트를 사용하여 에이전트를 훈련하는 오프라인 강화 학습의 개념과 훈련 데이터 세트 및 훈련된 에이전트에서 특정 궤적의 영향을 제거해야 할 필요성에 대해 논의합니다. 저자들은 오프라인 RL 에이전트를 위한 궤적 언러닝에 대한 실용적인 접근 방식인 TRAJDELETER를 제안합니다. TRAJDELETER는 에이전트가 언러닝 궤적과 관련된 상태를 만났을 때 성능 저하를 보이도록 유도합니다. TRAJDELETER는 에이전트가 다른 남아있는 궤적에 직면했을 때 원래 성능 수준을 유지하도록 보장합니다. 저자들은 또한 TRAJDELETER가 오프라인 RL 에이전트에서 특정 궤적의 영향을 성공적으로 제거했는지 평가하는 방법인 TRAJAUDITOR를 소개합니다. 6개의 오프라인 RL 알고리즘과 3개의 작업에 대해 수행된 실험은 TRAJDELETER의 효과를 입증하며, 처음부터 다시 훈련하는 데 필요한 시간의 약 1.5%만 필요합니다. TRAJDELETER는 대상 궤적의 평균 94.8%를 효과적으로 언러닝하고 언러닝 후에도 실제 환경 상호 작용에서 여전히 잘 수행됩니다. 네트워크 및 분산 시스템 보안 심포지엄(NDSS)은 네트워크 및 분산 시스템 보안 연구원과 실무자 간의 정보 교환을 촉진하는 플랫폼입니다. NDSS 심포지엄은 인터넷 커뮤니티가 사용 가능한 보안 기술의 상태를 적용, 배포 및 발전시키도록 장려하고 지원하는 것을 목표로 하며, 논문의 내용은 조직의 YouTube 채널에서 확인할 수 있습니다.