Etsy는 구매자와 판매자 경험을 개선하기 위해 온라인 실험을 활용합니다. 실험을 진행하는 데 몇 주가 걸릴 수 있으며, 이는 빠른 반복을 방해합니다. CUPED와 같은 분산 감소 기술은 실험 기간을 단축하는 데 도움이 됩니다. Etsy는 2021년에 처음 CUPED를 구현하여 적당한 분산 감소를 달성했습니다. 이후 Etsy는 CUPED를 기반으로 머신 러닝을 사용하여 결과 지표를 예측하는 CUPAC를 채택했습니다. CUPAC는 더 나은 예측을 위해 실험 전 데이터를 비선형 모델에서 사용합니다. 이는 실험 결과의 정확성과 속도를 향상시킵니다. Etsy는 CUPAC를 위해 100개 이상의 실험 전 특징을 사용하여 LightGBM 모델을 훈련합니다. CUPAC 구현은 분산 감소를 크게 증가시켰습니다. 이는 실험 기간을 평균 3일 단축하여 더 빈번한 테스트를 가능하게 했습니다. Etsy는 CUPED를 확장하고 추가적인 분산 감소 방법을 탐색할 계획입니다.