바리스타: 머신 러닝 모델 배포에서 더 큰 유연성을 가능하게 함

기계 학습 (ML) 모델 배포는 실험에서 엄격한 엔지니어링 제약으로의 전환을 포함하여 유연성과 안정성 사이의 균형을 맞추는 데 어려움이 있습니다. Etsy의 ML 플랫폼 팀은 Kubernetes를 사용하여 모델 크기 조정 및 오케스트레이션을 처리하고, Barista가 모델 배포를 관리합니다. 처음에는 모델 구성이 코드로 관리되어 엄격한 제어를 제공했지만 지연 및 병목 현상이 발생했습니다. 이러한 문제를 해결하기 위해 구성이 분리되어 데이터베이스에 저장되었습니다. 이렇게 되면 CLI를 통해 즉시 변경할 수 있었습니다. 그러나 CLI는 기술적 지식이 필요했으므로 모델 관리를 위한 사용자 친화적 웹 인터페이스를 개발하게 되었습니다. Barista 웹 인터페이스는 배포에 대한 포괄적인 제어를 제공하고 다양한 API와 통합하며 배포 프로세스를 간소화합니다. 증가하는 모델 배포 속도는 비용 및 잘못된 구성에 대한 우려를 초래하여 사용되지 않는 배포를 자동으로 크기 조정하는 Kube Downscaler를 구현하게 되었습니다. 기본적인 기술 요구 사항을 충족하는 데 초점을 맞추는 것에서 완전한 제품을 구축하여 ML 사용자를 강화하는 데로 초점이 이동했습니다. 현재의 노력은 서비스의 일관성 및 자동화를 향상시키는 데 초점을 맞추고 있습니다. 이를 통해 인프라 설정을 최적화하고 클라우드 비용을 추가로 줄이려 합니다. ML 실천이 확장됨에 따라 플랫폼은 팀의 증가하는 요구 사항을 충족하는 데 지속적으로 진화해야 합니다.