에스티의 ML 플랫폼에서 딥 러닝 지원 개선

에티의 Search Ranking 팀은 딥 러닝 랭킹 모델을 대규모로 제공하는 데 있어 높은 지연 시간과 계산 비용 등의 문제를 직면했습니다. 이를 해결하기 위해, 팀은 모델 개발 중 초기 지연 피드백을 제공하는 도구인 Caliper를 개발했습니다. 추론 구성 요소를 분리하여 Caliper는 배치 크기와 같은 매개변수의 효율적인 튜닝을 허용합니다. 또한 분산 추적 및 Envoy 액세스 로그를 통해 더 나은 관찰 가능성을 확보하여 기능 전송에서 병목 현상을 확인할 수 있었습니다. 압축 기술을 활용하여 페이로드 크기를 크게 줄이는 데 성공하여 오류율이 68% 감소하고 p99 지연이 50ms 줄었습니다. 향후 복잡성을 대비하여 팀은 추가 페이로드 크기 최적화 및 Caliper의 자동 성능 튜닝 개선에 대한 탐색을 진행하고 있습니다. 이러한 발전은 Search Ranking 팀이 에티 사용자에게 빠르고 정확한 검색 결과를 제공하는 데 있어 딥 러닝 모델을 대규모로 제공할 수 있도록 강화했습니다.