Barista: 機械学習モデルの展開における大きな柔軟性の実現

機械学習（ML）モデルのデプロイメントは、実験から厳格なエンジニアリングの制約に移行するもので、柔軟性と安定性のバランスをとる上で課題が生じます。 EtsyのMLプラットフォームチームは、Kubernetesを使用してモデルをスケーリングし、Orchestrateします。Baristaがモデルデプロイメントを管理します。 当初、モデル構成はコードとして管理され、厳格な制御を提供しましたが、遅延とボトルネックが生じました。 これらの問題に対処するために、構成が切り離され、データベースに保存されました。この変更で、CLI経由での即時的な変更が可能になりました。 しかし、CLIは技術的なスキルが必要でしたため、モデル管理のためのユーザーフレンドリーなウェブインターフェースが開発されました。 Baristaウェブインターフェースは、デプロイメントに関する包括的な制御を提供し、様々なAPIと統合し、デプロイメントプロセスを簡略化します。 モデルデプロイメントの頻度が高まったことで、コストと誤設定に関する懸念が生じました。これがKube Downscalerの実装につながり、使用されていないデプロイメントを自動的にスケールダウンするようになりました。 基本的な技術的な要件を満たすことに焦点が当たっていたが、MLユーザーを力づける完全な製品を構築することに移りました。 現在の努力は、サービスの一貫性と自動化を向上させ、インフラストラクチャーの設定を最適化し、さらなるクラウドコスト削減を目指しています。 MLの実践が拡大するにつれて、プラットフォームもチームの成長するニーズに対応するように進化しなければならなくなります。