Towards Data Science | Medium 日本語 フォロー AIコスト削減のためにルーティングレイヤーを構築した。製品が壊れた。 チームはAI推論の請求額を半分以上に削減しました。3ヶ月後、顧客満足度は低下し、コスト削減は品質低下と結びついていました。コスト最適化ルーティングレイヤーはパレートの罠であり、ここでは数ヶ月ではなく数日でそれらを検出する検出方法を紹介します。 AI and ML News on Bluesky @ai-news.at.thenote.app bsky.app We Built a Routing Layer to Cut Our AI Costs. It Broke the Product. towardsdatascience.com