生成AI統合ラッシュの請求書が届き、それはEgressコスト、トークン肥大、アイドルコンテナメモリで表されています。 過去2年間、エンジニアリングチームは、既存のアーキテクチャの上にモデルを重ねるという、最も抵抗の少ない経路でLLMを統合してきました。人間向けのユースケースでは、これはうまくいきます。人間は暗黙のコンテキストを提供し、わずかな遅延を許容し、エラーを直感的に修正します。