企業は単純なAIクエリに過払いしている — Snowflak... ノート
VentureBeat 日本語

企業は単純なAIクエリに過払いしている — Snowflakeのゲートウェイがコストを最大3倍削減するために自動ルーティングを開始

エンタープライズチームは、すべてのタスクに単一のAIモデルを使用することに苦労しています。なぜなら、単純なクエリには高すぎたり、複雑なクエリには不十分だったりするためです。各タスクに最適なモデルを自動的に選択するモデルルーティングが、解決策として登場しています。SnowflakeのCortex AI Gatewayは、動的なモデルルーティング機能を備えており、ユーザーは「自動」選択を選択できます。これにより、品質とコストのバランスを取りながら、タスクをインテリジェントにモデルに割り当てることができます。この機能は、能力が低く安価なモデルを使用することで、単純な質問に対する過剰な支出を防ぎ、トークンコストを最大3分の1削減できると報告されています。Databricks、AWS、Google Cloud、Nvidiaなどの他の主要プレイヤーも、同様のモデルルーティング技術を開発しています。Snowflakeは、モデルルーティングは価格とパフォーマンス以上のものを含み、ガバナンスとコンテキストを重要に組み込んでいることを強調しています。動的なルーティングメカニズムは、「アドバイザーパターン」を採用しており、まず小さなモデルがタスクを試行し、必要に応じてより大きなモデルにエスカレートします。さらに、過去のクエリでトレーニングされた分類器が、単純な質問をより適切でシンプルなモデルにルーティングします。この自動ルーティングはオプションであり、顧客は必要に応じてモデルを手動で指定できます。Snowflakeは、ルーティングを既存のデータガバナンスと統合し、ロールベースのアクセス制御をデータからモデルおよびエージェントに拡張します。オープンモデルは、データ居住性要件を満たすために顧客のリージョン内で実行でき、すべての推論はSnowflakeのセキュアな境界内で維持されます。Horizon ContextやCortex Senseなどのツールによって提供される強化されたコンテキストは、広範な探索作業の必要性を排除することで、安価なモデルがタスクを効果的に処理できるようにします。エージェントメモリもコンテキストに組み込まれており、冗長な問題解決を防ぎ、コストを削減します。モデルルーティングの競争環境には、OpenRouter、NvidiaのSwitchyard、DatabricksのSmart Routingなどのプラットフォームが含まれます。差別化は、統合されたガバナンス、データロケーション、アクセス制御、および優先プラットフォーム内でのコスト配賦へと移行しています。モデルルーターを選択する際には、組織は機能や価格のみに焦点を当てるのではなく、既存のデータガバナンスとチーム構造に最も適合するものを優先すべきです。どのルーターを採用するかという決定は、エンタープライズの既存のデータインフラストラクチャとガバナンスモデルに大きく依存します。