Googleは、LLMの出力から軽量なローカルモデルをトレーニングし、外部呼び出しなしでデータベース速度でクエリを実行するプロキシモデルアーキテクチャでAlloyDB AI機能をGAとしてリリースしました。スマートバッチングにより、スループットが2,400倍向上します。プロキシモデルはプレビューで毎秒10万行に達しますが、ベンチマークの数値は内部テストのai.ifにのみ適用されます。Steef-Jan Wiggers著