トークンマキシングは終わった。エージェンティックメモリが次に... ノート
VentureBeat 日本語

トークンマキシングは終わった。エージェンティックメモリが次に来るものだ。

AIエージェントの分野はわずか18ヶ月しか歴史がなく、60年のデータベース開発とは対照的に、私たちはこの学習曲線のまさに始まりにいることを示しています。最近学んだ教訓は、かつては虚栄の指標であったトークン消費が、コンテキストウィンドウの希少性を浮き彫りにしたことです。真の課題は、プロンプトに情報を追加することではなく、どのデータがそこに属するかを見極めることにあります。これは、AIモデルの外部にある永続的でクエリ可能なシステムであるメモリという重要な概念につながります。効果的なエージェントメモリは、3つの重要な機能を果たします。それは、以前に生成され、費用が支払われた推論を保持し、安全な共有のためにロールベースのアクセス制御を適用し、セマンティック検索を通じて正しい以前のコンテンツの取得を可能にします。正確な一致検索に依存する従来のデータベースとは異なり、エージェントメモリは類似性によって非構造化された生成出力を保存し、検索する必要があります。有望なエンタープライズパターンは、堅牢なメモリシステムと、ジャッジとして機能するより軽量なオープンウェイトモデルをペアにすることを含みます。このアーキテクチャは、まずセマンティック検索を通じてメモリにクエリを実行し、結果を再ランク付けします。取得された回答が十分であれば、それが返され、高価な生成モデルのコストが節約されます。メモリベースの回答が不十分な場合、より軽量なモデルは、元のソリューションのために、より強力な生成モデルにエスカレーションします。この新しく生成された回答は、その後メモリに保存され、後続の類似クエリがより安価で高速になります。成熟したエージェントメモリは単一のバケットではなく、人間の記憶と同様に、定義された用語の分類学的メモリやタスクシーケンスの手続き的メモリなどのタイプを含むようになります。すべての生成されたメモリが価値があるわけではないため、人間のキュレーションが不可欠であり、人間は高価値の情報を優先し、注入します。メモリは、エージェント開発における次の重要な進歩として特定されており、最も定着し、デフォルトの選択肢になる可能性が高いレイヤーです。