プライベートLLMの運用には、さまざまなプライバシー定義とハードウェアコストの理解が必要です。物理的なプライバシーとは、プロンプトが管理下のマシンから決して離れないことを意味し、契約上のプライバシーはプロバイダーとの契約に依存します。技術的なプライバシーは、データを暗号化し、オペレーターがプロンプトを見ることができないようにするハードウェアを使用します。選択肢1は、自身のハードウェア上でローカルLLMを実行することであり、最も高い物理的プライバシーを提供します。しかし、強力なGPUに対する多額の初期費用、限られた同時実行性、そして潜在的な陳腐化が伴います。このセットアップは、安定したワークロードを持つ単一ユーザーに最適ですが、メンテナンスに継続的な時間が必要です。選択肢2は、契約上のプライバシー保証を持つクラウドプロバイダーを利用することです。主要なクラウドサービスは、プロンプトのトレーニング目的での使用を防ぎ、データ保持ゼロの設定を可能にするエンタープライズ契約を提供しています。このアプローチは、サービスレベル契約と確立された法的救済を必要とする大企業に適しています。選択肢3は、プライベートLLMゲートウェイであり、ローカルとクラウドのバランスを提供します。これらのゲートウェイは、ハードウェアレベルのプライバシーのためにトラステッド実行環境（TEE）を使用します。これらは、初期費用なしの従量課金制を提供し、データプライバシーのハードウェア検証を可能にします。ゲートウェイは、ローカルで機密モデルを実行することも、最先端モデルにルーティングすることもできますが、後者の場合、元のプロバイダーによって依然として見られる可能性があります。主な課題は、共有エージェントにおけるプライベートメモリのままであり、あるユーザーのデータが他のユーザーに公開される可能性があります。研究によると、プライベートLLMを使用している場合でも、マルチユーザーシステムでは重大なプライバシー侵害が発生しています。共有メモリのリスクを軽減するために、ユーザーごとにメモリのスコープを設定し、ストレージレイヤーでアクセスを強制し、機密データを保存する前に削除します。すべての共有メモリは、潜在的に公開されるものとして扱います。最も安価なオプションはボリュームによって異なります。機密ティアは低使用量では費用対効果が高く、所有ハードウェアは減価償却後の高ボリュームで安定した使用量ではより安価になる可能性があります。最終的に、選択は個々のニーズによって異なります。ソロユーザーにはローカル、SLAを必要とする企業にはクラウド、検証可能なプライバシーを優先するチームにはゲートウェイです。どのルートを選択するにしても、マルチユーザーアクセスを有効にする前に、共有メモリの問題に対処してください。