オンデバイスAIとクラウドAIの両方とも、バッテリー寿命と効率に関して妥当に見えるかもしれませんが、これらは測定された主張ではありません。AIの配置を決定する際には、ユーザーの待ち時間、ネットワーク転送コスト、プロバイダーの費用、デバイスのエネルギー消費という4つの異なる予算を考慮してください。これらそれぞれには、独自の特定の測定と証拠が必要です。正確な比較を行うためには、実行パスを明確に特定する必要があります。例えば、レビューされたMonkeyCodeモバイルコードは、タスクと音声認識のためにサーバーサポートストリーミングを使用しており、これはオンデバイスではなくクラウドベースの推論を示しています。公平な研究では、リモートサービスを使用するモバイルクライアントと、オンデバイス機能を実証する別のプロトタイプを比較する必要があります。包括的な測定エンベロープには、サンプルID、タイプ、配置、デバイス、OS、フレームワーク、モデル、ネットワークタイプ、トークン数、レイテンシ、バイト単位のデータ転送、ジュール単位のエネルギー、および米ドル単位のコストなどのフィールドを含める必要があります。これらの詳細は、結果の解釈、ワークロードサイズとネットワークの動作の理解に不可欠です。バッテリー残量は、多くの外部要因の影響を受けるため、短い実行では不十分な指標です。比較は、一致したユーザーフローを利用して、異なる配置で同じタスクがテストされることを保証する必要があります。これには、短いプロンプト、音声ターン、オフラインシナリオ、バックグラウンド/再開動作、およびサーマルループが含まれます。ウォームアップ期間は別途報告し、テストはランダム化、繰り返し、および失敗の記録を行う必要があります。アナライザーは、各データポイントに対して測定されたジュールを要求することにより、誤ったエネルギー結論を防ぐ必要があります。合成データは、解析のテストには役立ちますが、実際のパフォーマンスを表すものではありません。実際のパイプラインでは、プロファイラーのエクスポートや生のファイルの保存を含む、強力なデータ来歴が必要です。リリース決定は、P95インタラクションレイテンシ、ネットワークバイト、プロバイダーの支出、エネルギーとサーマル動作、プライバシー、および品質の目標を満たすことに基づいて、明確に行われる必要があります。オンデバイスAIはダウンロードサイズとRAMの圧力を導入し、クラウドAIはネットワーク接続とサービス依存に依存します。明確な単位を使用することで、これらのトレードオフの正直な評価が保証されます。