著者は、コンペティションで金融推論に関する独自のアイデアを得た後、オフラインの金融アドバイザーアプリであるVicquantを開発しました。Vicquantの意図された設計は、Llama-3.1-8B-Instructをディープ分析に、Phi-3.5-miniをより高速なフォールバックとして利用するデュアルローカルモデルセットアップを特徴としており、これらはすべてllama.cppを介してユーザーのデバイス上でローカルに実行されます。この分割は、単一のモデルで推論の質と応答速度の両方を最適化することが困難であるため必要でした。このオフライン機能のアーキテクチャとロジックは、8GB RAMを搭載したハードウェアで構築およびテストされました。しかし、現在のホスティングプランでは、これらのローカルモデルを本番環境で実行するには不十分です。アプリを機能させるために、著者はVicquantをOpenRouterに接続し、デプロイされたデモのためにインターネット経由でAI応答を提供できるようにしました。これは、ライブデモが現在インターネット接続を必要とし、オフラインモードが無効になっていることを意味します。著者は、コストによる設計されたアーキテクチャとデプロイ可能なアーキテクチャの間のギャップという一般的な問題を強調するために、この変更について透明性を保っています。インジケーター計算、シグナル生成、バックテストを含むアプリのコア金融分析は、AI計算ではなく決定論的なPythonを使用しているため、影響を受けません。シグナルが過去のデータに対して自身を証明する必要があるバックテストゲートも、説明に使用されるAIモデルに関係なくそのまま維持されます。ホスティングコストの制約が解消され次第、ローカル推論が再導入され、その際にアップデートが投稿されます。