저자는 금융 추론에 대한 독특한 접근 방식을 영감을 준 대회 이후 오프라인 금융 자문 앱인 Vicquant를 개발했습니다. Vicquant의 의도된 설계는 Llama-3.1-8B-Instruct를 심층 분석에 사용하고 Phi-3.5-mini를 더 빠른 대체재로 사용하는 듀얼 로컬 모델 설정을 특징으로 하며, 이 모든 것은 llama.cpp를 통해 사용자의 장치에서 로컬로 실행됩니다. 이 분할은 단일 모델로 추론 품질과 응답 속도 모두를 최적화하는 것이 어렵기 때문에 필요했습니다. 이 오프라인 기능에 대한 아키텍처와 로직은 8GB RAM이 장착된 하드웨어에서 구축 및 테스트되었습니다. 그러나 현재 호스팅 계획은 프로덕션에서 이러한 로컬 모델을 실행하기에 충분하지 않습니다. 앱을 기능하게 만들기 위해 저자는 Vicquant를 OpenRouter에 연결하여 배포된 데모를 위해 인터넷을 통해 AI 응답을 제공할 수 있도록 했습니다. 이는 현재 라이브 데모가 인터넷 연결을 필요로 하며 오프라인 모드가 비활성화되었음을 의미합니다. 저자는 신뢰성을 유지하고 비용으로 인한 설계 및 배포 가능한 아키텍처 간의 격차라는 일반적인 문제를 강조하기 위해 이 변경 사항을 투명하게 공개합니다. 지표 계산, 신호 생성 및 백테스팅을 포함한 앱의 핵심 금융 분석은 결정론적 Python을 사용하고 AI 계산을 사용하지 않기 때문에 영향을 받지 않습니다. 신호가 과거 데이터에 대해 스스로를 증명해야 하는 백테스팅 게이트도 설명에 사용되는 AI 모델에 관계없이 그대로 유지됩니다. 로컬 추론은 호스팅 비용 제약이 해결되면 복원될 것이며, 그때 업데이트가 게시될 것입니다.