RSS DEV コミュニティ
フォロー
LLMの効率性とセキュリティカーネルをリリースし、自身の最高のアイデアを削除した
著者は、複数のLLMを連携させる「ミトシス」という概念で、大規模言語モデルの改善を試みた。このアプローチでは、タスクを分割し、LLMに競わせ、最も良い回答を統合するというものだった。しかし、厳密なテストにより、この方法が正しさを悪化させ、合格率を95%から83%に低下させ、コストを大幅に増加させることが明らかになった。3つの独立した実験でこれらの否定的な結果を確認した後、著者は失敗した機能を削除した。ここで得られた最も重要な教訓は、ピッチでは良く聞こえるアイデアでも、実際の測定に耐えられない場合があるということだ。代わりに、著者はLLMのリクエストを前処理する軽量でプロバイダーに依存しないカーネルであるBIOMAを開発し、出荷した。BIOMAは3つの主要なメカニズムを採用している。トークン使用量を削減するためのコンテキスト「アポトーシス」による効率性、秘密情報のマスキングとフラッド検出のための「コグニティブファイアウォール」によるセキュリティ、そして効率的なシグナリングシステムによる速度である。効率化メカニズムは通常、入力トークンを80%削減し、最大97%の削減を達成できる。セキュリティ機能は、レッドチーミング演習中に秘密情報が漏洩するのを防ぐことに成功した。BIOMAは、ベンダーロックインなしで、あらゆるLLMプロバイダーと連携するように設計されている。コードは、競合しない目的での無料使用を許可するライセンスの下でソース公開されており、2年後にMITライセンスに移行する。著者は、すべてを測定し、初期のプロジェクト目標を破棄することになったとしても、データによって検証されたものだけを保持することの重要性を強調している。