最近の論文で、クローズドウェイトモデルから推論トレースを抽出する方法が明らかになり、オンラインで議論が巻き起こりました。推論トレースは通常、ユーザーからは隠されていますが、オープンウェイトモデルでは可視的です。これらのトレースは、モデルが最終的な回答の前にスクラッチパッドに出力するように訓練されたテキストにすぎません。特殊トークンがこれらの推論セクションを区切り、パーサーがこのコンテンツを別のストリームに誘導します。クローズドモデルの場合、この中間テキストは編集または要約される可能性が高いです。モデルが行う推論の量は、サンプリングではなく、システムプロンプトによって決定されます。たとえば、「低」または「ショートカットを一切許可しない絶対最大値」に設定される場合があります。モデルは、このスクラッチワークを最終応答チャネルから分離するように訓練されています。モデルを推論チャネル内にいると信じ込ませることで、これらのトレースが漏洩する可能性があります。古いモデルでは、思考が無効になっている場合、思考をヌルデバイスに書き込むことがありました。場合によっては、唯一の特別な動作は、モデルが思考を控える能力です。これは、モデルの通常の思考メカニズムを無効にすることで達成できます。一部の推論APIは、推論を管理するためにトークンを事前に入力する場合がありますが、これはカスタムツールによってバイパスされる可能性があり、特にネイティブ推論が無効になっている場合に顕著です。著者は、このブログ投稿自体の文法チェックに特定のモデルを使用しようとした際に、ユーモラスにもコンテンツフィルターに遭遇しました。