大規模言語モデル（LLM）は、事実に基づかない情報を頻繁に生成します。開発者は従来、知識不足を仮定し、モデルサイズやデータを増やすことでこれに対処してきました。しかし、新しい研究では、LLMはしばしば事実を知っているにもかかわらず、生成中にそれを思い出せないことが示唆されています。フロンティアモデルは高い割合の事実をエンコードしており、リコールが主なボトルネックであることを示しています。この研究は、エンコードされた事実と既知の事実を区別するために「知識プロファイリング」を提案しています。エンコードとは、モデルが特定の条件下で事実を再現できることを意味し、知っているとは、さまざまな言い回しで事実に関する質問に確実に答えられることを意味します。エンコードの失敗には事前学習の介入が必要ですが、リコールの失敗には事後学習の技術が役立ちます。事実は、直接リコールされる、エンコードに失敗する、リコールの失敗を経験する、思考を伴ってリコールされる、またはエンコードなしで推論される可能性があります。多数のLLMでの実験は、フロンティアモデルがほとんどの事実をエンコードするものの、直接リコールに苦労していることを示しています。Chain-of-Thoughtのような推論時の思考は、人間の記憶検索に似て、リコールを大幅に助けます。モデルのスケールアップはリコールの問題を解決せず、アクセスできないエンコードされた事実を増やすことで、それらを悪化させる可能性さえあります。リコールは、クエリの言い回しやコンテキストに大きく影響され、まれな事実や逆の事実がより大きなリコールの課題をもたらします。開発者は、すべての事実誤認を検索問題として扱うことを避け、代わりにリコールの改善に焦点を当てるべきです。推論時の推論と生成・検証パイプラインの選択的な使用は、事実の正確性を向上させることができます。標準的な精度メトリックを超えた意味論的アクセスをテストすることで、モデルの真の知識が明らかになります。クエリの再定式化とリトライも効果的です。WikiProfileベンチマークは百科事典的な事実に焦点を当てていますが、その方法はドメイン固有のデータにも適用できますが、専門分野ではエンコードがより重要な問題となる可能性があります。この研究は、事後学習と推論時の最適化に焦点を移し、AIの事実性の向上をよりアクセスしやすくします。