あなたのLLMは健忘症を抱えている――そして、それを維持するシステムを私たちは構築した（あるいは、a16zによればほぼそうである）

先週a16zが継続学習に関する記事を発表し、私はそれ以来、2017年にTransformerの論文を初めて読んだときに、飛行機の中で3回続けて読み、目的地に着いたときには自分が何年なのか本当に混乱していたような、執念に近い考えを巡らせています。