アルミン・ロナッハー:パングラムの解釈 ノート

アルミン・ロナッハー:パングラムの解釈

David Sacks氏のツイートをAI検出ツールPangramがAI生成と判定し、Sacks氏はAI検出ツールを「インチキ」と反論した。Pangramは誤検出率が低いにもかかわらず、LLMライティングアシスタントはしばしば人間の文章をAIと誤って判定する。Pangramは人間の文章で学習し、その後LLMに書き換えや編集をさせることで、AIの文章パターンを識別することを学習する。著者は、既存のDario氏とSam Altman氏の投稿に基づき、David Sacks氏のスタイルで「フロンティアのペース配分」についてツイートを生成するようLLM Opus 5に指示した。生成されたツイートは、OpenAIとAnthropicが持つデュオポリが、商業的および戦略的に利益になるため、フロンティアのペース配分を行うべきだと主張した。また、オープンウェイトモデルが主な危険であるという主張を退け、提案された規制アプローチを批判した。Pangramはこの生成されたツイートを100%AIと評価した。著者はその後、ツイートを人間が手動で書き直し、その構造とアイデアを維持し、Pangramからの人間による評価を目指した。大幅な言い換えとコピーされた文章の削除にもかかわらず、この人間が書き直したテキストもPangramから100%AIの評価を受けた。著者は、初期構造のためにLLMに依存すると、大幅な編集の後でもAI検出スコアが悪くなる可能性があると指摘している。著者は、LLMの使用の影響と、文章作成におけるLLMへの依存度の高まりについての意識を高めたPangramに感謝している。しかし、著者は、大幅な人間による編集を経た文章に対して100%AIという評価が妥当かどうか疑問視している。