阿明·罗纳赫:《全字母句的解读》 笔记

阿明·罗纳赫:《全字母句的解读》

一款名为 Pangram 的 AI 检测器将 David Sacks 的一条推文标记为 AI 生成,Sacks 对此提出质疑,称 AI 检测器不可靠。Pangram 的误报率较低,但 LLM 写作助手却经常错误地将人类文本识别为 AI 生成。Pangram 的工作原理是在人类文本上进行训练,随后让 LLM 对其进行重写或编辑,从而学习识别 AI 的写作模式。作者提示 LLM Opus 5 生成一条关于“引领前沿”(Pacing the Frontier)的推文,风格模仿 David Sacks,内容基于 Dario 和 Sam Altman 的现有帖子。生成的推文主张,OpenAI 和 Anthropic 作为双寡头,应引领前沿,因为这符合其商业和战略利益;同时,该推文还驳斥了“开源权重模型是主要威胁”的说法,并批评了拟议的监管方案。Pangram 将该条生成推文判定为 100% AI。随后,作者手动重写了该推文,保留其结构与核心观点,旨在获得 Pangram 的人类评分。尽管进行了大幅改写并消除了复制的句子,这段经人工重写的文本仍被 Pangram 判定为 100% AI。作者指出,依赖 LLM 构建初始结构,即使经过大量编辑,仍可能导致较差的 AI 检测评分。作者感谢 Pangram 提高了人们对使用 LLM 及其在写作中日益依赖所带来的影响的认识,但同时也质疑:对于经过实质性人工编辑的文本,给出 100% AI 的评级是否公平。