아르민 로나처: 판그램 해석
"AI 탐지기인 Pangram이 David Sacks의 트윗을 AI 생성으로 플래그 지정했고, Sacks는 이를 부인하며 AI 탐지기가 가짜라고 불렀습니다. Pangram은 낮은 오탐율을 가지고 있지만, LLM 글쓰기 도우미는 종종 인간의 텍스트를 AI로 잘못 식별합니다. Pangram은 인간 텍스트로 훈련한 다음 LLM이 이를 다시 작성하거나 편집하도록 하여 AI의 글쓰기 패턴을 식별하는 방법을 학습합니다. 저자는 LLM인 Opus 5에게 Dario와 Sam Altman의 기존 게시물을 기반으로 "Pacing the Frontier"에 대한 David Sacks 스타일의 트윗을 생성하도록 프롬프트했습니다. 생성된 트윗은 OpenAI와 Anthropic이 독점적 지위를 가지고 있으며, 이는 상업적으로나 전략적으로 이익이 되기 때문에 프론티어를 따라가야 한다고 주장했습니다. 또한 이 트윗은 오픈 웨이트 모델이 주요 위험이라는 주장을 일축하고 제안된 규제 접근 방식을 비판했습니다. Pangram은 이 생성된 트윗을 100% AI로 평가했습니다. 저자는 이후 트윗을 수동으로 다시 작성했으며, 구조와 아이디어를 유지하면서 Pangram으로부터 인간 평가를 받으려고 했습니다. 상당한 재작성과 복사된 문장 제거에도 불구하고, 이 인간이 다시 작성한 텍스트도 Pangram으로부터 100% AI 평가를 받았습니다. 저자는 LLM을 초기 구조에 의존하는 것이 광범위한 편집 후에도 낮은 AI 탐지 점수로 이어질 수 있다고 지적합니다. 저자는 LLM 사용의 영향과 글쓰기에 대한 의존도 증가에 대한 인식을 높인 Pangram에 감사하지만, 상당한 인간 편집을 거친 텍스트에 대해 100% AI 평가가 공정한지에 대해 의문을 제기합니다."