모두가 AI 벤치마크를 쫓고 있지만, 진실을 측정하는 ... 노트

모두가 AI 벤치마크를 쫓고 있지만, 진실을 측정하는 사람은 거의 없다

벤치마크는 모델이 무엇을 할 수 있는지 알려줍니다. 그것이 말하는 것을 신뢰할 수 있는지 여부는 알려주지 않습니다. 그것들은 항상 두 개의 별개 질문이었고, 오랫동안 업계는 주로 첫 번째 질문에 답하면서 두 번째 질문은 뒷전으로 취급해 왔습니다.