이 에세이는 Barath Raghavan과 함께 작성되었으며, 원래 The Guardian에 게재되었습니다.주요 벤치마크는 AI가 무엇을 할 수 있는지 측정합니다. AI가 당신이 의도한 것을 하는지는 아무것도 측정하지 않습니다. 즉, AI에게 하라고 요청한 것과 AI가 그것을 어떻게 수행하기를 바라는지에 대한 암묵적인 가정 사이의 거리입니다. 우리는 새로운 지표를 제안합니다: Genie 계수.한 사람의 요청과 다른 사람의 이해 사이에는 종종 간극이 있습니다. 대부분의 경우, 우리는 일반적인 지식을 사용하여 이를 메웁니다. 예를 들어, 친구에게 커피를 가져다 달라고 하면, 친구는 냄비에서 한 잔을 따르거나 커피숍에서 한 잔을 사줄 것입니다. 당신에게 생두 한 봉지를 가져다주거나 낯선 사람에게서 한 잔을 낚아채 당신에게 건네주지는 않을 것입니다. 당신은 이 중 어느 것도 명시적으로 요청하지 않았습니다. 당신은 그럴 필요가 없었습니다...