このエッセイはBarath Raghavanと共に執筆され、元々はThe Guardianに掲載されたものです。主要なベンチマークはAIができることを測定します。AIがあなたの意図したことを行うかどうかを測定するものはありません。それは、あなたがAIに依頼したことと、あなたがAIにどのように実行してほしいかについての暗黙の前提との間の距離です。私たちは新しい指標を提案します。それはGenie係数です。しばしば、ある人の要求と別の人の理解の間にはギャップがあります。ほとんどの場合、私たちは一般知識を使ってそれを埋めます。例えば、友人にコーヒーを買ってきてと頼んだ場合、友人はポットから一杯注ぐか、コーヒーショップで買うでしょう。生の豆の袋を持ってきたり、見知らぬ人からカップをひったくってあなたに渡したりはしないでしょう。あなたはこれらのどれも具体的に指定しませんでした。あなたは一度もそうする必要はありませんでした...