このKaggleベンチマーキングチャレンジのエントリーは、ハードウェアを意識したコード生成におけるAIモデルを評価しました。目標は、Apple Mシリーズシリコンの128バイトL1キャッシュラインを尊重した、Python向けのゼロコピーRust FFIエンジンを生成することでした。テストされたモデルには、Gemini 1.5 Pro、DeepSeek Coder V2、OpenAI GPT-4o/o1-preview、およびLlama 3.1 (405B)が含まれていました。調査結果は、AIコード生成における顕著なソフトウェアバイアスを浮き彫りにしました。ほとんどのモデルはx86の64バイトアライメントをデフォルトとし、Apple Silicon上で偽共有を引き起こし、ゼロコピーの目的を無効にするSerdeやJSONのようなシリアライゼーションオーバーヘッドを導入しました。o1のような推論モデルのみが、クロス言語ポインタ境界とABIレイアウトを分析する能力を示しました。ベンチマークは、LLMをジャッジとして使用することを避け、#[repr(C, align(128))]と生のポインタキャストの存在を厳密に検証しました。これは、LLMがハードウェア効率よりもソフトウェアのコンセンサスを優先するという重大なギャップを明らかにしました。AIが低レイテンシインフラストラクチャをアーキテクトできるようにするには、評価中に明示的なハードウェア制約を強制する必要があります。提供された評価スクリプトは、将来のテストのためにベンチマークがどのように動作するかを示しています。