이 Kaggle 벤치마킹 챌린지 출품작은 하드웨어 인식 코드 생성에 대한 AI 모델을 평가했습니다. 목표는 Apple M-시리즈 실리콘의 128바이트 L1 캐시 라인을 존중하는 Zero-Copy Rust FFI 엔진을 Python용으로 생성하는 것이었습니다. 테스트된 모델에는 Gemini 1.5 Pro, DeepSeek Coder V2, OpenAI GPT-4o/o1-preview 및 Llama 3.1 (405B)이 포함되었습니다. 결과는 AI 코드 생성에서 상당한 소프트웨어 편향을 강조했습니다. 대부분의 모델은 x86 64바이트 정렬을 기본값으로 사용했으며, 이는 Apple Silicon에서 잘못된 공유를 유발하고 Serde 또는 JSON과 같은 직렬화 오버헤드를 도입하여 제로 카피 목표를 무효화했습니다. o1과 같은 추론 모델만이 언어 간 포인터 경계 및 ABI 레이아웃을 분석하는 능력을 보여주었습니다. 벤치마크는 LLM-as-a-judge 평가를 피하면서 #[repr(C, align(128))] 및 원시 포인터 캐스트의 존재를 엄격하게 확인했습니다. 이는 중요한 격차를 드러냈습니다. LLM은 하드웨어 효율성보다 소프트웨어 합의를 우선시합니다. AI가 저지연 인프라를 설계할 수 있도록 하려면 평가 중에 명시적인 하드웨어 제약 조건을 적용해야 합니다. 제공된 평가 스크립트는 벤치마크가 향후 테스트를 위해 어떻게 작동하는지 보여줍니다.