В рамках этого соревнования Kaggle Benchmarking Challenge оценивались ИИ-модели на предмет генерации кода с учетом особенностей аппаратного обеспечения. Целью было создание движка Zero-Copy Rust FFI для Python, учитывающего 128-байтные строки кэша L1 в процессорах Apple M-серии. Тестировались модели Gemini 1.5 Pro, DeepSeek Coder V2, OpenAI GPT-4o/o1-preview и Llama 3.1 (405B). Результаты выявили значительный программный уклон в генерации кода ИИ. Большинство моделей по умолчанию использовали 64-байтные выравнивания x86, что приводило к ложному разделению ресурсов на Apple Silicon, и вводили накладные расходы на сериализацию, такие как Serde или JSON, что противоречило цели zero-copy. Только модели, основанные на рассуждениях, такие как o1, продемонстрировали способность анализировать границы указателей между языками и раскладки ABI. Бенчмарк строго проверял наличие #[repr(C, align(128))] и приведение сырых указателей, избегая оценок типа "LLM как судья". Это выявило критический пробел: LLM отдают приоритет программному консенсусу над аппаратной эффективностью. Чтобы ИИ мог проектировать инфраструктуру с низкой задержкой, при оценке необходимо явно применять аппаратные ограничения. Предоставленный скрипт оценки демонстрирует, как работает бенчмарк для будущих тестов.