RSS VentureBeat
Подписаться
Что бенчмарки ИИ упускают в реальной производительности
Команды корпоративного ИИ часто упускают из виду критически важный путь данных от хранилища к вычислительным ресурсам в производственных средах. В то время как тесты фокусируются на идеализированных условиях, реальный трафик вносит задержки и дрожание, которые снижают производительность. Этот разрыв означает, что конвейеры, работающие в лаборатории, терпят неудачу при развертывании. Растущим решением является развертывание контроллера доставки приложений (ADC) или платформы (ADSP) в качестве точки управления между хранилищем и вычислительными ресурсами. Тесты обычно не моделируют реалистичное ухудшение сетевых характеристик, что приводит к ошибочным решениям по инфраструктуре. Тестирование F5 и MinIO выявило значительное падение производительности пропускной способности S3 даже при умеренных задержках. Было установлено, что задержка, а не дрожание, является основным фактором потери пропускной способности. Стоимость хрупкого пути данных выходит за рамки недоиспользования GPU и включает в себя низкое качество результатов ИИ и повышенную сложность эксплуатации. В отличие от традиционных приложений, рабочие нагрузки ИИ не имеют механизмов кэширования для поглощения задержек хранения. Рассмотрение периферии хранения как интеллектуальной точки управления, а не простого соединения, имеет решающее значение для ИИ. ADSP, такой как BIG-IP от F5 с MinIO, отслеживает состояние хранилища и направляет запросы к доступным узлам. Этот подход гарантирует, что GPU остаются продуктивными, поддерживая спроектированный, устойчивый путь данных.
