Сообщество RSS DEV

Виртуализированное решение хранения на основе NFSoRDMA с разделением ресурсов для рабочих нагрузок ИИ

Раздельное хранение с NFSoRDMA предлагает высокопроизводительное решение для рабочих нагрузок ИИ. Оно сочетает в себе протокол NFS с технологией RDMA для достижения низкой задержки и высокой пропускной способности. Основными целями решений раздельного хранения для ИИ являются высокая пропускная способность, максимальное количество операций ввода-вывода в секунду (IOPS), простота конфигурации и гибкость развертывания. Требования к производительности для задач ИИ включают быструю загрузку данных, быструю запись контрольных точек и параллельный доступ к данным от нескольких клиентов. Предлагаемое решение объединяет высокопроизводительный движок хранения с сервисами файловой системы, ориентированными на программно-определенный RAID, настроенные файловые системы и интерфейсы на основе RDMA. Виртуализация NFSoRDMA и xiRAID Opus преодолевает ограничения в пространстве ядра Linux и повышает производительность. Решение достигает высокой пропускной способности, насыщая интерфейс 2x200 Гбит, и снижает нагрузку на ЦП по сравнению с mdraid. Результаты тестирования демонстрируют превосходство xiRAID Opus над mdraid как в последовательных, так и в случайных операциях. Реализация раздельного хранения на основе NFSoRDMA показывает значительные достижения в производительности и эффективности для рабочих нагрузок ИИ.
dev.to
Virtualized NFSoRDMA-based Disaggregated Storage Solution for AI Workloads
Create attached notes ...