JuiceFS Enterprise 5.3: 500B+ файлов на файловую систему и поддержка RDMA

Выпущена JuiceFS Enterprise Edition 5.3, расширяющая возможности управления более чем 500 миллиардами файлов в одной файловой системе. Этот выпуск представляет собой значительные оптимизации многозонной архитектуры метаданных, увеличивая лимит зон до 1024 для поддержки такого масштабного объема. Впервые интегрирована технология RDMA для повышения эффективности распределенного кэширования и снижения загрузки ЦП во время передачи данных. Версия 5.3 также улучшает поддержку записи для зеркал, позволяя записывать временные файлы и предоставляя механизм отката для запросов на чтение, если зеркало становится недоступным. Новинкой этой версии является возможность кэшировать объекты, импортированные из разных бакетов, предлагая большую гибкость. Обновление решает проблемы производительности в крупномасштабных распределенных системах, представляя автоматическую балансировку горячих точек с инструментами ручного вмешательства и улучшениями миграции больших объемов данных. Надежность повышается за счет самопроверок, которые автоматически восстанавливают и очищают промежуточные состояния миграции, предотвращая потенциальные ошибки с течением времени. Стресс-тесты продемонстрировали стабильность и производительность системы, записав примерно 400 миллиардов файлов со скоростью 5 миллионов файлов в секунду. Интеграция технологии RDMA значительно снижает нагрузку на ЦП и увеличивает использование пропускной способности, что особенно полезно для сценариев с высокими требованиями. Улучшенная поддержка записи в зеркала уравновешивает высокую доступность и снижение затрат, позволяя развертывать узлы с одним зеркалом. Кэш данных между бакетами для импортированных объектов упрощает управление для пользователей с данными, распределенными по нескольким бакетам объектного хранилища. Дополнительные оптимизации включают функцию трассировки для расширенного анализа производительности и улучшенную надежность восстановления корзины. Улучшения Python SDK еще больше упрощают взаимодействие с пользователем, позволяя прямой доступ к операционным подкомандам в SDK. Эти улучшения укрепляют позиции JuiceFS Enterprise Edition как высокопроизводительного решения для требовательных сред искусственного интеллекта и мультиоблачных сред.