RSS Блог разработчиков Google
Подписаться
Ускорение ИИ: Перенос Google Colossus в PyTorch через GCSFS и Rapid Bucket
Google Cloud представила высокопроизводительную интеграцию, которая напрямую подключает Rapid Storage к PyTorch через интерфейс fsspec для устранения узких мест при обучении ИИ. Используя архитектуру Google Colossus и двунаправленную потоковую передачу gRPC, решение обеспечивает совокупную пропускную способность до 15 ТиБ/с и значительное снижение задержек. Эти улучшения позволяют разработчикам ускорить общее время обучения на 23% без каких-либо изменений в коде, кроме обновления типа хранилища.
