InfoQ на русском
Подписаться
Google открывает исходный код синхронизации TPU для KV-кэша и передачи весов на TPU
Google Cloud открыла исходный код TPU Sync, нативной библиотеки на C++, которая перемещает блоки KV-кэша и веса модели между HBM TPU, DRAM хоста, общим хранилищем и сетью дата-центра. Автор: Даниэль Домингес.