Google открывает исходный код ... Заметка
InfoQ на русском

Google открывает исходный код синхронизации TPU для KV-кэша и передачи весов на TPU

Google Cloud открыла исходный код TPU Sync, нативной библиотеки на C++, которая перемещает блоки KV-кэша и веса модели между HBM TPU, DRAM хоста, общим хранилищем и сетью дата-центра. Автор: Даниэль Домингес.
CdXz5zHNQW_0ddoOS894x.jpeg