Google、TPU上でのKVキャッシュと重み転送のためのT... ノート
InfoQ 日本語

Google、TPU上でのKVキャッシュと重み転送のためのTPU Syncをオープンソース化

Google Cloudは、TPU HBM、ホストDRAM、共有ストレージ、データセンターネットワーク間でKVキャッシュブロックとモデルウェイトを移動するネイティブC++ライブラリであるTPU Syncをオープンソース化しました。Daniel Dominguez著
CdXz5zHNQW_0ddoOS894x.jpeg