Workers AIが速度の向上、バッチワークロードのサポー... ノート

Workers AIが速度の向上、バッチワークロードのサポート、さらに多くのLoRAs、ニューモデル、そしてリフレッシュされたダッシュボードを獲得

Workers AI の推論を、speculative decoding と prefix キャッシュを使用して高速化しました。大きなリクエスト ボリュームをシームレスに処理するための新しいバッチ推論をご利用ください。
CdXz5zHNQW_FaGFOrS7H4.png