私たちは、Cloudflareのインフラストラクチャで高速な大規模言語モデルを実行するためのカスタム技術スタックを構築しました。この記事では、高パフォーマンスAI推論を利用可能にするために必要なエンジニアリングのトレードオフと技術的最適化について説明します。