RSS Der Cloudflare Blog
Folgen
Wie wir die effizienteste Inferenz-Engine für das Netzwerk von Cloudflare aufgebaut haben
Infire ist eine LLM-Inferenz-Engine, die eine Reihe von Techniken einsetzt, um die Ressourcenauslastung zu maximieren. Dies ermöglicht es uns, KI-Modelle effizienter und mit besserer Leistung für Cloudflare-Workloads bereitzustellen.