Dieser Leitfaden beschreibt einen systematischen Ansatz zum Auswahl des optimalen Accelerators und zur Konfiguration von vLLM für effizientes Large Language Model (LLM)-Serving. Er betont, dass keine einzige Einrichtung für alle LLM-Schlußfolgerungsanwendungsfälle ideal ist. Der Prozess beginnt mit der Erfassung wichtiger Informationen über Ihre spezifische Workload, einschließlich des verwendeten Modells, seiner Genauigkeit, der erwarteten Anfragehäufigkeit und der Sequenzlängen.Das Verständnis der Workload-Charakteristika ist entscheidend für die Bestimmung der VRAM-Anforderungen und der Notwendigkeit von Tensor-Parallelität. Der Leitfaden erläutert, wie man die minimale erforderliche VRAM schätzt, indem man die Modellgewichte, Aktivierungen und den KV-Cache berücksichtigt. Dann werden verschiedene GPU- und TPU-Optionen auf Google Cloud vorgestellt, wie z.B. L4-, A100-, H100-GPUs und TPU v5e und v6e.Die Tensor-Parallelität, die Modelle auf mehrere Acceleratoren verteilt, wird als Methode zur Handhabung großer Modelle erläutert, kann jedoch Kommunikations-Overhead verursachen, der die Latenz beeinträchtigt. Der Leitfaden geht dann zu Benchmarking und Tuning über, indem ein auto_tune.sh-Skript verwendet wird, um verschiedene Konfigurationen zu testen. Dieses Skript findet automatisch die höchste stabile GPU-Auslastung und testet verschiedene Sequenz- und Batch-Größen.Tipps zur Fehlerbehebung werden für potenzielle Probleme wie CUDA-Ausnahmen oder Profilierungs-Hänge bereitgestellt. Das Ziel ist es, den besten Preis-Leistungs-Punkt durch die Bewertung von Latenz und Durchsatz über Kandidaten-Acceleratoren zu identifizieren. Letztendlich ermächtigt der Leitfaden Benutzer, informierte Entscheidungen für kosteneffiziente und leistungsfähige LLM-Bereitstellungen zu treffen.