Baseten, ein Anbieter von KI-Infrastruktur, hat signifikante Verbesserungen bei der Kosten-Leistungs-Effizienz für KI-Inferenz erzielt. Durch die Nutzung der A4 virtuellen Maschinen von Google Cloud mit NVIDIA Blackwell Hardware und des Dynamic Workload Schedulers bietet Baseten eine verbesserte Effizienz. Dieser Durchbruch ermöglicht es Unternehmen, fortschrittliche KI-Modelle kostengünstig in die Produktion zu bringen und so neue Anwendungen zu ermöglichen. Inferenz, der Prozess des Ausführens von KI-Modellen, ist entscheidend für KI in Unternehmen und hat sich aufgrund der steigenden Rechenanforderungen zu einem Engpass entwickelt. Baseten begegnet dieser Herausforderung, indem es eine skalierbare Inferenzplattform für verschiedene proprietäre und Open-Source-Modelle anbietet und dabei Leistung und Kosten in den Mittelpunkt stellt. Ihre Strategie beinhaltet die Optimierung modernster Hardware mit einem hochentwickelten Open-Software-Stack. Dazu gehört die Nutzung von NVIDIA GPUs und fortschrittlichen Frameworks wie NVIDIA Dynamo und TensorRT-LLM. Die Software-Optimierungen von Baseten steigern den Durchsatz und reduzieren die Latenz, wodurch sie sich als Top-Performer positionieren. Darüber hinaus gewährleisten ihre globale Infrastruktur und die Nutzung des Dynamic Workload Schedulers von Google Cloud eine hohe Verfügbarkeit und Redundanz. Diese leistungsstarke Kombination aus Hardware und Software eröffnet neue KI-Anwendungen in allen Branchen in beispiellosem Umfang und zu bisher unerreichter Kosteneffizienz.