Задержка является критически важной проблемой при внедрении моделей языка и ИИ в продакшн. Игнорирование вычислительной производительности, фокусируясь только на точности, является ошибкой. Скорость, измеряемая в токенах в секунду, стала важной архитектурной метрикой. Это связано с тем, что критически важные приложения нуждаются в быстрых ответах, особенно в финансах и здравоохранении. Оптимизация производительности моделей также приводит к меньшему использованию GPU и, следовательно, к более низким счетам за облачные услуги. Такие методы, как использование легких архитектур, квантование и пакетная обработка, помогают повысить скорость без ущерба для точности. Представлен практический пример на Python для измерения скорости моделей в токенах в секунду. Цель примерно в сто токенов в секунду является хорошим ориентиром для взаимодействия человека в реальном времени. Шаги по оптимизации включают установку начального бенчмарка, внедрение пакетной обработки и оценку дистиллированных или квантованных моделей. Сообщество делится инструментами и библиотеками для профилирования и бенчмаркинга моделей ИИ.