Как локальный, так и облачный ИИ могут казаться правдоподобными с точки зрения времени автономной работы и эффективности, но это не подтвержденные заявления. При выборе места размещения ИИ учитывайте четыре различных бюджета: время ожидания пользователя, затраты на передачу данных по сети, расходы поставщика и энергопотребление устройства. Каждый из них требует собственного конкретного измерения и доказательств.Для точного сравнения необходимо четко определить путь выполнения. Например, рассмотренный мобильный код MonkeyCode использует потоковую передачу с поддержкой сервера для задач и преобразования речи в текст, что указывает на облачное выполнение, а не на локальное. Справедливое исследование сравнило бы мобильный клиент, использующий удаленные службы, с отдельным прототипом, демонстрирующим локальные возможности.Комплексная система измерений должна включать такие поля, как идентификатор образца, тип, размещение, устройство, ОС, фреймворк, модель, тип сети, количество токенов, задержка, передача данных в байтах, энергия в джоулях и стоимость в долларах США. Эти детали имеют решающее значение для интерпретации результатов и понимания размера рабочей нагрузки и поведения сети. Процент заряда батареи является недостаточной метрикой для коротких запусков из-за многочисленных внешних факторов.Сравнения должны использовать сопоставимые пользовательские сценарии, гарантируя, что одни и те же задачи тестируются при различных вариантах размещения. Это включает короткие запросы, голосовые обращения, автономные сценарии, фоновое поведение/возобновление и тепловые циклы. Периоды прогрева должны сообщаться отдельно, а тесты должны быть рандомизированы, повторяться, и отказы должны фиксироваться.Анализатор должен предотвращать ложные выводы об энергопотреблении, требуя измерения джоулей для каждой точки данных. Синтетические данные полезны для тестирования разбора, но не отражают реальную производительность. В реальном конвейере происхождение данных должно быть надежным, включая экспорт профилировщика и сохранение необработанных файлов.Решения о выпуске должны быть явными, основанными на достижении целевых показателей P95 задержки взаимодействия, сетевых байтов, расходов поставщика, энергопотребления и теплового поведения, конфиденциальности и качества. Локальный ИИ влечет за собой размер загрузки и нагрузку на ОЗУ, в то время как облачный ИИ зависит от сетевого подключения и зависимости от услуг. Использование четких единиц измерения обеспечивает честную оценку этих компромиссов.