Счет за ажиотаж вокруг интеграции генеративного ИИ прибыл, и он выражен в затратах на исходящий трафик, раздувании токенов и простаивающей памяти контейнеров. Последние два года инженерные команды интегрировали большие языковые модели (LLM) по пути наименьшего сопротивления: накладывая модели поверх существующих архитектур. Для сценариев использования, ориентированных на человека, это работает. Люди предоставляют неявный контекст, терпят небольшие задержки и интуитивно исправляют ошибки.