Google выпустила функции AlloyDB AI в общем доступе с архитектурой прокси-модели, которая обучает легкую локальную модель на основе выходных данных LLM, а затем выполняет запросы со скоростью базы данных без внешних вызовов. Интеллектуальная пакетная обработка обеспечивает 2400-кратное увеличение пропускной способности. Прокси-модель достигает 100 000 строк в секунду в предварительной версии, но показатели бенчмарков применимы только к ai.if во внутренних тестах. Автор: Стееф-Ян Виггерс.