Spring AI TypeSafe интегрирует Jev API от TypeSafe AI для предоставления быстрых, дешевых и структурированных компонентов принятия решений для приложений ИИ. Он обходит традиционное шаблонизацию промптов и парсинг JSON-схем, вместо этого предлагая клиент, который принимает состояние и типизированные вопросы для возврата структурированных ответов. Система обрабатывает три примитивных типа вопросов: Noul для да/нет, Choice для выбора опции и Score для ранжирования по шкале. Эти примитивы возвращают точные значения, вероятности и степени уверенности, обеспечивая гранулярную оценку.Сервис разработан для скорости и экономической эффективности, значительно превосходя типичные вызовы чат-моделей в бенчмарках как по производительности, так и по цене. Это позволяет проводить проверки на различных этапах конвейеров ИИ. Основная идея заключается в составлении атомарных вопросов в коде, что позволяет сервису обрабатывать их параллельно на основе одного наблюдения состояния.Эта возможность демонстрируется в сценарии LLM-как-судья, где JevJudge может быть построен с конкретными критериями и порогами для оценки выходных данных модели. Оценки уверенности предоставляют дополнительную ось информации, указывающую на достоверность ответа на основе его распределения. JevSelfRefineAdvisor использует эту систему судейства для реализации циклов самокоррекции, повторяя вызовы модели с обратной связью, когда критерии не соблюдаются.Кроме того, JevGuardrailAdvisor действует как уровень безопасности, проверяя как пользовательский ввод, так и выходные данные модели на наличие предопределенных опасностей. Он не повторяет попытки, а блокирует или помечает в зависимости от серьезности. Выходные данные системы структурированы, предлагая классификации, оценки и решения без генерации прозы.Примитивы TypeSafe AI: Noul (да/нет, возвращает истинное значение от 0 до 1), Choice (выбор одной опции, возвращает выбранную метку и вероятности для всех опций вместе с уверенностью) и Score (размещение на упорядоченной шкале, возвращает непрерывное значение и связанные вероятности). Описания опций и четкие инструкции для этих примитивов значительно улучшают производительность и уверенность. Проект доступен как стартер Maven Central и может использоваться как с Spring Boot, так и без него.