Spring AI 与 TypeSafe Jev:快速、廉价... 笔记

Spring AI 与 TypeSafe Jev:快速、廉价、结构化的决策”

Spring AI TypeSafe 集成了 TypeSafe AI 的 Jev API,为 AI 应用提供快速、低成本且结构化的决策组件。它绕过传统的提示模板和 JSON Schema 解析,转而提供一个客户端,接收状态和类型化的问题,并返回结构化的答案。该系统处理三种基本问题类型:Noul(用于是/否)、Choice(用于选择选项)和 Score(用于在评分标准上进行排序)。这些基本类型返回精确值、概率和置信度,从而实现细粒度的评估。该服务专为速度和成本效益而设计,在基准测试中,其性能和价格均显著优于典型的聊天模型调用。这使得在 AI 管道的各个阶段进行检查成为可能。核心思想是在代码中组合原子问题,使服务能够针对单一状态观测并行处理这些问题。这一能力在 LLM-as-a-Judge 场景中得到了体现,其中 JevJudge 可依据特定标准和阈值构建,以评估模型输出。置信度分数提供了额外的信息维度,表明答案基于其分布的确定性程度。JevSelfRefineAdvisor 利用该判断系统实现自我修正循环,在未达到标准时,根据反馈重试模型调用。此外,JevGuardrailAdvisor 充当安全层,对预定义的危险对用户输入和模型输出进行筛查。它不进行重试,而是根据严重程度进行阻止或标记。该系统的输出是结构化的,提供分类、分数和决策,而不生成散文。TypeSafe AI 的基本类型包括:Noul(是/否,返回 0 到 1 之间的真值)、Choice(选择一个选项,返回所选标签、所有选项的概率以及置信度)和 Score(在有序评分标准上定位,返回连续值及相关概率)。为这些基本类型提供选项描述和清晰的指令,可显著提升性能和置信度。该项目作为 Maven Central 启动器提供,可配合 Spring Boot 使用,也可独立使用。
CdXz5zHNQW_hDXjfLYIZj.png