Spring AI TypeSafe는 TypeSafe AI의 Jev API를 통합하여 AI 애플리케이션을 위한 빠르고 저렴하며 구조화된 의사 결정 구성 요소를 제공합니다. 기존의 프롬프트 템플릿팅 및 JSON 스키마 파싱을 우회하고, 대신 상태와 타입이 지정된 질문을 받아 구조화된 답변을 반환하는 클라이언트를 제공합니다. 시스템은 세 가지 기본 질문 유형을 처리합니다: 예/아니오를 위한 Noul, 옵션 선택을 위한 Choice, 루브릭에 따른 순위 매기기를 위한 Score. 이러한 기본 요소는 정확한 값, 확률 및 신뢰도를 반환하여 세분화된 평가를 가능하게 합니다.이 서비스는 속도와 비용 효율성을 위해 설계되었으며, 성능과 가격 모두에서 벤치마크에서 일반적인 채팅 모델 호출보다 훨씬 뛰어납니다. 이를 통해 AI 파이프라인의 다양한 단계에서 검사를 수행할 수 있습니다. 핵심 아이디어는 코드에서 원자적 질문을 구성하여 서비스가 단일 상태 관찰에 대해 병렬로 처리할 수 있도록 하는 것입니다.이 기능은 LLM-as-a-Judge 시나리오에서 예시로 제공되며, 여기서 JevJudge는 특정 기준과 임계값을 사용하여 모델 출력을 평가하도록 구축될 수 있습니다. 신뢰도 점수는 답변의 확실성을 분포에 기반하여 나타내는 추가 정보 축을 제공합니다. JevSelfRefineAdvisor는 이 판단 시스템을 활용하여 기준이 충족되지 않을 때 피드백과 함께 모델 호출을 재시도함으로써 자체 수정 루프를 구현합니다.또한, JevGuardrailAdvisor는 안전 계층 역할을 하여 사용자 입력과 모델 출력 모두를 미리 정의된 위험에 대해 검사합니다. 재시도하지 않고 심각도에 따라 차단하거나 플래그를 지정합니다. 시스템의 출력은 구조화되어 있으며, 산문을 생성하지 않고 분류, 점수 및 결정을 제공합니다.TypeSafe AI 기본 요소는 Noul (예/아니오, 0과 1 사이의 진리 값 반환), Choice (하나의 옵션 선택, 선택된 레이블과 모든 옵션의 확률 및 신뢰도 반환), Score (순서가 있는 루브릭에 배치, 연속 값 및 관련 확률 반환)입니다. 옵션 설명과 이러한 기본 요소에 대한 명확한 지침은 성능과 신뢰도를 크게 향상시킵니다. 이 프로젝트는 Maven Central 스타터로 제공되며 Spring Boot와 함께 또는 없이 사용할 수 있습니다.