RSS VentureBeat
팔로우
구글 연구원들이 '충실한 불확실성'을 도입하여 LLM이 환각 대신 최선의 추측을 제공하도록 합니다.
대규모 언어 모델은 환각 현상으로 어려움을 겪고 있으며, 이는 엔터프라이즈 애플리케이션에서의 활용을 저해합니다. 오류를 줄이기 위한 현재의 방법들은 종종 유효한 답변까지 억제하여 유용성 세금을 발생시킵니다. 구글 연구원들은 모델의 응답을 내부 확신과 일치시키는 메타인지 기법인 "충실한 불확실성(faithful uncertainty)"을 제안합니다. 이는 모델이 "최선의 추측은"과 같이 불확실성을 적절하게 표현할 수 있도록 하여, 전부 아니면 전무의 접근 방식을 피하게 합니다. 에이전트 AI에서 이러한 메타인지는 제어 계층 역할을 하여, 시스템이 정보 부족 시 외부 도구를 언제 트리거해야 하는지 알 수 있도록 합니다.
역사적으로 LLM의 사실성을 개선하는 것은 더 많은 사실을 담는 것이었지, 지식 경계에 대한 인식을 개선하는 것이 아니었습니다. 단순히 모델에 더 많은 사실을 가르치는 것은 유한한 용량으로 인해 제한됩니다. LLM의 어려움은 자신이 모르는 것을 알고 기권하는 것입니다. 이는 종종 모델이 올바른 답변을 거부하게 하여 유용성을 감소시킵니다.
환각을 "확신에 찬 오류(confident errors)"로 재구성하면 모델이 불확실한 정보를 한정할 수 있습니다. 충실한 불확실성은 언어적 불확실성이 내부 확신과 일치하도록 보장하므로, 진정으로 불확실할 때만 완곡한 표현을 사용합니다. 이러한 메타인지 능력은 자율 시스템에 매우 중요합니다.
에이전트 애플리케이션의 경우, 충실한 불확실성은 외부 도구에서 정보를 검색할 시점을 관리합니다. 이는 에이전트가 이미 알고 있는 정보를 검색하거나 검색이 필요한 상황에서 기억에 의존하여 잘못된 답변을 확신 있게 하는 것을 피하도록 돕습니다. 또한 외부 신호를 내부 지식과 비교하여 도구 결과를 평가하는 데에도 도움이 됩니다.
충실한 불확실성을 가르치는 것은 지도 미세 조정을 포함하지만, 불확실성의 대상이 동적이므로 "부트스트랩 역설(bootstrapping paradox)"에 직면합니다. 프롬프트 엔지니어링은 MetaFaith와 같은 프레임워크를 통해 기업에게 접근 가능한 진입점을 제공합니다. 그러나 더 깊은 메타인지는 궁극적으로 고급 강화 학습을 필요로 할 것입니다. 모델에서 진정한 자기 인식을 평가하는 것은 여전히 중요한 과제로 남아 있습니다.
