다이피(Dify)에 아마존 베드락(Amazon Bedrock)을 통합하다.

Dify를 사용하고 계신가요? Dify는 모델 제공자로 Amazon Bedrock을 선택할 수 있으므로, 액세스 키와 시크릿 액세스 키를 설정하면 Amazon Bedrock의 다양한 모델을 사용할 수 있습니다. Dify는 클라우드 버전과 온프레미스 버전이 있으며, 클라우드 버전의 SANDBOX 무료 플랜은 사용 범위에 제한이 있습니다. 따라서 Amazon Bedrock을 사용하려면 셀프 호스팅 COMMUNITY 버전을 이용해야 합니다. 사내와 같은 로컬 환경에서 사용하면 Amazon Bedrock과의 통신은 발생하지만, 로컬 RAG를 만들거나 모델이 학습될 걱정 없이 사용한 만큼만 비용이 발생하므로, 처음 사용해보고 싶은 중소기업에게 최적의 선택입니다. 또한, 로컬 LLM을 준비함으로써 인터넷과의 통신 없이도 클로즈드 환경에서 사용할 수 있습니다. 온프레미스 버전은 Docker 이미지로 제공되므로 설치가 비교적 용이합니다. 아래는 Dify 온프레미스 버전에 Amazon Bedrock/Nova Cross-Region 추론을 통합하는 방법을 참고하여 EC2에 구축한 Dify에 공용 IP를 통해 연결한 예시입니다. 로컬 환경에 구축하면 로컬 연결도 마찬가지로 가능합니다. 참고 자료에서는 오레곤 리전을 사용한 설명이지만, 저는 버지니아 북부 리전에서 실험한 결과, "US.Cross Region Inference"로 표시되지 않은 모델도 정상적으로 응답했습니다. 여러분도 꼭 시도해 보세요!