Сообщество RSS DEV

Интегрировать Amazon Bedrock в Dify

Вы используете Dify, не так ли? Так как Dify позволяет выбрать Amazon Bedrock в качестве провайдера моделей, вы можете настроить доступ к ключам и секретным ключам, чтобы использовать широкий спектр моделей Amazon Bedrock. Dify имеет облачную и локальную версии, а в облачной версии есть бесплатный план SANDBOX, который имеет ограничения на использование. Однако, используя самохостинг COMMUNITY-версию, вы можете выбрать Amazon Bedrock. Если вы используете его в локальной среде, например, в компании, то вы можете использовать Amazon Bedrock без беспокойства о создании локальной RAG или обучении моделей. Вы можете использовать только то, что вам нужно, что делает его идеальным выбором для малых и средних предприятий. Кроме того, если вы настроите локальный LLM, вы сможете использовать его в закрытой среде без интернет-соединения. Кстати, локальная версия Dify поставляется в виде образа Docker, что делает ее установку относительно простой. Ниже приведен пример того, как интегрировать Amazon Bedrock/Nova Cross-Region inference в локальную версию Dify, используя EC2 и публичный IP-адрес. Однако, вы можете настроить его в локальной среде и использовать локальное соединение. Кроме того, в оригинальном тексте использовался регион Орегон, но я попробовал использовать регион Северная Вирджиния и обнаружил, что модель выбирается правильно, даже если она не отображается как US.Cross Region Inference. Попробуйте это сами!
favicon
dev.to
DifyにAmazon Bedrockを組み込む
Изображение к статье: Интегрировать Amazon Bedrock в Dify