Вы используете Dify, не так ли?
Так как Dify позволяет выбрать Amazon Bedrock в качестве провайдера моделей, вы можете настроить доступ к ключам и секретным ключам, чтобы использовать широкий спектр моделей Amazon Bedrock.
Dify имеет облачную и локальную версии, а в облачной версии есть бесплатный план SANDBOX, который имеет ограничения на использование. Однако, используя самохостинг COMMUNITY-версию, вы можете выбрать Amazon Bedrock.
Если вы используете его в локальной среде, например, в компании, то вы можете использовать Amazon Bedrock без беспокойства о создании локальной RAG или обучении моделей. Вы можете использовать только то, что вам нужно, что делает его идеальным выбором для малых и средних предприятий.
Кроме того, если вы настроите локальный LLM, вы сможете использовать его в закрытой среде без интернет-соединения.
Кстати, локальная версия Dify поставляется в виде образа Docker, что делает ее установку относительно простой.
Ниже приведен пример того, как интегрировать Amazon Bedrock/Nova Cross-Region inference в локальную версию Dify, используя EC2 и публичный IP-адрес. Однако, вы можете настроить его в локальной среде и использовать локальное соединение.
Кроме того, в оригинальном тексте использовался регион Орегон, но я попробовал использовать регион Северная Вирджиния и обнаружил, что модель выбирается правильно, даже если она не отображается как US.Cross Region Inference.
Попробуйте это сами!
dev.to
DifyにAmazon Bedrockを組み込む
