TheNote
AWS Machine Learning Blog 中文 笔记
GooglePlay AppStore

AWS Machine Learning Blog 中文

提供的 URL 是 Amazon Web Services (AWS) 机器学习博客。该 AWS 网站部分展示了关于机器学习技术的文章和更新、如何使用 AWS 以及机器学习在实际应用和用例中的应用。这些博客旨在帮助开发者、科学家和工程师了解如何利用机器学习来执行各种任务，如预测分析、自然语言处理和计算机视觉等。此博客部分还讨论了机器学习领域中的新兴趋势和如何将其与 AWS 服务集成。
AWS Machine Learning Blog aws.amazon.com
RSS aws.amazon.com
AWS Machine Learning Blog 中文 RSS thenote.app
RSS Hunter RSS Hunter • 2024年8月23日

笔记线程

全新的 AgentCore 运行时：弹性、优化且启动速度始终如一

今天，我们宣布推出全新的 AgentCore 运行时。作为 Amazon Bedrock AgentCore 的一项功能，它专为生产级代理所需的速度、灵活性和成本效益而构建。该运行时会在会话释放时回收内存，并提供一致的冷启动性能，无论图像大小或并发程度如何。
The new AgentCore runtime: Elastic, optimized, and consistently fast starts aws.amazon.com
CdXz5zHNQW_ktrQ1KhCsk.png
RSS Hunter RSS Hunter • 9月18日

借助 AI 驱动的 Amazon Connect Talent，缩短优质候选人的招聘周期。

Amazon Connect Talent 是一款专为管理规模化招聘的人才获取领导者打造的 AI 招聘解决方案。它提供由 AI 主导的面试、数据驱动的评估以及一致的评分，帮助招聘人员更高效地识别优秀候选人，同时为求职者提供灵活的面试体验。基于亚马逊数十年招聘科学的积淀，Amazon Connect Talent 为每一次评估、面试及候选人评分提供透明度，使招聘人员能够始终掌控最终录用决策。
Reduce time-to-hire for quality candidates with AI-powered Amazon Connect Talent aws.amazon.com
CdXz5zHNQW_UVBtAsAYKf.png
RSS Hunter RSS Hunter • 9月17日

Wood Mackenzie 在 Amazon Bedrock AgentCore 上的共享智能体平台

Wood Mackenzie 基于 Amazon Bedrock AgentCore 构建了 APEX，这是一个共享的代理型 AI 平台，使每个团队都能在不重新构建运行时、身份管理、可观测性和护栏的情况下发布生产级代理。了解他们为何选择 AgentCore、APEX Studio 如何运作它，以及多代理系统的未来走向。
A shared agentic platform for Wood Mackenzie, on Amazon Bedrock AgentCore aws.amazon.com
CdXz5zHNQW_RfTBAQJxKe.png
RSS Hunter RSS Hunter • 9月17日

在 Amazon Quick 上为 MCP 工具实施纵深防御授权

学习如何在 Amazon Quick 上实施针对 Model Context Protocol (MCP) 工具的纵深防御授权。本教程通过 Amazon Bedrock AgentCore Gateway 拦截器，将 Microsoft Entra ID 组和基于声明的 JWT 进行对接，以应用基于用户和工具的基于角色的访问控制（RBAC）及基于属性的访问控制（ABAC），并包含服务端检查与不可篡改的审计日志。
Implementing defense-in-depth authorization for MCP tools on Amazon Quick aws.amazon.com
CdXz5zHNQW_oezb6BcMqa.png
RSS Hunter RSS Hunter • 9月17日

在 Amazon SageMaker AI 中利用合成数据增强工业安全人工智能

学习如何在 Amazon SageMaker AI 和 Amazon Rekognition 上构建合成数据增强流水线，为工业安全 AI 生成照片级真实且自动标注的训练图像。该方法在无需人工标注或靠近重型机械进行危险数据收集的情况下，将人员检测准确率提升了高达 160%。
Enhancing industrial safety AI with synthetic data on Amazon SageMaker AI aws.amazon.com
CdXz5zHNQW_D6v3A66iL3.png
RSS Hunter RSS Hunter • 9月17日

利用开源代理技能提升 HCLS 人工智能推理能力

基于基础模型的 AI 代理常错误应用医疗与生命科学领域的决策框架，即引用正确的指南却执行不当。本文分享涵盖 11 个 HCLS 领域的 38 项开源代理技能，以弥合这一差距，内容包括安装步骤、三个实战用例，以及一项包含 410 个提示词的评估，结果显示胜率为 70%–86%。
Improving HCLS AI reasoning with open-source agent skills aws.amazon.com
CdXz5zHNQW_gx2sSie4xW.png
RSS Hunter RSS Hunter • 9月16日

使用 NVRx 在 Amazon EKS 上实现容错分布式训练

将 NVIDIA Resiliency Extension (NVRx) 集成到 Amazon EKS 上的 PyTorch FSDP 训练中，以实现检查点 I/O 与训练的并行执行，并在数秒内从 GPU 故障中恢复。本文涵盖异步检查点、进程内重启以及 ft_launcher 作业内重启，基于 H100 在 2 至 8 节点上的基准测试显示，训练效率达 99% 以上，且恢复时间处于秒级。
Fault tolerant distributed training on Amazon EKS using NVRx aws.amazon.com
CdXz5zHNQW_3pAmfbl3Cf.png
RSS Hunter RSS Hunter • 9月16日

使用 Amazon Bedrock Data Automation 构建无服务器 PII 脱敏管道

学习如何使用 Amazon Bedrock Data Automation 配合自定义蓝图、AWS Step Functions 和 AWS Lambda，大规模实现端到端的 PII 检测与红自动化。自定义蓝图可精准到字段级别地红化敏感信息，而基于 token 匹配的质检机制则能提升在退化文档和手写文档中的召回率。
Build a serverless PII redaction pipeline with Amazon Bedrock Data Automation aws.amazon.com
CdXz5zHNQW_fXIiDT5BdK.png
RSS Hunter RSS Hunter • 9月16日

构建一个基于 Amazon SageMaker 无服务器模型定制功能的 AI 驱动产品标签系统

手动为数千个目录产品添加标签既缓慢又不一致。本教程展示如何在 Amazon SageMaker 无服务器模型定制服务上，使用监督微调（SFT）和可验证奖励的强化学习（RLVR）对 Qwen3-8B 进行定制，随后部署其用于异步推理，以构建一个成本高效的产品标签系统。
Build an AI-powered product tagging system with Amazon SageMaker serverless model customization aws.amazon.com
CdXz5zHNQW_aQLQeSGU6J.png
RSS Hunter RSS Hunter • 9月15日

使用 MMF、Databricks Genie 和 Amazon Quick 实现自动补货

基础模型让全目录需求预测变得简单；真正的挑战在于如何执行预测。本文在 Databricks 和 Amazon Quick 上构建了一个闭环的“检测 - 决策 - 执行”流程，该流程将需求激增与实时供应商库存进行协调，并在无人值守的情况下自动下达补货订单；仅当没有任何供应商能够覆盖需求激增时，才会升级至人工介入。
Automate replenishment with MMF, Databricks Genie, and Amazon Quick aws.amazon.com
CdXz5zHNQW_PZqw9H7IsD.png
RSS Hunter RSS Hunter • 9月14日

使用 AWS DevOps Agent 和 AgentCore 评估监控生产代理生命周期

多智能体系统会以传统监控无法察觉的方式失效。本文提出一种双层监控生产智能体的方法：利用 Amazon Bedrock AgentCore Evaluations 进行持续的质量评分，并结合 AWS DevOps Agent 实现自主的基础设施调查，示例为一个四智能体航空预订系统。
Monitoring production agent lifecycle with AWS DevOps Agent and AgentCore Evaluations aws.amazon.com
CdXz5zHNQW_yCmBCDT0Fq.png
RSS Hunter RSS Hunter • 9月11日

超越每 token 价格：在 Amazon Bedrock 上为您的工作负载选择合适的 OpenAI 模型

在“每百万 token 美元”上比较模型，忽略了生产工作负载实际支付的是结果。本文分享了一个开源基准测试框架，用于衡量 OpenAI 模型在 Amazon Bedrock 上的每个正确答案的成本、智能体轨迹成本以及按评分表评估的交付物质量。
Beyond the price per token: Choosing the right OpenAI model on Amazon Bedrock for your workload aws.amazon.com
CdXz5zHNQW_bIU1xhAw6R.png
RSS Hunter RSS Hunter • 9月11日

使用 Amazon SageMaker Inference 的基于前缀的路由来降低 LLM 延迟

Amazon SageMaker Inference 现已提供前缀感知路由（prefix-aware routing），这是一种将具有相同提示前缀的请求路由到同一实例的策略，以保持 KV 缓存处于热状态。在 Llama 3.1 70B 上的基准测试显示，该策略将 P50 首 token 延迟降低了高达 77%，并将 KV 缓存命中率从约 25% 提升至 80% 以上。
Reduce LLM latency with prefix-aware routing on Amazon SageMaker Inference aws.amazon.com
CdXz5zHNQW_Kz51MkzC1A.jpeg
RSS Hunter RSS Hunter • 9月10日

使用模型缓存减少 Amazon SageMaker HyperPod 的推理冷启动

Amazon SageMaker HyperPod 现已支持推理模型缓存，该功能可将模型权重和容器镜像预加载至集群节点，使 Pod 从本地 NVMe 存储读取数据，而非通过网络下载。了解模型缓存如何将冷启动时间从数十分钟缩短至数秒，其工作原理以及启用方法。
Reduce inference cold starts on Amazon SageMaker HyperPod with model caching aws.amazon.com
RSS Hunter RSS Hunter • 9月10日

AvioBook 如何利用 Amazon Bedrock AgentCore 从运营数据构建扭亏为盈的洞察

AvioBook（泰雷兹集团子公司）在 Amazon Bedrock AgentCore 上原型化实现了 Connected Analytics，将 AvioBook Connect 的运营数据转化为通俗易懂、基于证据的回答，供航空公司管理人员和调度员使用，帮助他们查找并针对航班过站延误的原因采取行动。
How AvioBook builds turnaround insights from operational data with Amazon Bedrock AgentCore aws.amazon.com
CdXz5zHNQW_SqMLJgnxBI.png
RSS Hunter RSS Hunter • 9月10日

Heurist Finance 如何在 Amazon Bedrock AgentCore 上构建原生 AI 投资工作台”

了解 Heurist 如何在 Amazon Bedrock AgentCore 上构建 Heurist Finance——一个对话式 AI 投资工作台。该客户案例展示了 AgentCore 的支付、身份、记忆、代码解释器和可观测性功能，如何使一个小团队能够按查询购买高级市场数据、在沙箱中隔离分析，并确保所有操作均可审计。
How Heurist Finance built an AI-native investment workbench on Amazon Bedrock AgentCore aws.amazon.com
CdXz5zHNQW_KFYeOMQc9i.png
RSS Hunter RSS Hunter • 9月9日

使用 Ray Serve 深度学习容器简化并支持您的 TorchServe 工作负载

TorchServe 已不再维护，团队需自行管理整个 GPU 推理栈。AWS Ray Serve 深度学习容器（DLC）是一个受支持的预测试容器，其中已集成框架、GPU 驱动和推理层。本文介绍如何在单个 GPU 节点上，利用 Ray Serve DLC 在 Amazon EKS 上部署视觉语言模型。
Simplify and support your TorchServe workloads using Ray Serve Deep Learning Containers aws.amazon.com
CdXz5zHNQW_XECF99EFpG.png
RSS Hunter RSS Hunter • 9月9日

自动化 Amazon Quick 的用户级自定义权限

Amazon Quick 自定义权限允许您通过按用户切换功能来实施最小权限访问。本文介绍了四种模式，用于在整个用户生命周期中自动化自定义权限：RegisterUser API 参数、账户和角色默认设置、由 Amazon EventBridge 和 AWS Lambda 驱动的事件自动化，以及用于回溯性批量更新的脚本。
Automate user-level custom permissions for Amazon Quick aws.amazon.com
CdXz5zHNQW_O08GfKwEyn.png
RSS Hunter RSS Hunter • 9月9日

Amazon SageMaker Feature Store 现已推出 UpdateRecord，支持特征级别的写入操作。

Amazon SageMaker Feature Store 现已支持特征级写入。借助新的 UpdateRecord API，您可在单次调用中更新一个或多个特征值，而无需读取或重写整个记录。该功能适用于标准（Amazon DynamoDB）和内存（Amazon ElastiCache）在线存储层级。
Amazon SageMaker Feature Store introduces UpdateRecord for feature-level writes aws.amazon.com
CdXz5zHNQW_Zbe1QvuY1n.png
RSS Hunter RSS Hunter • 9月8日

使用 MLflow 和 Amazon SageMaker AI 模型注册表同步管理模型：第二部分

跨账户管理模型是自动模型注册之后的下一步。本文扩展了托管 MLflow 与 Amazon SageMaker AI 模型注册表同步功能，支持两种跨账户治理拓扑：一种是通过 AWS RAM 集中治理的“中心 - 辐射”模式，另一种是保持开发账户隔离的混合模式。
Govern models with MLflow and Amazon SageMaker AI Model Registry sync: Part 2 aws.amazon.com
CdXz5zHNQW_MLbB0tkv7q.png
RSS Hunter RSS Hunter • 9月8日

使用 MLflow 与 Amazon SageMaker AI 模型注册表同步来治理模型：第一部分

在 Amazon SageMaker AI 上托管的 MLflow 现已将更丰富的模型元数据（包括训练指标、评估结果、推理规格和血缘关系）同步至 SageMaker AI 模型注册表，并支持生命周期阶段提升。第一部分展示了如何在单个账户中利用 IAM 护栏治理候选模型。
Govern models with MLflow and Amazon SageMaker AI Model Registry sync: Part 1 aws.amazon.com
CdXz5zHNQW_5Seg5OHr9n.png
RSS Hunter RSS Hunter • 9月8日

在 SageMaker AI 上对小型 LLM 推理进行基准测试：G7 与 G5 和 G6 的对比

在 Amazon SageMaker AI 上，针对 G5、G6、G6e 和 G7 GPU 实例，对两个 30B 参数规模的混合专家模型 Qwen3-Coder-30B 和 NVIDIA Nemotron-3-Nano-30B 进行基准测试。比较吞吐量、延迟和每 token 成本，并观察 G7 实例搭载的 NVIDIA Blackwell GPU 如何为实时大语言模型推理带来可衡量的性价比提升。
Benchmarking small LLM inference on SageMaker AI: G7 vs G5 and G6 aws.amazon.com
CdXz5zHNQW_agq3j9tzhI.png
RSS Hunter RSS Hunter • 9月8日

滴滴如何利用 Amazon Bedrock 构建智能客服质检系统

DiDi 在 Amazon Bedrock 上构建了一套透明、自有的客服中心质量保证（QA）系统，取代了不透明的第三方工具。意图识别准确率从 38% 提升至 86%，合规评分超过 90%，客户之声（Voice of Customer）趋势分析在西班牙语和葡萄牙语支持中从数小时缩短至数分钟。
How DiDi built intelligent contact center QA with Amazon Bedrock aws.amazon.com
CdXz5zHNQW_9cjbUINNBL.png
RSS Hunter RSS Hunter • 9月8日