Box 如何利用 Gemini Embeddings 2 解锁多模态企业智能体
企业内容管理正在经历重大的架构转型,超越传统的基于文本的人工智能。企业在 Box 中存储着海量的关键数据,包括财务模型和法律文件。虽然基于文本的搜索和 RAG(检索增强生成)一直行之有效,但智能体时代需要多模态能力。这一演进使系统不仅能处理文本,还能理解和处理空间与结构数据。Google Cloud 与 Box 正将先进的多模态能力集成到 Box 的智能体平台中,该能力由 Gemini 多模态嵌入 2 驱动。此次融合将 Google Cloud 的 AI 嵌入技术增强至 Box 平台。改进后的嵌入技术保留了理解复杂文档(如财务表格)至关重要的视觉和空间几何信息。它们凸显了图表和流程图等视觉元素,使其可与文本一同被检索。该技术还连接了混合文件格式,实现了跨 PDF、电子表格和演示文稿的统一理解。Gemini 多模态嵌入 2 为文本、图像和文档页面创建了统一的向量空间,支持无需手动标记的跨模态检索(文本到视觉和视觉到文本)。该系统还支持布局感知的文档嵌入,保留视觉层级,并无缝桥接异构格式。此次在 Box 内的集成催生了三种多模态企业智能体的核心模式。第一种模式针对复杂的财务与分析报告,通过捕捉表格与图表的结构对齐关系,使智能体能够执行视觉趋势分析和上下文溯源。第二种模式聚焦于多模态临床决策支持,综合多种数据格式(如实体照片和病理切片),实现跨模态临床综合、细粒度异常识别和风险感知决策支持。第三种模式解决跨文档多模态综合与数据 reconciliation(数据对账)问题,以应对碎片化的企业信息,从而实现跨文件综合、冲突解决以及跨不同文档的视觉到文本审计。智能体企业内容管理的未来依赖于此次集成,从而从基础搜索迈向智能协作。Box 平台为 AI 智能体提供受管制的、语义索引的推理层,确保合规与安全。通过主动呈现洞察并标记差异,Box 有助于降低业务风险。这种多模态理解对于金融服务和生命科学等行业至关重要。Box 作为受管制的內容基础,确保 AI 驱动的工作流使用授权且可审计的数据。能够理解本质上多模态的企业数据景观,标志着生产力与创新的新纪元。