Stories by Pinterest Engineering | Medium 中文 - TheNote.app

Stories by Pinterest Engineering | Medium 中文
关注

Medium 上的 Pinterest 工程展示了推动流行视觉发现平台的技术创新。通过深入的文章，工程师们分享了他们在可扩展性、机器学习、数据基础设施等方面的工作见解。该出版物强调了 Pinterest 的工程文化，强调协作、实验和解决复杂问题的热情。读者可以探索诸如构建推荐系统、优化搜索功能和开发数据分析工具等主题。内容为工程师和技术爱好者提供了宝贵的视角，了解像 Pinterest 这样的大型平台的技术细节。无论是深入研究图像识别的挑战还是他们基础设施的演变，Medium 上的 Pinterest 工程都为人们提供了一个迷人的技术视角。

Stories by Pinterest Engineering on Medium medium.com

Stories by Pinterest Engineering | Medium 中文 RSS thenote.app

RSS Hunter • 2024年8月23日

笔记线程

介绍 ModuleLens：深入 PyTorch 模块以能人类与智能体工程

现代推荐系统因其大规模和分布式特性，在测试与调试方面面临重大挑战。传统的“模型优先（Model-First）”方法导致硬件瓶颈、输入数据依赖以及迭代反馈循环缓慢。ModuleLens 引入了一种“模块优先（Module-First）”范式，使工程师能够本地隔离、重构和剖析各个模块。这显著加速了开发工作流，并促进了自主 AI 代理的优化。ModuleLens 架构由 ModuleTracer、ModuleRepo 和消费层（Consumption Layer）组成。ModuleTracer 通过 PyTorch 前向钩子（forward hooks）以无侵入方式捕获关键的运行时数据，包括张量、参数和初始化参数，高效处理大张量并在内存中追踪模块初始化。ModuleRepo 将提取的模块状态集中存储于 Weights & Biases（WandB）注册表中，通过集合索引进行组织，并以包含元数据和二进制负载的版本化制品形式进行管理。消费层为人类工程师提供交互式 Jupyter 扩展和 IPython 命令行接口，并为大语言模型（LLM）代理提供 Agent Skills。这使得调试、探索以及自主模块分析与优化成为可能。ModuleLens 已被应用于多种内部工具，包括用于瓶颈识别的训练分析器（Training Analyzer）、用于 GPU 内核生成与验证的 KernelAgent，以及用于评估基础设施成本的扩展定律投资回报率工具（Scaling Law ROI Tools）。未来计划包括稳定核心系统、增强 Agent Skills 以支持高级优化（如 Triton/CUDA 内核合成），并实现自主训练与服务优化。ModuleLens 旨在提升人类工程效率，并为模型自动研究和递归自我改进提供执行基础。通过提供对隔离模块和性能信号的可靠访问，ModuleLens 赋能代理进行实验、修改组件、基准测试并保留成功的变更。本项目感谢来自产品机器学习基础设施（Product ML Infra）、ATG、HomeFeed 和广告排序团队的众多贡献者，他们在领导、设计洞察、测试、采用及代码开发方面提供了关键支持。

Introducing ModuleLens: Zooming into PyTorch Modules for Human and Agentic Engineering medium.com

RSS Hunter • 10月19日

开源级互联网规模性能分析器：Pinterest 与 Intel 合作打造 gProfiler

Pinterest 服务着 6.4 亿用户，与 Intel 合作，通过性能分析（profiling）提升基础设施效率。初期，他们面临分析工具碎片化以及需要统一可扩展解决方案的挑战。他们选择增强开源工具 gProfiler，该工具最初由 Granulate 开发，而 Granulate 曾是 Intel 的子公司。此次合作旨在为大规模云环境构建一个稳健的性能分析系统。Pinterest 和 Intel 扩展了 gProfiler，增加了动态性能分析功能，支持按需启动分析会话。他们集成了 Intel PerfSpect 以获取硬件遥测数据，捕获诸如缓存行为和 CPU 停顿等细节。同时引入了墙钟时间（wall-time）性能分析，以检测 I/O 或锁竞争导致的延迟，这些是 CPU 火焰图（flame graphs）所遗漏的。此外，他们还添加了 PMC 火焰图，将函数与硬件事件关联起来，并贡献了生产环境加固修复，以确保大规模部署下的效率。该合作聚焦于开源方法，以避免供应商锁定并促进协作。gProfiler 编排多种语言特定的性能分析器，生成统一的火焰图，提供系统活动的全面视图。Pinterest 决定合作，是出于认识到从头构建如此复杂的工具将极其艰巨，而 Intel 的硬件专业知识对于深入分析瓶颈至关重要。gProfiler 及其后端 gProfiler Performance Studio 的开源，为 Pinterest 提供了可在此基础上构建的基础。随后，Pinterest 在其整个机队中部署了 gProfiler 代理，解决了与资源消耗和数据摄入相关的可靠性问题。他们的重大贡献包括动态性能分析功能，实现了全机队范围内的按需分析。这些贡献还解锁了额外能力，如墙钟时间性能分析和基于硬件事件的火焰图。gProfiler 的架构由每个节点上的数据收集代理和负责聚合与可视化的后端组成。代理协调各种语言性能分析器，生成合并的堆栈跟踪，从而在不修改应用代码的情况下提供统一视图。后端微服务负责处理性能数据摄入、存储至 S3、索引至 ClickHouse，并通过 React 前端进行可视化。

Open Source Profiler on an Internet Scale Fleet: Pinterest and Intel Partnership on gProfiler medium.com

RSS Hunter • 10月16日

从活动到意图：利用大语言模型生成用户旅程

Pinterest 旨在理解用户的长期目标，即“旅程”（journeys），这是一系列与特定兴趣和意图相关的交互序列。这超越了仅基于单次点击推荐下一个物品的简单做法。识别这些旅程能够提供更相关的推荐和通知，帮助用户完成项目。最初，Pinterest 采用多阶段流水线通过聚类关键词并附加属性来推断旅程。该遗留系统提升了参与度指标，但存在碎片化、通用分桶以及来自无关点击的偶然噪声等问题。为解决这些问题，Pinterest 将旅程推断重构为生成任务，使用经过微调的 40 亿参数大语言模型（LLM）。该 LLM 直接读取用户的按时间顺序排列的活动日志，并以用户所在地区的语言输出排序后的旅程名称列表。该 LLM 的提示工程至关重要，它定义了操作重要性、事件分组，并处理诸如“不喜欢”等负向信号。前沿模型被用作教师，为微调更小、可投入生产的“学生”模型生成合成训练数据。选择 40 亿参数模型，是因为其在输出质量与服务效率之间取得了良好平衡。在大规模部署这些模型时，采用了诸如 PagedAttention 和连续批处理等复杂优化技术，以高效服务数亿用户。新的生成式系统成功整合了碎片化的旅程，提供了具体的名称，并重新引入了丢失的意图。这种方法为个性化提供了一套通用方案，不仅适用于 Pinterest，也适用于具有顺序用户活动和结构化意图目标的其他平台。

From Activity to Intent: Generating User Journeys with LLMs medium.com

RSS Hunter • 10月9日

指标看板：构建面向智能体的指标层

Pinterest 在所有决策制定中均依赖可信指标，涵盖业务表现到功能实验。数百名数据生产者从海量数据湖中生成数千个指标。为管理这一复杂性，Pinterest 构建了 Metrics Board，一个端到端平台。该平台自动化指标创建、强制执行质量规范，并支持由智能体驱动的统计分析。指标对于理解用户与广告商价值、推动产品决策及预测公司战略至关重要。同时，指标也支撑 Pinterest 的大规模产品实验实践，确保结果公平且具有统计显著性。此前，指标定义于定制的数据管道中，导致效率低下与信任流失。Metrics Board 旨在统一指标、提供透明定义、自动化管道创建，并确保指标验证与监控。其目标是使指标对所有用户、应用程序及不断演进的 AI 智能体而言易于使用。Metrics Board 充当语义层，其定义在 Git 仓库中管理，如同生产代码。系统生成 YAML 规范并发起拉取请求，与更广泛的数据栈集成。Metrics Board 通过调度 Airflow DAG 编排指标计算，将每个指标隔离以实现更优控制。它将 SQL 编译为 SparkSQL 或 PrestoSQL，并自动生成依赖任务与数据质量检查。回填操作由 Airflow 管理，平台还处理自动化运维任务，如检测上游数据延迟。此举将指标创建时间从数天或数周缩短至数小时。指标质量至关重要，每个定义均包含验证规则。这些验证采用基于规则的检查以明确预期，并结合基于机器学习的异常检测。当检查失败时，警报会实时通知相关人员；质量报告可通过 API 获取并导出为 PDF。发布机制确保指标能够到达用户实际使用的产品中，集成支持 PinCat、Helium、Superset 和 StarRocks。元数据集成在提交时发布，而数据集成则在计算完成后发布。Metrics Board 通过集中定义与元数据促进发现与治理，提升可发现性。指标自动流入 PinCat 数据目录。认证等级体系从“未知”到"A+"，帮助使用者识别可信指标。仪表板也被划分为不同层级，影响留存率、查询性能及关键公司级仪表板所需的文档要求。一级仪表板代表最关键的一组，享有强保障并需经过正式认证。

Metrics Board: Building an Agent-ready Metrics Layer medium.com

RSS Hunter • 10月6日

Pinterest 下一代数据库摄入框架中的分区最终化

本文介绍了一种解决方案，用于确定数据在 Pinterest 新数据库摄入框架中何时已足够完整以供下游消费。该框架基于 Kafka、Flink 和 Iceberg 等技术构建，支持连续数据处理，这给原本依赖单次运行批作业进行最终化的批作业带来了挑战。按时间列分组的时分数据允许消费者读取特定切片，而无需扫描整个表。在批处理系统中，一旦生产者完成写入，分区即被视为最终化；然而，流处理框架会持续向分区写入数据，使得传统意义上的最终化变得困难。为此，Pinterest 在 Flink 到 Iceberg 的 Sink 中开发了一种基于事件时间的分区最终化机制。该系统从记录中提取事件时间，收集 Flink Checkpoint 之间的最小和最大事件时间等统计信息，并将其存储在 Iceberg 的快照摘要中。随后，一个算法利用这些统计信息生成水印，指示分区被视为完整的截止点，并确保该值始终递增。该水印作为 Iceberg 表的属性进行存储，允许下游作业查询它以触发处理。该机制通过 Upsert 作业传播到基础表，确保信号随数据一同传递。该实现利用了可扩展的 Iceberg-Flink Sink 能力：累加器在 Writer 子任务中收集记录统计信息，而 Commit 处理器在 Iceberg 提交前后执行自定义逻辑。此设计在无需配置扩展时实现零开销，并确保分区最终化能够高效地集成到流数据处理管道中。

Partition Finalization in Pinterest’s Next-Generation DB Ingestion Framework medium.com

RSS Hunter • 9月25日

双塔之外：启动三塔协同培训参与模式（第二部分）

Pinterest 开发了一种名为 Nexus 的新型轻量级排序模型，该模型超越了传统的双塔架构。Nexus 模型联合预测点击率（pCTR）、优质点击率（pGCTR30）和外链点击率（pOCTR）。为高效支持这些预测，针对每个任务对嵌入向量进行分段处理。Nexus 系统支持更复杂的模型架构，如交叉注意力机制和序列建模。然而，每次请求需对数十万候选项进行打分，带来了显著的延迟与成本挑战。为此，设计了一种三塔协同训练模型，将快速的双塔预测与更丰富的三塔预测相结合。该架构保留了原有的查询塔（query tower）和 Pin 塔，以实现高效的缓存与点积预测。同时引入第三个交叉塔（cross tower），利用用户序列与候选特征之间的注意力机制，并通过交互模块（inter module）融合这些嵌入向量。模型采用协同训练方式，既能为所有候选项生成快速分数，又能为子集生成更准确的分数。该方法通过将计算资源分配至影响最大的位置，实现了性能与延迟的平衡：交叉塔捕捉高阶交互，交互模块则为所有任务生成共享表示。训练过程采用多任务损失函数，对主要的三塔损失赋予更高权重，而辅助的双塔协同训练损失权重较低。这确保了三塔预测成为主要优化目标，同时保持快速双塔预测的质量。实施了一系列显著的推理优化以控制计算成本，包括在 Pin 塔中对 Pin 特征进行预处理以避免每次请求的计算开销，以及采用 BF16 低精度推理。这些优化大幅降低了 P99 模型推理时间，使得三塔方法在大规模场景下具备可行性。综合改进带来了显著的离线损失下降，并推动了线上业务指标的积极提升。

Beyond Two Towers: Launching the 3-Tower Engagement Co-Train Model (Part 2) medium.com

RSS Hunter • 9月17日

演进 Pinterest 的嵌入检索平台

Pinterest 的发现引擎高度依赖嵌入检索，其动力源自其自研平台 Manas。Manas 支持数十亿个嵌入，覆盖多种产品界面，但在内存成本和模型表达能力方面面临扩展挑战。为此，Pinterest 正通过三项关键举措演进检索架构。首先，采用标量量化（Scalar Quantization）和乘积量化（Product Quantization）等量化技术，显著降低嵌入索引的内存占用和服务成本。其次，实施基于 SSD 的服务方案，具体采用 SPANN 结合 PQ 量化，将索引从昂贵的内存中迁移至 SSD，同时保持低延迟。与内存内解决方案相比，该方法大幅降低了内存使用和 CPU 成本。第三，Manas 正从限制性的双塔模型转向多嵌入检索，支持更丰富的评分函数和更细致的相似度评估。这一转变使得延迟交互模型成为可能，突破了候选项单向量表示的局限。未来计划包括进一步优化 SPANN 和 SPFresh 的成本、增强多嵌入支持，并探索基于 GPU 的检索系统。这些进展旨在构建一个可扩展、成本高效且创新的嵌入检索架构，服务于 Pinterest。

Evolving Pinterest’s Embedding Retrieval Platform medium.com

RSS Hunter • 9月11日

在NVIDIA Dynamo上构建Pinterest的VLM服务栈

Pinterest 利用视觉 - 语言模型（VLMs）增强其视觉搜索与发现平台。这些模型对于驱动 Pinterest Assistant 和混合搜索等新功能至关重要。Pinterest 对开源 VLM 进行定制，以满足其特定的产品需求和规模要求。部署 VLM 面临超越传统纯文本大语言模型（LLM）的独特挑战，包括处理多张图像以及更大的键值（KV）缓存。为此，Pinterest 基于 NVIDIA Blackwell GPU 和 NVIDIA Dynamo 构建了其 VLM 服务栈。Blackwell GPU 为高需求 AI 工作负载提供了卓越的计算吞吐量和内存容量。Dynamo 提供分布式编排层，以优化整个服务路径上的多模态推理。VLM 的请求负载更为复杂，需要图像下载、预处理和提示构建。VLM 服务中的预填充（prefill）阶段通常占主导地位且计算成本高昂，因此需要先进的缓存管理。多轮 VLM 交互进一步增加了服务复杂度，原因在于不断演变的视觉上下文以及更重的预填充需求。管理 KV 缓存的内存压力至关重要，需要采用如 KV 感知路由和卸载等策略。Pinterest 的解决方案采用了解耦的预填充与解码、结合 LMCache 的 KV 缓存卸载，以及 Dynamo 和 vLLM 中的多模态支持。他们还实现了自定义投影嵌入，以降低处理大规模视觉上下文的成本。这一优化的 VLM 服务栈显著提升了性能，在首 token 时间（Time-to-First-Token）方面取得了实质性增益。

Building Pinterest’s VLM Serving Stack on NVIDIA Dynamo medium.com

RSS Hunter • 9月10日

成为 AI 团队

向 AI 团队的转型要求对运营模式、理念和角色进行根本性转变，而不仅仅是使用 AI 工具。团队成员转变为被赋能的战略制定者和问题解决者，利用 AI 实现自动化与分析，从而专注于更高层次的思考。这一演进使得以往难以解决的问题变得可解，并彻底改变了工程工作的本质。Pinterest 的基础设施团队出于扩展可靠性与效率的必要，正在适应这一变革。可及的 AI 工具显著提升了性能上限，使得诸如代码库重构等复杂项目能够在数天内完成，而非数月。这种能力的扩展 necessitates 更为关键的战略优先级排序，因为可行性并不等同于战略对齐。工程师将从执行转向战略思考、问题定义以及验证用户需求，将 AI 作为力量倍增器。管理者将从流程执行转向战略指导，聚焦于愿景、最大化影响力以及人才发展。Pinterest 正积极实施 AI，用于数据探索、内容创作和基础设施改进。高绩效团队的未来本质上与人类专业知识和机器智能之间的共生关系紧密相连。团队必须拥抱这一文化变革，以保持竞争力和创新能力。AI 集成提升了团队容量，创造了用于技能发展和更充分工具利用的冗余能力。向 AI 驱动环境的过渡复杂且动荡，需要领导层驾驭信息洪流并有效引导团队。

Becoming an AI Team medium.com

RSS Hunter • 9月1日

为 Pinterest 首页信息流扩展条件化学习检索

Pinterest 的主页信息流旨在通过改进推荐系统，为用户检索相关的 Pins。最初采用双塔模型，分别对用户和物品进行编码，但难以应对用户的多重兴趣。为此，提出了条件化学习检索（Conditional Learned Retrieval, CLR），通过显式检索上下文对用户嵌入进行条件化以解决该问题。 prior 工作已探索将 CLR 用于通知的引导式训练，并将其集成到主页信息流的多嵌入框架中。本文详细介绍了 CLR 如何演变为 Pinterest 主页信息流的更广泛检索系统。CLR 通过引入兴趣（Interests）、Pins 和 Boards 等新条件类型，扩展以支持多样化的检索候选项。兴趣条件最初从用户信号中引导式训练，随后利用大语言模型（LLM）生成的兴趣进行增强。Pin 条件通过对已互动的 Pins 进行聚类，并使用嵌入表示，使 CLR 能够替代遗留的生成器。Board 条件则通过在 Pin-Board 图上执行随机游走构建，并使用嵌入表示 Boards。模型基础通过序列建模和增强的条件表示进行了扩展。引入了条件化用户序列 Transformer（Conditioned User Sequence Transformer），使 CLR 具备序列感知能力，通过同时编码用户行为和条件 token 来实现。该架构进一步演化为基于基础模型（Foundation Model）的 CLR 架构，整合了在大规模全局用户序列上训练的大型 Transformer。该基础模型对用户塔和物品塔共享 Pin 嵌入，并采用对比对齐损失（contrastive alignment loss）。条件表示被统一，以便在单个模型内处理异构条件，减少重复工作。统一 CLR 将不同条件类型整合到一个模型中，支持多种条件输入并补全缺失特征。路由简化涉及将路由逻辑重构为与条件无关的槽位架构（Slot Architecture），为不同类型的嵌入预定义槽位。CLR 的训练效率通过无损的基础设施优化得到提升，训练吞吐量翻倍。请求级训练（request-level training）在批次内去重相同的用户特征，进一步优化工作正在进行中。该系统现已能在生产规模下高效处理多条件检索，通过提供更多样且相关的内容提升用户参与度。

Scaling Conditional Learned Retrieval for Pinterest Home Feed medium.com

RSS Hunter • 8月26日

Pinner 进阶：更优的用例表征驱动 Pinterest 周活跃用户增长”

Pinterest 旨在通过其推荐系统帮助用户发现通往更美好生活的灵感。主页信息流作为关键发现平台，采用多阶段管道进行推荐。此前，优化工作侧重于点击和收藏等参与度指标。然而，参与度与留存率截然不同，仅优化参与度可能导致用户流失。本文介绍了"Pinner Progression"计划，该计划通过理解用户不断演变的需求，将用户留存置于优先地位。其核心理念是将顺序用户理解与持久用例表示相结合。这种方法有助于预判用户行为，并提供能够促进意外发现的推荐。引入的关键信号是用户兴趣簇（User Interest Clusters, UICs），它们代表了用户参与的各类不同用例。可持续增长依赖于建立用户与特定用例之间的长期关系，而不仅仅是短期参与度。分析表明，用例的采用与持续参与度和留存率呈正相关。现代推荐系统擅长理解用户当前的偏好，但在建模这些偏好的生命周期方面存在困难。区分用户处于活跃的“公寓装饰”阶段还是衰退的“酸面团”阶段，对于长期留存至关重要。UIC 表示建立在 PinnerSage 和 OmniSage 等过往工作基础之上，其创新之处在于仅针对已参与的内容进行个性化聚类，从而允许每个用户拥有动态数量的簇。关键的是，每个 UIC 均包含有状态的生命周期元数据，提供时序和行为洞察。这些元数据有助于推断用户兴趣的成熟度，区分转瞬即逝的好奇心与新兴的习惯。UIC 由 OmniSage 嵌入空间中的中心点（medoids）和地标图钉（landmark Pins）定义，其中接近度表示功能效用。信号构建涉及对用户近期参与嵌入进行层次聚类。完全连接算法基于其最不相似对的相似度合并簇，并设定相似度阈值。该过程在剩余任何一对的相似度未超过阈值或达到最大簇数量时停止。系统级集成涉及将 UIC 作为推荐管道检索、排序和混合阶段的共享抽象。这使得系统不同组件能够推理用户兴趣的成熟度。UIC 被外部化到共享特征存储中以提升效率，减少了多次信号获取带来的延迟。未来工作包括扩展 UIC，加入能够保留时序动态的长序列表示。检索是首个集成点，在此阶段，条件学习检索（Conditional Learned Retrieval）利用用户信息和条件生成候选项，以确保语义相关性。

Pinner Progression: Better Use-Case Representation Driving Weekly Active User Growth at Pinterest medium.com

RSS Hunter • 7月27日

大规模保障基础设施：介绍 Pinterest 的资源供应管道（RPP）

在 Pinterest 这样的大型分布式组织中管理基础设施即代码（IaC）面临着显著的安全与后勤挑战。为此，Pinterest 开发了资源供应管道（Resource Provisioner Pipeline, RPP），一种专有的 Terraform 执行引擎。RPP 能够在多仓库架构下安全地管理关键与非关键的基础设施变更。该系统通过双重控制、集中化的 GitHub Actions 以及安全的角色链式调用，为全球 AWS 运营提供合规性与强健的安全保障。RPP 管理着数百个 Terraform 工作区，管控着数万个 AWS 资源，涵盖安全策略、网络及计算资源。RPP 的 GitHub 工作流采用集中执行模型，由拉取请求（PR）事件触发。该流程使用组合式 GitHub Actions，并通过为每个工作区独立执行计划来隔离工作区的影响。双重控制增加了必要的人工审查层，需经代码审查员批准。为贯彻最小权限原则，RPP 实施了严格的工作区 - 路径 - 角色映射，利用安全的角色链式调用。流程始于通过 GitHub OIDC 认证并假设集中化的 RPPActionsRole，随后确定工作区属性，将其映射到允许的仓库、路径及执行角色。关键的后端验证确保代码路径严格引用指定工作区对应的 S3 状态后端及 KMS 密钥。若验证通过，RPPActionsRole 将假设一个作用域受限的团队 IAM 角色，从而确保权限最小化。部署流程包括代码检查、在 PR 上输出计划结果，以及通过特定评论触发的审慎应用。该方法带来的优势包括统一审计、即时系统性补丁以及集中化的资源指标。

Securing Infrastructure at Scale: Introducing Pinterest’s Resource Provisioner Pipeline (RPP) medium.com

RSS Hunter • 7月22日

实现 Pinterest 基础模型的近线性训练可扩展性

Pinterest 的基础模型对其推荐系统至关重要，每日影响数百万用户。最初，这些大模型的分布式多节点训练效果不佳，增加机器数量反而大幅拖慢训练进程。即便采用 AWS Elastic Fabric Adapter（EFA）以提升网络性能，扩展效率依然低下。性能分析显示，分布式嵌入查找造成了严重的通信瓶颈，GPU 因等待数据而闲置。团队实施了多项优化以解决这一通信开销问题：量化通信（QComms）通过压缩嵌入张量减少了数据负载；均衡分片改善了 GPU 间的工作负载分布；带宽感知的嵌入优化将嵌入维度减半，从而降低数据移动量。关键突破在于实现二维并行性，最初针对 AllReduce 进行优化，提升了本地通信效率。随后，团队将二维并行性的拓扑结构翻转，以优化 All-to-All 通信，将昂贵操作保留在节点内部，并利用成本较低的 AllReduce 进行跨节点同步。这一改进实现了接近线性的扩展性能：2 节点时达到 2.0 倍，4 节点时达到 3.9 倍，8 节点时更是达到令人瞩目的 7.5 倍扩展。这些进展使得训练更大规模的模型成为可能，从而显著提升了 Pinterest 推荐界面中的用户参与度，并加快了实验迭代周期。

Achieving Near-Linear Training Scalability for Pinterest’s Foundation Models medium.com

RSS Hunter • 6月25日

Pinterest 下一代数据库摄入框架中的自动化模式演进

Pinterest 为其基于 Kafka 的 CDC 摄入平台开发了一套稳健、自动化的模式演进框架。模式变更是跨系统的关键契约，若缺乏管控的演进可能导致管道故障和数据不一致。其解决方案旨在通过将其视为多阶段收敛过程，使模式演进具备安全性、可重复性和可扩展性。该架构涉及 CDC 源、Kafka、用于转换的 Flink 以及用于向 Iceberg 表执行 upsert 操作的 Spark。核心组件是一个可靠的接入模型，该模型以包含稳定数字标识符的模式定义文件作为单一事实来源。更新通过基于 PR 的发布流程（包含版本控制和审计）自动传播至 Kafka、Flink、Spark 和 Iceberg。该系统主要支持增量式模式变更，以维持向后兼容性并最小化复杂性。类型变更严格限制为保留语义含义的变更，例如数值精度扩展。模式演进通过三阶段收敛模型进行管理，以维持管道可用性。第一阶段更新 Iceberg 模式，第二阶段部署更新后的 Flink 和 Spark 代码，第三阶段确保数据收敛。这种分阶段方法将模式传播与数据正确性解耦，允许在定义的 SLA 范围内存在临时差异。Pinterest 采用基于 SLA 的模式演进模型，优先保证可预测性和运营安全性。部署策略经过精心管理，尤其是针对 Flink，以防止数据丢失。对于不支持或存在歧义的情况（如默认值或主键变更），设有特定的手动恢复路径。针对 CREATE TABLE 差异的歧义问题，通过对比数据库的实际 DDL 历史记录来解决，而非从文本变更中推断意图。并发模式变更按顺序处理，以防止竞态条件，确保串行收敛。列转换通过为模式添加所需转换注解进行管理，这些注解随后被注入摄入管道。错误处理与恢复机制（特别是针对 Spark 故障）确保处理能够从最后一个成功的水印处恢复。

Automated Schema Evolution in Pinterest’s Next-Generation DB Ingestion Framework medium.com

RSS Hunter • 6月24日

让用户序列数据更经济、更快速、更易用

本文描述了 Pinterest 对用户序列平台的重新设计，旨在为机器学习模型提供一套稳健且高效的用户行为数据检索系统。核心目标是在训练、分析和推理场景中，提供一致、新鲜、完整且具成本效益的序列。该平台将用户序列定义为近期增强事件的有序列表。所解决的关键挑战包括确保在不同使用场景和团队间的数据新鲜度、完整性、一致性与可扩展性。解决方案采用“单一定义，多运行时”的方法，利用代码即配置（configuration-as-code）和共享执行引擎，对事件进行实时与批处理。平台实施 Lambda 架构以同时管理当前数据与历史数据。该设计简化了新事件类型及增强的接入，提升了代码审查效率，并减少了实时处理与批处理之间的偏差。三项关键设计决策分别为：序列与增强的代码即配置、共享执行引擎，以及用于序列的 Lambda 架构。最终成果是一个简化了公司在各类机器学习任务中构建、维护和使用用户序列流程的平台。

Making User-Sequence Data More Cost-Efficient, Faster, and Easier to Use medium.com

RSS Hunter • 5月21日

工程师提升 AI 技能指南：实施测试流程以优化智能体……

工程师在使用 AI 代理时遇到了不可靠的问题，尤其是在需要调用自定义技能时。为解决此问题，针对采用特定 iOS 架构技能的代理进行了测试，旨在量化技能调用的可靠性并识别优化技术。核心测试工具基于 Bash 脚本构建，该工具通过提示词编排自动化测试，记录日志并检查结果。定义了正例和反例测试用例，以评估技能的调用能力。实现了日志解析技术，基于 JSON 输出模式检测技能的调用。计算了成功率、准确率等关键性能指标，以评估代理的性能。初步测试显示，两个代理的技能调用率均不理想，尤其在提示词模糊的情况下。发现了若干优化措施，包括增强技能描述、使用更具强制性的措辞以及添加技能表。结合多种技术可取得更好的效果，特别是对于 Codex 代理。结论强调了测试和改进技能调用流程的重要性。开发人员必须使用高质量、详尽的提示词，以最大化 AI 代理的有效性。

An Engineer’s Guide to Better AI Skills: Implementing a Testing Process to Optimize Agent… medium.com

RSS Hunter • 5月12日

增强广告相关性：将实时上下文融入序列推荐模型

作者开发了一种上下文序列双塔模型，以提升 Pinterest 的广告推荐效果，特别是在“相关图钉”（Related Pins）等特定上下文界面。初始模型缺乏实时上下文，仅依赖用户历史行为，导致其效果受限。为解决这一问题，他们在模型架构中集成了上下文层，使模型能够纳入用户当前活动的信息。在训练阶段，他们使用合成数据，通过注入源自转化事件的伪上下文来指导模型学习。系统采用混合服务流程：用户塔的大部分处理在离线完成，而上下文层在线处理。这使得动态用户嵌入能够受实时上下文影响，从而提升相关性。离线评估显示，与之前的生产模型相比，Recall@K 指标显著提升。新模型提高了候选广告的留存率并增强了广告相关性，尤其在“相关图钉”界面上表现突出。这带来了可衡量的转化相关业务指标增长，特别是广告支出回报率（ROAS）。未来工作包括将模型扩展至搜索等其他界面，并尝试高级融合技术，如交叉注意力（cross-attention）。这项工作证明了融入实时上下文对于提升广告相关性和用户体验的重要性。

Enhancing Ad Relevance: Integrating Real-Time Context into Sequential Recommender Models medium.com

RSS Hunter • 5月8日

优化机器学习工作负载网络效率（第一部分）：特征修剪器

Pinterest 的在线机器学习（ML）服务系统采用根 - 叶架构，客户端服务通过该架构请求 Pin 的预测分数。根组件负责特征检索与预处理，而叶节点执行模型推理，通常利用 GPU。该设计简化了新模型的接入流程，并通过分离 CPU 与 GPU 工作负载优化资源利用率。然而，由于传递大量特征，根与叶分区之间出现了网络瓶颈。最初，系统实施了 lz4 压缩以减少网络用量，虽显著节省了带宽，但导致 CPU 使用率和延迟略有上升。这虽是一个良好的开端，但核心问题——传输不必要的特征——依然存在。随后，团队开发了“按需发送”（Send What You Use）方案，仅发送特定模型所需的特征，以解决这一问题。模型签名（model signature）定义了模型的输入与输出，是特征需求的权威来源。模型在训练并导出时，其签名会一同保存。Leaf 节点加载这些签名，构建特征转换器，仅处理必要特征。为同步根与叶之间的特征需求，模型签名被发布为轻量级工件（artifacts）。这些签名被聚合为包级映射（bundle-level mappings），随后与现有配置一同部署至根节点。该部署流程遵循与模型发布相同的分阶段交付机制，确保一致性并支持优雅回滚。此集成使得 Feature Trimmer 能够动态更新根节点上的特征白名单，确保仅传输必要特征。系统通过版本化查找和降级机制，处理频繁模型更新与渐进式发布，确保根节点对所需特征的视图与实际部署在叶节点上的模型保持同步。通过剪枝不必要的特征，Pinterest 显著降低了网络流量并提升了基础设施效率。

Optimizing ML Workload Network Efficiency (Part I): Feature Trimmer medium.com

RSS Hunter • 5月1日

从点击到转化：构建 Pinterest 购物转化候选生成系统

Pinterest 为转化广告开发了一个专用的候选生成模型，以应对站外转化数据稀疏和噪声问题。该模型与以往基于互动的系统不同，专注于低漏斗转化。2023 年初次上线后，转化和互动指标均显著提升，包括点击率提高。2025 年的进一步迭代带来了更高的转化价值和更优的广告支出回报率。为应对数据稀疏问题，该模型采用多表面策略，在所有购物场景中训练，并辅以站内互动数据作为主要转化信号的补充，同时根据点击时长对点击数据进行重新加权，以减轻噪声影响。模型还引入“硬负样本”（如无互动的广告曝光），以增强对比学习的鲁棒性。模型融合了用户侧特征（捕捉实时意图与长期偏好）和 Pin 侧特征（用于语义理解与效果追踪）。其采用双塔架构，结合 DCN v2 与并行交叉层中的 MLP，提升了特征交互建模与召回质量。模型从多头设计演进为统一的多任务架构，使得在推理阶段可直接受益于多任务优化。此外，引入广告主级损失函数，为转化信号提供更稳定的粒度，显著提升了召回效果。该新模型成功增加了购物转化量，改善了广告主表现，同时优化了用户的购物体验。

From Clicks to Conversions: Architecting Shopping Conversion Candidate Generation at Pinterest medium.com

RSS Hunter • 4月27日

大规模智能 URL 规范化：MIQPS 如何助力 Pinterest 实现内容去重

Pinterest 利用内容理解来驱动内容分发与用户互动，这需要深入理解图像和出站链接。核心问题在于 URL 规范化：由于跟踪参数的存在，相同的产品页面可能以多种不同的 URL 形式出现。这种冗余会导致重复抓取和处理，从而浪费计算资源。项目规范化旨在将不同 URL 所代表的相同项目统一起来，这对于购物目录至关重要。当项目 ID 缺失时，高级 URL 规范化对于去重尤为关键。最小重要查询参数集（MIQPS）算法能够自动学习哪些 URL 参数会影响内容身份。该算法能够区分中性参数（不影响页面内容）和非中性参数（会影响页面内容）。虽然静态规则适用于知名平台，但 Pinterest 拥有庞大的域名集合，因此需要一种动态的、数据驱动的方法。MIQPS 算法分为三个步骤。首先，从 Pinterest 的摄入管道中收集每个域名的观测 URL 语料库。其次，根据查询参数模式对 URL 进行分组，确保参数在其特定上下文中进行分析，避免因 URL 类型不同而错误分类参数。最后，对于模式中的每个参数，算法通过实证测试其重要性。它会采样具有不同参数值的 URL，并计算原始 URL 和修改后（移除该参数）URL 的内容 ID。如果在一定比例的样本中，移除该参数会导致内容 ID 发生显著变化，则该参数被归类为非中性参数并予以保留；否则，该参数被视为中性参数，可在规范化过程中安全移除。每个商家域名都会获得专属的 MIQPS 映射表，以反映该域名下参数的特定含义。

Smarter URL Normalization at Scale: How MIQPS Powers Content Deduplication at Pinterest medium.com

RSS Hunter • 4月20日

在系统中发现僵尸进程：一个关于 CPU 瓶颈的真实案例

Pinterest 的机器学习平台团队曾因间歇性网络连接问题，导致基于 Ray 的训练任务频繁崩溃，从而引发了 PinCompute 团队的深入调查。此次调查历时超过三个月，发现故障与 AWS EC2 实例上的 ENA 网络驱动程序重置存在相关性。这些重置由 CPU 饥饿引起，并与高系统 CPU 使用率相关联。初期，团队尝试了多种解决方案，包括使用大页内存和内存分配器，但均未能解决问题。值得注意的是，该问题仅出现在 Pinterest 的某个 AWS 可用区。通过 perf 和 mpstat 进行的性能分析揭示了单个 CPU 核心饱和的现象。利用 perf 进行的时序性能剖析进一步锁定了一个间歇性占用大量 CPU 资源的进程为罪魁祸首。该进程被确认为僵尸进程。对僵尸进程及其对 CPU 利用率和网络驱动程序性能影响的发现，使团队更深入地理解了系统瓶颈所在。

Finding zombies in our systems: A real-world story of CPU bottlenecks medium.com

RSS Hunter • 4月15日

基于请求级去重的推荐系统扩展

Pinterest 利用请求级去重技术来优化其推荐模型并管理基础设施成本。该技术避免了请求级数据的冗余处理，其中包含海量的用户行为序列。去重显著降低了存储需求，在用户密集型特征列上，借助 Apache Iceberg 实现了 10 至 50 倍的存储压缩比。在实现请求排序数据的过程中，Pinterest 通过同步批归一化（SyncBatchNorm）和用户级掩码技术解决了相关问题，同时保持了模型质量。这一举措带来了显著的训练加速效果：召回模型提升 4 倍，排序模型提升 2.8 倍。此外，它还提升了服务吞吐量，使得基于去重交叉注意力 Transformer（DCAT）架构的排序服务容量提升了 7 倍。这一综合方案在存储、训练和服务三个维度均产生了深远影响。总体而言，请求级去重是一种跨领域的技术，其解决方案虽简单却行之有效。

Scaling Recommendation Systems with Request-Level Deduplication medium.com

RSS Hunter • 4月13日

Pinterest 的开发者体验：通往 PinConsole 的历程

Pinterest 面临着工程速度挑战，因为技术复杂性增加了随着用户基础的增长。该公司认识到，其分散的工具采纳策略创建了瓶颈和新工程师的压倒性景观。为解决这个问题，Pinterest 决定重新imagining 其开发者体验，通过建立一个名为 PinConsole 的内部开发者平台。PinConsole 是一个基于开源 Backstage 平台的统一开发者门户。该平台方法旨在创建一致的抽象层，使工程师专注于业务逻辑，而不是基础设施。在评估各种解决方案后，Pinterest 选择了 Backstage，因为它拥有强大的社区采纳、可扩展的插件架构和活跃的开发。PinConsole 与 Pinterest 的内部身份验证系统和 LDAP 集成，以实现统一的实体模型。该架构利用 PostgreSQL 数据库进行数据存储，并应用 Pinterest 的 Gestalt 设计系统以确保 UI 一致性。一个关键组件是 PinCompute 插件，一个自定义的 Kubernetes 集成，简化了使用 Pinterest 特定的抽象来管理工作负载。个人化的首页小部件，如 GitHub 集成，进一步增强了开发者体验，减少了上下文切换并提供了相关信息。

Developer Experience at Pinterest: The Journey to PinConsole medium.com

RSS Hunter • 2025年8月22日

将370万行Flow代码迁移到TypeScript

Pinterest 将 370 万行代码从 Flow 迁移到 TypeScript，历时八个月，结果是类型安全性、开发者体验和招聘都得到了改善。公司最初在 2016 年选择 Flow 而不是 TypeScript，是因为 Flow 的渐进式采用和与 React 的无缝集成。但是，随着行业将 TypeScript 视为 JavaScript 类型检查的标准，Pinterest 决定采用它，因为它拥有更好的社区支持、语言特性和人才储备。迁移过程使用“大爆炸”方法，分为三个阶段：设置、转换和集成。设置阶段涉及配置 TypeScript 和 @typescript-eslint，而转换阶段涉及迁移依赖项、运行 codemods 和抑制 ESLint 错误。集成阶段集中于将现有系统适应新的 TypeScript 环境。公司编写了一个脚本来自动化整个过程，尽量减少合并冲突和手动干预。在通过每日自动测试、多轮手动测试和字节级静态分析验证迁移后，Pinterest 成功推出了 TypeScript 分支。公司从开源社区中学到了很多，并贡献了 Stripe 的 flow-to-typescript codemod。Pinterest 的经验为其他公司考虑类似迁移提供了宝贵的教训。

Migrating 3.7 Million Lines of Flow Code to TypeScript medium.com

RSS Hunter • 2025年4月16日

使用 AWS EC2 在 Pinterest 处理网络限速

视觉搜索引擎Pinterest在AWS上运行，并使用Amazon EC2实例作为其计算机队伍。该公司发现了管理EC2基础设施的重大挑战，特别是在线存储系统，因为缺乏对EC2网络性能的明确见解及其对应用程序可靠性和性能的影响。为解决此问题，Pinterest为其EC2机队开发了网络性能监控，并实施了管理网络burst的技术，以确保关键在线服务工作负载的可靠网络性能。该公司遇到了用户序列服务问题，该问题驱动了显著的用户参与胜利，但导致了服务延迟和应用程序超时。在EC2实例迁移期间，Pinterest在许多集群中看到显著的性能下降，导致应用程序超时。该公司发现EC2实例由于微burst超过网络配额而经历网络限制。为了使EC2网络限制行为更加透明，Pinterest将其实例升级到使用工具如ethtool访问原始计数器在EC2实例上。该公司修改了其内部指标收集代理，以抓取这些计数器并将其摄入其指标存储。通过将这些ENA指标推广到其整个EC2机队，Pinterest获得了对AWS流量整形的前所未有的可见性，并实施了各种优化以缓解网络限制。该公司还探索了处理网络burst的技术，包括细粒度的S3速率限制、数据备份调整和网络压缩。

Handling Network Throttling with AWS EC2 at Pinterest medium.com

RSS Hunter • 2025年4月7日

使用大型语言模型改进 Pinterest 搜索相关性

Pinterest 搜索是用户可以发现与他们的信息需求相符的启发性内容的关键入口，搜索相关性衡量搜索结果与搜索查询的匹配程度。为了改进搜索相关性模型，我们使用一个 5 级准则来衡量查询和 Pins 之间的相关性。我们使用交叉编码器语言模型来预测 Pin 与查询的相关性，同时结合 Pin 文本，并将任务表述为多类别分类问题。该模型使用人工标注的数据进行微调，最小化交叉熵损失。为了表示每个 Pin，我们使用了一系列不同的文本特征，包括 Pin 的标题和描述、合成的图像标题、高参与度的查询词、用户策划的板块标题以及链接标题和描述。然而，基于交叉编码器 LLM 的分类器由于实时延迟和成本的考虑，难以在 Pinterest 搜索中进行扩展。因此，我们使用知识蒸馏将基于 LLM 的教师模型蒸馏成一个轻量级的学生相关性模型。学生模型使用查询级特征、Pin 级特征和查询-Pin 交互特征来预测 5 级相关性分数。我们采用知识蒸馏和半监督学习来训练学生模型，这有效地利用了大量最初未标记的数据，并将数据扩展到世界范围内的多种语言。离线实验证明了每个建模决策的有效性，包括语言模型的比较、丰富文本特征的重要性以及通过蒸馏扩大训练标签规模。在线结果显示，搜索 feed 相关性提高了 +2.18%（通过 nDCG@20 衡量），并且在全球范围内搜索完成率显着提高。所提出的相关性建模流程有效地推广到训练期间未遇到的语言，而基于多语言 LLM 的相关性教师模型则推广到未见的语言。未来的工作将探索整合可服务的 LLM、视觉与语言多模态模型以及主动学习策略，以动态扩展和提高训练数据的质量。

Improving Pinterest Search Relevance Using Large Language Models medium.com

RSS Hunter • 2025年4月4日